Cada consulta que procesa una aplicación de IA empresarial, cada corrección que un experto en la materia hace en su resultado, esa interacción son datos de entrenamiento. La mayoría de las organizaciones no lo están captando. Los flujos de trabajo de producción que las empresas ya han creado están generando una señal continua que mejora los modelos de IA y está desapareciendo.
Empromptu AI, con sede en San Francisco, lanzó el jueves Alchemy Models con una premisa sencilla: las aplicaciones de IA que las empresas ya están creando están generando datos de capacitación y la mayor parte se desperdicia. La plataforma captura esa señal automáticamente, enrutando los resultados validados de los expertos en la materia a un proceso de ajuste que mejora el modelo con el tiempo. Las empresas son propietarias absolutas de los pesos resultantes.
Se encuentra en un territorio diferente tanto del RAG como del ajuste tradicional. RAG recupera el contexto externo en el momento de la inferencia sin modificar los pesos del modelo. El ajuste tradicional cambia los pesos, pero requiere conjuntos de datos etiquetados ensamblados por separado y una canalización de aprendizaje automático dedicada. Alchemy hace esto último continuamente, utilizando la propia aplicación empresarial como fuente de datos.
Las empresas que adoptan API de modelo básico enfrentan tres limitaciones agravantes: costos de inferencia que aumentan con el uso, falta de propiedad de los modelos que sus datos entrenan de manera efectiva y capacidad limitada para personalizar el comportamiento para tareas específicas de dominio. La directora ejecutiva de Empromptu, Shanea Leven, dice que esas limitaciones se sienten ampliamente, pero rara vez se abordan.
«Todos los clientes, todas las personas con las que hablo, me preguntan: ¿cómo no voy a verme interrumpido? ¿Cómo voy a proteger mi negocio? Y simplemente no ven el camino», dijo Leven a VentureBeat en una entrevista exclusiva.
Cómo Alchemy construye un modelo a partir de una aplicación en ejecución
La mayoría de los enfoques de capacitación de modelos personalizados requieren que las empresas recopilen, limpien y etiqueten datos por separado antes de que pueda comenzar cualquier ajuste. Alchemy toma un camino diferente: la propia aplicación empresarial genera y limpia los datos de entrenamiento.
El mecanismo pasa por el sistema de Empromptu. Canalizaciones de datos doradas infraestructura en dos etapas. Antes de crear una aplicación, los datos empresariales se limpian, extraen y enriquecen para que la aplicación comience con entradas estructuradas. Una vez que se está ejecutando, cada resultado que genera regresa a través del proceso, donde los expertos en la materia dentro de la organización lo revisan y corrigen. Ese resultado validado se convierte en los datos de entrenamiento para la siguiente ejecución de ajuste.
«La aplicación, la aplicación de inteligencia artificial que los clientes ya están creando, limpia los datos», dijo Leven.
Los modelos perfeccionados resultantes son lo que Empromptu llama Nanomodelos expertos: modelos pequeños, específicos de tareas, optimizados para un flujo de trabajo particular en lugar de razonamientos de propósito general. Las evaluaciones, las barreras de seguridad y los controles de cumplimiento se ejecutan dentro del mismo proceso, por lo que la gobernanza viaja con el proceso de capacitación. Los clientes son propietarios absolutos de los pesos del modelo. Empromptu aloja y ejecuta inferencias en su infraestructura, pero los pesos son portátiles y exportables mediante una tarifa. La plataforma es independiente del modelo y admite Llama, Qwen y otros modelos básicos.
La restricción estricta es el volumen de datos. Las primeras implementaciones se ejecutan en el modelo base mientras la aplicación acumula suficientes datos de producción para desencadenar una ejecución de ajuste útil. Leven reconoció la línea de tiempo sin endulzarla. «Entrenar al modelo sólo llevará tiempo», afirmó.
La alquimia se diferencia del ajuste fino gestionado sobre quién hace el trabajo
La API de ajuste fino de OpenAI y los modelos personalizados de AWS Bedrock ofrecen un ajuste fino empresarial. Ambos requieren que las organizaciones traigan conjuntos de datos de capacitación preparados por separado y administren el proceso de ajuste fuera de su pila de aplicaciones. La carga de la curación de datos y la evaluación del modelo recae en el equipo de ML del cliente.
La diferenciación de la alquimia es la integración de procesos. Los datos de capacitación son generados por la propia aplicación empresarial, por lo que no hay un paso de preparación de datos por separado ni se requiere experiencia en ML. El flujo de trabajo de la aplicación es el proceso.
«¿Necesito tener Bedrock y crear otro equipo de ML para descubrir cómo ajustar un modelo y descubrir toda esa infraestructura? No, cualquiera puede hacerlo ahora», dijo Leven.
La contrapartida es la dependencia de la plataforma. La alquimia sólo funciona dentro del entorno Empromptu. Las empresas que quieran obtener el mismo resultado en la infraestructura existente necesitarían replicar ellos mismos el proceso de captura, validación y ajuste de datos.
Una empresa de salud conductual redujo el tiempo de documentación de las sesiones hasta en un 87 % utilizando Alchemy
Empromptu se dirige primero a verticales reguladas y con uso intensivo de datos: atención médica, servicios financieros, tecnología legal, comercio minorista y previsión de ingresos. Estos son sectores donde los resultados de los modelos de propósito general conllevan el mayor riesgo de desajuste y los datos de flujo de trabajo patentados están más concentrados.
Entre los primeros usuarios se encuentra la empresa de salud conductual Ascent Autism, que utiliza Alchemy para automatizar la documentación de las sesiones y la comunicación con los padres.
Los facilitadores utilizan grabaciones de sesiones de alumnos, transcripciones, notas de sesiones y métricas de comportamiento para generar notas estructuradas y actualizaciones personalizadas para los padres. Anteriormente, ese flujo de trabajo requería de una a dos horas de escritura por sesión. Con el entrenamiento de Alquimia con los mismos datos, ahora lleva de 10 a 15 minutos.
«Confiar únicamente en modelos basados en API puede resultar costoso rápidamente», dijo a VentureBeat Faraz Fadavi, cofundador y director de tecnología de Ascent Autism. «Alchemy nos brindó una manera de estructurar el flujo de trabajo, entrenar modelos con nuestros propios datos y reducir costos mientras mejoramos la calidad de los resultados con el tiempo».
Fadavi dijo que la compañía obtuvo resultados utilizables rápidamente, con mejoras continuas a medida que el sistema se perfeccionaba. Los criterios de evaluación fueron más allá de la precisión e incluyeron la trazabilidad de los datos de la sesión y la coherencia de los resultados con la voz clínica de la empresa. «Queríamos un sistema que pudiera aprender nuestro flujo de trabajo y producir resultados alineados con la forma en que operamos realmente, no solo resumir texto», dijo. La prueba práctica: cuánto deben editar los facilitadores, si el resultado coincide con su voz y si reduce significativamente el tiempo invertido. Los facilitadores han pasado de reescribir las notas generadas a editarlas y verificar su calidad.
Qué significa esto para las empresas
El volante de datos es real, pero también lo es el bloqueo de la plataforma:
Cada flujo de trabajo es una oportunidad de formación. Las empresas que capturen y validen los resultados de sus aplicaciones de producción de IA aumentarán esa ventaja con el tiempo. Un mayor uso genera más señales de entrenamiento, lo que produce modelos específicos de dominio más precisos, que generan mejores resultados y datos de entrenamiento más limpios en el siguiente ciclo.
Leven posiciona a Alchemy como una tercera opción arquitectónica. Las empresas han pasado los últimos dos años eligiendo entre RAG para el acceso al conocimiento del dominio y ajustes para la especialización del modelo. La capacitación de modelos basada en flujos de trabajo es una tercera opción, que combina la mejora continua del ajuste con la simplicidad operativa de construir dentro de una plataforma administrada.
«Tener ese foso de datos es la moneda más valiosa», dijo Leven.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
