A medida que los agentes de IA empresarial pasan a la producción, las organizaciones se enfrentan a un problema de confiabilidad cada vez mayor. Muchos equipos están descubriendo que el desempeño del LLM por sí solo no determina si los agentes tienen éxito en la producción. Los flujos de trabajo de IA de larga duración deben sobrevivir a fallas, preservar el estado, recuperarse de fallas, administrar los costos de inferencia y coordinar entre API, herramientas y sistemas empresariales.
Después de una primera ola centrada en la implementación rápida, las organizaciones ahora necesitan revisar esas implementaciones de primera generación y rediseñar las primeras arquitecturas de agentes en torno a la orquestación del flujo de trabajo, la observabilidad, la gobernanza y la recuperación, dijo Preeti Somal, vicepresidenta sénior de ingeniería de Temporal Technologies, durante el último evento AI Impact Series en Nueva York.
«Tenemos muchos clientes que acuden a nosotros para crear la versión 2.0 del mismo agente», dijo Somal. «Tuvieron que actuar muy rápido, pero no cuidaron las tuberías. Las cosas se estrellan y se queman, y luego tienen que volver a reconstruir con una base confiable».
Para la empresa de orquestación de flujo de trabajo Temporal, cuya infraestructura es anterior a la ola actual de IA agente, el cambio refleja una realización empresarial más amplia: los sistemas de producción de IA requieren una ejecución duradera, gestión del estado, visibilidad de los flujos de trabajo y mecanismos para recuperarse cuando fallan los modelos o los sistemas posteriores.
La IA agente ha potenciado los problemas de ingeniería conocidos
«Estos patrones no son necesariamente nuevos», dijo Somal. «La IA simplemente los potencia».
Los sistemas agentes introducen una complejidad adicional porque a menudo implican procesos de varios pasos de larga duración que abarcan múltiples servicios, modelos, API y herramientas. Un único flujo de trabajo puede llamar a varios modelos de lenguaje grandes, acceder a sistemas de recuperación, activar aplicaciones externas y administrar el estado durante horas o días. Las cuestiones de ingeniería, dijo Somal, a menudo surgen sólo después del despliegue.
«La gente escribe a los agentes pero no ha pensado en lo que sucede si el agente falla», dijo. «¿Tendré que volver a ejecutar todo el flujo de agentes?»
Para las empresas que operan con restricciones de costos, la respuesta es importante. Reiniciar los flujos de trabajo después de fallas puede multiplicar los gastos de inferencia, aumentar la latencia y crear malas experiencias para los clientes.
Somal comparó el momento actual con un período anterior en la adopción de la nube empresarial, cuando las organizaciones pasaron directamente a migrar cargas de trabajo antes de considerar que necesitaban rediseñar las arquitecturas subyacentes si querían que estas cargas de trabajo resistieran el largo plazo.
«Esta prisa por hacer IA en un mundo donde ni siquiera se han modernizado las aplicaciones me recuerda un poco a ese levantamiento y cambio que ocurrió en la nube», dijo. «Todo el mundo se dio cuenta de que se está gastando más dinero en la nube y que no hemos obtenido valor allí».
Por qué los agentes de larga duración fuerzan una nueva arquitectura
Los flujos de trabajo empresariales involucran cada vez más agentes que se ejecutan en períodos prolongados, que a veces abarcan muchas horas mientras interactúan con herramientas y sistemas. Los desafíos de confiabilidad se agravan cuando los flujos de trabajo persisten en el tiempo y afectan tanto el estado como la memoria, dos ideas que a menudo se tratan indistintamente en las conversaciones sobre IA.
El estado se refiere a la ejecución del flujo de trabajo. Incluye dónde se encuentra un agente en un proceso, qué acciones ya se han completado y dónde debe reanudarse la recuperación después de una falla. La memoria o el contexto captura información que un agente transmite a través de interacciones o tareas.
«El estado del agente depende de qué paso y qué acciones se han realizado, y si algo falla, de dónde desea recuperarse, versus el contexto y la pieza de memoria», explicó Somal.
Esa distinción se vuelve cada vez más importante cuando las empresas comienzan a ir más allá de las simples interacciones de chatbot hacia procesos comerciales de mayor duración. Somal señaló un ejemplo de atención médica que involucra al cliente Abridge, donde los flujos de trabajo procesan las visitas al médico a través de múltiples etapas, incluido el procesamiento de audio, el resumen, las llamadas modelo y la generación posterior a la visita.
«No hay una sola parte en ese flujo», dijo Somal. “Tomar videos y dividirlos, tomar resúmenes, llamar a los LLM, generar el resumen posterior a la visita, todo eso está siendo orquestado”.
La implicación para las empresas es que los agentes exitosos dependen cada vez más de sistemas que puedan sobrevivir a las interrupciones, coordinar todos los servicios y mantener la continuidad en el tiempo.
El surgimiento de la columna vertebral determinista
Un marco útil para el diseño de IA empresarial es la columna vertebral determinista, dijo Somal, que es como piensan sobre el papel de Temporal.
«Está denotando el camino que quieres tomar», dijo. «Está llamando al cerebro, pero si el cerebro no responde, lo llamará nuevamente. Si el cerebro responde pero el siguiente paso va a fallar, continuará desde donde ocurrió el error».
En este marco, el modelo de lenguaje actúa como un sistema probabilístico que produce resultados variables, mientras que el software de orquestación mantiene la confiabilidad de la ejecución a su alrededor. Y el concepto importa porque los sistemas empresariales requieren cada vez más coherencia incluso cuando los modelos siguen siendo no deterministas. Un flujo de trabajo de adquisiciones, un resumen de atención médica, una escalada de atención al cliente o un proceso de cumplimiento no pueden simplemente fallar silenciosamente porque se agotó el tiempo de espera de una llamada de modelo o porque una dependencia externa falló.
«Lo que más le importa es asegurarse de poder recuperarse y de no pagar el impuesto simbólico si algo sale mal», dijo Somal.
Fiabilidad, visibilidad y economía del gasto simbólico
A medida que los líderes empresariales evalúan el ROI de la IA, la visibilidad de los costos se ha convertido en una preocupación creciente. Los agentes de larga trayectoria con frecuencia realizan múltiples llamadas a modelos en flujos de trabajo complejos, lo que puede crear patrones de gasto opacos. Somal describió una ventaja operativa de la orquestación como la visibilidad de dónde se acumulan los costos. Debido a que los flujos de trabajo se pueden observar paso a paso, los equipos pueden ver dónde se consumen los tokens en un proceso de agente.
«Tienes visibilidad de todo ese flujo en un solo panel de vidrio», dijo. «Ahora puede ver dónde está gastando los tokens en un agente que tiene varios pasos y llama a varios sistemas diferentes».
La recuperación del flujo de trabajo también influye en la rentabilidad. Sin una orquestación duradera, una falla en una etapa tardía puede obligar a las organizaciones a volver a ejecutar un proceso completo desde el principio, incluidas todas las llamadas de modelos anteriores. Somal dijo que los sistemas diseñados en torno a la recuperación pueden reanudar la ejecución desde el punto de interrupción.
“Se retoma desde donde ocurrió el accidente”, dijo. «Le ahorramos el costo de volver a ejecutar el agente desde el paso uno».
Las empresas necesitan construir caminos pavimentados y contar con la experiencia de sus socios
Las preocupaciones sobre la gobernanza son otro patrón emergente a medida que la IA agente se afianza. En lugar de adoptar sistemas de agentes totalmente administrados al por mayor, Somal dijo que las empresas quieren cada vez más marcos internos estandarizados que proporcionen barreras de seguridad y al mismo tiempo preserven la flexibilidad e implementen las características necesarias como controles de gobernanza, políticas de selección de modelos, sistemas de identidad, gestión de costos y observabilidad.
«Las empresas están estudiando la posibilidad de construir estos caminos pavimentados», afirmó. «Sacar algo del estante tal vez no funcione porque existen todos estos otros requisitos».
A medida que las organizaciones revisan las implementaciones de primera generación, desafíos como este se parecen cada vez menos a un problema de modelo y más a un problema de ingeniería de sistemas, y Temporal está posicionado para ayudar a las empresas a dar este siguiente paso, en parte porque para muchas organizaciones, ya existía como parte de programas de modernización más amplios antes de que la IA se convirtiera en una prioridad estratégica.
«Temporal ya está en la empresa», dijo Somal. «Tomar eso y extenderlo a la IA y las plataformas de agentes parece muy natural».
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
