Las empresas que crean e implementan agentes tienen un problema: a sus ingenieros les está tomando demasiado tiempo descubrir que un agente cometió un error, y el bucle continúa perpetuándose, especialmente sin un ser humano en cada paso.
LangSmith, la plataforma de seguimiento y evaluación de LangChain, lanzó una nueva capacidad en versión beta pública que podría hacer que ese problema sea más manejable. Motor LangSmith automatiza toda la cadena detectando fallas de producción, diagnosticando las causas fundamentales en comparación con el código base en vivo, redactando una solución y evitando la regresión. Lo hace en una sola pasada automatizada.
LangSmith Engine ofrece a los ingenieros de IA un camino más rápido para la clasificación, pero se lanza a un campo abarrotado: Anthropic, OpenAI y Google están impulsando la observabilidad y la evaluación. en sus propias plataformas.
LangSmith Engine analiza los fallos
LangChain dijo en una publicación de blog que el ciclo típico de desarrollo de agentes comienza rastreando al agente para comprender lo que está haciendo, seguido de identificar brechas, realizar cambios en las indicaciones y herramientas, y crear conjuntos de datos reales. Luego, los desarrolladores realizan experimentos y verifican si hay regresiones antes de enviar el agente.
El problema es que los clientes a menudo tienen problemas cuando la revisión de seguimiento no revela patrones defectuosos, la repetición de errores se vuelve difícil de ver y no hay un evaluador específico para detectar el mismo problema cuando se repite en producción.
LangSmith Engine funciona monitoreando los rastros de producción para varios tipos de señales, «errores explícitos, fallas del evaluador en línea, anomalías de rastreo, comentarios negativos de los usuarios y comportamientos inusuales, como que el usuario haga preguntas para las que el agente no fue diseñado», según la publicación del blog.
Luego, el motor leerá el código base en vivo, encontrará al culpable y redactará una solicitud de extracción antes de proponer un evaluador personalizado para ese patrón de falla específico. El humano entra en el paso de aprobación.
Está construido sobre la infraestructura de seguimiento y evaluación existente de LangSmith y también funciona con los resultados del evaluador de una empresa.
A diferencia de las herramientas de observabilidad como Weights & Biases, Arize Phoenix y Honeyhive, LangSmith Engine toma toda la cadena automáticamente (detectando la falla, diagnosticando la causa raíz, redactando una solución) y trae al humano solo en el paso de aprobación.
Proveedores modelo que incorporan evaluadores a la plataforma
Si bien LangSmith identificó este ciclo de evaluación como una necesidad para muchas empresas, Engine llega en un momento en el que los proveedores más grandes están comenzando a ofrecer herramientas de observabilidad dentro de su plataforma. Esto significa que las empresas pueden optar por utilizar una plataforma de extremo a extremo en lugar de agregar LangSmith Engine a sus flujos de trabajo existentes.
Agentes gestionados por Claude de Anthropic reúne implementación, evaluación y orquestación de agentes en una sola suite. La frontera de OpenAI ofrece una plataforma similar de extremo a extremo para crear, gobernar y evaluar agentes empresariales, aunque ambos han enfrentado preguntas de empresas que desconfían de comprometerse con un solo proveedor.
Sin embargo, los profesionales señalan que no todo el mundo quiere reunir las evaluaciones y la observabilidad completamente en una sola plataforma.
Leigh Coney, fundadora y consultora principal de Workwise Solutions, dijo a VentureBeat que la observabilidad de terceros es la opción predeterminada para muchas empresas.
«Un fondo con el que trabajo ejecuta Claude para análisis y GPT para un flujo de trabajo separado. Si la observabilidad reside dentro de las herramientas de cada proveedor, ahora tiene dos sistemas que no pueden comunicarse entre sí. Su equipo de cumplimiento no puede producir un registro de auditoría unificado», dijo. «Por lo tanto, la observabilidad de terceros está sobreviviendo porque el modelo múltiple ya es lo predeterminado en las empresas, y alguien tiene que sentarse entre los proveedores».
Jessica Arredondo Murphy, directora ejecutiva y cofundadora de True Fit, dijo que las plataformas independientes como LangSmith tienen que demostrar a las empresas que pueden «responder a la pregunta a largo plazo de si se convertirán en la capa operativa entre modelos en cuanto a calidad y confiabilidad».
«Las empresas no se están consolidando en las herramientas de proveedores de modelos propios tan rápido como los proveedores de modelos preferirían. Lo que veo es una división pragmática: los equipos utilizarán herramientas de proveedores propios para una rápida incorporación y depuración en las primeras etapas, pero tan pronto como se preocupan por la confiabilidad de la producción, la gobernanza y la flexibilidad a largo plazo, tienden a introducir una capa más neutral para la observabilidad y la evaluación», dijo.
LangSmith Engine ya está disponible en versión beta pública. Los equipos pueden conectar un proyecto de seguimiento y, opcionalmente, conectar su repositorio, y Engine comenzará a detectar problemas de los seguimientos de producción automáticamente.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
