La industria de la IA empresarial tiene un problema matemático. Los datos de Cisco muestran 85% de las empresas están probando agentes de IA, pero solo el 5% los ha enviado a producción. En Transformación VB 2026 el martes, Bryan Silverthorndirector de AGI Autonomy en Amazon, explicó por qué esa brecha persiste y por qué la respuesta no son mejores puntos de referencia.
Silverthorn, que se unió a Amazon mediante la adquisición de Adept AI y ahora dirige la capacitación de agentes multimodales dentro del laboratorio AGI de la compañía, argumentó que la confiabilidad debe dividirse en cuatro dimensiones distintas: consistencia, solidez, previsibilidad y seguridad, un marco que atribuye a la investigación de Princeton.
«Desglosa diferentes factores que veo entrelazados en casi todas las evaluaciones que he visto», dijo.
Por qué los agentes de IA pasan las evaluaciones internas pero fallan a los clientes reales en producción
El marco es importante porque los agentes rutinariamente aprueban las evaluaciones internas y luego colapsan en la naturaleza. Silverthorn describió a un cliente que implementó un agente para el control de calidad del software que implicaba la extracción de números de serie de las pantallas. Funcionó perfectamente durante dos meses y luego comenzó a leer números incorrectos de forma intermitente. El culpable: el codificador de visión subyacente se comportaba de manera diferente dependiendo de dónde aparecía el número de serie en la pantalla, y un cambio de software imperceptible para los humanos provocó la falla.
La lección, dijo Silverthorn, es acerca de la medición, no sólo de los modelos. «Los modelos tienen que ser mejores. Obviamente, estamos trabajando duro para mejorarlos», dijo. Pero la conclusión más profunda, añadió, es que los equipos necesitan identificar sus dimensiones de variabilidad y hacer coincidir el rigor de la medición con los desafíos de la aplicación. La propia investigación de VentureBeat, presentada antes de la sesión, refuerza el punto: la mitad de las empresas encuestadas enviaron agentes que pasaron las evaluaciones internas pero fallaron a los clientes reales, y las empresas rastrean abrumadoramente el tiempo de actividad mientras ignoran la precisión: verifican el pulso sin verificar el diagnóstico. Un hallazgo relacionado subrayó cuán pocas barreras existen: la mayoría de las empresas recurren por defecto a las propias evaluaciones de los fabricantes de modelos y poco más, dejando su estrategia de prueba, como la describí en el escenario, como una moneda al aire entre confiar en el proveedor y no confiar en nada.
Dentro del marco ‘pasante’ de Amazon para la gestión de agentes autónomos de IA
La receta más memorable de Silverthorn fue cultural, no técnica. Dentro del laboratorio AGI de Amazon, los investigadores literalmente llaman a sus agentes «pasantes», como en «Haré que mi pasante hable con su pasante». El chiste conlleva una filosofía operativa seria. Los agentes, al igual que los pasantes, son poderosos pero a veces despistados, capaces de realizar un trabajo asombroso y descarrilamientos espectaculares.
Gestionarlos, argumentó, requiere habilidades de gestión más que habilidades de software: preguntar qué podría salir mal, agregar copias de seguridad y capacidades de deshacer, y decidir conscientemente qué riesgo se puede aceptar. «Puedes preguntarle al pasante: ‘Oye, ¿qué podrías hacer mal aquí? ¿Cómo podrías mitigar tus resultados negativos?'», dijo. El laboratorio de Amazon ha adoptado esa compensación, aceptando que agentes ocasionalmente ejecuten el experimento equivocado a cambio de velocidad de investigación, incluido un agente que realiza experimentos las 24 horas del día en su propio plan de investigación de alto nivel.
Qué deberían hacer los líderes empresariales antes de implementar agentes a escala
Silverthorn fue sincero acerca de los límites de la tecnología actual. La IA de mejora personal sigue siendo «un término cargado», dijo: Amazon utiliza la IA para mejorar sus modelos constantemente, pero la mejora personal totalmente autónoma está lejos. El uso de computadoras sigue siendo un enfoque central de su laboratorio, y un cliente de camiones comerciales ya utiliza la automatización del navegador para unir reclamos de garantía en sistemas fragmentados**, aunque enfatizó que ningún agente futuro dependerá únicamente del uso de la computadora: funcionará junto con MCP, API y otras herramientas para completar flujos de trabajo de extremo a extremo**. Y las técnicas de LLM como juez, aunque prometedoras, son sólo una de varias estrategias para alinear la capacidad de los agentes con un riesgo aceptable.
Para las empresas atrapadas en el purgatorio piloto, el camino a seguir comienza con un cambio de mentalidad: deje de preguntar si su agente puede hacer algo impresionante una vez y comience a preguntar si puede hacerlo correctamente mil veces seguidas.
En otras palabras, las empresas que escapen del techo del 85% no serán las que tengan los agentes más inteligentes. Serán ellos los que tengan mejores directivos.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
