Pocas empresas enfrentan mayores riesgos al implementar IA que Waymola empresa de vehículos autónomos de Alphabet que surgió de Google. Sus modelos no se limitan a generar texto o automatizar tareas administrativas: ayudan a los vehículos a navegar por calles impredecibles, responder a conductores humanos y tomar decisiones en fracciones de segundo en el mundo físico.
Pero los métodos que Waymo utiliza para gestionar esos riesgos (evaluación continua, datos cuidadosamente seleccionados, supervisión humana y resultados comerciales claramente definidos) ofrecen un manual más amplio para las empresas que implementan agentes de IA en casi cualquier industria.
Manasi Joshi, director de ingeniería de inteligencia de sistemas y aprendizaje automático de Waymo, explicó en Transformación VB 2026 cómo la empresa de vehículos autónomos entrena, prueba e implementa IA a escala. Hasta la fecha, Waymo ha recorrido más de 220 millones de millas de forma totalmente autónoma, o «solo para pasajeros», con 17 veces menos lesiones graves por accidentes que los conductores humanos en la misma distancia, según la compañía.
Para lograr estos impresionantes resultados, Joshi dijo que Waymo adoptó lo que ella llamó “desarrollo forzado por evaluación” o “desarrollo centrado en evaluación”, haciendo de la evaluación una parte central de la ingeniería en lugar de una verificación final realizada antes de la implementación.
«La etapa en la que nuestros proyectos están madurando se puede determinar fácilmente en función de la madurez de evaluación que muestran», dijo Joshi.
En la práctica, Waymo evalúa la preparación de un proyecto en parte examinando la madurez de las pruebas que lo rodean. Ese enfoque tiene implicaciones claras para las empresas que crean agentes de servicio al cliente, asistentes de codificación, sistemas financieros u otras aplicaciones de inteligencia artificial: si una empresa no puede medir de manera confiable el desempeño de un sistema, es posible que no esté lista para poner ese sistema en producción.
Las evaluaciones deben continuar después del lanzamiento.
Joshi dijo que gran parte del trabajo de calidad de Waymo se ha desplazado hacia las evaluaciones, incluidas las pruebas realizadas durante el entrenamiento del modelo, después del entrenamiento y dentro de simulaciones de circuito abierto y cerrado.
«Eval no es una tarea única para lanzar un modelo», dijo.
En cambio, Waymo trata la evaluación como un proceso continuo que abarca la conducción, la simulación y la validación. Su metodología combina conjuntos de datos, métricas de rendimiento e infraestructura capaz de operar eficientemente a escala.
Para las empresas, eso significa que probar un agente antes del lanzamiento es insuficiente. Los equipos deben continuar evaluándolo a medida que cambian los modelos subyacentes, los procesos comerciales, el comportamiento del usuario y los datos entrantes. Esas evaluaciones también deberían conectarse con resultados comerciales reales en lugar de depender únicamente de puntos de referencia amplios de la industria.
Joshi advirtió que las mediciones de la calidad del modelo son tan confiables como los datos de evaluación detrás de ellas. Por lo tanto, Waymo combina sus afirmaciones de rendimiento con información sobre las propiedades de los conjuntos de datos utilizados para probar sus sistemas.
Probando los casos raros y peligrosos
La jerarquía de evaluación de Waymo sigue basada en un objetivo primordial: la seguridad.
La compañía se basa en registros de conducción propios, algunos datos de terceros y simulaciones realistas que exponen sus sistemas a escenarios que abarcan miles de millones de millas sintéticas. Los propietarios de tareas eligen datos y métricas especializados para situaciones que involucran a usuarios vulnerables de la vía, cruces de ferrocarril, zonas de construcción y otros entornos complejos.
El mismo principio se aplica fuera de la conducción autónoma. Las empresas deben probar no sólo las solicitudes de rutina que sus agentes manejan con éxito, sino también situaciones poco comunes en las que los errores podrían generar daños financieros, legales, de seguridad o de reputación.
Joshi enfatizó que Waymo no deja las decisiones de lanzamiento enteramente en manos de sistemas automatizados. Sus revisiones de preparación para la producción incluyen una amplia supervisión humana, mientras que los líderes de seguridad internos aprueban los lanzamientos de software y las ampliaciones del área de servicio.
«Esto no está impulsado por la IA, no está completamente automatizado y no tiene supervisión humana», dijo. «Están en juego vidas humanas».
La eficiencia no puede venir a expensas de la confiabilidad
Waymo enfrenta otro problema familiar para los equipos de IA empresarial: la demanda de capacidad de computación, almacenamiento, memoria y red está creciendo más rápido que los recursos disponibles.
La empresa busca la eficiencia en la extracción y el almacenamiento de datos, la capacitación de modelos distribuidos, la destilación de modelos, la simulación y la evaluación. También enfatiza la “eficiencia de los datos”, seleccionando los ejemplos de capacitación más útiles en lugar de tratar un mayor volumen como inherentemente mejor.
Waymo comenzó a utilizar transformadores en 2017 y posteriormente se expandió a grandes modelos de lenguaje, modelos de visión-lenguaje y modelos de visión-lenguaje-acción. Joshi dijo que la compañía ahora utiliza modelos multimodales generativos como parte de su estrategia de modelo básico.
Waymo divide su tecnología entre sistemas a bordo dentro de cada vehículo e infraestructura externa utilizada para el desarrollo de modelos, procesamiento de datos y simulación. Esa combinación obliga a la empresa a optimizar tanto la inferencia en tiempo real como los sistemas más grandes que la respaldan.
Los agentes necesitan sus propias evaluaciones.
Waymo también utiliza agentes de inteligencia artificial internamente como herramientas de productividad para ingenieros. Joshi dijo que los agentes ayudan a analizar la distribución de datos, evaluar la eficiencia de los datos y los problemas de clasificación encontrados en la telemetría de vehículos, ejecuciones de entrenamiento y trabajos de evaluación fallidos.
El objetivo es acelerar el trabajo de investigación para que los ingenieros puedan dedicar más tiempo a juzgar y resolver problemas técnicos difíciles. Pero Waymo también evalúa a esos agentes para garantizar que produzcan resultados confiables y precisos en lugar de enviar a los empleados por caminos improductivos.
Para los líderes empresariales, la lección más importante de Waymo es que la IA agente requiere más que elegir un modelo poderoso. Las organizaciones necesitan un objetivo claramente definido, datos de evaluación representativos, pruebas continuas, infraestructura que pueda operar de manera eficiente y tomadores de decisiones humanos designados que sigan siendo responsables de la implementación.
«Ganar la confianza es sumamente importante», dijo Joshi.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
