Pocas empresas enfrentan mayores riesgos al implementar IA que Waymo, la compañía de vehículos autónomos de Alphabet escindida de Google. Sus modelos no solo generan texto o automatizan tareas administrativas: ayudan a los vehículos a navegar por calles impredecibles, responder a conductores humanos y tomar decisiones en fracciones de segundo en el mundo físico.
Pero los métodos que Waymo utiliza para gestionar estos riesgos (evaluación continua, datos cuidadosamente seleccionados, supervisión humana y resultados comerciales claramente definidos) ofrecen un manual más amplio para las empresas que implementan agentes de IA en casi todas las industrias.
Manasi Joshi, director de ingeniería de inteligencia de sistemas y aprendizaje automático de Waymo, explicó en VB Transform 2026 cómo la empresa de vehículos autónomos entrena, prueba e implementa IA a escala. Hasta la fecha, Waymo ha conducido más de 140 millones de millas de forma totalmente autónoma, o «solo conductor», con 17 veces menos lesiones graves en accidentes que los conductores humanos en la misma distancia, según la compañía.
Para lograr estos impresionantes resultados, Joshi dijo que Waymo adoptó lo que llama “desarrollo forzado por evaluación” o “desarrollo centrado en evaluación”, haciendo de la evaluación una parte central de la ingeniería en lugar de una verificación final realizada antes de la implementación.
«La etapa en la que maduran nuestros proyectos se puede determinar fácilmente en función de la madurez de evaluación que exhiben», dijo Joshi.
En la práctica, Waymo evalúa la preparación de un proyecto observando en parte la madurez de las pruebas que lo rodean. Este enfoque tiene implicaciones claras para las empresas que crean agentes de servicio al cliente, asistentes de codificación, sistemas financieros u otras aplicaciones de inteligencia artificial: si una empresa no puede medir de manera confiable el desempeño de un sistema, es posible que no esté lista para ponerlo en producción.
Las evaluaciones deben continuar después del lanzamiento.
Joshi dijo que gran parte del trabajo de calidad de Waymo se ha desplazado a las evaluaciones, incluidas las pruebas realizadas durante el entrenamiento del modelo, después del entrenamiento y en simulaciones de circuito abierto y cerrado.
«Eval no es una tarea única para lanzar un modelo», dijo.
En cambio, Waymo trata la evaluación como un proceso continuo que abarca la conducción, la simulación y la validación. Su metodología combina conjuntos de datos, métricas de desempeño e infraestructura capaz de operar eficientemente a escala.
Para las empresas, esto significa que probar un agente antes del lanzamiento es insuficiente. Los equipos deben continuar evaluándolo a medida que cambian los modelos subyacentes, los procesos comerciales, el comportamiento del usuario y los datos entrantes. Estas evaluaciones también deberían vincularse a los resultados comerciales reales en lugar de depender únicamente de puntos de referencia generales de la industria.
Joshi advirtió que las métricas de calidad del modelo son tan confiables como los datos de evaluación detrás de ellas. Por lo tanto, Waymo combina sus afirmaciones de rendimiento con información sobre las propiedades de los conjuntos de datos utilizados para probar sus sistemas.
Pruebe casos raros y peligrosos
La jerarquía de calificación de Waymo sigue basándose en un objetivo general: la seguridad.
La empresa se basa en registros de conducción propios, datos de terceros y simulaciones realistas que exponen sus sistemas a escenarios que abarcan miles de millones de millas sintéticas. Los administradores de tareas eligen datos y mediciones especializados para situaciones que involucran a usuarios vulnerables de la vía, pasos a nivel, zonas de construcción y otros entornos complejos.
El mismo principio se aplica fuera de la conducción autónoma. Las empresas deben probar no sólo las solicitudes comunes que sus agentes manejan con éxito, sino también situaciones inusuales en las que los errores podrían dañar las finanzas, las leyes, la seguridad o la reputación.
Joshi enfatizó que Waymo no deja las decisiones de publicación completamente en manos de sistemas automatizados. Sus revisiones de preparación para la producción incluyen una amplia supervisión humana, mientras que los gerentes de seguridad internos aprueban los lanzamientos de software y las ampliaciones del área de servicio.
«No está impulsado por IA, sino completamente automatizado y sin supervisión humana», dijo. «Están en juego vidas humanas».
La eficiencia no puede venir a expensas de la confiabilidad
Waymo enfrenta otro problema familiar para los equipos de IA empresarial: la demanda de capacidad de computación, almacenamiento, memoria y redes está creciendo más rápido que los recursos disponibles.
La empresa busca la eficiencia en la extracción y almacenamiento de datos, la capacitación de modelos distribuidos, la destilación, la simulación y la evaluación de modelos. También enfatiza la “eficiencia de los datos”, seleccionando los ejemplos de capacitación más útiles en lugar de tratar un volumen mayor como inherentemente mejor.
Waymo comenzó a utilizar transformadores en 2017 y luego se expandió a modelos de lenguaje grandes, modelos de visión-lenguaje y modelos de visión-lenguaje-acción. Joshi dijo que la compañía ahora utiliza modelos multimodales generativos como parte de su estrategia de modelo básico.
Waymo divide su tecnología entre sistemas a bordo dentro de cada vehículo e infraestructura externa utilizada para el desarrollo de modelos, procesamiento de datos y simulación. Esta combinación requiere que la empresa optimice tanto la inferencia en tiempo real como los sistemas más grandes que la respaldan.
Los agentes necesitan sus propias revisiones
Waymo también utiliza agentes de inteligencia artificial internamente como herramientas de productividad para ingenieros. Joshi dijo que los agentes ayudan a analizar la distribución de datos, evaluar la efectividad de los datos y los problemas de clasificación que se encuentran en la telemetría del vehículo, los ciclos de capacitación y las tareas de evaluación fallidas.
El objetivo es acelerar el trabajo de investigación para que los ingenieros puedan dedicar más tiempo a juzgar y a cuestiones técnicas difíciles. Pero Waymo también evalúa a estos agentes para garantizar que produzcan resultados confiables y precisos en lugar de enviar a los empleados por caminos improductivos.
Para los líderes empresariales, la gran lección de Waymo es que la IA agente requiere más que elegir un modelo potente. Las organizaciones necesitan un objetivo claramente definido, datos de evaluación representativos, pruebas continuas, infraestructura que pueda operar de manera efectiva y tomadores de decisiones humanos designados que sigan siendo responsables de la implementación.
«Ganar la confianza es extremadamente importante», dijo Joshi.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
