“Los nuevos PRD son los evaluados”, Xavi Amatriain, Grupo Expedia primer director de inteligencia artificial y datos, dijo al Transformación VB 2026 audiencia la semana pasada en Menlo Park. «Básicamente, codificas lo que quieres que haga el producto a través de tus evaluaciones, que pueden incluir evaluaciones de equipos rojos y todo tipo de otras cosas, que ya tienen un montón de requisitos de seguridad. Por lo tanto, ya lo integras en el PRD y en el documento de diseño del producto incluso antes de comenzar a codificar».
Lo empujó más lejos. «Con código asistido por IA o generado por IA, ese será el futuro. Es como si todo tu pensamiento fuera a las evaluaciones».
Amatriain se desempeñó como vicepresidente de IA y habilitación informática en Google en todas las plataformas que impulsan Gemini y Google Search antes de su nombramiento en Expedia en diciembre de 2025. Ha sido mentor de talentos que luego fundaron Perplexity y Scale AI.
VentureBeat Investigación de VB Pulse sobre la brecha de evaluación reforzó las apuestas. El sesenta y seis por ciento de las 157 empresas encuestadas ya permiten alguna implementación de producción sin revisión humana o están avanzando hacia ella dentro de los próximos 12 meses, pero solo el 5% confía plenamente en las evaluaciones automatizadas que tomarían esa decisión. La mitad envió un agente que pasó las evaluaciones internas pero luego falló con un cliente real.
No permita que las barreras de seguridad se interpongan en el camino de la retroalimentación
“Cuantas más barreras de seguridad y reglas comerciales artificiales y tipos de reglas se pongan en el sistema, peor será la situación”, dijo Amatriain. «No sólo porque son frágiles, sino también porque en realidad alteran el circuito de retroalimentación. En realidad, estás sesgando al usuario y la retroalimentación que recibes del usuario, y luego estás aprendiendo eso de manera incorrecta». Llamó a las barandillas “un mal necesario” y dijo que el objetivo es minimizar su impacto con el tiempo.
No todos en Transform estuvieron de acuerdo. Otros oradores argumentaron durante el evento que las acciones de mayor riesgo todavía exigen barandillas muy firmes.
En cambio, Expedia gobierna la IA a través de tres capas. Los principios son lo primero y se comunican ampliamente. «Me gusta codificar a un nivel muy alto cómo espero que se tomen las decisiones, porque en una organización grande habrá mucha toma de decisiones distribuida», dijo Amatriain. «Y a veces, si tienes la suerte, esos principios pueden estar arraigados en tu cultura. Pero la mayoría de las veces, mi experiencia ha sido que no es así». A continuación se presentan los procesos y herramientas que los hacen cumplir. “Los principios se ven muy bien en un cuadro colgado en la pared, pero luego hay que darles fuerza”, dijo. La automatización se encuentra por encima de ambos.
En la práctica, esto se desarrolla a través de lo que Expedia llama puertas de peaje de liberación de agentes, puntos de control calibrados según el riesgo. «La gobernanza debe correlacionarse con el riesgo», dijo Amatriain. «Y si tienes algo que es de bajo riesgo, no necesitas demasiada gobernanza para interponerse en el camino. Pero si hay mucho riesgo, entonces necesitas más gobernanza. Eso puede codificarse». Las barreras de peaje vinculan las rondas de evaluación, el equipo rojo y la revisión de seguridad al nivel de riesgo de cada agente, y los controles pasan de recomendados a requeridos a medida que aumentan las apuestas.
Agentes especializados sobre inteligencia monolítica
«Incluso cuando estaba en Google, pensaba: No creo en AGI como una especie de modelo único y unificado», dijo Amatriain a la audiencia. «Creo que es mucho mejor pensar en ello como una composición, algo así como tener agentes especializados que son muy buenos en alguna tarea y luego componer el sistema a partir de esos agentes especializados».
La arquitectura de Expedia comienza en el nivel de componentes. Las herramientas se componen en habilidades, las habilidades se ensamblan en subagentes y los subagentes se organizan en el sistema agencial completo. «Es necesario tener esos principios unificados que hablan de cosas como cuál es el tono que utilizamos, cómo nos dirigimos al usuario, cómo le transmitimos el contexto y la memoria», dijo. «Todo eso debe diseñarse minuciosamente». Enmarcó esto como un problema de diseño sistémico. «No se trata del modelo, no se trata de una solución específica, se trata de cómo se diseña el sistema».
Amatriain argumentó que limitar el alcance de cada agente también hace que el sistema sea más fácil de proteger, ya que los equipos pueden evaluar y bloquear agentes individuales de forma aislada antes de componerlos.
Cuando el usuario debe mantener el clic final
Los precios de los viajes cambian en tiempo real, la disponibilidad de vuelos cambia minuto a minuto y las reseñas de hoteles contradicen habitualmente lo que afirman los proveedores. Amatriain describió un sistema que combina generación aumentada de recuperación con llamadas directas a herramientas API, eligiendo el enfoque en función de la latencia. «Si el usuario te hace una pregunta como cuánto cuesta normalmente un hotel de cuatro estrellas en Chicago en julio, no esperas que el agente tarde dos minutos en responder esa pregunta», dijo. «Uno espera una respuesta inmediata porque esa respuesta se puede almacenar en caché y no necesita información en tiempo real». Un hotel de cuatro estrellas que admite mascotas cerca del lago Michigan y que cuenta con piscina podría justificar un período de razonamiento de 30 segundos.
«El proveedor podría decir, sí, tenemos una gran piscina, pero también tenemos las opiniones de los viajeros y, de hecho, vemos que hay dos opiniones que dicen que la piscina no era estupenda o que no estaba abierta después de las 6 de la tarde», explicó Amatriain. Un chatbot genérico, añadió, solo mostraría lo que un proveedor informa, mientras que Expedia hace referencias cruzadas con su propio corpus de revisión.
“No queremos que el agente reserve el hotel o le compre un billete de avión”, dijo Amatriain. «Eso es algo que el usuario debe tener en la agencia. Y el agente puede recomendar, sugerir, discutir con usted, pero usted tendrá que hacer clic. Y eso no es negociable». Esa limitación, argumentó, es también una decisión de seguridad. «Una vez que estableces esos principios de diseño, tampoco necesitas la barandilla porque, de lo contrario, tendrás que colocar todas esas barandillas después del hecho».
Los próximos atacantes serán otros sistemas de IA
“La seguridad debe ser un principio desplazado lo más hacia la izquierda posible y como parte del diseño mismo”, dijo Amatriain en respuesta a una pregunta del público. «Y normalmente cuando necesitas una barandilla es porque no has pensado en ello desde el principio».
Un segundo miembro de la audiencia presionó para que se aprendieran las lecciones de la producción. Amatriain describió un circuito de retroalimentación donde las señales de monitoreo regresan a la suite de evaluación. «Casi se puede automatizar todo el ciclo», dijo. «Pero será esencial tener todo ese circuito de retroalimentación desde señales reales, desde su sistema operativo de IA, hasta que se informe y solucione lo más rápido posible».
Los peajes de Amatriain son una apuesta a que una gobernanza calibrada en función del riesgo puede adelantarse a ese ciclo de retroalimentación. Junio separado de VentureBeat Encuesta de pulso sobre la seguridad de los agenteselaborado entre 107 empresas, muestra lo reducido que es ese margen. Más de la mitad, el 54 por ciento, ya ha tenido un incidente de seguridad con un agente o estuvo a punto de sufrir un accidente. El cincuenta y nueve por ciento planea adoptar, agregar o reemplazar herramientas de seguridad de agentes dentro de 12 meses, y el 29 por ciento planea mudarse este trimestre. Las tasas de incidentes aumentan con el tamaño de la organización, alcanzando el 63% entre las empresas con más de 1.000 empleados frente al 49% para las empresas con entre 101 y 1.000. Y el aislamiento de la zona de pruebas, el único control posterior a una infracción que limita los daños, cae del 35% de adopción en las empresas más pequeñas a sólo el 20 por ciento en las más grandes.
Amatriain advirtió que las amenazas provendrán cada vez más de otros sistemas de IA. «Recibirás amenazas no solo de humanos sino también de otros sistemas de agentes externos que son realmente poderosos, y estarán husmeando en todo lo que estás haciendo. Y tan pronto como detectes algo, no se trata solo de la detección, sino que el tiempo para arreglarlo se vuelve esencial aquí».
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
