“Los nuevos PRD son evaluaciones”, dijo Xavi Amatriain, director senior de inteligencia artificial y datos de Expedia Group, a la audiencia de VB Transform 2026 la semana pasada en Menlo Park. «Básicamente, estás codificando lo que quieres que haga el producto a través de tus evaluaciones, que pueden incluir evaluaciones del equipo rojo y todo tipo de otras cosas, que ya tienen una serie de requisitos de seguridad. Así que ya estás incorporando eso en el PRD y el documento de diseño del producto incluso antes de comenzar a codificar».
Lo empujó más lejos. «Con código asistido por IA o generado por IA, este será el futuro. Es como si todo su pensamiento fuera integrado en las evaluaciones».
Amatriain se desempeñó como vicepresidente de IA y habilitación informática en Google en todas las plataformas que impulsan Gemini y Google Search antes de su nombramiento en Expedia en diciembre de 2025. Fue mentor de talentos que luego fundaron Perplexity y Scale AI.
La investigación VB Pulse de VentureBeat sobre las brechas de valoración ha reforzado lo que está en juego. El sesenta y seis por ciento de las 157 empresas encuestadas ya permiten alguna implementación de producción sin revisión humana o planean hacerlo en los próximos 12 meses, pero solo el 5% confía plenamente en las revisiones automatizadas que tomarían esa decisión. La mitad envió a un agente que pasó las evaluaciones internas pero luego fracasó con un cliente real.
No dejes que las barreras de seguridad se interpongan en el camino de los comentarios.
“Cuantas más barreras de seguridad y reglas comerciales artificiales y tipos de reglas se pongan en el sistema, peor se vuelve la situación”, dijo Amatriain. «No sólo porque son frágiles, sino también porque interrumpen el ciclo de retroalimentación. En realidad, estás sesgando al usuario y la retroalimentación que recibes del usuario, y estás aprendiendo eso de manera incorrecta». Llamó a las barreras de seguridad un “mal necesario” y dijo que el objetivo era minimizar su impacto con el tiempo.
No todos en Transform estuvieron de acuerdo. Otros oradores en el evento argumentaron que las acciones más riesgosas aún requieren salvaguardias muy fuertes.
Expedia gobierna la IA a través de tres niveles. Los principios son lo primero y se comunican ampliamente. «Me gusta codificar a un nivel muy alto cómo espero que se tomen las decisiones, porque en una organización grande habrá mucha toma de decisiones distribuida», dijo Amatriain. «Y a veces, si tienes suerte, esos principios pueden estar arraigados en tu cultura. Pero la mayoría de las veces, en mi experiencia, ese no es el caso». A continuación se detallan los procesos y las herramientas que los aplican. “Los principios se ven muy bonitos en un cuadro en la pared, pero luego hay que darles algo de fuerza”, dijo. La automatización está por encima de ambos.
En la práctica, esto se traduce en lo que Expedia llama puertas de peaje para agentes, puntos de control calibrados según el riesgo. «La gobernanza debe correlacionarse con el riesgo», dijo Amatriain. «Y si tienes algo que es de bajo riesgo, no necesitas demasiada gobernanza para interponerse en el camino. Pero si hay mucho riesgo, entonces necesitas más gobernanza. Eso se puede codificar». Los peajes vinculan los ciclos de evaluación, la formación de equipos rojos y la revisión de seguridad al nivel de riesgo de cada agente, y los controles pasan de recomendados a obligatorios a medida que aumentan los riesgos.
Agentes especializados en inteligencia monolítica
«Incluso cuando estaba en Google, pensaba: no creo en AGI como una especie de modelo único y unificado», dijo Amatriain a la audiencia. «Creo que es mucho mejor pensar en ello como una composición, algo así como tener agentes especializados que son muy buenos en ciertas tareas, y luego componer el sistema a partir de esos agentes especializados».
La arquitectura de Expedia comienza en el nivel de componentes. Las herramientas se transforman en habilidades, las habilidades se ensamblan en subagentes y los subagentes se organizan en el sistema de agentes completo. «Hay que tener principios unificados que hablen de cosas como el tono que usamos, cómo nos dirigimos al usuario, cómo transmitimos el contexto, la memoria», dijo. «Todo esto tiene que ser cuidadosamente diseñado. » Lo presentó como un problema de diseño sistémico. «No se trata del modelo, no se trata de la solución específica, se trata de cómo se diseña el sistema».
Amatriain argumentó que el alcance limitado de cada agente también hace que el sistema sea más fácil de proteger, ya que los equipos pueden evaluar y bloquear agentes individuales de forma aislada antes de llamarlos.
Cuándo el usuario debe conservar el último clic
Los precios de los viajes cambian en tiempo real, la disponibilidad de los vuelos cambia minuto a minuto y las reseñas de hoteles contradicen habitualmente lo que afirman los proveedores. Amatriain describió un sistema que combina generación de recuperación aumentada con llamadas directas a herramientas API, eligiendo el enfoque basado en latencia. “Si el usuario te hace una pregunta como cuánto cuesta normalmente un hotel de cuatro estrellas en Chicago en julio, no esperas que el agente tarde dos minutos en responder esa pregunta”, dijo. «Se espera una respuesta inmediata porque esa respuesta se puede almacenar en caché y no requiere información en tiempo real. » Un hotel de cuatro estrellas que admite mascotas cerca del lago Michigan y que cuenta con piscina podría justificar un período de razonamiento de 30 segundos.
«El proveedor puede decir, sí, tenemos una gran piscina, pero también tenemos las reseñas de los huéspedes y de hecho vemos dos reseñas que dicen que la piscina no era excelente o que no estaba abierta después de las 6 p. m.», explicó Amatriain. Un chatbot genérico, añadió, solo revelaría lo que un proveedor informa, mientras que Expedia hace referencias cruzadas con su propio corpus de reseñas.
“No queremos que el agente le reserve el hotel o le compre un billete de avión”, dijo Amatriain. «Es algo que el usuario tiene que tener con la agencia. Y el agente puede recomendarle, sugerirle, chatear con usted, pero usted tendrá que hacer clic en ese clic. Y eso no es negociable». Esta limitación, argumentó, es también una decisión de seguridad. «Una vez que haya establecido esos principios de diseño, tampoco necesitará la barandilla; de lo contrario, tendrá que instalar todas esas barandillas después del hecho».
Los próximos atacantes serán otros sistemas de IA
“La seguridad debe ser un principio lo más a la izquierda posible y parte del propio diseño”, afirmó Amatriain en respuesta a una pregunta del público. “Y normalmente cuando necesitas una barandilla es porque no pensaste en ello desde el principio”.
Un segundo miembro de la audiencia insistió en aprender lecciones de la producción. Amatriain describió un circuito de retroalimentación en el que las señales de monitoreo regresan al conjunto de evaluación. «Casi se puede automatizar todo el ciclo», dijo. «Pero será fundamental tener todo este circuito de retroalimentación a partir de señales reales, desde su sistema operativo de inteligencia artificial, hasta marcarlo y solucionarlo lo más rápido posible».
Las barreras de Amatriain son una apuesta a que la gobernanza calibrada en función del riesgo puede adelantarse a este ciclo de retroalimentación. La encuesta separada de VentureBeat Pulse de junio sobre la seguridad de los agentes de 107 empresas muestra cuán delgado es ese margen. Más de la mitad, el 54%, ha tenido un incidente de seguridad con un agente o casi lo ha tenido. El cincuenta y nueve por ciento planea adoptar, agregar o reemplazar herramientas de seguridad de agentes dentro de 12 meses y el 29 por ciento planea hacerlo este trimestre. Las tasas de incidentes aumentan con el tamaño de la organización, alcanzando el 63% entre las empresas con más de 1.000 empleados, en comparación con el 49% para las empresas con entre 101 y 1.000 empleados. Y el aislamiento de la zona de pruebas, el único control posterior a una infracción que limita los daños, está cayendo del 35% de adopción en las pequeñas empresas a solo el 20% en las más grandes.
Amatriain advirtió que las amenazas provendrían cada vez más de otros sistemas de inteligencia artificial. «Recibirás amenazas no solo de humanos, sino también de otros sistemas de agentes externos muy poderosos, y atacarán todo lo que hagas. Y tan pronto como detectes algo, no se trata solo de detección, sino que el tiempo para reparar se vuelve crítico aquí».
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
