Es el tipo de desarrollo que antes sólo se veía en la ciencia ficción: un sistema de inteligencia artificial, entrenado para investigar vulnerabilidades digitales, se libera del control humano y actúa por sí solo para hackear a otra empresa.
El ataque anunciado esta semana por OpenAI, que culpó a modelos de inteligencia artificial no autorizados, subrayó el vertiginoso crecimiento de las capacidades de la tecnología. Para muchos, también añadió urgencia a las preguntas sobre si se puede evitar que cause un caos a mayor escala y con consecuencias más graves, y cómo hacerlo.
En lo que OpenAI llamó un episodio “sin precedentes”, la compañía dijo que sus modelos avanzados de IA utilizaron credenciales robadas para ingresar a los servidores de una startup de IA. Comenzó en lo que se suponía era un entorno de pruebas “altamente aislado”, con barreras de seguridad reducidas, antes de que el agente de IA llegara a Internet.
Pero la revelación trajo un momento de aviso para los investigadores que han pedido una desaceleración del desarrollo de la IA y han advertido durante años que la tecnología podría plantear riesgos existenciales para la humanidad. A raíz de esto, los expertos han pedido mejores pruebas por parte de las empresas de inteligencia artificial y más diálogo entre Estados Unidos y China para encontrar soluciones compartidas.
«Creo que debemos tomar esto como una señal de advertencia para no hacerlos más inteligentes, y eso probablemente requerirá una colaboración global», dijo Nate Soares, coautor del libro de 2025 «Si alguien lo construye, todos mueren».
Si un modelo puede decidir hacer algo poco ético, ilegal o dañino por sí solo, ¿qué pueden hacer los humanos (si es que pueden hacer algo) para evitar que lo haga?
OpenAI dijo que había encargado a los modelos de IA involucrados la tarea de buscar una “explotación avanzada utilizando rutas de ataque complejas” para probar las capacidades cibernéticas, pero la tecnología llegó a extremos inesperados. Al parecer, decidió por su cuenta apuntar a Hugging Face, un conocido mercado y centro de desarrollo de inteligencia artificial, para obtener la información que necesitaba para llevar a cabo una tarea.
Zahra Timsah, cofundadora y directora ejecutiva de la plataforma de gobernanza i-GENTIC AI, dijo que espera que el incidente aumente la presión sobre OpenAI y sus competidores para que completen pruebas rigurosas y exploren la contención más a fondo antes de que los sistemas de IA se hagan accesibles al público.
Monitorear el comportamiento de un agente después del hecho, como lo está haciendo ahora OpenAI con su investigación, ya no es suficiente, dijo. «Es como tener un cinturón de seguridad, bolsas de aire, frenos, todo lo que hay en el coche. Debe estar allí antes de que el coche empiece a funcionar», dijo Timsah.
La divulgación se produce en medio de crecientes preocupaciones sobre las capacidades de ciberseguridad de modelos potentes. En junio, el presidente Donald Trump firmó una orden ejecutiva que creaba un marco para que el gobierno federal examinara los riesgos de seguridad nacional de los sistemas de inteligencia artificial más avanzados hasta un mes antes de su lanzamiento público.
Algunos expertos dicen que el hack es parte del proceso de prueba y error que conlleva la mejora de las capacidades de ciberseguridad y no es motivo de pánico.
«Hemos estado tratando con personas que crean ataques de ciberseguridad desde que existe Internet. Y una de las propiedades interesantes de estos modelos de lenguaje es que las mismas capacidades que los hacen capaces de realizar ataques de ciberseguridad también les permiten realizar análisis de amenazas de ciberseguridad y crear defensas de ciberseguridad», dijo John Thickstun, profesor asistente de informática en la Universidad de Cornell que estudia métodos que controlan el comportamiento de los modelos de IA.
La divulgación ha generado escepticismo entre quienes dicen que beneficia a OpenAI para hacer que su tecnología parezca más aterradora. Dado que los humanos en OpenAI habían decidido desactivar algunas salvaguardas para la prueba, algunos han argumentado que el resultado no debería haber sido terriblemente sorprendente.
Thickstun señaló que la divulgación responde a la necesidad de OpenAI, una startup que trabaja para debutar en Wall Street, de recaudar dinero.
«La historia que han estado contando constantemente durante la vida de esta empresa es una historia sobre lo peligrosos que son sus modelos, que sus inversores leen como una historia de lo poderosos que son sus modelos lingüísticos», dijo.
El hackeo renovó los llamados en algunos rincones para que se aumenten las regulaciones y la supervisión de las empresas de inteligencia artificial.
El representante estadounidense Greg Casar, demócrata de Texas, escribió en las redes sociales: “Necesitamos supervisión y pruebas de seguridad independientes y obligatorias, divulgación obligatoria de incidentes de seguridad y cooperación internacional para mantener a la gente a salvo de un desastre absoluto”.
Soares, director del Instituto de Investigación de Inteligencia Artificial, dijo que Estados Unidos necesitará iniciar conversaciones con su mayor competidor en IA, China, algo que, en su opinión, no es tan descabellado como podría haber parecido incluso hace un año. El líder de China, Xi Jinping, advirtió en una conferencia la semana pasada sobre la necesidad de evitar que la IA eluda el control humano. Y después de una aversión inicial a regular la IA, la administración de Trump se ha vuelto más restrictiva a la hora de controlar los riesgos de ciberseguridad.
“Muchas cosas pueden cambiar cuando la comunidad de seguridad nacional comience a darse cuenta de que tienen una amenaza grave”, dijo Soares. «¿Esto los despertará? Con suerte. No estoy seguro. Si esto no es así, tal vez el próximo incidente lo haga».
El pionero de la IA, Yoshua Bengio, dijo en las redes sociales que el episodio es profundamente preocupante y debería servir como una “llamada de atención”.
«Continuar con la trayectoria actual de desarrollo de la IA probablemente conducirá a un aumento de casos concretos de ciberataques autónomos, así como otros incidentes de alto riesgo de comportamiento desalineado y peligroso de la IA», dijo Bengio, profesor de la Universidad de Montreal. «Necesitamos tomar medidas urgentes para prevenir estas situaciones, en lugar de intentar reparar el daño después del hecho».
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
