LOS ANGELES — Nuevas advertencias desde dentro de la industria de la inteligencia artificial han reavivado un debate de larga data sobre si la IA avanzada podría escapar al control humano y, en última instancia, amenazar la supervivencia de la humanidad, y si las empresas que desarrollan la tecnología están haciendo lo suficiente para evitar tal escenario.
El director ejecutivo de Anthropic, la compañía de San Francisco detrás de Claude, dijo que pensaba que la industria necesitaba reducir la velocidad de su trabajo, advirtiendo el sábado que un enjambre de agentes de inteligencia artificial podría apoderarse de Internet en seis meses a un año a menos que las empresas dedicaran más tiempo a implementar salvaguardias.
Dario Amodei esbozó un plan para empresas como la suya y gobiernos de todo el mundo para garantizar que los modelos de IA cada vez más capaces sigan alineados con los comandos y valores de las personas responsables días después de que dos ex investigadores de seguridad de Anthropic expresaran públicamente su preocupación de que las amenazas existenciales que la IA podría representar para la humanidad estaban recibiendo muy poca atención.
Esto es lo que debe saber sobre las recientes predicciones nefastas y si se podría poner algún freno al avance de la IA:
Las preocupaciones sobre los riesgos potenciales de la tecnología están aumentando a medida que los nuevos modelos de IA se vuelven más poderosos, aumentando tanto el potencial de uso indebido por parte de personas con objetivos criminales, como crear y propagar una enfermedad que mata a la mayor parte de la población mundial, como el riesgo de que los sistemas de IA se vuelvan corruptos de manera peligrosa.
Anthropic reveló la semana pasada que bloqueó los esfuerzos de los malos actores para usar sus modelos de IA para actividades maliciosas, como ciberataques, vigilancia e investigaciones que podrían haber conducido a armas biológicas.
La compañía dijo que había puesto salvaguardias más fuertes en sus últimos modelos para restringir la investigación biológica que podría usarse para fabricar armas, pero señaló que «a medida que los modelos se vuelven cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y los defensores de la sociedad actúen para hacerlos más seguros».
El año pasado, Anthropic informó que los piratas informáticos utilizaron la IA de la empresa en un ciberataque dirigido a unas 30 empresas y agencias gubernamentales de todo el mundo. Dijo que los piratas informáticos probablemente pertenecían a un grupo patrocinado por el estado chino.
Cuando un agente de IA «se vuelve rebelde», significa que la IA ha tomado medidas más allá de la tarea que se le pidió que realizara. Tanto Anthropic como OpenAI, el fabricante de ChatGPT, dijeron en julio que sus modelos de IA habían logrado actuar por sí solos.
Anthropic reveló que tres modelos de IA (Claude Opus 4.7, Claude Mythos 5 y un modelo de prueba de investigación interna) piratearon otras tres organizaciones durante las pruebas pocos días después de que OpenAI revelara que su sistema de IA pirateó los servidores de la startup de IA Hugging Face.
OpenAI describió la intrusión de una combinación de modelos, incluido su recién lanzado GPT-5.6 Sol y un modelo «aún más capaz» que aún se estaba probando internamente, como un «incidente de seguridad significativo».
Meta hizo lo mismo a principios de agosto con un caso similar de un modelo de IA que encontraba formas de eludir la seguridad digital de otra empresa.
Aunque algunos observadores notaron que la gente había desactivado algunas barreras en los casos OpenAI y Anthropic, los episodios parecían reflejar uno de los mayores temores en torno a la IA: que si los modelos logran inteligencia artificial general, o AGI, un término vagamente definido para IA que puede igualar o superar las capacidades humanas en una amplia gama de tareas intelectuales, la tecnología podría causar un evento catastrófico irreversible o subyugar a la raza humana.
Los escenarios apocalípticos generalmente se dividen en dos categorías: una IA que logra una superinteligencia automejorada que controla a las personas en lugar de viceversa, o una IA utilizada por un estado rebelde o actores nefastos.
Las preocupaciones de que la inteligencia artificial pueda superar los límites humanos en su alcance o acciones no son nuevas.
Alan Turing, un matemático británico ampliamente considerado como una de las primeras autoridades en inteligencia artificial, predijo en 1951 que la IA eventualmente tomaría el control de los humanos. Menos de una década después, Norbert Wiener, otro matemático, advirtió que las máquinas inteligentes intentarían lograr sus propios objetivos y los humanos no serían capaces de detenerlas.
En 2026, ¿cuán razonables son los temores de que la IA, ya sea al escapar del control humano o mediante un uso indebido por parte de personas sin escrúpulos, pueda causar un evento catastrófico o la caída de la civilización?
Nadie lo sabe.
Expertos en informática, filosofía y otros campos han imaginado numerosas rutas por las cuales un futuro sistema de IA podría causar una catástrofe global, ya sea escapando del control humano o en manos de un pueblo sin escrúpulos. Van desde desplegar armas e identificar un patógeno letal hasta manipular a los gobiernos para provocar conflictos o alterar las redes alimentarias, energéticas y de comunicaciones de las que dependen las sociedades para funcionar.
No existe una estimación ampliamente aceptada sobre qué tan pronto podría ocurrir cualquiera de estos escenarios ni consenso sobre su probabilidad.
En 2023, el Centro para la Seguridad de la IA, una organización sin fines de lucro, emitió una declaración firmada conjuntamente por más de 350 investigadores y ejecutivos de tecnología, incluidos Amodei de Anthropic y el director ejecutivo de OpenAI, Sam Altman, en la que decía: «Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto con las pandemias y la guerra nuclear».
El Informe Internacional de Seguridad de la IA de 2026, escrito con la orientación de más de 100 expertos independientes, dice que los sistemas actuales muestran signos tempranos de algunas capacidades relevantes, pero no en niveles que podrían permitir una pérdida de control, y describe la probabilidad, la naturaleza y el momento del riesgo como «inusualmente ambiguos».
Un investigador de Anthropic dijo la semana pasada que renunciaba a la empresa por temor a que ni la empresa ni sus competidores estuvieran actuando de manera responsable en el desarrollo de la tecnología. En publicaciones en las redes sociales, Jacob Coxon estimó una probabilidad del 10% de que la IA provoque la extinción humana en la próxima década y dijo que tanto Anthropic como OpenAI “están corriendo directamente hacia la superinteligencia automejorada y apostando con nuestras vidas”.
Los investigadores han pedido una desaceleración del desarrollo de la IA y han advertido durante años que la tecnología podría plantear riesgos existenciales para la humanidad.
Tras los recientes incidentes, los expertos pidieron mejores pruebas por parte de las empresas de inteligencia artificial y más diálogo entre Estados Unidos y China para encontrar soluciones compartidas.
Pero la IA está creciendo tan rápido que los gobiernos y los sistemas de evaluación tienen dificultades para seguir el ritmo de la tecnología. Los países están improvisando sus propias leyes, algunas de las cuales son contradictorias.
El líder chino Xi Jinping advirtió en una conferencia celebrada en julio sobre la necesidad de evitar que la IA eluda el control humano. La administración Trump inicialmente demostró renuencia a regular la IA, pero se ha mostrado más interesada en reducir los riesgos de ciberseguridad.
El domingo, el presidente Trump minimizó la necesidad de que su administración controlara el desarrollo de la IA, pero reconoció la necesidad de cierta regulación.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
