El director de Anthropic, empresa líder en el campo de la inteligencia artificial, pidió frenar y seguir de cerca el ritmo de desarrollo de los modelos de inteligencia artificial.
En un ensayo publicado el sábado, Dario Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella eran «graves» y que se debería dar tiempo a las empresas y a los gobiernos para afrontarlos.
Propuso un plan de tres puntos que incluye una supervisión independiente de los modelos de IA a medida que se desarrollan, una regulación para toda la industria y una regulación global.
Ha habido una creciente preocupación sobre los riesgos potenciales de esta tecnología, y los más serios sugieren que hay más de un 10% de posibilidades de que “pueda matar a todos los humanos” en la próxima década.
Anthropic dijo anteriormente que había identificado y frustrado intentos de utilizar su modelo de inteligencia artificial para “actividades maliciosas” que podrían respaldar el desarrollo de armas biológicas.
Pero la advertencia más dura provino de dos empleados del equipo de seguridad de Anthropic que renunciaron en las últimas dos semanas, diciendo que la humanidad tal vez no sobreviva., externo la carrera entre las empresas de IA para desarrollar máquinas más inteligentes que los humanos.
Estas advertencias han provocado llamados a la acción, pero el presidente de Estados Unidos, Donald Trump, hasta ahora ha descartado estos temores y dijo el jueves que teme que «si no ganamos a la IA, nos encontraremos en una posición muy mala».
En su ensayo, titulado Debemos inspeccionar la frontera, Amodei destacó que la IA había avanzado «significativamente más rápido», incluida su «capacidad para construir la próxima generación de IA», y mencionó un incidente que involucró a su rival OpenAI que reveló que agentes habían llevado a cabo ataques de ciberseguridad., externo sobre objetivos a los que no se les pidió atacar en julio.
Los agentes de OpenAI «actuaron esencialmente como un colectivo fanáticamente dedicado», dijo Amodei.
Al comentar sobre el incidente, OpenAI dijo que «la importancia de la actividad de comunicación entre agentes no era evidente para los ejecutivos» antes de julio y que, como resultado, la compañía estaba desacelerando el entrenamiento de algunos modelos y herramientas avanzados de IA, señalando que ahora había un mayor riesgo de que las herramientas de IA se salieran de control.
En su ensayo, Amodei pide “desarrollar la IA a un ritmo equilibrado que apunte a garantizar su seguridad y al mismo tiempo disfrutar de sus beneficios”.
Esto no significaría “detener la capacitación de modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y respaldar sus modelos, y que evaluadores externos lo confirmen”.
Comprometió a Anthropic con este enfoque “unilateralmente” y pidió a los gobiernos “exigir que otras empresas fronterizas se alineen”.
En su blog, reconoció que es posible que la regulación no pueda seguir el ritmo de la IA y, por lo tanto, pidió a las empresas de IA que «trabajen juntas voluntariamente para establecer estándares» junto con la regulación.
Luego, el director ejecutivo de Anthropic analizó el impacto que tendría una desaceleración en la industria y la competencia con los principales desarrolladores de todo el mundo, particularmente China.
«Creo que si la desaceleración nos diera uno o dos años más antes de que los modelos alcanzaran niveles críticos de capacidades, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir significativamente el riesgo de que algo salga seriamente mal», dijo Amodei.
Esto debe hacerse de manera coordinada “sin sacrificar la ventaja comercial o el liderazgo de Estados Unidos en IA”. Cualquier desaceleración deberá ser limitada, añadió, para evitar que China se adelante.
Instó al gobierno de Estados Unidos a tomar medidas para que los chips de IA de empresas estadounidenses no puedan venderse a China, ni compartir la tecnología con países autoritarios.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
