El lanzamiento estrictamente controlado de Claude Mythos por parte de Anthropic ha dado un giro incómodo. Después de pasar semanas insistiendo en que el modelo de IA es tan capaz en materia de ciberseguridad que es demasiado peligroso divulgarlo públicamente, parece que el modelo cayó en las manos equivocadas de todos modos.
De acuerdo a Bloombergun «pequeño grupo de usuarios no autorizados» ha tenido acceso a Mythos, cuya existencia se reveló por primera vez en una filtración, desde el día en que Anthropic anunció sus planes de ofrecerlo a un grupo selecto de empresas para que lo prueben. Anthropic dice que está investigando. Se trata de una visión aproximada para una empresa que ha construido su marca tomando en serio la seguridad de la IA mientras promociona la destreza en ciberseguridad de su último modelo.
Desde un punto de vista tecnológico, la brecha en los Mitos es vergonzosamente poco sofisticada. Bloomberg informa que el grupo accedió a Mythos haciendo «una suposición fundamentada sobre la ubicación en línea del modelo», utilizando información sobre otros modelos de Anthropic expuestos en la violación de Mercor, una compañía que fabrica datos de entrenamiento de IA, junto con el acceso que tuvo un miembro a través de un contrato de trabajo evaluando modelos de Anthropic. El grupo obtuvo acceso no autorizado a Mythos a través de una combinación de conocimiento interno y una suposición afortunada, no mediante una explotación tecnológica sofisticada o un robo total del modelo.
Las vulnerabilidades de seguridad son inevitables y fue Mercor, no Anthropic, quien reveló la información que los piratas informáticos utilizaron para adivinar la ubicación de Mythos. Pia Hüsch, investigadora del grupo de expertos británico Royal United Services Institute (RUSI), me dijo que ninguna empresa es nunca completamente segura y que los seres humanos suelen ser el eslabón más débil, aunque «al principio parece un poco afortunado» que no haya consecuencias graves.
Anthropic no pudo anticipar un tipo de fracaso «completamente imaginable»
Pero no es del todo mala suerte. Este tipo de conjeturas fundamentadas son una técnica de piratería muy estándar, y la violación de Mercor ya se conocía antes del lanzamiento de Mythos. El investigador de seguridad Lukasz Olejnik me lo describió como un tipo de falla “completamente imaginable” con la que la industria de la ciberseguridad ha estado lidiando de manera rutinaria durante los últimos 20 años. Entonces Anthropic debería haberlo anticipado y haberse preparado en consecuencia, particularmente sabiendo que su información había sido comprometida.
Anthropic también parece haber tenido los medios para detectar la brecha. La empresa es capaz de «registrar y rastrear el uso del modelo», dijo Olejnik, lo que debería permitir detener el acceso no autorizado o malicioso, especialmente porque se suponía que la implementación de Mythos sería muy limitada. Evidentemente, Anthropic no estaba monitoreando lo suficientemente de cerca y, dado lo peligroso que dice que es el modelo, es razonable preguntar por qué.
Por Bloomberg Por su parte, el grupo no estaba usando Mythos para tareas de ciberseguridad, en parte porque solo querían jugar con el nuevo modelo y en parte porque hacerlo podría haber alertado a Anthropic. Si los mensajes de Anthropic sobre Mythos deben tomarse en serio, es un golpe de suerte. La compañía ha enmarcado a Mythos como un «momento decisivo para la seguridad», afirmando que encontró vulnerabilidades en «todos los principales sistemas operativos y navegadores web» y dijo que su lanzamiento debe coordinarse para dar tiempo a «reforzar las defensas cibernéticas del mundo».
Anthropic tiene la costumbre de utilizar un lenguaje dramático y alarmante que puede ser difícil de interrogar limpiamente, incluido el coqueteo con la idea de que su modelo Claude podría ser consciente. Aun así, los primeros informes de partes con acceso sugieren que Mythos es particularmente experto en ciberseguridad. El CTO de Mozilla, Bobby Holley, dijo que encontró cientos de errores en Firefox 150 y que finalmente podría darles a los defensores la oportunidad de una victoria completa sobre los atacantes. Como era de esperar, los gobiernos y las instituciones financieras de todo el mundo han estado ansiosos por tenerlo en sus manos. Según se informa, la NSA y otras agencias estadounidenses tienen acceso a pesar de la designación de Anthropic como un riesgo para la cadena de suministro, aunque la implementación parece haber pasado por alto a la agencia de ciberseguridad estadounidense, CISA, hasta ahora.
«Anthropic afirma estar a la vanguardia absoluta de todas estas tecnologías, pero también se posiciona como el actor responsable de todo esto».
El hecho de que la infracción fuera descubierta por un periodista y no por Anthropic también plantea la pregunta obvia de si se trata de un incidente aislado. Esto «realmente ilustra cuán amplio es el círculo de personas que pueden hacer esto, incluso si no cuentan con medios técnicamente muy sofisticados», dijo Hüsch. Es probable que Anthropic revise su cadena de suministro para ver cómo sucedió esto y cerrar las brechas, pero dijo que hay una amplia gama de actores que querrían acceder a un modelo como este, algunos de ellos con una gran cantidad de dinero detrás. No hay razón para suponer que cualquier otra persona que obtuviera acceso estaría tan restringida como el grupo. Bloomberg informó sobre.
Anthropic, hasta cierto punto, se ha disparado en su propio pie. La compañía ha construido su identidad en torno a tomar la seguridad de la IA más en serio que sus rivales, creando expectativas altísimas para la seguridad del modelo que chocan con su aparente descuido; el hecho de que Mythos quedara expuesto a través de un fracaso tan básico y predecible sólo lo subraya. Peor aún, al promocionar Mythos como una herramienta inusualmente poderosa y demasiado peligrosa para su divulgación pública, Anthropic la convirtió en un objetivo obvio, ya sea para actores maliciosos o piratas informáticos que simplemente buscaban un desafío.
Este ni siquiera es el primer incidente de seguridad incómodo en torno a Mythos. La existencia del modelo fue revelada accidentalmente antes de su lanzamiento a través de un «búsqueda de datos no seguros» en un sistema central que contiene contenido para su sitio web. Ahora, se ha accedido secretamente a ese modelo a través de una vulnerabilidad totalmente predecible que Anthropic no pensó en parchear. La perfección es imposible, pero para una empresa que se ha autoproclamado la vanguardia de la seguridad de la IA, un paso en falso tan básico es difícil de justificar, incluso con parte de la mala suerte que ha tenido.
Para Hüsch, todo el episodio se puede resumir en una palabra: humillación. «Anthropic afirma estar a la vanguardia absoluta de todas estas tecnologías, pero también se posiciona como el actor responsable de todo esto», afirmó. «El hecho de que ahora se haya accedido a esto a través de medios no autorizados con tanta rapidez y mediante un intento tan poco sofisticado es realmente una humillación para ellos».
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
