El equipo de respuesta a incidentes de Hugging Face recurrió primero a modelos de inteligencia artificial de vanguardia para analizar una violación de la infraestructura de producción de la empresa, y los modelos se negaron a ayudar. Las barreras de seguridad comerciales construidas para detener a los atacantes bloquearon todas las consultas forenses porque trataron los datos reales de explotación del equipo de IR de la misma manera que tratarían un ataque real.
El atacante, un agente autónomo de IA que ejecuta la campaña de principio a fin, se movió lateralmente a través de la infraestructura de Hugging Face durante un fin de semana, sin ser detectado y sin detenerse.
Los líderes de seguridad reconocen rápidamente el patrón y diagnostican qué salió mal. «He visto versiones de esto durante ejercicios del equipo rojo y pruebas de seguridad interna, pero este es uno de los primeros ejemplos de alto perfil en el que afectó materialmente la respuesta a incidentes reales», dijo Merritt Baer, asesor principal de Andesite, G2I y AppOmni y ex CISO adjunto de AWS.
Nada de esto es exclusivo de Hugging Face, dijo Baer. «Los modelos de frontera comercial se optimizan para prevenir el uso indebido. Por lo general, no tienen una forma criptográfica u organizativa de determinar si la persona que pide ‘analizar este malware’ es quien responde al incidente o es el autor del malware».
Un conjunto de datos malicioso abrió dos rutas de ejecución de código
El 16 de julio, Abrazando la cara revelado que un sistema autónomo de agentes de IA había comprometido su infraestructura de producción, obteniendo acceso no autorizado a un conjunto limitado de conjuntos de datos internos y varias credenciales de servicio. La empresa verificó que su cadena de suministro de software estaba limpia y no encontró evidencia de manipulación de modelos, conjuntos de datos o espacios públicos.
Hugging Face todavía está evaluando si la intrusión afectó a los datos de algún socio o cliente y dice que se comunicará directamente con las partes afectadas según sea necesario. Pero pocos modelos de amenazas empresariales habían tenido en cuenta al atacante al que se enfrentó Hugging Face. Un agente autónomo dirigió toda la campaña desde el acceso inicial hasta la recolección de credenciales. Ningún humano lo guió.
El punto de entrada fue un conjunto de datos malicioso. Cuando el proceso de procesamiento de datos lo ingirió, el conjunto de datos desencadenó la ejecución de código de dos maneras: a través de un cargador de código remoto y a través de una falla de inyección de plantilla en los archivos de configuración del conjunto de datos. Ninguna puerta de admisión examinó el archivo antes de que llegara a un trabajador de procesamiento, el trabajo de cómputo asignado a cada conjunto de datos. El acceso inicial se produjo a través del propio canal de datos, una ruta que funcionó porque la mayoría de los equipos de seguridad empresariales tratan los datos que alimentan sus canales como entradas confiables en lugar de una superficie de ataque.
El aislamiento de los trabajadores no se mantuvo. Desde ese primer punto de apoyo, el agente irrumpió en el nodo que ejecuta la carga de trabajo, luego recopiló credenciales de nube y de clúster con un alcance lo suficientemente amplio como para llegar a múltiples clústeres internos, todo ello en un solo fin de semana. Hugging Face describió el marco del agente como la ejecución de miles de acciones individuales a través de un enjambre de entornos limitados de prueba de corta duración, con comando y control automigratorio escenificado en servicios públicos. La divulgación agrega que el marco parecía estar construido sobre un arnés de investigación de seguridad agente, que pondría herramientas diseñadas para el trabajo del equipo rojo detrás de una intrusión en vivo.
Por qué las consultas de los defensores parecían ataques
Los investigadores reconstruyeron más de 17.000 eventos registrados utilizando sus propios agentes de análisis impulsados por IA.
Los primeros intentos de análisis de registros se realizaron en modelos de frontera detrás de API comerciales. Las medidas de los defensores incluyeron enviar comandos de ataque reales, cargas útiles de explotación y artefactos de comando y control para su clasificación, pero las barreras de seguridad bloquearon las solicitudes por completo.
Baer rastreó el bloqueo hasta las propias indicaciones. «Las mismas indicaciones que son más valiosas durante una intrusión activa, comandos de shell, cadenas de exploits, volcados de credenciales, mecanismos de persistencia, movimiento lateral, son exactamente las indicaciones que con mayor probabilidad activan los sistemas de seguridad», dijo a VentureBeat. «A medida que la IA se integra en las operaciones de seguridad, esto se convierte en una cuestión de resiliencia operativa en lugar de simplemente una cuestión de política modelo».
El análisis forense finalizó en GLM 5.2
GLM 5.2, un modelo de peso abierto implementado en la propia infraestructura de Hugging Face, aceptó el trabajo que las API comerciales rechazaron. Ningún dato del atacante salió del entorno de la empresa. «Esta experiencia apunta a una brecha que vale la pena planificar», escribió la compañía en su divulgación. Hugging Face no sabe qué modelo impulsó a los agentes. Podría haber sido un modelo alojado con jailbreak o un modelo abierto que se ejecuta sin restricciones. De cualquier manera, continuó la divulgación, «el atacante estaba sujeto a una política de no uso, mientras que nuestro propio trabajo forense fue bloqueado por las barreras de seguridad de los modelos alojados que probamos por primera vez». Hugging Face trazó esa línea y escribió que la experiencia no es un argumento en contra de las medidas de seguridad en los modelos alojados y que está compartiendo los comentarios con los proveedores interesados.
Qué cambia la confianza autenticada
Baer argumentó que la industria debe dejar de tratar la seguridad de la IA como un problema de moderación de contenido. «Las operaciones de seguridad requieren algo diferente. Confianza autenticada». En lugar de preguntar si alguien debería recibir una respuesta, la pregunta es si un equipo de seguridad autenticado, que opera bajo controles empresariales, debería recibirla. «El modelo no sólo debe comprender lo que se pide. Debe comprender quién pregunta, por qué y bajo qué gobernanza».
«Las organizaciones ya elaboran planes de contingencia para interrupciones en la nube, fallas en los proveedores de identidad o fallas en EDR», escribió Baer. «Los asistentes de IA se están convirtiendo en otra dependencia».
Su consejo sobre los manuales de estrategia de IR fue contundente. «Un plan maduro de respuesta a incidentes debe asumir que durante un incidente grave, las API comerciales de IA pueden rechazar solicitudes, los límites de velocidad de API pueden dejar de estar disponibles, la conectividad a Internet puede verse afectada y las reglas de gobernanza de datos pueden prohibir la carga de evidencia forense externamente». La lección, escribió en sus respuestas enviadas por correo electrónico, “no es ‘no usar modelos comerciales’. Es ‘no los conviertas en un único punto de fracaso’”.
Los ataques basados en IA aumentaron un 89% año tras año
Los ataques autónomos impulsados por IA no se limitan a las plataformas de IA. Informe de amenazas globales 2026 de CrowdStrike documentó que las operaciones de adversarios habilitadas por IA aumentaron un 89% año tras año, con tiempos promedio de ruptura que cayeron a 29 minutos. Las empresas que ejecutan cargas de trabajo de IA en producción con acceso agente a sus canales enfrentan una exposición similar.
Seis dominios de control determinaron el radio de explosión y la velocidad de recuperación en Hugging Face. Cada uno de ellos se relaciona con una acción concreta que los líderes de seguridad pueden tomar antes de que llegue la próxima infracción de un agente autónomo.
Guía de respuesta a infracciones de canalización de IA
|
Dominio de control |
lo que se rompió |
Acción del lunes |
|
Controles de admisión de conjuntos de datos |
Se explotaron dos rutas de ejecución de código. Ninguna puerta de admisión validó el conjunto de datos antes de que llegara a un trabajador de procesamiento. El canal de datos se convirtió en la infraestructura de acceso inicial. |
Exija la ejecución en zona de pruebas y el análisis estático de todos los conjuntos de datos antes de que lleguen a los trabajadores. Bloquea cargadores de código remoto y rutas de inyección de plantillas de forma predeterminada. Audite cualquier ruta que permita la ejecución de código a contenido que no sea de confianza. Informar a la junta como un riesgo de la cadena de suministro. |
|
Límites de privilegios de trabajador a nodo |
El aislamiento de los trabajadores no logró evitar la escalada al nodo. El agente obtuvo credenciales de clúster porque el límite entre carga de trabajo e infraestructura nunca se aplicó en el tiempo de ejecución del contenedor. |
Haga cumplir límites estrictos de privilegios entre trabajadores y nodos. Implemente seguridad en tiempo de ejecución del contenedor para evitar el escape de la carga de trabajo. Audite si los trabajadores pueden acceder a las API a nivel de nodo o a los almacenes de credenciales. Incluir en el próximo alcance de la prueba de penetración. |
|
Exposición de credenciales |
Credenciales de nube y clúster recopiladas después del acceso al nodo. El alcance era lo suficientemente amplio como para permitir el movimiento lateral a través de múltiples grupos durante un fin de semana. |
Rote las credenciales según una cadencia programada y después de cualquier alerta de anomalía. Alcance al clúster y servicio mínimos. Implemente un monitoreo que marque el acceso desde nodos inesperados a la velocidad de la máquina. Mapee el radio de explosión para informar a la junta directiva. |
|
Detección de velocidad de la máquina |
Miles de acciones a través de sandboxes de corta duración con C2 automigratorio. La detección de anomalías asistida por IA surgió en la campaña después de un fin de semana de movimiento lateral, según la divulgación. |
Calibre la detección de patrones de velocidad de la máquina. Asegúrese de que las alertas de alta gravedad avisen a los respondedores en minutos, independientemente del tiempo. Audite las reglas SIEM para detectar miles de ejecuciones de corta duración en una sola hora. |
|
Capacidad forense privada de IA |
Las API comerciales bloquearon el análisis forense. Guardrails filtra el contenido de la consulta, nunca la identidad del analista. La investigación se realizó en GLM 5.2 de forma privada. |
Implemente un modelo abierto capaz en infraestructura privada antes de un incidente. Pruebe con flujos de trabajo forenses reales. Asegúrese de que el manual de IR incluya opciones alternativas para cuando las API comerciales se nieguen. Brecha de documentos para el seguro cibernético. |
|
Modelado de amenazas de agentes autónomos |
La campaña coincidió con el escenario previsto de un atacante agente, pero ningún modelo de amenaza la había puesto en práctica. Aún se desconoce el LLM que impulsa al agente. |
Agregue agentes de IA autónomos como una clase de adversario distinta con ciclos de decisión a velocidad de máquina. Ejecute la mesa a la velocidad del agente. Presentar los resultados a la junta como evidencia de que los cronogramas necesitan recalibrarse. Incluir en la solicitud de ciberseguro. |
La cuestión de la junta directiva es la resiliencia operativa
«La pregunta para los directores es simple: ¿Qué sucede si una de nuestras herramientas de seguridad críticas deja de estar disponible en el momento exacto en que más la necesitamos?» Baer enmarcó eso como resiliencia operativa, no como política de IA.
Ella haría que las juntas directivas llevaran ese marco directamente a la gerencia y presionaran para obtener detalles. «¿Hemos realmente ejercido ese respaldo durante los ejercicios teóricos? ¿Con qué rapidez podemos cambiar durante un incidente?» Las adquisiciones deben cambiar junto con la gobernanza, empezando por las preguntas que hacen los compradores. Los equipos de seguridad que evalúan proveedores de IA deben preguntar sobre su proceso para los respondedores de incidentes autenticados, si los clientes empresariales reciben un manejo diferente durante los incidentes verificados y si los modelos se pueden implementar de forma privada. «Esas preguntas van acompañadas del tiempo de actividad, la privacidad y el cumplimiento», dijo Baer.
“La conclusión más importante no es que las barandillas de seguridad sean ‘malas’. Están haciendo aquello para lo que fueron diseñados”, argumentó.
Su punto más importante es que el modelo de amenaza en sí ha cambiado. «Durante décadas, los defensores tenían mejores herramientas que los atacantes porque operaban dentro de entornos empresariales confiables. Con los modelos básicos, ambas partes utilizan cada vez más las mismas capacidades, pero una parte está limitada por la gobernanza empresarial, las políticas, el cumplimiento y los controles de seguridad, mientras que el adversario simplemente descarga un modelo abierto sin censura y continúa adelante. Ese es un nuevo tipo de asimetría», añadió. «Las organizaciones que mejor lo manejan no serán necesariamente las que tengan la IA más potente. Serán las que diseñen la IA como una capacidad de seguridad resiliente en lugar de un único servicio en la nube».
Hugging Face contuvo la intrusión, reconstruyó los nodos comprometidos, rotó las credenciales y reportó el incidente a las autoridades. La compañía recomienda que todos los usuarios roten los tokens de acceso y revisen la actividad reciente de la cuenta. En medio del incidente, Hugging Face descubrió si sus propias herramientas de inteligencia artificial estarían disponibles y la primera respuesta fue no. Los líderes de seguridad que ejecutan IA en producción deberían averiguarlo en la planificación de respuesta a incidentes, antes de que un agente autónomo fuerce la prueba.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
