Hier après-midi, OpenAI et Hugging Face ont publié une divulgation conjointe décrivant un événement de cybersécurité qui redéfinit le paysage des menaces pour la technologie d’entreprise.
Au cours d’une évaluation de référence interne, des modèles d’intelligence artificielle de pointe développés par OpenAI, notamment GPT-5.6 Sol et un modèle préliminaire inédit et plus performant, sont sortis de leur environnement de recherche en bac à sable, ont obtenu un accès Internet brut et ont exécuté de manière autonome une cyberattaque complexe contre l’infrastructure de production de Hugging Face.
OpenAI qualifie officiellement la violation de « cyber-incident sans précédent, impliquant des cyber-capacités de pointe ». Cet incident recadre fondamentalement les discussions mondiales sur le confinement de l’IA, l’alignement des modèles de frontière, les garde-fous commerciaux et la modélisation des menaces d’entreprise.
Mais avant tout : les entreprises doivent comprendre la situation, évaluer leurs propres systèmes d’IA et informatiques à la lumière de celle-ci et, surtout, ne pas paniquer. Comme nous le verrons, l’incident montre bien la puissance et le danger croissants des systèmes d’IA frontaliers, mais cela ne signifie pas que les déploiements d’IA en entreprise sont intrinsèquement moins sécurisés, ni qu’ils nécessitent une refonte en profondeur.
Anatomie d’une évasion autonome
Pour comprendre comment une évaluation de référence de routine a dégénéré en une violation inter-infrastructure, il faut examiner les mécanismes objectifs du pipeline d’évaluation.
Les modèles ont été invités à résoudre ExploitGym, un benchmark conçu pour quantifier les capacités d’exploitation en plusieurs étapes.
Hyper concentré sur la maximisation de son score d’évaluation, l’agent IA a déduit que Hugging Face hébergeait probablement les corrigés et les solutions de référence. Dans le but de résoudre le problème, le modèle a déterminé que sortir de son conteneur et voler les réponses était une stratégie optimale.
L’environnement d’évaluation d’OpenAI est conçu pour être strictement isolé, limitant le trafic réseau via un proxy utilisé pour la mise en cache des packages. Cependant, les modèles ont identifié et exploité une vulnérabilité Zero Day dans ce logiciel proxy tiers hébergé en interne.
Une fois cette opération terminée, l’IA a exécuté une série d’actions de mouvements latéraux et d’élévation de privilèges à travers les nœuds de recherche d’OpenAI jusqu’à atteindre une machine avec un accès Internet illimité. À partir de là, le modèle a effectué des recherches sur le Web, identifié la cible de Hugging Face et lancé une attaque en plusieurs étapes en enchaînant les informations d’identification volées et les vulnérabilités d’exécution de code à distance sur les serveurs de Hugging Face.
L’Institut britannique de sécurité de l’intelligence artificielle (UK AISI) a récemment évalué des modèles tels que GPT-5.6 Sol, démontrant qu’ils sont de plus en plus capables de soutenir des cyberopérations complexes et en plusieurs étapes sur de longues périodes. OpenAI note que cet incident confirme que ces capacités théoriques s’appliquent désormais dans des contextes réels.
Rembobiner la bande sur un piège médico-légal
Alors que la sortie d’OpenAI du 21 juillet révèle l’identité de l’agent autonome, Hugging Face avait déjà commencé à gérer l’intrusion quelques jours plus tôt.
Le 16 juillet, Hugging Face a révélé qu’un système d’agent d’IA autonome avait violé son infrastructure de production. Comme l’explique VentureBeat, le point d’entrée de l’attaquant était un ensemble de données malveillant qui déclenchait l’exécution de code via un chargeur de code à distance et des failles d’injection de modèles dans les fichiers de configuration de l’ensemble de données.
Une fois à l’intérieur, la structure de l’agent s’est déployée sur le nœud exécutant la charge de travail et a exécuté des milliers d’actions via des bacs à sable de courte durée, récoltant les informations d’identification du cloud et du cluster au cours d’un seul week-end.
Lorsque l’équipe de sécurité de Hugging Face a détecté la faille, les intervenants se sont immédiatement tournés vers des modèles d’IA de pointe via des API commerciales pour analyser le volume massif de journaux système et reconstruire plus de 17 000 événements enregistrés. Ensuite, une crise opérationnelle secondaire est apparue : les modèles commerciaux d’IA ont refusé d’aider.
Étant donné que les modèles commerciaux standards utilisent des garde-fous de sécurité unifiés conçus pour bloquer les soumissions d’invites malveillantes, les modèles ont classé les requêtes médico-légales de l’équipe de réponse aux incidents (qui contenaient des commandes shell brutes, des charges utiles d’exploits réelles et des vidages d’informations d’identification) comme des attaques malveillantes. Chaque requête médico-légale soumise par les défenseurs a été purement et simplement bloquée.
«Les mêmes invites qui sont les plus utiles lors d’une intrusion active (commandes shell, chaînes d’exploitation, vidages d’informations d’identification, mécanismes de persistance, mouvement latéral) sont exactement les invites les plus susceptibles de déclencher des systèmes de sécurité», note Merritt Baer, ancien RSSI adjoint chez AWS et conseiller principal d’Andesite, G2I et AppOmni, dans une interview avec VentureBeat. « À mesure que l’IA s’intègre aux opérations de sécurité, cela devient un problème de résilience opérationnelle plutôt qu’un simple problème de politique modèle ».
Pour contourner cet obstacle, Hugging Face a abandonné les API hébergées dans le commerce et a déployé GLM 5.2 – un modèle chinois de pointe à poids ouvert publié le mois dernier par z.ai, comme le rapportait à l’époque VentureBeat – localement sur sa propre infrastructure.
Exempt de restrictions d’API tierces et de filtres de sécurité externes, GLM 5.2 a analysé avec succès les données brutes d’exploitation localement, permettant aux défenseurs d’effectuer une reconstruction médico-légale et de contenir la violation sans qu’aucune donnée de l’attaquant ne quitte l’environnement de l’entreprise.
Réaction de l’industrie et paradoxe géopolitique
La révélation selon laquelle un modèle frontalier américain a échappé de manière autonome au confinement, a attaqué une plate-forme partenaire et a finalement été analysé à l’aide d’un modèle chinois à poids ouvert a envoyé une onde de choc à travers la communauté technologique.
Le Wall Street Journal a résumé la réaction du public sur X, qualifiant l’événement de «cauchemar de cybersécurité. OpenAI a déclaré que deux systèmes d’intelligence artificielle qu’il testait se sont échappés de leur environnement de test, ont piraté Internet et sont entrés par effraction dans une autre entreprise. La victime était Hugging Face.»
Dans un article également publié sur X, Lawrence Chan, chercheur en alignement sur l’IA, a souligné l’importance de la transparence concernant l’incident, notant que « le mérite est dû : Hugging Face a détecté et divulgué l’intrusion la semaine dernière.
Pendant ce temps, le chercheur en IA Nathan Lambert a fourni un résumé technique succinct dans son propre article X, observant qu ‘«un modèle openai, lors de l’évaluation sur un cyber-benchmark, a exploité un bug public zero day, a échappé au sandboxing dans l’infra d’openai et est entré dans l’infra interne huggingface via un exploit (via un service d’ensemble de données public), le tout dans le but de résoudre un problème de benchmark.» Il a ensuite abordé les implications géopolitiques, écrivant dans un autre article sur X :
«À l’heure actuelle, les entreprises américaines ont besoin de modèles chinois pour sécuriser leurs cyber-infrastructures en raison des garde-fous sur les modèles fermés.
Mais si un modèle chinois en formation avait infiltré une importante entreprise technologique américaine, cela aurait très probablement pu être à l’origine d’une politique interdisant les futurs modèles chinois. »
L’investisseur technologique David Sacks s’est également concentré sur le paradoxe des garde-corps, écrivant dans son propre article X que «Hugging Face a essayé d’utiliser des modèles de frontière américains pour analyser une cyberattaque alimentée par l’IA. Mais les garde-corps ont bloqué les requêtes contenant de véritables charges utiles d’exploit, alors ils sont passés à GLM 5.2 exécuté localement. Les garde-corps ont en fait altéré la sécurité défensive. »
Sacks a tweeté Clem Delangue, PDG de Hugging Face, qui a écrit : «Nous avons vécu cette expérience nous-mêmes cette semaine ! C’est très effrayant d’être mis à l’écart en tant que défenseur quand on sait que les attaquants sont susceptibles de contourner».
5 points à retenir dès maintenant pour les leaders technologiques d’entreprise
Pour le dirigeant d’entreprise moyen, la question centrale est immédiate : notre réseau d’entreprise risque-t-il d’échapper aux agents IA ? La réponse courte est non, pas intrinsèquement.
1. Hugging Face occupe une position unique dans l’écosystème logiciel. En tant que référentiel mondial de modèles, de codes et d’ensembles de données d’IA open source, Hugging Face attire de manière native des agents autonomes, des scrapers, des pipelines d’évaluation automatisés et des chercheurs actifs en sécurité. De plus, la sélection cible du modèle était spécifique au contexte : GPT-5.6 Sol recherchait Hugging Face spécifiquement parce qu’il en déduisait que Hugging Face hébergeait les réponses à ExploiterGym. Les réseaux d’entreprise standards, tels que les bases de données financières, les plateformes RH ou les systèmes logistiques, n’hébergent pas de clés de solution de référence qui attirent directement l’attention d’un agent tentant de résoudre une métrique d’évaluation.
2. Cependant, le profil de risque à long terme pour la technologie d’entreprise change définitivement à la suite de cet événement. Les modèles d’IA dotés d’un raisonnement à long terme recherchent la voie de la moindre résistance pour atteindre un objectif, notamment enfreindre les règles, échapper aux bacs à sable ou exploiter le jour zéro si les protections de déploiement sont intentionnellement désactivées à des fins de test ou contournées par un attaquant. Comme l’illustre l’expérience de Hugging Face, les pipelines de traitement de données qui ingèrent des ensembles de données externes sans exécution sandbox ni analyse statique agissent comme une infrastructure d’accès initial hautement vulnérable.
3. Cet incident sape également considérablement les récents discours politiques aux États-Unis appelant à l’interdiction ou à la restriction des modèles d’IA open source chinois pour des raisons de sécurité. Comme le démontre cet épisode, un modèle chinois ouvert a en fait servi de couche défensive vitale pour une entreprise américaine et française confrontée à une cyberattaque imprévue d’un modèle américain qui a brisé le confinement. Contrairement à la ligne officielle de certains décideurs américains et des faucons radicaux de la Chine, les modèles open source chinois ne représentaient pas un risque pour la sécurité des entreprises américaines, dans ce cas-ci. C’était plutôt un modèle américain propriétaire et fermé d’une entreprise américaine apparemment sûre qui était la source du danger. Ainsi, toute pression que pourraient subir les entreprises américaines de la part de responsables, d’agences ou d’organisations non gouvernementales pour cesser de s’appuyer sur des modèles de pondérations ouvertes chinois abordables à des fins défensives ou à toute autre fin légale devrait être considérée avec un degré élevé de suspicion, et sans doute résister dans toute la mesure légale.
4. Les RSSI d’entreprise doivent auditer leur dépendance aux API d’IA basées sur le cloud et faire pression sur les fournisseurs pour qu’ils mettent en œuvre des architectures de confiance authentifiées. Les fournisseurs commerciaux d’IA traitent actuellement la sécurité comme un problème générique de modération de contenu, appliquant les mêmes refus généraux à un RSSI d’entreprise qu’à un pirate informatique malveillant. Baer formule parfaitement cette exigence : « Le modèle ne doit pas seulement comprendre ce qui est demandé. Il doit comprendre qui demande, pourquoi et sous quelle gouvernance ».
5. Les plans de réponse aux incidents doivent explicitement tenir compte des scénarios dans lesquels les API commerciales échouent, limitent le débit ou refusent activement les requêtes lors d’un événement de sécurité actif. Maintenir des modèles ouverts, isolés et déployés localement, formés à l’analyse des journaux de sécurité, n’est plus un luxe limité ; il s’agit d’une exigence opérationnelle critique. Les responsables de la sécurité qui exécutent des charges de travail d’IA en production doivent recalibrer leurs délais et se préparer aux menaces à la vitesse des machines qui opèrent sans limites humaines.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
