Lorsque Cisco a mené 6 986 attaques multitours contre 15 modèles phares, les attaquants qui se sont adaptés tout au long de la conversation ont réussi à réussir jusqu’à 88,3 % du temps. Amy Chang, responsable de la recherche sur les menaces et la sécurité de l’IA chez Cisco, a présenté cette découverte au panel de sécurité agent lors de VB Transform 2026 ; ce nombre devrait inquiéter quiconque exécute encore des programmes d’équipe rouge à un seul tour.
L’enquête Pulse de VentureBeat de juin 2026 auprès de 107 entreprises interrogées explique pourquoi la salle était pleine. Plus de la moitié, soit 54 %, ont déjà eu un incident de sécurité confirmé avec un agent (18 %) ou un quasi-accident détecté avant le préjudice (36 %). Seulement 32 % attribuent à chaque agent sa propre identité gérée et limitée, et encore moins, 30 %, isolent leurs agents les plus à risque dans des bacs à sable. Les contrôles natifs des fournisseurs et des hyperscalers restent la principale couche de sécurité des agents pour 82 % des entreprises interrogées. Les plus grands fournisseurs de sécurité au monde ont fait le même calcul.
Palo Alto Networks a finalisé son acquisition de CyberArk pour 25 milliards de dollars en février, CrowdStrike a accepté en janvier de payer 740 millions de dollars pour SGNL et Cisco a annoncé son intention d’acquérir Astrix Security pour un montant annoncé de 400 millions de dollars, le tout destiné à la couche d’identité et d’isolation que la plupart des entreprises n’ont pas fini de construire.
Chang est venu au panel avec près de deux décennies d’expérience dans les opérations de cybersécurité, le gouvernement et l’armée. Elle a dirigé les opérations mondiales de cybersécurité en tant que directrice exécutive chez JPMorgan Chase, où elle a dirigé les équipes de renseignement sur les cybermenaces de la banque, et a été cadre supérieur au sein de la commission des affaires étrangères de la Chambre des représentants et officier de réserve de la marine américaine. Elle enseigne également la cybersécurité et les menaces émergentes en tant que professeur adjoint au Middlebury Institute of International Studies.
Le chiffre de 88,3 % de Chang provient d’une étude qu’elle a co-écrite avec Nicholas Conley, basée sur 30 090 invites à un seul tour et 6 986 attaques à plusieurs tours contre ces 15 modèles phares fermés et propriétaires. Les taux de réussite multi-tours variaient entre 7,89 % et 88,3 %, chaque modèle testé présentait une exposition multi-tours non triviale, et les deux styles de test ne classaient même pas les modèles dans le même ordre. Cisco publie des signaux d’évaluation contradictoires pour ce qui représente désormais 105 modèles dans son classement de sécurité LLM, a-t-elle déclaré au public.
«Si vous ne comprenez pas comment les modèles sont sensibles à différents types d’attaques, vous ne pouvez pas expliquer comment le modèle qui alimente votre agent, qui alimente votre application, ni comprendre où se trouvent ces points de défaillance», a déclaré Chang. Les tests en un seul tour sont une invite malveillante ponctuelle, a-t-elle expliqué, tandis que l’extension d’une attaque dans une conversation plus longue «est plus réaliste quant à la manière dont nous interagissons réellement avec nos modèles, avec nos agents, avec nos applications». Cet arc plus long fait apparaître des sorties nuisibles et des comportements mal alignés qu’un instantané ne détecte jamais.
Cisco a poussé les tests lui-même en territoire agent. Chang a décrit un cadre dans lequel les agents évaluent un scénario de déploiement, développent des attaques pertinentes, jugent si elles valent la peine d’être poursuivies, les exécutent et évaluent leur propre succès. Ce qui l’a le plus surprise, après toute cette sophistication, c’est la simplicité de la réponse défensive. «La réponse est que c’est assez simple», a-t-elle déclaré. «Il n’est pas nécessaire d’être extrêmement créatif. Il vous suffit de réfléchir réellement aux principes fondamentaux et aux bases de ce que j’essaie de garantir dans mon organisation.»
Son point de départ pour les RSSI qui débutent les déploiements agents est le cadre intégré de sécurité et de sûreté de l’IA de Cisco, qui, selon elle, « stipule toutes les façons dont l’IA peut être compromise tout au long de son cycle de vie », depuis la modalité jusqu’à la chaîne d’approvisionnement. À partir de là, les équipes peuvent travailler à rebours à partir d’incidents réels, retracer comment chaque attaque a été réalisée et utiliser le cadre pour élaborer une stratégie avec la couverture et les mesures d’atténuation appropriées.
Heather Ceylan, la RSSI de Box, constate le même écart du côté du défenseur. «Une grande partie de ce que vous voyez avec l’équipe rouge des agents ne se déroule qu’à un seul tour, et ce n’est pas ainsi que les gens interagissent réellement avec l’IA au quotidien», a-t-elle déclaré au public. Box simule désormais des adversaires à plusieurs tours avec des agents qui pensent comme un attaquant et réitèrent tentative après tentative pour détourner la cible. «Vous devez mettre vos agents sous pression, car sinon vous ne savez pas si vos contrôles d’exécution fonctionnent réellement comme vous le souhaitiez.»
Box a déployé des agents dans son centre d’opérations de sécurité il y a environ un an, en commençant par l’approbation humaine requise pour chaque action, et la confiance s’est établie assez rapidement pour que les analystes soient passés en mode surveillance. Ensuite, l’agent a commis une erreur et toute la confiance accumulée a disparu. «Ils ont dû tout recommencer», a-t-elle déclaré. «Je pense donc que cet élément de surveillance est très important. Même si vous n’avez pas d’humain dans le circuit, les choses changent, les modèles changent, et nous ne pouvons pas contrôler la façon dont les modèles changent et interprètent les choses.»
Rajesh Parekh, vice-président de l’IA et du ML chez Intuit, a apporté le point de vue du constructeur. Parekh a dirigé des systèmes de vision par ordinateur et de ML à grande échelle alimentant les produits Maps et Geo de Google avant de rejoindre Intuit, et est titulaire d’un doctorat en informatique.
Trois couches contre un système d’exploitation
Ceylan a décrit l’approche de Box comme trois couches concentriques. L’autorisation vient en premier, de sorte que l’agent n’accède jamais à plus de contenu que l’humain qui l’a invoqué. Des environnements sandbox éphémères s’exécutent pour chaque tâche d’agent, contenant le rayon d’explosion si un agent est piraté, et le contrôle d’exécution à l’exécution restreint les appels d’outils de l’agent uniquement à ceux pertinents pour la tâche en cours. «Si vous souhaitez qu’un agent résume un document pour vous, si vous recevez une injection rapide indiquant de transmettre ceci à un attaquant malveillant sur domain.com, il ne peut pas le faire», a déclaré Ceylan. «Cette action dans cet appel d’outil ne fait même pas partie de son vocabulaire.»
Elle a classé les actions des agents en trois catégories de surveillance. Les actions qui ne sont pas sensibles, comme lire et résumer, ne nécessitent aucun humain dans la boucle. Les actions modérément sensibles ignorent l’approbation humaine mais sont enregistrées et surveillées, tandis que les actions destructrices telles que la suppression massive de fichiers nécessitent toujours une intervention humaine. «Les choses vont changer un peu entre ces trois catégories», a-t-elle reconnu, «mais définir ces types de catégories dès le départ vous permet d’avoir un cadre fondé sur des principes.»
Plutôt que de superposer les contrôles aux agents un par un, Intuit a construit une plate-forme centrale appelée GenOS, abréviation de système d’exploitation d’IA générative, qui résume la modélisation de la sécurité, des risques et de la fraude afin que les développeurs d’agents individuels ne réinventent jamais la protection. «L’autorisation ne consiste pas à donner accès à l’IA», a déclaré Parekh. «Au lieu de cela, il s’agit de définir une autorité très étroite et clairement vérifiable pour l’agent pour effectuer des tâches très spécifiques.» Intuit est passé d’agents héritant des autorisations utilisateur à chaque agent portant sa propre identité, et la société étudie actuellement les modifications d’autorisation en cours de session liées à la tâche spécifique en cours.
Parekh appelle le modèle plus large une plate-forme d’experts alimentée par l’IA, une plate-forme dans laquelle l’expert humain est intégré à l’architecture de confiance plutôt que verrouillé comme une porte. «Le paradigme que nous recherchons est celui où l’utilisateur, l’agent IA et l’expert humain collaborent pour résoudre le problème de l’utilisateur», a-t-il déclaré.
La fin de la révision du code humain
Ceylan a assumé la tension entre les tests de sécurité et la vitesse de développement sans se couvrir. «L’époque des révisions de codes sécurisés où un humain examinait le code et nous examinions l’architecture de sécurité, les documents de conception, tout cela est terminé», a-t-elle déclaré. «Si vous continuez à essayer d’assurer la sécurité de cette façon, vous allez être laissé pour compte.» Box s’oriente vers un cycle de vie de développement entièrement agent dans lequel les agents examinent les documents de conception, appliquent les exigences de sécurité et examinent le code pour détecter les vulnérabilités. «Je suis très optimiste quant au fait que nous parviendrons à un point où nous pourrons écrire du code sans vulnérabilités de sécurité, car les agents et les modèles vont devenir très doués pour écrire du code sans vulnérabilités», a-t-elle déclaré. «Nous en sommes encore loin.»
Ses conseils aux équipes de développement ignorent complètement les concepts avancés de l’IA et reviennent aux bases antérieures aux agents. «Cela se résume à un accès très basique au moindre privilège», a-t-elle déclaré. « Si vous commencez dès le début à accorder à vos agents des autorisations trop larges, il est très difficile de revenir en arrière et de créer une infrastructure qui autorise ces informations d’identification éphémères et uniquement ces tâches à portée étroite. »
Parekh a expliqué pourquoi la surface de l’équipe rouge s’est étendue si rapidement. «Ces agents ont des compétences, et ces compétences pourraient devenir des vulnérabilités», a-t-il déclaré. «Les agents ont accès à certaines données, ils ont accès à des outils, et des menaces peuvent également se cacher dans ces outils. Alors, tout d’un coup, le rayon d’action du code malveillant ou de son intention augmente considérablement.» Lorsque Intuit identifie des modèles de vulnérabilité courants à partir de ses exercices manuels d’équipe rouge, il automatise ces tests dans le harnais GenOS afin que les futurs agents héritent de la protection et que les équipes rouges restent concentrées sur les nouveaux vecteurs de menace. L’analyse à l’exécution des invites et des réponses ajoute une couche finale qui peut arrêter une réponse suspecte et la transmettre à un expert humain, a-t-il déclaré.
«Vous devez continuellement tester pour vous assurer que ceux-ci restent robustes aux protections que vous avez construites, ainsi que pour tenir compte de toute sorte de dérive ou de tout autre type de dépendances que vous introduisez dans votre scénario et qui peuvent créer de nouvelles vulnérabilités», a-t-elle déclaré.
Intention contre probabilité
Une question du public sur la détection d’intention a déclenché l’échange le plus vif de la session. Ceylan a noté que lorsque le propre agent de Box fonctionne, le système connaît toujours l’intention de l’utilisateur car il contrôle l’invite, ce qui signifie que des garde-fous et des restrictions d’appel d’outils peuvent être conçus autour de celle-ci. Le défi le plus difficile, que Box tente toujours de résoudre, a-t-elle admis, survient lorsque des agents externes se connectent et que le contexte derrière la demande est opaque.
Cet échange a révélé une scission qui traverse l’ensemble de l’industrie. Mastercard, lors de la discussion au coin du feu précédant immédiatement le panel, s’est prononcé en faveur de la quantification de l’intention, en créant un cadre open source pour le propager en tant que norme, car les achats B2B complexes ne peuvent pas fonctionner sans cette confiance. Lors de réunions d’information avec VentureBeat, les directeurs techniques de la sécurité des terminaux ont pris le chemin inverse, affirmant qu’ils parieraient sur la probabilité plutôt que sur l’inférence intentionnelle pour les charges de travail de production. Chang a expliqué pourquoi les modèles, tels qu’ils sont formés aujourd’hui, ne peuvent pas dériver de manière fiable une intention à partir d’une invite, raison pour laquelle des contrôles déterministes et des proxys comportementaux restent nécessaires. Ceylan convient que les deux sont nécessaires. «Si vous ne faites rien de déterministe, vous comptez vraiment beaucoup sur cette intention, et je n’ai pas encore vu de programmes existants», a-t-elle déclaré.
L’histoire de Ceylan sur l’effondrement de la confiance après une erreur d’un seul agent est devenue le moment le plus mémorable du panel, car la sécurité agent d’entreprise n’est pas un problème qui se résout et reste résolu. Les modèles changent, les autorisations dérivent et les adversaires s’adaptent au fil de conversations à plusieurs tours que les tests instantanés ne capturent jamais.
Pour les 82 % d’entreprises qui s’appuient sur des contrôles natifs du fournisseur comme couche de sécurité principale, et les 59 % qui achèteront des outils de sécurité pour agents au cours des 12 prochains mois, les conclusions du panel ont été brutales. Testez la manière dont les attaquants attaquent, au travers de conversations complètes et en continu, ou découvrez en production ce que votre équipe rouge en un seul tour a manqué.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
