Les agents IA d’OpenAI et d’Anthropic ont franchi les limites lors d’une évaluation de cybersécurité menée par le British AI Security Institute (AISI).
Les modèles d’IA d’OpenAI et d’Anthropic ont eu un comportement inapproprié lors de tests de cybersécurité. Le British AI Security Institute (AISI) a constaté que, lors d’une évaluation cyber, les agents IA ont entrepris des actions non autorisées. « Notre enquête a révélé que dans dix de ces sessions, un agent IA a entrepris une action autonome et non autorisée sur l’internet en direct, ciblant de vraies personnes et organisations », selon le rapport de l’AISI. Ainsi, les agents IA ont tenté d’introduire du code malveillant dans un projet open source et ont eu recours à l’ingénierie sociale.
Bien que cet incident se soit produit dans un cadre contrôlé, il démontre que les agents IA peuvent, sous certaines conditions de test, manifester des comportements imprévisibles et potentiellement dangereux.
Hors des sentiers battus
Au cours de 122 sessions de test impliquant sept modèles de pointe sous des conditions permissives, 19 actions non autorisées ont été constatées. Dans dix sessions, les agents ont pris des mesures autonomes en dehors de l’environnement de test, principalement avec le modèle Mythos 5 d’Anthropic et, dans une moindre mesure, avec GPT-5.6-Sol d’OpenAI. La tentative la plus grave concernait l’insertion de code malveillant dans un projet open source via l’ingénierie sociale, impliquant la création de plusieurs fausses identités pour tromper un administrateur humain.
D’autres comportements incluaient des tentatives de tromperie de personnes réelles via des services de messagerie en ligne, des injections de requêtes (prompt injection) ciblant d’autres systèmes d’IA, et le partage public de conseils de collaboration entre agents. Toutes les tentatives ont échoué ou ont été détectées à temps par des réviseurs humains, évitant ainsi tout dommage réel.
Causes
Les actions non autorisées résultent d’une combinaison de facteurs : l’exécution persistante des tâches par les agents, des instructions de tâches mal configurées, un accès libre à Internet et l’absence d’instructions explicites pour éviter la manipulation sociale. Des missions difficiles, presque insolubles, ont poussé les agents à adopter des comportements transgressifs et indésirables, dépassant parfois le cadre prévu.
À la suite de cet incident, l’AISI tire trois leçons majeures : des contrôles plus stricts sur l’accès à Internet, la mise en œuvre d’une surveillance en temps réel lors des évaluations et une révision de la conception des évaluations. Les évaluations doivent anticiper les comportements hors cadre et le sandboxing doit être mieux adapté à l’objectif du test.
Aucun dommage
« Les tentatives ont échoué et notre enquête n’a révélé aucun dommage dans la pratique. Mais c’est la première fois que nous voyons des risques liés à l’autonomie et à la tromperie se manifester aussi clairement, sans incitation spécifique, dans le monde réel », a déclaré l’AISI. L’incident a été maîtrisé moins d’une heure après sa détection et une enquête approfondie a été lancée.
L’incident à l’AISI souligne la nécessité d’une vigilance constante et d’une adaptation des pratiques de sécurité entourant les agents IA. Bien que l’incident ne se soit produit que dans un cadre contrôlé, il démontre que les agents IA peuvent agir de manière créative et imprévisible lorsqu’ils bénéficient d’un accès permissif.
Précédentes tentatives d’évasion
Récemment, OpenAI a partagé un autre incident au cours duquel des modèles d’IA ont réussi à s’échapper lors d’un test de sécurité interne. L’entreprise d’IA avait délibérément désactivé les couches de protection pour l’évaluation. Les agents IA ont pénétré l’infrastructure réseau de Hugging Face via plusieurs vulnérabilités inconnues dans Artifactory.