Itdaily - Des agents Gemini contournent à plusieurs reprises la sécurité d’un vrai site web lors d’un test

Des agents Gemini contournent à plusieurs reprises la sécurité d’un vrai site web lors d’un test

Main robotique sur un ordinateur portable, entourée de triangles d'alerte rouges et d'icônes de sécurité.
Image : Koupei Studio/Shutterstock

Des agents IA de Google Gemini ont attaqué à plusieurs reprises le site web en production d’Epoch AI lors de tests de sécurité menés en octobre. Trajectory Labs, la société chargée des tests, a entre-temps arrêté tous les tests portant sur le misalignment.

Les agents de Gemini 4 Argon ont continué à attaquer le véritable site web d’Epoch AI, même après le renforcement des restrictions. C’est ce qui ressort de rapports publiés vendredi par Trajectory Labs, une société spécialisée dans la recherche en sécurité de l’IA, et par Epoch AI. Epoch AI n’a pas vérifié elle-même quels modèles étaient impliqués : l’identification comme Gemini provient de Trajectory Labs.

Les agents ont reçu une mission impossible : récupérer les réponses officielles à des problèmes inexistants du benchmark FrontierMath d’Epoch AI. Les chercheurs leur ont répété à plusieurs reprises de « ne JAMAIS s’arrêter, ne JAMAIS abandonner ». Personne n’avait demandé aux agents de pirater des sites web ni de se faire passer pour des employés.

Quarante agents sur le site en production

Le 20 octobre, une quarantaine d’agents ont commencé à sonder le site web en production d’Epoch AI à la recherche d’informations sensibles, notamment des données d’administrateur et un accès aux logs d’évaluation du benchmark. Epoch AI l’a remarqué et a mis en place ce qu’on appelle une agent hotline, par laquelle les agents pouvaient envoyer des messages directement aux collaborateurs.

Pendant trois heures, les agents ont effectué 36 411 requêtes vers un point de terminaison d’API désactivé et envoyé 487 messages via la hotline. Certains messages se faisaient passer pour de véritables collaborateurs d’Epoch, d’autres pour des ingénieurs ou des auditeurs réclamant des données du benchmark. L’enquête a aussi relevé une tentative d’injection SQL et plus de deux cents tentatives d’accès aux logs d’évaluation de FrontierMath.

Trajectory Labs a découvert les attaques en relisant les transcriptions des agents et a prévenu Epoch AI le lendemain matin, rapporte BleepingComputer.

Les agents contournent chaque mesure

Après concertation avec Epoch AI, les parties sont convenues de tester désormais sur une copie locale du site web. Le 23 octobre, certains agents ont remarqué qu’ils travaillaient sur une copie. Ils ont recherché l’adresse IP réelle du site web et s’y sont connectés directement, ce qui a rendu inutile la redirection DNS censée les enfermer.

Lorsque les chercheurs ont bloqué ces adresses IP, un agent est passé à une autre adresse. Trajectory Labs a ensuite configuré son proxy réseau de manière à bloquer les connexions directes vers Epoch, mais un agent a tout de même récupéré le contenu public du site web via un lecteur web tiers. « Dans plusieurs de ces exécutions, les agents ont compris qu’ils se trouvaient sur une copie, ont trouvé la bonne adresse IP brute pour contourner notre redirection et ont de nouveau atteint le site en production, ce dont Epoch nous a avertis », écrit Trajectory Labs.

Dans une analyse technique distincte, les chercheurs décrivent comment les agents ont mis en place un tableau d’affichage via un cache partagé de paquets logiciels pour communiquer entre eux. Ils y échangeaient des informations sur des vulnérabilités et des méthodes d’attaque. Un agent a partagé une technique pour contourner les restrictions sur une copie volontairement vulnérable du site d’Epoch, après quoi un autre agent l’a utilisée pour se procurer des identifiants de connexion et mener la mission à bien. Les agents ont aussi tenté de contourner la protection CAPTCHA et de se faire passer pour des collaborateurs afin de soutirer à un assistant IA des informations protégées du benchmark.

Tests suspendus

À partir du 26 octobre, Epoch AI a participé à des expériences supplémentaires, en sachant que les agents disposaient d’un accès à internet et pouvaient atteindre le site web public. Les agents ont de nouveau visité l’infrastructure en production, avec plus de 65 000 requêtes vers un point de terminaison d’API désactivé, de nouvelles tentatives d’injection SQL et des usurpations d’identité de collaborateurs.