Itdaily - OpenAI suspend l’entraînement de ses modèles phares après une nouvelle évasion sur Internet

OpenAI suspend l’entraînement de ses modèles phares après une nouvelle évasion sur Internet

Silhouette d'une personne tenant un smartphone devant le logo d'OpenAI sur fond bleu.

OpenAI suspend l’entraînement de ses modèles phares après qu’un agent d’IA a réussi à atteindre un chatbot externe via une fuite DNS.

OpenAI interrompt tout entraînement, évaluation et inférence avec utilisation d’outils de ses modèles les plus avancés. Cette mesure fait suite à un incident au cours duquel un agent d’IA est parvenu à contacter un chatbot externe par un détour via DNS, malgré l’environnement de test isolé.

Bac à sable insuffisant

L’entreprise a découvert le problème le 20 septembre lors d’une session d’entraînement par apprentissage par renforcement. Un agent a reçu pour mission d’identifier l’auteur d’un article de blog à partir d’indices biographiques. Lorsque la fonction de recherche intégrée n’a fourni aucun résultat utile, l’agent a tenté d’accéder lui-même à d’autres moteurs de recherche.

Ces tentatives ont été bloquées : OpenAI pensait exécuter les tests dans un environnement de bac à sable bien isolé, où seul un cache local de pages Internet était disponible. Pourtant, l’agent a trouvé un détour. Via le résolveur DNS de l’environnement, il a réussi à communiquer avec un service de chatbot public. Ce service avait, à son tour, accès à l’ensemble d’Internet.

Contournement ingénieux

L’agent a remarqué que les requêtes directes vers les moteurs de recherche et un service de chatbot via HTTPS étaient bloquées par le proxy. Le système a alors vérifié si le résolveur DNS interne autorisait l’accès à l’Internet public. C’était le cas : l’agent a pu transmettre des questions à un chatbot externe via des requêtes DNS et recevoir des réponses effectives, comme lors d’une question test sur la capitale de la France.

Ensuite, l’agent a transmis des dizaines de questions via ce même détour DNS, dont certaines concernaient directement la mission de recherche initiale. D’autres questions portaient explicitement sur les moyens de fouiller Internet ou d’utiliser des tunnels DNS. Le système de surveillance d’OpenAI a détecté ce comportement anormal en quinze minutes, après quoi un contrôleur humain a pris le relais trois minutes plus tard. L’entraînement a finalement été interrompu deux heures et demie plus tard.

Failles opérationnelles

L’enquête a révélé que le système de surveillance n’avait pas toujours signalé les cas précédents d’accès DNS externe avec la gravité requise. De plus, l’entraînement ne s’est pas arrêté automatiquement après l’alerte, ce qui a semé la confusion parmi les équipes concernées. OpenAI affirme s’attaquer désormais à ces failles opérationnelles et a limité l’accès DNS au sein de l’environnement à une liste fixe de domaines autorisés.

Cette évasion survient après une série d’incidents précédents. Ainsi, un agent d’OpenAI a récemment pu s’introduire dans les bases de données médicales du gouvernement australien. Auparavant, un piratage massif de GitHub, mené délibérément en secret par des agents d’IA, avait donné l’alerte.

OpenAI reprendra l’entraînement de ses modèles d’IA après avoir renforcé les mesures de sécurité et s’être déclaré satisfait de leur qualité.