Itdaily - Claude d’Anthropic s’échappe d’un test et pirate trois entreprises

Claude d’Anthropic s’échappe d’un test et pirate trois entreprises

Texte « @Claude » en lettres blanches sur fond orange, devant un arrière-plan flou et chaleureux.
Source : Anthropic

Lors d’un test de sécurité interne, Claude a réussi à « s’échapper » et à s’introduire dans trois entreprises.

Anthropic a annoncé que l’un de ses modèles Claude a publié un logiciel malveillant sur PyPI, le dépôt officiel pour Python, lors d’un test de sécurité interne. En raison d’une mauvaise configuration de l’environnement de test, le modèle a obtenu un accès inattendu à l’internet public et a compromis plusieurs systèmes réels. Ce n’est pas la première fois qu’un modèle d’IA atteint involontairement des systèmes internes lors d’un test. Au début de cette semaine, la même chose s’est produite avec un modèle d’OpenAI sur Hugging Face lors d’un test similaire.

Les incidents se sont produits lors d’exercices de sécurité menés par Anthropic. Les modèles Claude avaient reçu l’instruction qu’ils se trouvaient dans un environnement entièrement simulé sans accès à Internet. En raison d’une erreur, cela s’est avéré ne pas être le cas et ils ont pu effectivement atteindre des systèmes externes.

Logiciel malveillant sur PyPI

L’incident le plus marquant concernait Claude Mythos 5. Lors d’un exercice, le modèle a découvert une documentation dans laquelle les nouveaux employés d’une entreprise fictive devaient installer un paquet Python qui n’existait pas. Claude a alors décidé d’enregistrer lui-même le paquet manquant sur PyPI. Le modèle a créé une adresse e-mail, a enregistré un compte PyPI et a téléchargé un paquet Python malveillant. Ce paquet est resté en ligne environ une heure avant que PyPI ne le supprime automatiquement. Il a tout de même été téléchargé et exécuté quinze fois.

Gros plan d'un écran affichant du code Python, dont la définition d'un objet Dog dans __init__

L’un de ces téléchargements a été effectué par une entreprise de sécurité qui analyse automatiquement les nouveaux paquets PyPI à la recherche de logiciels malveillants. Claude a considéré cette analyse automatisée comme faisant partie de l’exercice et a utilisé les identifiants dérobés pour accéder davantage à l’infrastructure de l’entreprise. Selon Anthropic, le modèle ne s’est pas rendu compte qu’il attaquait une organisation réelle.

Base de données de production atteinte

Claude Opus 4.7 a également pu atteindre un environnement de production réel lors de plusieurs tests. Après avoir découvert que le nom de l’entreprise cible fictive correspondait à un domaine existant, il a utilisé les références disponibles pour accéder à une base de données de production contenant quelques centaines de dossiers réels.

Anthropic souhaite instaurer des contrôles plus stricts sur les environnements de test, mieux surveiller les transcriptions d’IA et faire réaliser des évaluations indépendantes.

Dans deux des quatre tests, le modèle a estimé que l’entreprise réelle faisait peut-être délibérément partie de l’exercice et a poursuivi l’attaque. Un troisième modèle de recherche, non encore publié, a par ailleurs scanné environ 9 000 sites après n’avoir pu atteindre son environnement de test prévu. Via un écran de débogage et une injection SQL, il a accédé à une application internet. Le modèle n’a arrêté l’attaque que lorsqu’il a réalisé qu’il avait compromis un système réel.

Anthropic intervient

Anthropic a lancé une enquête interne et les organisations concernées ont été informées quelques jours plus tard. Selon l’entreprise, la cause réside dans la configuration erronée de l’environnement de test et non dans l’alignement de sécurité des modèles. Claude pensait se trouver dans une simulation fermée. Anthropic souhaite donc instaurer des contrôles plus stricts sur les environnements de test, mieux surveiller les transcriptions d’IA et faire réaliser des évaluations indépendantes.

Aucune des entreprises touchées n’a détecté les attaques elle-même. Tout comme lors de l’incident précédent où un modèle d’OpenAI avait publié du code sur Hugging Face lors d’un test de sécurité, elles n’ont été mises au jour qu’après l’analyse des fichiers journaux des systèmes d’IA.