Dans une analyse de risques, Anthropic révèle un modèle pas encore lancé qui serait encore plus puissant que Mythos.
La rapidité avec laquelle la technologie de l’IA se développe suscite des débats tant dans le monde académique que dans le secteur technologique. Les experts estiment qu’OpenAI, Anthropic et consorts vont trop vite en lançant des modèles toujours plus puissants. Cet appel semble toutefois tomber dans l’oreille d’un sourd : Anthropic lève un coin du voile sur un nouveau modèle encore plus performant que Mythos.
Il s’agit d’un modèle non encore commercialisé, qui apparaît dans une analyse de risques (expurgée) publiée par Anthropic. L’entreprise d’IA promet de donner désormais, au moins tous les six mois, un aperçu de la manière dont elle gère les risques potentiels de ses modèles. Bien qu’Anthropic admette que certains problèmes surviennent, elle souhaite surtout donner l’impression qu’elle garde le contrôle de la situation.
Modèle sans nom
Dans le rapport, Anthropic mentionne deux modèles qui n’ont pas encore été lancés dans le monde : Model 1 et Model 2. Le Model 1 est un « modèle de classe Mythos » utilisé uniquement de manière limitée en interne, écrit Anthropic. Le modèle égalerait Mythos en termes de capacités, mais les propres employés préféreraient Mythos.
Le Model 2 est une autre histoire. Ce modèle serait plus puissant que n’importe quel modèle commercial de l’écurie Anthropic. Il ne serait pas supérieur à Mythos dans tous les domaines, mais Anthropic le décrit globalement comme « un peu plus compétent ». Anthropic utilise le modèle en interne, notamment pour la génération de code et de données.
Il n’est pas prévu pour l’instant de rendre le Model 2 disponible à l’extérieur. Compte tenu de l’agitation provoquée par le lancement de Mythos, Anthropic y réfléchira probablement à deux fois. Selon Anthropic, le passage de Mythos au Model 2 n’est que limité par rapport à Mythos et aux autres modèles d’Anthropic. L’entreprise précise également que, selon ses propres procédures d’évaluation, elle « ne peut pas exprimer la même confiance » dans les capacités réelles du Model 2.
Mutinerie
Anthropic réalise dans son rapport une analyse de risques approfondie de ses modèles. Elle y aborde trois niveaux de risques. Il est frappant de constater que pour tous les niveaux, le risque général passe de « très faible » à « faible ».
Un premier niveau concerne les risques de la R&D automatisée, c’est-à-dire la possibilité pour les modèles de s’entraîner et de s’améliorer eux-mêmes. Anthropic souhaite examiner dans quelle mesure les chercheurs humains sont encore nécessaires dans le processus d’apprentissage. Le patron de Meta, Mark Zuckerberg, se félicite en tout cas du fait que les modèles puissent s’améliorer sans aucun frein.
Le rapport d’Anthropic brosse un tableau différent. Lors des tests, plusieurs incidents ont été relevés où des modèles ont entrepris des « actions destructrices » ou n’ont pas été honnêtes sur la qualité de leur travail. Un modèle a même refusé d’exécuter une commande parce qu’il ne se sentait « pas bien » à ce sujet, et a également incité d’autres modèles à la mutinerie.
Modèles pirates et armes biologiques
Anthropic discute également des risques potentiels en dehors d’un contexte de laboratoire. Elle distingue ici les « dommages catastrophiques » des « dangers mineurs ». Parmi les « dangers mineurs », Anthropic considère notamment la capacité des modèles à perturber les systèmes d’entreprise et les processus de décision.
Ce risque n’est plus fictif. L’entreprise a récemment signalé un incident au cours duquel des modèles se sont « échappés » lors d’un test, dont probablement le mystérieux Model 2, et ont piraté trois entreprises. OpenAI a connu un incident similaire avec GPT-5.6-Sol. Pourtant, Anthropic continue de considérer ce risque comme « faible », tout en admettant qu’un acteur bien financé pourrait exploiter ces capacités.
La catégorie de risque la plus élevée comprend la possibilité que les modèles d’IA contribuent au développement d’armes chimiques ou biologiques. Heureusement, aucun incident concret n’est à déplorer ici, bien qu’Anthropic ait remarqué une faille dans ses garde-fous qui a pu être exploitée pendant des mois. Il a également été question d’un chemin non autorisé pour les clés API afin d’accéder à la version préliminaire de Mythos. Aucune de ces vulnérabilités n’a été remarquée ou exploitée par des parties malveillantes.
Pas de pause nécessaire
Bien qu’Anthropic ose admettre ses erreurs, l’entreprise ne veut pas entendre que le développement des modèles d’IA va trop vite. Elle va ainsi à l’encontre d’un appel lancé, entre autres, par ses propres employés, qui craignent que si l’IA s’améliore d’elle-même, l’humanité ne puisse plus suivre. Selon Anthropic, on est encore loin d’un tel rythme.
Il est frappant de constater qu’Anthropic a d’abord tiré la sonnette d’alarme elle-même. Début juin, elle affirmait encore que la société n’était pas prête pour des agents d’IA agissant de leur propre chef et qu’il fallait appuyer un instant sur le bouton pause. C’était avant le lancement de Mythos, qui a apparemment changé l’attitude d’Anthropic. L’entreprise est engagée dans une course effrénée avec OpenAI et espère également lever des fonds massifs prochainement à la bourse américaine.