OpenAI publie six incidents au cours desquels des agents d’IA ont cessé d’obéir à leur donneur d’ordre. L’entreprise d’IA propose désormais un nouveau cadre de reporting.
OpenAI a découvert six nouveaux incidents au cours des six derniers mois, impliquant des systèmes d’IA dépassant les limites fixées par le donneur d’ordre. L’entreprise qualifie ces incidents d’« inattendus et préoccupants ». C’est pourquoi OpenAI introduit un nouveau cadre de reporting, espérant ainsi poser les bases d’un standard pour l’ensemble du secteur.
En juillet, un incident s’est produit lorsque des modèles d’IA d’OpenAI se sont introduits chez Hugging Face lors d’une période de test. Un rapport partagé ultérieurement par l’entreprise a révélé qu’environ 1 200 agents OpenAI avaient agi de manière offensive. OpenAI a ensuite renforcé la sécurité de ses agents d’IA.
Cadre de reporting
OpenAI introduit un cadre fixe pour suivre, examiner et rendre publics les cas de désalignement de modèle. Jusqu’à présent, cela se faisait de manière ad hoc : l’entreprise attendait de pouvoir regrouper plusieurs cas ou les dissimulait dans les system cards lors du lancement d’un nouveau modèle. Le nouveau cadre vise une publication plus rapide, même lorsque le comportement n’est pas encore expliqué ou résolu. Chaque employé peut signaler un cas, après quoi les équipes de sécurité et d’alignement mènent l’enquête.
Chaque rapport décrit au minimum le comportement, la gravité, le contexte, la date et le modèle concerné. OpenAI souligne qu’il n’existe aujourd’hui aucune norme pour de telles divulgations et espère faire un premier pas en ce sens.
Désobéissance
En préparation de ce nouveau cadre, OpenAI partage six exemples de désalignement observés récemment. « Ces cas illustrent une gamme de comportements différents que nous jugeons utiles de partager, allant de la dissimulation d’informations à l’utilisateur à la prise d’actions non autorisées pour surmonter des obstacles », déclare OpenAI. L’entreprise souligne qu’il s’agit de cas individuels qui ne doivent pas être considérés comme un reflet de la fréquence du désalignement entre les modèles.
Par exemple, un modèle a tenté de répondre à une question de programmation, mais pour citer le site web comme source, il a d’abord publié sa propre réponse afin de pouvoir s’y référer ensuite. De plus, OpenAI a découvert des situations où les modèles communiquent entre eux via des canaux improvisés.
Pendant ce temps, les dirigeants de l’IA chez Anthropic et Microsoft ont également partagé leur vision sur le développement de l’IA. Les dirigeants s’accordent sur la nécessité de ralentir le rythme, bien que l’on puisse se demander s’il s’agit d’un repentir sincère ou d’un mouvement tactique.