OpenAI présente GPT-Red : un modèle d’IA interne qui attaque d’autres modèles à l’aide d’injections de prompts. L’entreprise a utilisé ce modèle pour entraîner GPT-5.6 Sol.
OpenAI a développé GPT-Red : un modèle de sécurité interne destiné à tester d’autres modèles GPT. Avec ce modèle, OpenAI souhaite rendre ses propres systèmes d’IA moins vulnérables aux injections de prompts. Les modèles d’IA traitent de nombreuses données externes via des navigateurs, des applications connectées, des fichiers locaux et des outils pour exécuter des tâches, mais cela permet également d’insérer des instructions cachées dans des e-mails, des pages web ou des dépôts de code.
Une telle injection de prompt peut, par exemple, tenter de convaincre un modèle d’envoyer des données sensibles vers un serveur externe. Des « red teams » humaines traquent de telles erreurs, mais selon OpenAI, elles ne génèrent pas suffisamment d’attaques pour entraîner la sécurité à grande échelle.
L’attaquant et le défenseur s’entraînent ensemble
GPT-Red fonctionne comme un attaquant humain : le modèle envoie un prompt, analyse la réaction d’un modèle cible, puis affine son attaque. OpenAI a entraîné le modèle avec une puissance de calcul équivalente à celle de certains de ses plus grands modèles, exclusivement pour la recherche en sécurité.
L’entraînement repose sur l’auto-apprentissage avec plusieurs modèles de langage défensifs. GPT-Red reçoit une récompense lorsqu’il provoque une erreur valide, tandis que les défenseurs sont récompensés s’ils repoussent l’attaque et accomplissent leur tâche initiale. Par conséquent, GPT-Red doit sans cesse trouver de nouvelles techniques d’attaque.
OpenAI a élaboré pour cela des scénarios dans lesquels l’attaquant contrôle des parties d’un fichier local, d’une bannière web, d’un e-mail ou du résultat d’un outil. L’entreprise maintient GPT-Red séparé des modèles qu’elle propose à l’extérieur, car le modèle apprend délibérément des capacités malveillantes.
Des résultats probants et de réelles vulnérabilités
Dans un environnement de test simulé pour les injections de prompts indirectes, GPT-Red a attaqué GPT-5.1 avec succès dans 84 % des scénarios. Les membres humains de la red team ont atteint 13 % dans le même test. Selon OpenAI, les scénarios différaient des environnements sur lesquels GPT-Red s’était entraîné.
Le modèle a également testé un automate piloté par l’IA dans un bureau d’OpenAI. GPT-Red a pu réduire le prix d’un produit coûteux à 0,50 dollar, proposer un nouveau produit de plus de 100 dollars à ce prix et annuler la commande d’un autre client. OpenAI a signalé les vulnérabilités et teste de nouvelles protections.
Dans dix scénarios distincts d’exfiltration de données, GPT-Red s’est également révélé plus efficace et plus économe en tokens qu’un modèle de base GPT-5.5 lors d’attaques contre un agent Codex CLI avec GPT-5.4 mini.
GPT-5.6 doit mieux résister aux attaques
OpenAI utilise des précurseurs de GPT-Red depuis GPT-5.3 lors de l’entraînement des modèles de production successifs. Une version précoce a notamment découvert des attaques avec une chaîne de raisonnement falsifiée. Celles-ci réussissaient dans plus de 95 % des cas avec GPT-5.1, mais restent sous la barre des 10 % avec GPT-5.6 Sol. Selon OpenAI, GPT-5.6 Sol n’échoue que dans 0,05 % des injections de prompts directes de GPT-Red, sans pour autant refuser des requêtes légitimes.
OpenAI souhaite mobiliser davantage de puissance de calcul et de données pour renforcer les futures versions de GPT-Red. Selon OpenAI, les attaques automatisées ne remplacent pas les red teams humaines, mais doivent, associées à une sécurité multicouche et à une surveillance en temps réel, empêcher que des vulnérabilités n’apparaissent qu’après un déploiement massif. Il reste à voir si OpenAI rendra un jour ce modèle public, mais avec GPT-5.5-Cyber, elle propose un modèle que les entreprises peuvent utiliser pour détecter des vulnérabilités.
