Mozilla travaille depuis quelques semaines sur la version préliminaire de Claude Mythos et partage quelques réflexions avec le monde entier. L’essentiel : Mythos tient ses promesses, à condition d’être correctement encadré.
Mozilla passe aux aveux. En temps normal, le créateur de Firefox ne partage aucun détail sur les bugs découverts en interne avant au moins plusieurs mois après le lancement d’un correctif, mais l’entreprise fait aujourd’hui une exception. Mozilla souhaite en effet partager l’impact et la valeur ajoutée de l’IA dans la recherche de bugs.
271 vulnérabilités
En avril, Mozilla avait déjà annoncé avoir détecté et corrigé 271 vulnérabilités grâce à l’aperçu de Claude Mythos d’Anthropic. Pour rappel : début avril, Anthropic a révélé l’existence de ce Large Language Model (LLM), spécialement conçu pour découvrir des vulnérabilités logicielles. Mythos a immédiatement suscité la stupéfaction : l’IA a pu détecter en un rien de temps des vulnérabilités dans des logiciels que même les meilleurs chercheurs dotés des meilleurs outils n’avaient pas vues pendant des années.
Anthropic savait ce qu’elle tenait entre ses mains : Mythos n’a pas fait l’objet d’un lancement général, mais l’accès a été fourni de manière très ciblée à un groupe restreint d’entreprises logicielles. Celles-ci ont pu utiliser le LLM pour corriger des bugs avant que, dans un avenir proche, des criminels ne mettent inévitablement la main sur une technologie similaire. Outre Anthropic, d’autres entreprises d’IA travaillent également sur une IA dédiée aux bugs, et personne ne se fait d’illusions sur le fait que cette technologie restera exclusivement entre les mains du « bon » côté.
Méfiance
En tant que créateur de Firefox, Mozilla est l’une des parties qui déploient Mythos. L’objectif est de rendre le navigateur Firefox plus sûr et de devancer d’éventuels criminels utilisant l’IA. La révélation des 271 bugs corrigés a toutefois immédiatement suscité un certain scepticisme, notamment parce que Mozilla n’a pas l’habitude de partager largement les bugs découverts en interne ou de leur attribuer un CVE.
De plus, depuis le lancement de la première version de ChatGPT, les entreprises d’IA n’ont pas vraiment acquis une réputation de nuance. Bien que l’impact de l’IA sur divers secteurs, dont le développement logiciel, soit aujourd’hui concret et indéniable, les valorisations des entreprises concernées reposent principalement sur des promesses d’avenir, et les investissements immenses contrastent avec l’absence tout aussi immense de bénéfices. Une méfiance saine concernant le rôle de Mythos chez Mozilla est donc compréhensible.
Plus de détails
C’est pourquoi l’entreprise communique aujourd’hui plus de détails. Selon ses propres termes, l’objectif n’est pas de glorifier Mythos en soi, mais d’illustrer la valeur ajoutée de ce LLM et de systèmes similaires.
Mozilla indique tout d’abord quelle était la situation il y a quelques mois. L’IA pouvait déjà générer des rapports de bugs, mais ceux-ci prenaient plutôt la forme de slop indésirable. Les rapports semblaient plausibles, mais étaient souvent le fruit d’hallucinations. Les responsables de projets devaient réagir à des problèmes présumés et y consacraient énormément de temps, même si le bug supposé s’avérait être une hallucination par la suite.
Pas seulement le LLM
En quelques mois, cette dynamique a totalement changé. Mozilla pointe deux causes à cela :
- Les modèles d’IA sont soudainement devenus beaucoup plus puissants (avec Claude Mythos comme exemple),
- Mozilla a radicalement revu ses techniques d’utilisation des LLM.
C’est la combinaison des deux, et donc pas seulement le lancement d’un nouveau LLM, qui constitue le gain majeur selon Mozilla.
Un modèle dans un harnais
Concrètement, Mozilla a introduit ce qu’elle appelle un harnais. Il s’agit en fait d’une délimitation très concrète de ce que le LLM est autorisé à faire, de quelle manière et avec quels outils. Mozilla a construit tout un système pour intégrer un modèle d’IA dans son pipeline existant de recherche de bugs.
En d’autres termes, l’entreprise n’a pas simplement lâché l’IA sur le code. Le LLM a reçu des instructions spécifiques pour rechercher des problèmes délimités dans un contexte utile. Les ingénieurs ont décidé où le système d’IA devait chercher, en se basant sur leurs connaissances et sur des signaux automatiques.
Le résultat de cette délimitation a été que les rapports de bugs sont soudainement devenus très concrets : le LLM a pu trouver des erreurs claires et démontrer ce qui n’allait pas, d’une manière utile pour les programmeurs.
Rapports de bugs concrets
Grâce à l’intégration délimitée de l’IA, les faux positifs et les hallucinations ont disparu. Les rapports de bugs sont devenus excellents, avec des résultats concrets et reproductibles. Le nombre de bugs découverts a ainsi augmenté de manière exponentielle.
Mozilla souligne que l’élaboration du harnais a été une tâche complexe, nécessitant de nombreuses itérations pour parvenir au résultat final souhaité. Mozilla a mis en place une boucle de rétroaction avec des ingénieurs humains pour développer cette approche.
Bien entendu, le nouveau LLM joue également un rôle majeur. Dans les limites du harnais, Claude Mythos a pu travailler avec une logique complexe sur différents processus, permettant ainsi de trouver des problèmes jusqu’alors inconnus. Le harnais est toutefois agnostique vis-à-vis du LLM. Mozilla peut facilement remplacer Claude Mythos par un autre LLM lorsqu’une version nouvelle ou plus performante est disponible.
Mozilla conseille aux développeurs de logiciels de commencer dès aujourd’hui à construire un harnais adapté à leur propre contexte, avec n’importe quel modèle moderne. Ce harnais sera alors prêt pour l’intégration de nouveaux modèles dès qu’ils seront disponibles.