OpenAI lance un nouveau modèle linguistique qui aide les formateurs humains en IA à détecter les erreurs.
Les modèles linguistiques sont formés par des formateurs d’IA humains pour améliorer la qualité des réponses. Plus ces modèles linguistiques deviennent performants, plus ils dépassent les connaissances du cerveau humain et plus il est difficile pour les formateurs d’IA d’identifier les réponses erronées.
OpenAI a formé un nouveau modèle CriticGPT, basé sur GPT-4, pour aider les formateurs en IA à déboguer ChatGPT. « Nous avons constaté que les gens qui reçoivent l’aide de CriticGPT pour réviser le code de ChatGPT obtiennent de meilleurs résultats dans 60 % des cas que ceux qui n’ont pas reçu d’aide », a déclaré la start-up.
Formateurs humains en IA
L’OpenAI utilise des formateurs humains en IA pour former ses modèles linguistiques et détecter les erreurs de code de ChatGPT. Sous la devise « l’erreur est humaine », OpenAI a développé un nouveau modèle d’IA CriticGPT, qui devrait aider les formateurs humains s’ils ne détectent pas certaines erreurs. Le superlab d’OpenAI, soutenu par Microsoft, a publié jeudi un article intitulé « LLM Critics Help Catch LLM Bugs » expliquant la méthode en détail.
Combattre le feu par le feu
Dans la formation des modèles d’IA générative, tels que le GPT-4o récemment lancé, on utilise de grandes quantités de données et on les soumet à un processus de perfectionnement appelé « Reinforcement Learning from Human Feedback » (RLHF) (apprentissage par renforcement à partir du retour d’information humain). Les formateurs humains interagissent alors avec les LLM pour annoter leurs réponses à diverses questions. Ainsi, le modèle doit apprendre quelle réponse est préférée.
Étant donné que les connaissances de ces modèles linguistiques dépassent parfois les connaissances humaines, OpenAI n’a rien trouvé de mieux que de développer un autre modèle linguistique qui vérifiera le premier. Ce modèle CriticGPT assistera les formateurs humains et critiquera les réponses génératives du modèle linguistique.
Hallucinations
L’article montre que « les LLM détectent beaucoup plus de bogues saisis que les personnes qualifiées qui ont payé pour l’examen du code, et que les critiques de modèles sont préférées aux critiques humaines dans plus de 80 pour cent des cas ». Quant aux hallucinations, elles sont moins nombreuses quand les formateurs humains collaborent avec CriticGPT que quand CriticGPT répond seul, même si le taux d’erreur reste plus élevé que si un formateur humain avait répondu seul.
« Malheureusement, il n’est pas clair quel est le bon compromis entre les hallucinations et la détection des bogues pour un système RLHF global qui utilise la critique pour améliorer la performance du modèle », admet l’article.