Les chatbots ne sont pas des sources d’information fiables

Une étude menée par des médias d’information internationaux révèle que les chatbots comme ChatGPT et Gemini commettent régulièrement des erreurs lorsqu’ils sont interrogés sur l’actualité.

Les chatbots comme ChatGPT sont utilisés à diverses fins. Une étude menée plus tôt cette année par Reuters et l’Université d’Oxford montre que ce sont principalement les jeunes qui utilisent ces outils pour suivre l’actualité. Cependant, les chatbots IA se révèlent être tout sauf une source d’information fiable.

Sous la direction de la BBC et de l’Union Européenne de Radio-Télévision (UER), des médias d’information internationaux ont sondé les connaissances actuelles des chatbots populaires. 19 médias européens ont participé, dont VRTNWS et RTBF pour la Belgique, ainsi que deux canadiens et un américain. Les résultats étaient assez inquiétants : sur près de la moitié des questions, les quatre chatbots interrogés ont commis des erreurs.

Gemini obtient les pires résultats

4 chatbots IA couramment utilisés ont été mis à l’épreuve : ChatGPT, Gemini, Perplexity et Microsoft Copilot. Dans 45 % des réponses, les chatbots ont commis au moins une erreur. L’erreur la plus fréquente concernait les citations de sources erronées (31 %), suivie par la précision (20 %) et le manque de contexte (14 %). Les chatbots ont soit indiqué des sources incorrectes, soit mal représenté le contenu de ces sources.

Gemini se démarque négativement dans l’étude, avec un taux d’erreur de 76 %. Les trois autres chatbots sont plus proches les uns des autres, bien que même Perplexity, le chatbot « le plus performant », commette des erreurs dans 31 % des cas. Pour ChatGPT et Copilot, ces taux sont de 36 et 37 %. Comme ces deux chatbots sont construits sur le même modèle, il n’est pas surprenant que ces pourcentages soient quasi identiques.

Faits en cours

L’étude constate que les chatbots commettent plus d’erreurs lorsqu’il s’agit d’actualités en développement, comme les guerres. Lorsqu’un fait d’actualité est « clos », les chatbots donnent généralement des réponses plus précises. Par rapport à une étude précédente menée par la BBC au début de cette année, les chatbots ont légèrement mieux performé, car à l’époque, plus de la moitié des réponses contenaient des erreurs.

La connaissance de l’actualité était une lacune majeure dans les premières générations de chatbots IA génératifs, car ils étaient entraînés sur des ensembles de données qui avaient plusieurs années de retard sur l’actualité. Les entreprises derrière les chatbots ont tenté de résoudre ce problème en leur donnant accès à Internet. Néanmoins, il reste encore beaucoup de place pour l’amélioration dans la recherche et la représentation précise des informations actuelles. Il est donc préférable de rechercher soi-même les actualités plutôt que de faire aveuglément confiance à ChatGPT.