Google, Anthropic, OpenAI et Microsoft vont respecter un signal commun permettant aux sites web d’indiquer qu’ils ne souhaitent pas que leur contenu serve à l’entraînement de l’IA. Un seul réglage suffira alors pour toutes les entreprises participantes.
Les sites web disposeront d’un moyen plus simple de faire savoir aux entreprises d’IA que leurs textes ne peuvent pas servir à entraîner des modèles d’IA. Google, Anthropic, OpenAI et Microsoft vont respecter un signal commun à cet effet. L’éditeur indique son choix une seule fois, et chaque entreprise d’IA participante lit la même préférence.
Il s’agit d’une initiative volontaire, qui s’appuie sur plus d’un an de travail du groupe de travail AI Preferences de l’Internet Engineering Task Force (IETF). Ce groupe travaille encore à l’élaboration d’une norme définitive.
Refuser l’entraînement de l’IA bot par bot
Jusqu’à présent, un administrateur de site web devait identifier séparément les crawlers de chaque entreprise d’IA et tenir à jour des règles distinctes pour chaque fournisseur dans le fichier robots.txt. Il s’agit du fichier dans lequel un site indique aux crawlers quelles parties ils peuvent consulter.
Les noms des bots diffèrent selon l’entreprise, et certaines répartissent l’entraînement, la recherche et les requêtes des utilisateurs entre des bots distincts. Microsoft travaillait par exemple avec les balises NoArchive et NoCache, pour l’entraînement et pour le grounding, qui consiste à utiliser du contenu pour étayer les réponses générées.
Quatre bots chez OpenAI
OpenAI utilise quatre bots, chacun avec sa propre tâche. GPTBot collecte du contenu pouvant servir à entraîner les modèles de base d’IA générative d’OpenAI. OAI-SearchBot recherche des sites web pour la fonction de recherche de ChatGPT. Un site qui bloque ce bot n’apparaît pas dans les réponses de recherche.
ChatGPT-User consulte des pages à la demande d’un utilisateur dans ChatGPT ou dans un Custom GPT, et les règles de robots.txt ne s’appliquent peut-être pas dans ce cas. OAI-AdsBot vérifie les pages soumises comme publicité dans ChatGPT.
Chaque réglage est indépendant des autres : un site peut autoriser OAI-SearchBot et bloquer GPTBot. OpenAI maintient ces réglages après l’arrivée du signal commun. L’entreprise veut introduire le signal dans les prochains mois et partagera alors des détails sur sa mise en œuvre.
Le nouveau signal
Un nouveau signal arrive donc. Le signal commun se place dans robots.txt, à la racine du site web. Ces deux lignes refusent l’entraînement de l’IA sur l’ensemble du site :
User-Agent: __usage_ai-training
Disallow: /
Celui qui souhaite protéger uniquement une partie du site ajoute un chemin après Disallow, par exemple Disallow: /archief/. En l’absence de règle, Microsoft part d’emblée du principe qu’il y a autorisation.
Microsoft lit aussi la préférence page par page, via une balise meta dans le HTML ou un en-tête HTTP. Ce réglage a priorité sur robots.txt :
<meta name= »Bingbot » content= »ai-training:disallow »>
X-Robots-Tag: Bingbot: ai-training:disallow
Pour le grounding, il n’existe qu’un réglage par page. Avec ai-grounding:disallow, un site exclut totalement le grounding. Avec ai-grounding:disallowextended, un site web bloque uniquement les services que Microsoft fournit à des tiers, comme Web IQ et le grounding via Foundry, tandis que Copilot et Microsoft 365 peuvent encore utiliser la page.
Microsoft avertit que ces deux choix réduisent la visibilité d’une marque dans les applications d’IA. La position dans les résultats de recherche de Bing ne dépend d’aucun de ces réglages.
Microsoft appliquera les nouvelles préférences à partir du 1er février 2027, chaque fois qu’il explorera à nouveau un site. Après le 1er mars 2027, il ne lira plus NoArchive et NoCache comme préférence pour l’entraînement ou le grounding. OpenAI suivra l’année prochaine. Meta a déjà fait savoir qu’il soutenait l’idée, mais n’a pas encore communiqué sur sa mise en œuvre. Anthropic suivrait également le signal.
