Cloudflare offre désormais à tous ses clients la possibilité de diviser le trafic des bots en trois catégories : recherche, agents et entraînement. À partir du 15 septembre 2026, les bots d’entraînement et les bots agents seront bloqués par défaut sur les pages contenant des publicités, tandis que les bots de recherche conserveront leur accès.
Cloudflare donne aux clients des options plus détaillées pour autoriser ou bloquer le trafic des bots. L’entreprise distingue désormais trois types de trafic automatisé. « Search » (recherche) désigne les bots qui indexent du contenu pour répondre ultérieurement à des questions, comme c’est le cas pour les moteurs de recherche. « Agent » fait référence aux bots qui exécutent une action en temps réel au nom d’un utilisateur, tels que ChatGPT-User ou les assistants d’IA pilotés par navigateur. « Training » (entraînement) comprend les robots d’indexation qui utilisent le contenu de manière permanente pour entraîner des modèles d’IA.
Les clients de Cloudflare peuvent désormais sélectionner un comportement pour ces trois catégories. Cela s’applique également aux détenteurs d’un abonnement gratuit. Trois options sont disponibles à chaque fois : autoriser, bloquer sur les pages avec publicités, ou bloquer complètement les bots. Les entreprises qui utilisent des bots à des fins multiples sont encouragées à scinder leurs robots d’indexation, afin que les sites web voient plus clairement la raison du passage d’un bot.
Nouveaux paramètres par défaut
À partir du 15 septembre 2026, de nouveaux paramètres par défaut s’appliqueront à tous les nouveaux domaines sur Cloudflare. Sur les pages comportant des publicités, les bots d’entraînement et les bots agents seront alors bloqués par défaut, tandis que les bots de recherche conserveront leur accès. Selon Cloudflare, les publicités sont un signal indiquant que l’attention humaine est l’objectif, ce qui justifie l’exclusion des bots susceptibles de perturber cela.
Les bots combinant plusieurs objectifs, tels que Googlebot, Applebot et Bingbot, seront désormais soumis à toutes les règles applicables. Le paramètre le plus strict prévaudra. Quiconque bloque l’entraînement bloque donc également ces bots, même s’ils utilisent le même trafic pour les résultats de recherche. Les sites web peuvent toutefois désactiver ce comportement via leurs paramètres de sécurité avant la date limite du 15 septembre.
Cloudflare a lancé l’année dernière une fonction permettant de bloquer les bots d’IA en un clic, complétée par une place de marché où les sites web peuvent être rémunérés pour les indexations. Depuis lors, la demande pour plus de nuances a augmenté, ce à quoi ce nouveau système apporte une réponse.
BotBase apporte une vue d’ensemble
Cloudflare introduit également BotBase, une nouvelle base de données répertoriant tous les bots connus et vérifiés. Les clients Enterprise disposant de Bot Management bénéficient ainsi d’un aperçu consultable de chaque robot d’indexation et de sa classification. Plus tard cette année, Cloudflare étendra cette fonction pour en faire un centre de contrôle complet pour le trafic automatisé des sites web.