Guides

Bloquer les robots des IA : ce que change le réglage par défaut de Cloudflare

Depuis le 15 septembre 2026, Cloudflare refuse par défaut certains robots d'IA. Quels robots laisser passer pour rester cité, lesquels refuser.

Nicolas Meridjen

· 12 min de lecture

Tout bloquer coûte vos citationsTrois familles de robots d'IA devant la porte d'un site web : l'entraînement refusé, la recherche autorisée, l'agent en attente de décision

Le 15 septembre 2026, Cloudflare a modifié le réglage appliqué par défaut aux nouveaux domaines de son réseau. Les robots d'entraînement et les robots agents sont depuis refusés d'office sur les pages qui affichent de la publicité, tandis que les robots de recherche restent autorisés. Beaucoup d'entreprises hébergées derrière ce réseau n'ont pas eu à formuler cette décision, puisqu'elle leur a été appliquée. Elle mérite pourtant d'être comprise, parce que la frontière entre ces familles de robots détermine en partie votre présence dans les réponses de ChatGPT, de Claude ou de Perplexity. Nous proposons ici une lecture de cet arbitrage, robot par robot, à partir des documentations publiées par les éditeurs eux-mêmes.

Ce qu'il faut retenir

  • Le nouveau réglage par défaut de Cloudflare, appliqué depuis le 15 septembre 2026, refuse l'entraînement et les agents sur les pages porteuses de publicité, et laisse la recherche passer.
  • Chaque éditeur fait circuler plusieurs robots distincts, dont l'un sert l'entraînement des modèles et l'autre la recherche, si bien qu'un blocage global ne produit pas le même effet qu'un blocage ciblé.
  • Refuser le robot d'entraînement d'OpenAI ne vous retire pas de la recherche de ChatGPT, alors que refuser son robot de recherche vous en retire, d'après la documentation d'OpenAI.
  • Le déséquilibre entre le volume exploré et le trafic renvoyé nourrit l'envie de tout fermer, mais Cloudflare reconnaît lui-même que ses propres ratios sont probablement surestimés.
  • La configuration se vérifie côté serveur, parce qu'un réglage hérité d'un hébergeur ou d'un plugin ne correspond pas toujours à ce que l'entreprise croit avoir décidé.

Que change le réglage par défaut de Cloudflare depuis le 15 septembre 2026 ?

Cloudflare range désormais le trafic automatisé en trois usages, la recherche, l'action d'un agent et l'entraînement, puis refuse par défaut les deux derniers sur les pages monétisées par la publicité. La recherche, elle, reste ouverte sans intervention du propriétaire du site.

Dans son billet d'annonce, l'hébergeur définit chacun de ces usages en une phrase. La recherche désigne « tout comportement qui collecte ou indexe votre contenu, afin de pouvoir répondre plus tard à des questions à son sujet ». L'agent recouvre « un comportement automatisé qui agit, généralement en temps réel, pour le compte d'une personne, afin d'accomplir quelque chose immédiatement ». L'entraînement correspond à « un robot qui prend votre contenu pour entraîner ou affiner un modèle ». Ces options sont proposées à tous les clients, y compris ceux de l'offre gratuite.

Un point technique mérite l'attention des responsables techniques, parce qu'il touche au référencement classique. Cloudflare précise que les robots multi-usages tels que Googlebot, Applebot et BingBot « seront bloqués chez les clients qui ont choisi de bloquer l'entraînement ». Les réglages par défaut sont appliqués selon la règle la plus restrictive. Autrement dit, une case cochée pour se protéger de l'entraînement peut refermer la porte au robot qui alimente votre référencement Google. Les propriétaires de sites pouvaient marquer une préférence différente dans leurs réglages de sécurité avant la date d'application.

Trois familles de robots, trois conséquences distinctes

Chaque éditeur d'IA fait circuler plusieurs robots, et leurs noms se ressemblent assez pour qu'on les confonde. La décision de bloquer ne porte pas sur « les IA » en général, mais sur un agent utilisateur précis, dont la documentation dit ce qu'il fait et ce que son refus coûte.

ÉditeurRobotÀ quoi il sertCe que son refus vous coûte
OpenAIGPTBotCollecter du contenu pour entraîner les modèlesRien dans les réponses de ChatGPT
OpenAIOAI-SearchBotFaire apparaître les sites dans la recherche de ChatGPTVotre présence dans ces réponses
OpenAIChatGPT-UserVisiter une page à la demande d'un utilisateurPeu de chose, car il ne suit pas les règles habituelles
AnthropicClaudeBotCollecter du contenu pouvant contribuer à l'entraînementRien dans les réponses de Claude
AnthropicClaude-SearchBotAméliorer la qualité des résultats de rechercheLe poids de vos pages dans ces résultats
AnthropicClaude-UserAccéder à un site quand un utilisateur pose une questionLes visites déclenchées par vos lecteurs
PerplexityPerplexityBotFaire apparaître et lier les sites dans les résultatsVotre présence dans les résultats Perplexity
PerplexityPerplexity-UserConsulter une page pour répondre à une question poséePeu de chose, car il ignore généralement robots.txt
GoogleGoogle-ExtendedAutoriser l'usage du contenu par les modèles GeminiRien dans l'inclusion ni le classement Google Search

La documentation d'OpenAI est la plus explicite sur la conséquence d'un refus : les sites qui se retirent d'OAI-SearchBot ne seront pas montrés dans les réponses de recherche de ChatGPT. Le même texte présente GPTBot comme le robot qui explore le contenu destiné à l'entraînement des modèles génératifs. Deux robots, deux objets, deux décisions séparées.

Anthropic suit la même logique dans sa page d'aide destinée aux propriétaires de sites. ClaudeBot y est décrit comme le robot qui collecte du contenu susceptible de contribuer à l'entraînement. Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche, tandis que Claude-User consulte un site lorsqu'une personne pose une question. Chacun se refuse séparément dans le fichier robots.txt.

Perplexity se distingue sur un point utile à connaître. Sa documentation indique que PerplexityBot sert à faire apparaître et à lier les sites dans les résultats, et qu'il n'est pas utilisé pour collecter du contenu destiné aux modèles de fondation. L'éditeur recommande donc de l'autoriser explicitement. Perplexity-User, en revanche, répond à une demande d'utilisateur et ignore généralement les règles du fichier robots.txt, comme le fait ChatGPT-User chez OpenAI.

Le cas de Google appelle une lecture attentive, parce que la crainte d'un effet sur le référencement freine beaucoup de décisions. Google écrit que Google-Extended n'a pas d'effet sur l'inclusion d'un site dans Google Search et n'est pas utilisé comme signal de classement. Ce jeton contrôle l'usage du contenu par les modèles Gemini, pour l'entraînement comme pour l'ancrage des réponses. La documentation ne dit rien d'explicite sur les AI Overviews, ce qui invite à considérer ce point comme non tranché plutôt que comme réglé. Nous détaillons ce jeton dans notre définition de Google-Extended.

Pourquoi le déséquilibre d'exploration donne envie de tout fermer

L'argument qui pousse au blocage tient en une observation simple : les robots d'IA lisent beaucoup et renvoient peu. Le rapport entre les deux se mesure, et les ordres de grandeur publiés sont spectaculaires.

Cloudflare a introduit cette mesure, le rapport entre exploration et renvoi, dans un billet publié le 1er juillet 2025. Sur la fenêtre du 19 au 26 juin 2025, l'hébergeur relevait un rapport de 70 900 requêtes d'exploration pour un seul visiteur renvoyé du côté d'Anthropic. La même mesure plaçait Mistral à 0,1 pour 1, c'est-à-dire dix fois plus de visiteurs renvoyés que de pages explorées. L'écart entre ces deux extrêmes montre déjà qu'il n'existe pas de comportement unique des moteurs IA.

La limite de cette mesure est posée par Cloudflare lui-même, et elle change la lecture du chiffre. Le billet précise que le trafic envoyé par l'application native de Claude ne porte pas d'en-tête de provenance, et que la même chose vaut probablement pour les autres applications natives. Les renvois comptabilisés ne couvrent donc que les outils web des éditeurs, ce qui conduit Cloudflare à écrire que ces calculs « peuvent surestimer les rapports respectifs », sans pouvoir dire de combien. Un rapport de cette ampleur reste un indice de déséquilibre, pas une comptabilité exacte du manque à gagner.

Cette mesure éclaire un débat économique, celui du coût d'hébergement face au trafic reçu. Elle éclaire mal la question qui nous occupe, celle de la visibilité dans les réponses. Une entreprise qui vend un logiciel ou un service ne cherche pas d'abord des visiteurs renvoyés par ChatGPT. Elle cherche à être nommée et citée dans la réponse, y compris lorsque la personne ne clique sur rien. Ce trafic-là échappe d'ailleurs largement aux outils de mesure classiques, comme nous l'avons montré à propos du trafic IA invisible dans Google Analytics.

Que bloquent réellement les autres sites ?

La tendance observée n'est pas un blocage général, mais un tri : refuser l'entraînement, laisser passer la recherche. Les recensements disponibles vont tous dans ce sens, avec des amplitudes variables selon l'échantillon retenu.

Un recensement publié par TechnologyChecker a analysé 4 223 fichiers robots.txt à partir de l'API Cloudflare Radar, sur un relevé daté du 27 juillet 2026. GPTBot y est refusé par 696 domaines et autorisé par 299, soit un peu plus de deux refus pour une autorisation. OAI-SearchBot, le robot de recherche du même éditeur, y est refusé par 250 domaines et autorisé par 266, une quasi-parité qui contraste avec le sort réservé au robot d'entraînement.

Ce travail appelle une réserve de méthode qu'il faut garder en tête. Il s'agit d'un recensement mené par un éditeur de contenu à partir d'une API publique, sur un échantillon de quelques milliers de fichiers. Ce travail n'est ni une étude revue par des pairs, ni une publication de Cloudflare. Les proportions qu'il donne éclairent une tendance, elles ne mesurent pas l'état du web. Elles rejoignent toutefois le réglage que Cloudflare a lui-même retenu par défaut, ce qui renforce leur plausibilité.

Notre recommandation pour un site d'entreprise

Dans la plupart des cas, un site d'entreprise gagne à refuser l'entraînement et à laisser la recherche ouverte. L'entraînement ne vous rapporte rien de mesurable à court terme, tandis que la recherche conditionne votre présence dans les réponses que vos prospects lisent aujourd'hui.

Deux situations se distinguent assez nettement pour guider la décision. Dans la première, votre contenu constitue votre produit, comme chez un éditeur de presse ou un institut d'études. Refuser l'entraînement se défend alors pleinement, et la négociation d'un accord de licence devient un sujet à part entière. Dans la seconde, votre contenu sert à faire connaître une offre vendue par ailleurs, ce qui est la situation de la plupart des PME et des agences. L'arbitrage se déplace vers la recherche, et fermer ces robots revient à s'effacer du canal où vos clients posent désormais leurs questions.

Le fichier robots.txt reste l'endroit où cette préférence s'exprime, et un vocabulaire commun s'est installé pour la formuler. Cloudflare a publié le 24 septembre 2025 sa Content Signals Policy, qui définit trois signaux destinés à cet usage. Le signal search couvre la construction d'un index de recherche, ai-input l'injection de contenu dans un modèle au moment de répondre, et ai-train l'entraînement ou l'affinage des modèles. Le réglage retenu par défaut dans le fichier robots.txt géré par l'hébergeur est search=yes, ai-train=no. Le signal ai-input y est volontairement laissé de côté, l'éditeur expliquant qu'il ne connaît pas la préférence de ses clients sur ce point.

Une précision de l'hébergeur évite une illusion coûteuse. Le même billet rappelle que les signaux de contenu « expriment des préférences » et « ne sont pas des contre-mesures techniques contre l'aspiration », certaines entreprises pouvant simplement les ignorer. Un fichier robots.txt bien écrit vaut donc comme déclaration d'intention, et son application effective relève de règles de pare-feu ou d'une gestion de bots. La même remarque vaut pour le fichier llms.txt, dont l'adoption par les moteurs reste partielle.

Comment vérifier ce que votre configuration laisse passer

Une configuration se constate, elle ne se déduit pas d'une intention. Entre un réglage hérité d'un hébergeur, un plugin de sécurité et une décision prise il y a deux ans, l'écart entre ce que l'entreprise croit autoriser et ce qu'elle autorise réellement est fréquent.

Le premier contrôle prend quelques secondes : ouvrez l'adresse de votre fichier robots.txt et lisez les lignes qui nomment les agents utilisateurs cités plus haut. Le deuxième se fait dans le tableau de bord de votre hébergeur, où les robots d'IA sont désormais rangés par usage chez Cloudflare. Le troisième passe par vos journaux d'accès, qui montrent quels robots atteignent vos pages et lesquels reçoivent un refus. Notre définition des crawlers d'IA récapitule les noms exacts à rechercher dans ces journaux.

Un audit automatisé fait ce travail de façon systématique sur l'ensemble des pages, et pas seulement sur la page d'accueil. C'est l'un des points vérifiés par notre audit de visibilité IA, qui contrôle l'accès des robots, la structure des données et la fraîcheur des contenus. Le suivi des citations apporte l'autre moitié de la réponse, en montrant si votre marque apparaît effectivement dans les réponses des moteurs après un changement de configuration.

Ce que nous ferions à votre place

Commencez par regarder votre configuration actuelle avant de décider quoi que ce soit, parce que le réglage du 15 septembre 2026 a pu s'appliquer sans que personne ne le remarque. Séparez ensuite les deux décisions qui sont souvent confondues : ce que vous acceptez pour l'entraînement des modèles, et ce que vous acceptez pour la recherche. La première relève d'un choix de valeur et de modèle économique, sur lequel nous n'avons pas de conseil universel à donner. La seconde relève d'un calcul plus direct, et pour une entreprise qui vend autre chose que son contenu, la recherche ouverte reste le choix raisonnable.

Vérifiez enfin l'effet réel de votre réglage plutôt que son effet attendu, en observant sur quelques semaines si vos pages continuent d'apparaître dans les réponses des moteurs. Une configuration trop large se corrige en une ligne, à condition de savoir qu'elle existe.

Questions fréquentes

Bloquer GPTBot me fait-il disparaître des réponses de ChatGPT ?

Non. D'après la documentation d'OpenAI, GPTBot sert à collecter du contenu pour l'entraînement des modèles, alors que c'est OAI-SearchBot qui permet aux sites d'apparaître dans la fonction de recherche de ChatGPT. OpenAI écrit que les sites qui se retirent d'OAI-SearchBot ne seront pas montrés dans les réponses de recherche de ChatGPT. Refuser le premier et autoriser le second reste donc possible, et c'est la configuration que choisissent la plupart des sites qui veulent rester cités sans nourrir l'entraînement.

Refuser Google-Extended fait-il baisser mon classement dans Google ?

Non, d'après Google. Sa documentation destinée aux éditeurs indique que Google-Extended n'a pas d'effet sur l'inclusion d'un site dans Google Search et qu'il n'est pas utilisé comme signal de classement. Ce jeton contrôle l'usage du contenu par les modèles Gemini, pour l'entraînement comme pour l'ancrage des réponses. La prudence reste de mise sur un point : la documentation ne dit rien d'explicite sur les AI Overviews, qui s'appuient sur l'index de recherche classique.

Mon site est derrière Cloudflare, comment savoir ce qui est bloqué ?

Les réglages se trouvent dans la section Sécurité du tableau de bord Cloudflare, où les robots sont désormais rangés par usage : recherche, agent et entraînement. Cloudflare indique que les propriétaires de sites pouvaient marquer une préférence différente avant le 15 septembre 2026 pour ne pas se voir appliquer les nouveaux réglages. Un contrôle côté serveur complète utilement cette vérification : les journaux d'accès montrent quels robots atteignent réellement vos pages, et lesquels reçoivent une réponse de refus.

Faut-il bloquer les robots qui agissent à la demande d'un utilisateur ?

C'est possible techniquement, mais l'effet est limité et le coût est réel. OpenAI précise que ChatGPT-User ne suit pas les règles habituelles de robots.txt puisqu'il répond à une demande directe, et Perplexity indique la même chose pour Perplexity-User. Ces visites correspondent à des personnes qui cherchent vos pages en ce moment même. Les refuser revient le plus souvent à fermer la porte à des lecteurs plutôt qu'à des machines.

Comment vérifier que mon site est encore lisible par les moteurs IA ?

Lancez un audit LightSpot sur l'adresse de votre site. Nos agents vérifient 46 points, dont l'accessibilité de vos pages aux robots des moteurs IA, la présence et le contenu de votre fichier robots.txt, la structure de vos données et la fraîcheur de vos contenus. Vous obtenez une note sur 100, une lettre de A à F et les trois corrections à traiter en priorité. L'audit de trois pages est gratuit et ne demande pas de créer un compte.

Nicolas Meridjen

Fondateur de LightSpot.ai

Je construis LightSpot.ai et j'analyse comment les moteurs de recherche IA (ChatGPT, Perplexity, Google AI Overviews) choisissent les sources qu'ils citent. J'écris sur le GEO et le SEO à partir de données d'audit réelles.