GPTBot, ClaudeBot, PerplexityBot : qui crawle votre site et faut-il les laisser entrer ?

Vous ouvrez vos logs, ou le rapport de votre CDN, et vous voyez passer des noms que personne ne vous a présentés : GPTBot, ClaudeBot, OAI-SearchBot, CCBot, Bytespider. Au moins quatorze user-agents frappent aujourd'hui les serveurs au nom d'un modèle de langage. La question arrive toujours dans le même ordre : c'est quoi, et est-ce que je le bloque ?

Le sujet se traite d'habitude à coups d'opinions. On a préféré aller lire ce que les sites écrivent vraiment. Le 27 août 2026, on a interrogé le fichier robots.txt de 40 domaines : 10 agences SEO françaises, 10 outils SEO et GEO, 10 médias tech français, 9 sites e-commerce français, et vydera.com. 36 fichiers étaient lisibles et analysables. On y a cherché 14 crawlers IA, par égalité exacte du jeton User-agent.

Le résultat tient en une phrase : le débat n'a presque pas commencé. Huit sites sur 36 nomment ne serait-ce qu'un crawler IA. Les 28 autres n'ont jamais écrit le mot GPTBot.

Ce que le relevé montre

• 8 sites sur 36 nomment au moins un crawler IA dans leur robots.txt.
• 5 sites sur 36 en bloquent au moins un. Les cinq bloquent CCBot, le robot de Common Crawl, et trois d'entre eux ne bloquent que lui.
• 2 sites sur 36 bloquent un bot d'entraînement d'un éditeur de modèle : 01net.com et siecledigital.fr.
• 0 site sur 36 bloque un moteur de réponse en direct. OAI-SearchBot, Claude-SearchBot et PerplexityBot ne sont bloqués nulle part.
• 0 site sur 36 bloque un agent déclenché par un utilisateur, ni ChatGPT-User ni Perplexity-User.
• 0 site sur 36 pose un Disallow: / global sur User-agent: *. Aucun blocage relevé n'est l'effet de bord d'une fermeture générale.
• 1 site sur 36 porte une directive Content-Signal.

Le dénominateur est 36, pas 40. Trois domaines renvoient un 403 sur leur robots.txt : resoneo.com, usine-digitale.fr et laredoute.fr. Ce sont des sites qu'on n'a pas pu mesurer, pas des sites qui bloquent, et c'est probablement leur pare-feu qui parle, pas leur politique. Le cas de decathlon.fr le montre bien : il n'a livré son fichier qu'au second essai, et le relevé ne rejoue une requête que sur un 401, 403 ou 429. Un quatrième domaine, 1ere-position.fr, renvoie un 404 : pas de robots.txt du tout, donc rien à analyser, mais personne de bloqué non plus.

Et le chiffre « 5 sites bloquent au moins un crawler IA » ne se lit jamais seul. Sorti de son contexte, il donne l'impression que cinq sites ferment la porte à ChatGPT. C'est faux. Les cinq bloquent CCBot, un robot qui alimente un corpus public réutilisé par des entraînements tiers et qui ne répond à aucune question d'utilisateur ; trois d'entre eux ne bloquent rien d'autre. Réduit aux bots des éditeurs de modèles, on tombe à deux sites sur 36. Et si on écarte blogdumoderateur.com, où ccbot est noyé dans une liste anti-aspirateurs recopiée, il ne reste que quatre sites bloquants sur 36.

Les 14 crawlers, et ce qu'un blocage vous coûte

Avant d'arbitrer, il faut séparer quatre familles, parce qu'elles n'ont ni le même effet ni le même coût.

• Entraînement : GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Bytespider, Meta-ExternalAgent. Ils collectent pour nourrir des modèles. Les bloquer n'a pas d'effet documenté sur votre présence dans les réponses.
• Recherche en direct : OAI-SearchBot, Claude-SearchBot, PerplexityBot. Ce sont eux qui construisent l'index dans lequel le moteur va chercher une source au moment de répondre. Les bloquer vous sort de cet index.
• Agent déclenché par un utilisateur : ChatGPT-User, Perplexity-User. Ils ouvrent une URL parce qu'un humain vient de la demander.
• Crawl générique : CCBot, Amazonbot. Ils ne servent pas un moteur de réponse en particulier, ils alimentent des corpus réutilisés ailleurs.

Les colonnes « Nommé » et « Bloqué » sortent de notre relevé. Les colonnes « Rôle », « Si vous le bloquez » et « Verdict », non : elles viennent des documentations publiques des éditeurs et de notre arbitrage. On n'a testé aucun blocage et mesuré aucune citation avant et après. Cette distinction n'est pas de la coquetterie méthodologique : c'est la différence entre un chiffre et une opinion.

Entraînement contre recherche en direct : la distinction que personne n'a eu à trancher

C'est la découverte la plus nette du relevé, et elle est en creux. OpenAI et Anthropic publient chacun deux jetons distincts, un pour l'entraînement et un pour la recherche en direct. La séparation existe précisément pour permettre de dire « entraînez-vous ailleurs, mais citez-moi ».

Sur les 36 fichiers, un seul site utilise cette séparation, et dans un seul sens. siecledigital.fr bloque GPTBot et ClaudeBot, et laisse OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User et Perplexity-User intacts. Aucun site du panel ne fait l'inverse.

Plus parlant encore : Claude-SearchBot et Perplexity-User ne sont nommés par aucun des 36 sites. Ces deux jetons n'existent dans le robots.txt de personne. Ce n'est pas un rejet, c'est une absence. La décision n'a pas été prise parce que la question n'a pas été posée.

Six configurations réellement observées

numerama.com et frandroid.com : ouvrir aux moteurs, fermer le corpus

Les deux écrivent la même chose : User-agent: GPTBot puis Allow: /, et le même groupe pour OAI-SearchBot, ChatGPT-User et PerplexityBot. Puis User-agent: CCBot suivi de Disallow: /. Les moteurs de réponse entrent, le corpus réutilisable par des tiers se ferme. C'est exactement la configuration qu'on recommande plus bas, et elle existe en production. Deux sites, cela dit : c'est une preuve d'existence, pas une pratique répandue.

siecledigital.fr : huit bots fermés, cinq laissés ouverts

Le fichier pose un Disallow: / sur GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, Bytespider, Meta-ExternalAgent et Amazonbot. Il ne dit rien de OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User et Perplexity-User, qui restent donc autorisés. L'effet produit est le bon : entraînement coupé, citation préservée. Le fichier porte d'ailleurs un commentaire de section, « BOTS IA - ENTRAÎNEMENT BLOQUÉ », et range Amazonbot ailleurs, dans une section « BLOCAGE BOTS INDÉSIRABLES ». On décrit ici l'effet mesurable et le texte du fichier, rien de plus.

01net.com : le blocage sans les moteurs

CCBot, Bytespider et Meta-ExternalAgent en Disallow: /. Aucun bot OpenAI, Anthropic ou Perplexity n'est nommé. Le site a écrit une règle sur les crawlers IA sans jamais aborder ceux qui pourraient le citer.

zdnet.fr et decathlon.fr : ralentir plutôt que fermer

zdnet.fr écrit User-agent: CCBot puis Crawl-delay: 2. decathlon.fr écrit User-Agent: ClaudeBot puis Crawl-delay: 5. Ni l'un ni l'autre ne pose de Disallow. C'est un arbitrage de charge serveur, pas un arbitrage de contenu, et decathlon.fr est le seul site e-commerce du panel à nommer un crawler IA.

uplix.fr : la seule agence du panel à en parler, et c'est pour ouvrir

Six des quatorze jetons qu'on suit reçoivent un groupe dédié : GPTBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot et Google-Extended. Aucun Disallow. Détail qui compte : cinq d'entre eux reçoivent Allow: /wp-json/llm-endpoints/, un chemin dédié, et seul ChatGPT-User reçoit Allow: /. Trois portent un Crawl-delay: 1.

Le mécanisme, documentaire celui-là, mérite d'être connu : dans la norme robots.txt, un bot n'obéit qu'au groupe le plus spécifique qui le nomme. Écrire un groupe pour GPTBot le sort donc des règles de User-agent: *, même si ce groupe ne contient aucun Disallow. Un Allow n'est pas une autorisation, c'est une exemption.

blogdumoderateur.com : le blocage qui n'en est pas vraiment un

Le fichier nomme bien ccbot, avec un disallow: /. Sauf qu'il le fait dans un bloc de 187 user-agents où voisinent Wget, Xenu et des aspirateurs de site des années 2000. Ce n'est pas une décision prise sur l'IA, c'est une liste anti-aspirateurs recopiée. Notre jeu de données le compte, parce que le jeton est littéralement là, mais le marque listeGenerique et fournit un compteur qui l'exclut. C'est pour cela que « 5 sites bloquent » devient « 4 » dès qu'on retire les listes recopiées. Masquer ce cas aurait été plus simple, et moins honnête.

Tous les blocages viennent d'une seule catégorie

• 8 agences SEO françaises mesurées : 0 blocage, 1 site nomme un crawler IA.
• 10 outils SEO et GEO : 0 blocage, 0 site en nomme un.
• 9 médias tech français : 5 sites bloquent, 6 en nomment au moins un.
• 8 sites e-commerce français mesurés : 0 blocage, 1 site en nomme un.

Ces effectifs sont trop faibles pour parler de taux. Neuf médias, ce n'est pas le marché des médias, et huit agences ne représentent pas la profession. L'existence du contraste est solide, sa magnitude ne l'est pas.

Ce qu'on peut dire sans se tromper : dans ce panel, les entreprises dont le contenu est le produit sont les seules à avoir écrit une règle. Celles qui vendent de la visibilité, agences et outils compris, n'ont rien écrit du tout. Vingt-huit fichiers sur 36 ignorent complètement la question.

Content-Signal : une directive, un site

Content-Signal est une ligne posée dans le robots.txt qui déclare l'usage souhaité du contenu, sur trois axes : search pour l'indexation classique, ai-input pour l'usage dans une réponse générée, ai-train pour l'entraînement. Elle ne bloque rien : elle exprime une préférence, et aucun robot n'est tenu de l'honorer.

Sur les 36 robots.txt du panel, un seul en porte une, et c'est le nôtre : Content-Signal: search=yes, ai-input=yes, ai-train=yes.

Il n'y a pas de quoi pavoiser. Vydera fait aussi partie des 28 sites qui ne nomment aucun crawler IA. Notre robots.txt tient en trois lignes : on déclare une préférence sans nommer un seul bot, et on l'a écrite avant d'avoir fait ce relevé. Une directive que personne d'autre n'écrit et que personne n'est obligé de suivre reste un signal faible.

La configuration qu'on recommande, et son configurateur

La bonne question n'est pas « les IA, oui ou non ». C'est « sur quel axe ».

• Recherche en direct : laisser entrer. C'est le seul groupe dont le blocage a un coût direct et documenté sur votre visibilité. Sortir de l'index de OAI-SearchBot, Claude-SearchBot ou PerplexityBot, c'est renoncer à être cité dans leurs réponses.
• Agents utilisateur : laisser entrer. Derrière ChatGPT-User ou Perplexity-User, il y a un humain qui a demandé votre page. Bloquer, ici, revient à fermer la porte à un visiteur.
• Entraînement : arbitrage. Si votre contenu est votre produit, fermez. Si votre contenu est votre marketing, la question a beaucoup moins d'enjeu qu'elle n'en a l'air.
• Crawl générique : arbitrage, mais moins symétrique. CCBot alimente un corpus public réutilisé par des tiers que vous ne choisissez pas. C'est le seul bot que les cinq sites bloquants du panel ferment tous, sans exception.
• anthropic-ai : ne rien en faire. C'est un jeton historique, remplacé par ClaudeBot. Le laisser ne coûte rien, le bloquer ne rapporte rien.

Trois erreurs à ne pas commettre, dans l'ordre de gravité :

1. Viser les IA par le groupe User-agent: *. Un Disallow: / général ferme aussi Googlebot. Aucun des 36 sites du panel ne le fait, et c'est une bonne nouvelle.
2. Croire que robots.txt efface le passé. Une directive vaut pour les crawls à venir. Elle ne retire rien de ce qui a déjà été collecté.
3. Confondre robots.txt et noindex. Le premier bloque l'exploration, il n'empêche pas une URL découverte par un lien d'apparaître ailleurs. Le second agit sur l'indexation. Ce ne sont pas deux niveaux du même réglage.

Refaire le relevé chez vous

La méthode tient en une centaine de lignes de Node, sans dépendance et sans outil payant : un GET sur https://domaine/robots.txt, redirections suivies, timeout de 20 secondes, repli sur www, et un second essai avec un User-agent d'audit nommé en cas de 401, 403 ou 429. Puis un découpage en groupes et une comparaison exacte du jeton.

Trois décisions de comptage changent complètement le résultat, et méritent d'être écrites noir sur blanc :

• Un Disallow hérité de User-agent: * n'est jamais compté comme un blocage IA. Ce n'est pas une décision prise sur ces bots.
• Un bot nommé dans un bloc de plus de vingt user-agents est marqué comme liste recopiée, et un second compteur l'exclut.
• Un 404 n'est pas un 403. Pas de fichier signifie que personne n'est bloqué. Un 403 signifie qu'on n'a pas pu mesurer, et le domaine sort du dénominateur.

Pour un seul site, un curl -s https://votre-domaine.fr/robots.txt et une recherche des quatorze jetons suffisent. C'est la vérification la plus rapide de tout l'audit technique, et elle passe encore trop souvent après le maillage et les balises.

Ce que ce relevé ne dit pas

Autant le poser clairement, parce que c'est là que la plupart des articles sur le sujet dérapent.

• Il mesure une intention déclarée, jamais une conformité. Rien ici ne permet d'écrire qu'un bot a respecté ou ignoré une directive. Pour ça, il faut des logs serveur et un croisement avec les plages d'adresses publiées par les éditeurs.
• Il ne mesure pas l'intention derrière un blocage. Dans un fichier texte, un choix éditorial délibéré et une liste recopiée d'un forum de 2023 se ressemblent énormément.
• Il ne mesure pas l'effet d'un blocage sur la visibilité. Aucun test avant et après, aucune mesure de citation. Le lien entre bloquer OAI-SearchBot et disparaître des réponses de ChatGPT vient de la documentation d'OpenAI.
• Il ne dit rien de qui crawle vydera.com. Le site tourne sur Webflow, qui n'expose pas les logs serveur. Aucun volume de hits, aucune fréquence de passage n'apparaît dans cet article, et c'est volontaire.
• Le panel n'est pas représentatif du web français. Il est construit à la main sur quatre secteurs choisis : il est représentatif des quatre milieux où la question se pose pour nos lecteurs.
• Le relevé est daté. Les robots.txt de médias changent vite, parfois plusieurs fois par trimestre. Ce chiffre vaut pour le 27 août 2026 et se relit avec sa date.

Reste la décision, et elle est plus simple qu'elle n'en a l'air. Laissez entrer ce qui vous cite, arbitrez ce qui vous entraîne, et vérifiez que votre fichier dit bien ce que vous croyez qu'il dit. Pour aller plus loin sur la manière dont les moteurs choisissent leurs sources, voir notre guide llms.txt, notre méthode pour optimiser un contenu pour les citations IA et le mécanisme de query fan-out qui décide des requêtes réellement lancées.