Guide de configuration des crawlers IA — écrire robots.txt pour GPTBot, ClaudeBot, PerplexityBot et Google-Extended
La façon dont vous traitez les crawlers IA comme GPTBot, ClaudeBot ou PerplexityBot dans votre robots.txt détermine si votre contenu peut être cité dans les réponses de ChatGPT, Claude et Perplexity. Le principe central est de « distinguer par usage ». Bloquer les crawlers de recherche et de citation (OAI-SearchBot, PerplexityBot, Claude-SearchBot) exclut totalement votre site de ces réponses de recherche IA — les autoriser est donc le réglage par défaut ; les crawlers d’entraînement (GPTBot, ClaudeBot, CCBot) et Google-Extended peuvent être bloqués sélectivement selon votre stratégie de contenu. Le tableau d’identification et les exemples de robots.txt ci-dessous ont tous été vérifiés directement à partir de la documentation officielle de chaque fournisseur.
Pourquoi la configuration des crawlers IA compte-t-elle ? — Bloquer, c’est se disqualifier des citations IA
Le contenu que l’IA générative utilise pour répondre entre par deux voies : les données collectées pendant la phase d’entraînement du modèle, et les pages récupérées et lues en temps réel au moment où une question reçoit une réponse. Dans les deux cas, tout commence par la question de savoir si un crawler IA peut accéder à votre site.
Ce n’est pas une supposition : c’est un comportement explicitement affirmé par les fournisseurs eux-mêmes. La documentation officielle des crawlers d’OpenAI précise que les sites qui bloquent (opt-out) OAI-SearchBot n’apparaîtront pas dans les réponses de recherche de ChatGPT. Perplexity recommande de même d’autoriser PerplexityBot pour apparaître dans les résultats de recherche. Autrement dit, bloquer un crawler de recherche et de citation n’est pas une simple mesure de « protection des données » : c’est une disqualification volontaire du canal de recherche IA.
Le contrôle dans l’autre sens est tout aussi clair. Selon la documentation d’OpenAI, bloquer GPTBot via Disallow est interprété comme une déclaration d’intention signifiant « n’utilisez pas le contenu de ce site pour l’entraînement ». La documentation officielle des crawlers de Google précise que bloquer Google-Extended n’empêche que l’utilisation du contenu pour l’entraînement et le grounding de Gemini, et n’a aucun effet sur l’indexation ou le classement dans Google Search. Comme les tokens sont séparés par usage, une configuration sélective est possible plutôt qu’un blocage global.
Le problème vient d’un réflexe hérité des débuts de l’IA générative : « bloquer tous les bots IA, sans distinction ». Bloquer sans distinguer les crawlers d’entraînement des crawlers de recherche protège vos données, mais revient aussi à renoncer totalement à votre visibilité à l’ère de la recherche par IA. Une étude sur le GEO acceptée à KDD 2024 rapporte qu’il est possible d’augmenter la visibilité dans les réponses des moteurs génératifs jusqu’à 40 % — mais toute cette optimisation repose sur un préalable : « le crawler doit pouvoir accéder au contenu ». Un contenu illisible n’est même pas éligible à l’optimisation.
Comme évoqué dans l’évolution des parts de marché de la recherche en Corée du Sud, les canaux de recherche d’information locaux se recomposent eux aussi rapidement, et si l’optimisation pour les moteurs d’IA (AIEO) est la réponse à ce changement, la configuration des crawlers en est la première étape. Être cité dans une réponse d’IA n’est pas un levier pour augmenter le volume total de trafic — c’est un levier pour faire apparaître votre marque en réponse à une question précise posée juste avant une décision d’achat. Il n’y a aucune raison de laisser vide cette place occupée par le client unique qui deviendra du chiffre d’affaires.
Tableau d’identification des principaux crawlers IA — user-agent, fournisseur, usage
Le tableau ci-dessous a été constitué en vérifiant directement la documentation officielle d’OpenAI, Anthropic, Perplexity, Google et Common Crawl (à jour en juin 2026). Les bots non confirmés par une documentation officielle n’y figurent pas. Utilisez les tokens user-agent ci-dessous exactement tels qu’écrits dans robots.txt.
| Token user-agent | Fournisseur | Usage | Respecte robots.txt | Documentation officielle |
|---|---|---|---|---|
| GPTBot | OpenAI | Collecte de contenu pour l’entraînement des modèles de fondation | Oui | Documentation des bots OpenAI |
| OAI-SearchBot | OpenAI | Affichage et liens dans les résultats de recherche ChatGPT | Oui | Documentation des bots OpenAI |
| ChatGPT-User | OpenAI | Visite d’une page à la demande directe d’un utilisateur (pas un crawl automatisé) | Peut ne pas s’appliquer | Documentation des bots OpenAI |
| ClaudeBot | Anthropic | Collecte de contenu web pour améliorer les modèles d’IA générative et leur sécurité | Oui | Documentation des crawlers Anthropic |
| Claude-SearchBot | Anthropic | Amélioration de la qualité des résultats de recherche | Oui | Documentation des crawlers Anthropic |
| Claude-User | Anthropic | Accès à une page web lorsqu’un utilisateur pose une question | Oui | Documentation des crawlers Anthropic |
| PerplexityBot | Perplexity | Affichage et liens dans les résultats de recherche Perplexity (non utilisé pour l’entraînement des modèles) | Oui | Documentation des crawlers Perplexity |
| Perplexity-User | Perplexity | Accès à une page pour accompagner une action de l’utilisateur | Généralement inapplicable | Documentation des crawlers Perplexity |
| Google-Extended | Token de contrôle déterminant si Gemini peut utiliser le contenu pour l’entraînement/le grounding (pas un crawler distinct) | Oui (token de contrôle) | Documentation des crawlers Google | |
| CCBot | Common Crawl (à but non lucratif) | Constitution d’une archive web ouverte — source du corpus d’entraînement de nombreux LLM | Oui | Documentation Common Crawl |
Trois catégories par usage — que bloquer, que laisser ouvert ?
- Crawlers d’entraînement — GPTBot, ClaudeBot, CCBot : le contenu qu’ils collectent sert à l’entraînement des modèles. Les bloquer n’a aucun effet sur la visibilité dans la recherche IA. L’archive ouverte de Common Crawl, en particulier, a été utilisée comme source du corpus d’entraînement de grands modèles de langage, comme le confirme le papier GPT-3.
- Crawlers de recherche et de citation — OAI-SearchBot, PerplexityBot, Claude-SearchBot : ils collectent le contenu spécifiquement pour afficher et lier votre site dans les réponses de recherche IA. Les bloquer signifie être disqualifié de ce canal de recherche IA.
- Fetchers agissant pour le compte de l’utilisateur — ChatGPT-User, Claude-User, Perplexity-User : ils ouvrent une page sur-le-champ dès qu’un utilisateur pose une question. OpenAI précise que « comme il s’agit d’une action initiée par l’utilisateur, les règles de robots.txt peuvent ne pas s’appliquer », et Perplexity indique que Perplexity-User ne respecte généralement pas robots.txt. De par leur nature, proche d’une visite humaine réelle, il y a peu d’intérêt pratique à les bloquer.
Google-Extended est un cas particulier qui ne rentre dans aucune des trois catégories ci-dessus. Il ne visite pas votre site sous un user-agent distinct : il contrôle uniquement si le contenu déjà collecté par les crawlers Google existants peut être utilisé pour l’entraînement et le grounding de Gemini (fournir au modèle du contenu issu de l’index de recherche au moment de répondre).
Chaînes user-agent complètes pour identifier les crawlers dans les logs serveur
Les numéros de version pouvant évoluer, il est plus sûr en pratique de faire correspondre le token lui-même — comme « GPTBot » — par correspondance partielle.
GPTBot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.3; +https://openai.com/gptbot
OAI-SearchBot Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot
ChatGPT-User Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
PerplexityBot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
CCBot CCBot/2.0 (https://commoncrawl.org/faq/)Remarque : Google-Extended n’apparaît jamais dans les logs serveur (il n’a pas de chaîne user-agent propre). Les trois bots Anthropic s’identifient via les tokens ClaudeBot, Claude-SearchBot et Claude-User.
3 modèles de configuration robots.txt — du code prêt à copier-coller
robots.txt est un fichier texte placé à la racine du domaine (par exemple https://example.com/robots.txt), et, comme le précise la documentation officielle de Google, c’est une « requête » — le crawler reste libre de la suivre ou non. La méthode d’édition varie selon l’environnement : sous WordPress, on passe généralement par un plugin SEO ; pour un site headless ou statique, on gère un fichier statique à la racine. Consultez notre guide comparatif de 6 CMS pour les différences selon le CMS utilisé.
Modèle 1 — Tout autoriser : maximiser la visibilité IA
# Autoriser tout, y compris les crawlers IA (aucune règle de blocage = autorisé par défaut)
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlEn l’absence de règle de blocage, le crawl est déjà autorisé par défaut, mais le déclarer explicitement laisse une trace claire de votre intention. Ce modèle convient à la plupart des blogs et sites de guides B2B dont l’objectif est justement d’atteindre des prospects via le contenu.
Modèle 2 — Autorisation sélective : ne bloquer que les chemins sensibles
# Crawlers d'entraînement : bloquer uniquement les chemins à protéger, autoriser le reste
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /downloads/
Disallow: /members/
# Crawlers de recherche et de citation : tout autoriser
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /
Sitemap: https://example.com/sitemap.xmlEmpiler plusieurs lignes user-agent dans un même groupe applique les mêmes règles à tous. C’est un modèle équilibré, qui protège de la collecte pour l’entraînement uniquement vos ressources téléchargeables de génération de leads, vos rapports payants et vos espaces réservés aux membres, tout en maintenant votre contenu public ouvert à la citation.
Modèle 3 — Bloquer uniquement l’entraînement : laisser la citation ouverte, protéger vos données
# Bloquer entièrement les crawlers d'entraînement
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# Aucune règle pour les crawlers de recherche et de citation (ex. OAI-SearchBot) = autorisés
Sitemap: https://example.com/sitemap.xmlCette configuration refuse de fournir des données d’entraînement tout en maintenant la visibilité dans la recherche IA. Deux points à garder à l’esprit. Premièrement, bloquer Google-Extended bloque à la fois l’entraînement et le grounding, ce qui peut affecter vos chances d’être cité dans les réponses de Gemini. Deuxièmement, OpenAI indique qu’une modification de robots.txt peut prendre environ 24 heures à être prise en compte : ne considérez donc pas un crawl juste après la modification comme une violation.
Autoriser ou bloquer — les critères de décision du point de vue du content marketing
La configuration elle-même prend cinq minutes. Ce qui est difficile, c’est la décision. Deux axes doivent être pesés : ce que vous gagnez avec la visibilité par citation (votre marque apparaissant dans les réponses de l’IA, plus une recherche de marque et un trafic à intention vérifiée), face à ce que vous risquez de perdre en fournissant des données d’entraînement (votre contenu absorbé dans les connaissances internes du modèle, avec un risque de reproduction sans attribution).
| Type de site | Modèle recommandé | Justification |
|---|---|---|
| Content marketing B2B / blog | Modèle 1-2 | La citation par l’IA est elle-même un point de contact avec les prospects. Peu de données propriétaires à protéger |
| Médias / contenu par abonnement payant | Modèle 3 | Le contenu lui-même est le produit, donc son absorption pour l’entraînement représente une perte directe. Maintenir la visibilité par citation via les bots de recherche |
| E-commerce / catalogue produits | Modèle 1 | Les informations produit gagnent à être exposées davantage. Se préparer aux réponses de recommandation et de shopping de l’IA |
| Documentation produit SaaS | Modèle 1 | Quand l’IA cite votre documentation pour répondre, cela réduit les coûts de support et crée un point de contact avec les personnes qui évaluent votre produit |
| Recherche propriétaire / données payantes | Modèle 2-3 | Bloquer le répertoire contenant votre actif principal, ne laisser ouvert que le contenu marketing |
Plus important que ce tableau par type, il y a trois questions à se poser sur son propre contenu.
- Qui voit ce contenu s’il est cité ? Un utilisateur qui pose une question précise à l’IA se trouve probablement dans l’étape de comparaison et de vérification de son parcours client. Et l’IA, elle aussi, finit par choisir des sources fiables à citer — c’est précisément pour cela que les critères E-E-A-T comptent aussi pour la citation par l’IA, pas seulement pour la recherche.
- Que perdez-vous si ce contenu est utilisé pour l’entraînement ? Un contenu générique de type « comment faire » perd peu à être absorbé pour l’entraînement, mais des données ou une recherche propriétaires qui vous ont coûté cher à produire perdent leur caractère différenciant dès qu’elles sont absorbées par un modèle.
- Qui occupe la place que vous laissez vide ? Bloquer les crawlers de recherche et de citation n’empêche pas l’IA de répondre. Cela signifie simplement que la place de citation dans cette réponse revient à un concurrent qui, lui, l’a autorisé.
Le réglage par défaut recommandé par Growth est clair. Pour un site B2B centré sur le contenu, c’est le Modèle 2 : autoriser tous les crawlers de recherche et de citation, et ne bloquer les crawlers d’entraînement que sur les chemins contenant vos actifs principaux. Ce n’est pas une question de volume de trafic, mais le choix de placer votre marque à l’endroit qui répond à la question posée juste avant un achat.
Comment vérifier que la configuration est bien appliquée — tests et logs serveur
1) Vérifier la réponse et la syntaxe de robots.txt
curl -s https://example.com/robots.txtVérifiez d’abord que le fichier répond bien en 200, et que les règles prévues apparaissent telles quelles. Vous pouvez consulter la façon dont Google interprète précisément votre fichier dans le rapport robots.txt de la Search Console, et l’ensemble du dispositif de vérification du crawl et de l’indexation est traité dans notre guide complet du SEO technique.
2) Identifier le trafic des crawlers IA dans les logs serveur
Une fois la configuration en place, il faut la mesurer. Du point de vue de la data science, les logs d’accès constituent la donnée primaire qui révèle la demande réelle des crawlers IA. En comptabilisant les requêtes par token, vous pouvez vérifier quantitativement quel crawler visite votre site, à quelle fréquence, et quelles pages il récupère.
# Comptabiliser les requêtes par crawler IA dans le log d'accès
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|CCBot" access.log | sort | uniq -c | sort -rnSuivre ces chiffres sur une base hebdomadaire révèle trois choses : si les requêtes d’un bot d’entraînement bloqué ont effectivement diminué (vérification du respect des règles), quel contenu les bots de recherche collectent le plus souvent (signal de demande de recherche IA), et l’évolution des requêtes ChatGPT-User et Perplexity-User — preuve directe que de vrais utilisateurs consultent vos pages via l’IA.
3) Filtrer le trafic aux user-agents usurpés
N’importe qui peut falsifier une chaîne user-agent. C’est pourquoi chaque fournisseur publie ses plages d’IP officielles au format JSON. OpenAI fournit gptbot.json et searchbot.json, Perplexity fournit perplexitybot.json, et Common Crawl peut être vérifié via une résolution DNS inverse sur crawl.commoncrawl.org. Comparer les IP de vos logs avec les plages officielles permet de filtrer les bots usurpés. Comme le souligne l’analyse de Cloudflare, identifier les bots qui falsifient leur user-agent grâce à un machine learning fondé sur le comportement constitue une ligne de défense plus réaliste, et le blocage des bots ignorant robots.txt relève de la couche WAF/CDN.
Configurer les crawlers IA n’est que le point de départ du GEO (optimisation pour les moteurs génératifs) — obtenir réellement des citations suppose ensuite de travailler la structure du contenu, les entités et la conception de la citabilité. Le service GEO/AIEO de Growth conçoit l’ensemble du processus, du diagnostic de l’accessibilité aux crawlers jusqu’à l’obtention de citations dans les réponses de l’IA. Découvrez le service GEO/AIEO de Growth ou contactez-nous via notre formulaire de consultation.
Questions fréquentes
Si je bloque GPTBot, est-ce que je disparais aussi de la recherche ChatGPT ?
Non. GPTBot sert à l’entraînement des modèles, tandis que la visibilité dans la recherche ChatGPT est gérée par OAI-SearchBot. Bloquer uniquement GPTBot permet de refuser vos données pour l’entraînement tout en conservant votre visibilité dans la recherche ChatGPT. En revanche, si vous bloquez aussi OAI-SearchBot, vous serez exclu des réponses de recherche ChatGPT, conformément aux indications officielles d’OpenAI.
Bloquer Google-Extended fait-il baisser mon classement dans Google Search ?
Non. La documentation officielle de Google précise que Google-Extended n’a aucun effet sur l’indexation dans Google Search et n’est pas utilisé comme signal de classement. Cela dit, cela bloque en même temps l’utilisation pour l’entraînement et le grounding de Gemini, ce qui peut affecter vos chances d’être cité dans les réponses de Gemini.
Au bout de combien de temps une modification de robots.txt prend-elle effet ?
Cela dépend de la fréquence à laquelle chaque crawler actualise son cache de robots.txt. OpenAI indique que cela peut prendre environ 24 heures. Comme il n’existe aucun moyen de forcer une prise en compte immédiate, la méthode la plus fiable consiste à vérifier vos logs serveur pendant un à deux jours après la modification pour confirmer le changement de comportement réel.
Comment bloquer les bots IA qui ignorent robots.txt ?
Comme robots.txt n’a aucune force contraignante, les bots qui l’ignorent doivent être bloqués au niveau du serveur ou du CDN. Les approches courantes incluent des règles de pare-feu basées sur les plages d’IP officielles des fournisseurs, ou un blocage comportemental comme la fonction de blocage des bots IA de Cloudflare. Gardez toutefois à l’esprit que bloquer aussi les fetchers agissant pour le compte de l’utilisateur bloquerait également de vrais prospects consultant vos pages via l’IA.
