robots.txt et crawlers IA : lesquels bloquer, lesquels autoriser ?

Quels robots IA visitent votre site ?

Trois familles de robots IA visitent les sites : les robots d'entraînement (GPTBot, ClaudeBot, CCBot), qui collectent des contenus pour entraîner les modèles ; les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot), qui permettent de citer vos pages ; et les robots utilisateur (ChatGPT-User, Claude-User, Perplexity-User), qui ouvrent une page à la demande d'une personne.

Sources : OpenAI^[1], Anthropic^[2], Perplexity^[3], Google^[4], Apple^[6], Common Crawl^[7], Meta^[8].

Bloquer GPTBot fait-il disparaître mon site de ChatGPT ?

Non. Bloquer GPTBot empêche seulement OpenAI d'utiliser vos pages pour entraîner ses modèles. C'est OAI-SearchBot qui décide de l'apparition dans ChatGPT search : selon OpenAI, un site qui bloque OAI-SearchBot n'est plus affiché dans les réponses, sauf comme simple lien de navigation.

Les deux réglages sont indépendants^[1]. OpenAI précise aussi qu'il faut environ 24 heures pour que ses systèmes prennent en compte un robots.txt modifié, et que si les deux robots sont autorisés, une seule exploration peut servir aux deux usages.

C'est l'erreur la plus fréquente que je rencontre : un site bloque « les robots d'OpenAI » en pensant protéger ses contenus et disparaît des recommandations de ChatGPT.

Bloquer Google-Extended retire-t-il mon site des AI Overviews ?

Non. Google-Extended contrôle l'utilisation de vos contenus pour l'entraînement de Gemini et pour l'ancrage dans certains autres produits, mais Google précise qu'il n'a aucun effet sur l'inclusion ni sur le classement dans Google Search. Pour les AI Overviews et le Mode IA, le contrôle est le robots.txt de Googlebot.

Google-Extended n'est d'ailleurs pas un robot : c'est un jeton sans agent utilisateur propre^[4]. Pour limiter ce que Google affiche dans ses fonctions IA, Google renvoie aux balises nosnippet, data-nosnippet, max-snippet et noindex^[5].

Même logique chez Apple : Applebot-Extended n'explore aucune page, il décide seulement si les pages déjà explorées par Applebot peuvent servir à l'entraînement, sans effet sur le classement^[6].

Les robots IA respectent-ils vraiment robots.txt ?

Les robots d'entraînement et de recherche déclarent respecter robots.txt, mais les robots déclenchés par un utilisateur peuvent l'ignorer, et leurs éditeurs l'écrivent eux-mêmes : OpenAI indique que les règles « may not apply » à ChatGPT-User, Perplexity que Perplexity-User « generally ignores » robots.txt, et Meta que meta-externalfetcher « may bypass » ces règles.

Sources : OpenAI^[1], Perplexity^[3], Meta^[8]. Anthropic déclare respecter les directives standard de robots.txt et prend en charge la directive non standard Crawl-delay^[2]. Common Crawl indique respecter robots.txt et Crawl-delay^[7].

Un blocage strict passe donc par le pare-feu ou le CDN, pas seulement par robots.txt. Cloudflare a d'ailleurs accusé Perplexity, en août 2025, d'utiliser des robots non déclarés pour contourner des blocages ; il s'agit des affirmations de Cloudflare^[11].

Quel robots.txt utiliser pour bloquer l'entraînement sans perdre les citations ?

Pour bloquer l'entraînement tout en restant citable, il faut interdire les robots d'entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent) et autoriser explicitement les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot).

# Entraînement IA : bloqué
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

# Recherche IA : autorisée (citations)
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://www.example.com/sitemap.xml

À l'inverse, une entreprise qui veut maximiser sa visibilité (c'est le choix de ce site) autorise aussi les robots d'entraînement : une marque présente dans les données d'entraînement a plus de chances d'être connue des modèles qui répondent sans naviguer. Le choix dépend de votre modèle économique, pas d'une règle universelle.

Et Bing, Copilot ?

Microsoft n'a pas de robot IA séparé : Bingbot explore les pages, et le contrôle se fait par les balises meta robots. Selon Microsoft, noarchive exclut une page des réponses de Bing Chat et de l'entraînement, tandis que nocache limite l'usage à l'URL, au titre et à l'extrait.

Ces options ont été annoncées en septembre 2023 pour Bing Chat^[9] ; Microsoft n'a pas publié de mise à jour explicite pour Copilot à notre connaissance.

Mon CDN bloque-t-il les robots IA à mon insu ?

C'est possible. Depuis le 1er juillet 2025, chez Cloudflare, chaque nouveau domaine démarre avec un contrôle des robots IA activé par défaut, et doit indiquer à l'inscription s'il les autorise. Un site peut donc avoir un robots.txt ouvert et être fermé au niveau du CDN.

Cloudflare indiquait que plus d'un million de clients avaient déjà activé son blocage en un clic lancé en septembre 2024^[10]. Vérifiez vos réglages CDN et pare-feu : dans notre étude sur 37 grands sites tunisiens, aucun robots.txt ne bloque les robots de recherche IA, mais seule une analyse des journaux serveur dit si ces robots arrivent réellement.

Questions fréquentes