robots.txt et crawlers IA : lesquels bloquer, lesquels autoriser ?
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended… Chaque robot IA a un rôle différent. Bloquer le mauvais vous fait disparaître des réponses de ChatGPT sans protéger vos contenus.
Technique
97 % des fichiers llms.txt ne reçoivent aucune requête et Google déclare les ignorer. Pourtant 24 % des grands sites tunisiens en ont un. Voici ce que disent vraiment les données.
llms.txt est un fichier texte au format Markdown, placé à la racine d'un site, qui résume le site et liste ses pages importantes à destination des modèles de langage. Il a été proposé par Jeremy Howard (Answer.AI) le 3 septembre 2024 et n'est pas un standard officiel.
Sources : annonce d'Answer.AI[1] et spécification[2]. Seul un titre H1 avec le nom du site est obligatoire ; viennent ensuite, en option, un résumé en citation, du texte libre et des sections H2 contenant des listes de liens. Le fichier llms-full.txt, souvent cité, ne fait pas partie de la spécification : c'est une convention popularisée par la plateforme de documentation Mintlify en novembre 2024[10].
La version 2 de la spécification, publiée en août 2026, ajoute des mécanismes de découverte : un lien rel="alternate" type="text/markdown" vers la version Markdown d'une page, un lien rel="describedby" vers le llms.txt qui la décrit, et la possibilité de placer des fichiers dans des sous-dossiers.
La v2 précise aussi le nommage des versions Markdown (page.md ou page.html.md) et retire la signification mécanique de la section « Optional »[3].
Non. Depuis juin 2026, la documentation de Google Search indique que créer un llms.txt « will neither harm nor help your site's visibility or rankings in Google Search, as Google Search ignores them », et classe ces fichiers parmi les tactiques inutiles pour apparaître dans les fonctions IA.
Source : guide Google d'optimisation pour l'IA générative[4]. John Mueller avait déjà écrit en juin 2025 qu'aucun système d'IA n'utilisait llms.txt, ce qui se voit dans les journaux serveur[5], puis qualifié le sujet de « purely speculative for now » en juin 2026[6]. Nuance : Chrome a ajouté un audit llms.txt à Lighthouse en mai 2026, qui signale une erreur serveur mais considère l'absence de fichier comme « non applicable »[7].
Très peu. Sur 137 210 domaines analysés par Ahrefs, 28 % publient un llms.txt mais 97 % de ces fichiers n'ont reçu aucune requête en mai 2026, et les robots de recherche IA ne représentent que 1,1 % des visites de ces fichiers.
| Étude | Échantillon | Sites avec llms.txt | Constat |
|---|---|---|---|
| Ahrefs, juin 2026[8] | 137 210 domaines | 28 % (borne haute) | 97 % des fichiers jamais lus ; 1,1 % des requêtes viennent de robots de recherche IA |
| SE Ranking[9] | ~300 000 domaines | 10,13 % | Aucun lien mesurable avec les citations IA |
| Feres Gharbi, oct. 2026[11] | 37 grands sites tunisiens | 24 % | Médias, e-commerce, emploi, voyage ; aucune banque ni télécom |
Dans l'étude SE Ranking, retirer la variable llms.txt du modèle statistique améliorait même sa précision : le fichier n'explique pas les citations[9].
Pour un site d'entreprise, ce n'est pas une priorité : Google l'ignore et les données ne montrent aucun effet sur les citations IA. Il devient pertinent pour une documentation technique destinée aux développeurs et aux agents IA, comme le font OpenAI, Anthropic et Perplexity pour leurs propres docs.
Ce site en publie un : /llms.txt. Il coûte quelques minutes, ne nuit à rien et résume l'entité. Mais il arrive en dernier dans la liste des priorités, après l'accès des robots, des pages qui répondent aux questions, des données structurées et des mentions tierces. Si vous devez choisir, commencez par vérifier votre robots.txt.
robots.txt dit aux robots ce qu'ils peuvent explorer, et les grands robots déclarent le respecter. llms.txt décrit le contenu d'un site pour les modèles de langage, sans aucune règle d'accès. Un llms.txt ne bloque donc pas ChatGPT.
À la racine du site (https://exemple.com/llms.txt). Depuis la version 2 de la spécification, des fichiers peuvent aussi être placés dans des sous-dossiers, le plus spécifique s'appliquant.
En consultant les journaux de votre serveur ou de votre CDN : filtrez les requêtes vers /llms.txt et regardez l'agent utilisateur (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot).
Chaque chiffre de cet article renvoie à sa source. Les pages ont été consultées le 19 octobre 2026.
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended… Chaque robot IA a un rôle différent. Bloquer le mauvais vous fait disparaître des réponses de ChatGPT sans protéger vos contenus.
Nous avons analysé 37 des plus grands sites tunisiens (banques, télécoms, e-commerce, médias). Aucun ne bloque les robots de recherche IA, mais plus de la moitié n'a aucune donnée structurée sur sa page d'accueil.
Lancés en France le 22 juillet 2026 et disponibles en arabe dans la région MENA, les Aperçus IA réduisent les clics. Voici les chiffres, ce que Google recommande, et ce qu'il faut faire.
En 30 minutes, je vous montre où votre site se positionne sur Google et dans les réponses des IA, et ce qui vous sépare des entreprises qu'elles recommandent.