robots.txt et crawlers IA : lesquels bloquer, lesquels autoriser ?
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended… Chaque robot IA a un rôle différent. Bloquer le mauvais vous fait disparaître des réponses de ChatGPT sans protéger vos contenus.
Étude originale
Nous avons analysé 37 des plus grands sites tunisiens (banques, télécoms, e-commerce, médias). Aucun ne bloque les robots de recherche IA, mais plus de la moitié n'a aucune donnée structurée sur sa page d'accueil.
À moitié. Sur 37 grands sites tunisiens analysés le 19 octobre 2026 par Feres Gharbi, aucun ne bloque les robots de recherche IA, donc ChatGPT ou Perplexity peuvent les lire. Mais 51 % n'ont aucune donnée structurée sur leur page d'accueil, et les banques et les opérateurs télécoms sont les moins préparés.
Pour être cité par une IA, un site doit d'abord être lisible par ses robots, puis compréhensible en tant qu'entité (qui est cette entreprise, que propose-t-elle, où). Cette étude mesure ces deux conditions sur les sites que les Tunisiens consultent le plus : banques, assurances, télécoms, e-commerce, médias, emploi et voyage.
Les données montrent un écart net entre l'accès et la compréhension : 86 % des sites ont un robots.txt valide et aucun ne ferme la porte aux robots de recherche IA, mais moins de la moitié décrit son entreprise avec un balisage Organization lisible par les machines.
Relevé du 19 octobre 2026. Une seule série : pourcentage de sites.
| Secteur | Sites analysés | Avec JSON-LD | Avec llms.txt | Citent un robot IA |
|---|---|---|---|---|
| Banque & assurance | 9 | 2 | 0 | 0 |
| Télécom | 3 | 0 | 0 | 0 |
| E-commerce & retail | 7 | 3 | 2 | 1 |
| Médias | 10 | 8 | 3 | 1 |
| Emploi & services | 4 | 3 | 2 | 1 |
| Voyage | 4 | 2 | 2 | 1 |
| Total | 37 | 18 (49 %) | 9 (24 %) | 4 (11 %) |
Non. Aucun des 37 sites ne bloque OAI-SearchBot, le robot qui décide de l'apparition dans les réponses de ChatGPT search, ni PerplexityBot. Un seul site, optioncarriere.tn, bloque un robot lié à l'IA : CCBot, le robot de Common Crawl.
Ce résultat est rassurant, mais il ne reflète pas une stratégie : seuls 4 sites (spacenet.tn, webdo.tn, traveltodo.com, optioncarriere.tn) nomment au moins un robot IA dans leur fichier. Les 33 autres sont ouverts parce que leur robots.txt n'a jamais été pensé pour l'IA.
La distinction compte. Chez OpenAI, GPTBot sert à l'entraînement des modèles et OAI-SearchBot à la recherche ; un site qui bloque OAI-SearchBot n'apparaît plus dans les réponses de ChatGPT search[2]. Un réglage par défaut peut basculer du mauvais côté au prochain changement de CDN ou de plugin. Voir notre guide robots.txt et crawlers IA.
Les banques, les assurances et les opérateurs télécoms tunisiens sont en retard parce que leurs pages d'accueil ne décrivent pas l'entreprise dans un format lisible par les machines : 7 sites bancaires sur 9 et les 3 opérateurs télécoms n'ont aucun bloc JSON-LD, alors que 8 médias sur 10 en ont un.
L'écart avec les médias s'explique en partie par les outils : 7 des 18 sites balisés présentent le graphe généré par défaut par une extension SEO de WordPress (WebSite, WebPage, Organization, BreadcrumbList, ReadAction). Le balisage existe donc souvent par accident, sans les informations qui comptent pour une banque : services, agences, coordonnées, profils officiels.
Google rappelle que les données structurées ne sont pas obligatoires pour apparaître dans ses fonctions IA[5]. Elles restent la manière la plus explicite de dire à un moteur qui vous êtes, et aucun des 37 sites n'utilise un balisage FAQPage sur sa page d'accueil.
9 sites sur 37, soit 24 %, publient un fichier llms.txt valide : surtout des médias (Business News, La Presse, Webdo), des sites e-commerce (Tunisianet, Zoom), d'emploi (Keejob, Med.tn) et de voyage (Tunisiebooking, Traveltodo). Aucune banque et aucun opérateur télécom n'en a.
Ce taux est proche des études internationales : Ahrefs mesure 28 % sur 137 210 domaines (une borne haute selon l'éditeur)[3], SE Ranking 10,13 % sur environ 300 000 domaines[4]. Mais Google indique que Search ignore ces fichiers[5] et Ahrefs constate que 97 % des llms.txt ne reçoivent aucune requête[3]. Avoir un llms.txt ne compense pas l'absence de données structurées. Détails dans llms.txt : faut-il en créer un ?
C'est urgent parce que les réponses IA de Google sont déjà disponibles en arabe dans toute la région MENA depuis mai 2025, et en France depuis le 22 juillet 2026, deux marchés clés pour les entreprises tunisiennes.
Google a annoncé le lancement des AI Overviews dans la région MENA et en arabe le 20 mai 2025[7], puis des Aperçus IA et du Mode IA en France le 22 juillet 2026[6]. Une entreprise tunisienne qui vise une clientèle francophone ou arabophone est donc déjà comparée, résumée ou ignorée par ces réponses.
Feres Gharbi a relevé le 19 octobre 2026 trois fichiers publics pour 40 grands sites tunisiens : robots.txt, llms.txt et le HTML de la page d'accueil. 37 sites ont pu être analysés, à raison d'une requête par fichier, avec un robot identifié.
Les données brutes sont publiques : télécharger le CSV[1]. Licence CC BY 4.0, citation de la source demandée.
Trois actions suffisent pour rattraper l'essentiel : décider explicitement quels robots IA autoriser dans robots.txt, publier un balisage Organization complet relié à vos profils officiels, et mesurer chaque mois si les IA citent votre marque.
Autoriser les robots de recherche (OAI-SearchBot, PerplexityBot, Claude-SearchBot), décider pour les robots d'entraînement, déclarer le sitemap.
JSON-LD Organization ou LocalBusiness avec nom, services, coordonnées, logo et liens sameAs, cohérents avec le texte visible.
Poser chaque mois les mêmes questions clients à ChatGPT, Gemini et Perplexity, et suivre votre taux de présence.
Chaque chiffre de cet article renvoie à sa source. Les pages ont été consultées le 19 octobre 2026.
GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended… Chaque robot IA a un rôle différent. Bloquer le mauvais vous fait disparaître des réponses de ChatGPT sans protéger vos contenus.
97 % des fichiers llms.txt ne reçoivent aucune requête et Google déclare les ignorer. Pourtant 24 % des grands sites tunisiens en ont un. Voici ce que disent vraiment les données.
ChatGPT donne rarement deux fois la même liste de marques. Une capture d'écran ne prouve donc rien. Voici comment mesurer un taux de présence fiable, et les outils gratuits de Google et Bing.
En 30 minutes, je vous montre où votre site se positionne sur Google et dans les réponses des IA, et ce qui vous sépare des entreprises qu'elles recommandent.