Le robots.txt passe pour un détail technique : quelques lignes au format texte, posées à la racine du domaine. En audit, ce petit fichier concentre pourtant des erreurs coûteuses. Une question neuve s’y ajoute depuis 2023 : faut-il laisser entrer les robots des IA génératives ? J’ai vu un Disallow: / hérité d’une préproduction bloquer l’exploration d’un site entier passé en ligne. Ce guide couvre les directives utiles, les pièges classiques et le cas des crawlers IA.
Qu’est-ce que le robots.txt et à quoi sert-il ?
Le fichier robots.txt indique aux robots d’exploration quelles URL ils peuvent parcourir sur un site. Google le rappelle : il sert à éviter de surcharger le serveur, pas à cacher une page des résultats. Une URL bloquée reste indexable si d’autres sites la lient.
Le protocole d’exclusion des robots existe depuis 1994. Il est devenu un standard formel en septembre 2022, avec la RFC 9309. Le fichier se place à la racine du domaine, une fois par hôte et par protocole : https://example.com/robots.txt couvre le https de ce domaine, pas le http ni un sous-domaine. Chaque sous-domaine a besoin de son propre fichier.
Les directives qui comptent
Quatre directives suffisent à couvrir la plupart des besoins. Le reste relève de l’affinage.
- User-agent : cible un robot précis (User-agent: Googlebot) ou tous les robots (User-agent: *).
- Disallow : interdit l’exploration d’un chemin (Disallow: /panier/).
- Allow : rouvre un sous-chemin à l’intérieur d’une zone interdite (Allow: /panier/aide/).
- Sitemap : déclare l’URL absolue de votre sitemap XML.
Quand deux règles se contredisent, Google applique la plus spécifique, celle dont le chemin est le plus long, comme le détaille sa documentation sur l’interprétation du robots.txt. Le moteur choisit aussi le groupe de règles dont le user-agent correspond le mieux à son propre nom. Les caractères génériques * et $, absents du standard d’origine, sont lus par Google et par la majorité des grands robots. Un chemin est sensible à la casse : /Page et /page ne désignent pas la même ressource.
Piège n°1 : bloquer n’est pas désindexer
La confusion la plus fréquente que je relève en audit tient en une phrase. Un Disallow empêche l’exploration, pas l’indexation. Google l’écrit sans détour : le robots.txt « n’est pas un mécanisme pour tenir une page hors de Google ». Une URL bloquée peut toujours apparaître dans les résultats, sans description, avec la mention « aucune information disponible », dès qu’un autre site pointe vers elle.
Pire, bloquer une page dans ce fichier sabote la balise noindex que vous auriez posée dessus. Le robot ne peut pas lire une instruction sur une page qu’il n’a pas le droit de charger. Pour retirer une URL de l’index, laissez-la explorable et servez un noindex en balise meta ou en en-tête HTTP, ou protégez-la par mot de passe. C’est la méthode que Google recommande dans sa documentation officielle.
Cinq erreurs que nous corrigeons en audit
Les mêmes défauts reviennent d’un site à l’autre. Je les classe du plus visible au plus insidieux.
- Bloquer le CSS et le JavaScript. Google a besoin de charger ces ressources pour rendre la page comme un navigateur. Les bloquer dégrade sa compréhension de la mise en page et du contenu.
- Cumuler Disallow et noindex sur la même URL. Les deux instructions s’annulent : le robot ne voit jamais le noindex puisqu’il n’explore pas la page.
- Le Disallow: / hérité du staging. Une préproduction se protège par un Disallow: / global. Oublié lors de la mise en ligne, il coupe l’exploration de tout le site. À vérifier après chaque déploiement.
- Compter sur le robots.txt pour protéger des données. Le fichier est public : n’importe qui lit votresite.fr/robots.txt. Y lister Disallow: /admin-secret/ revient à signaler l’emplacement à protéger.
- Oublier de déclarer le sitemap. Une ligne Sitemap: aide tous les moteurs à découvrir vos URL. Beaucoup de fichiers l’omettent.
Faut-il bloquer les crawlers IA ?
C’est la question qui divise depuis 2023, et les guides classiques la traitent rarement. La réponse dépend de ce que fait chaque robot. Les grands acteurs ont séparé leurs crawlers en familles : l’entraînement des modèles, la recherche qui cite vos pages, et la récupération déclenchée par un utilisateur. Bloquer l’un ne bloque pas les autres.
OpenAI
OpenAI documente trois robots dans sa référence officielle. GPTBot collecte des données pour entraîner les modèles. OAI-SearchBot alimente la recherche de ChatGPT, celle qui affiche des sources. ChatGPT-User visite une page quand un internaute le demande dans une conversation. Bloquer GPTBot indique, selon OpenAI, que votre contenu ne doit pas servir à l’entraînement. Ce blocage ne vous retire pas de la recherche ChatGPT, gérée par OAI-SearchBot.
Anthropic
Anthropic suit la même logique à trois robots. ClaudeBot collecte pour l’entraînement, Claude-User récupère une page à la demande d’un utilisateur, Claude-SearchBot indexe pour la recherche de Claude. La marque affirme que ses robots « respectent les signaux de non-exploration en honorant les directives standard du robots.txt », d’après sa page d’aide. Chaque blocage est indépendant.
Perplexity
Perplexity distingue deux robots. PerplexityBot construit l’index qui sert ses réponses et respecte le robots.txt. Perplexity-User se comporte autrement : sa documentation précise que, la requête venant d’un utilisateur, ce fetcher « ignore en général les règles du robots.txt ».
Ma position tient en une ligne : ne bloquez pas par réflexe. Fermer un robot d’entraînement protège votre contenu du modèle, sans effet sur votre visibilité dans les réponses IA, portée par des robots de recherche distincts. Si vous cherchez à être cité par ChatGPT ou dans les moteurs génératifs, laissez ouverts les robots de recherche et de citation. Tout bloquer d’un bloc vous rend invisible dans ces réponses, un choix stratégique que nous discutons dans notre approche GEO et notre travail sur les citations LLM.
Les limites du robots.txt face aux IA
Le fichier repose sur la bonne volonté. Aucune barrière technique n’oblige un robot à l’appliquer : c’est une convention, pas un pare-feu. La RFC 9309 codifie le format, elle n’impose pas l’obéissance. Deux faits le rappellent. Perplexity-User ignore ouvertement le fichier, par conception. Et Cloudflare a documenté, le 4 août 2025, des crawlers furtifs de Perplexity qui contournaient les blocages en se faisant passer pour un navigateur Chrome.
La leçon est simple. Pour une donnée sensible, ce fichier ne suffit pas. Passez par une authentification, un blocage serveur sur IP vérifiées, ou une balise noindex selon le besoin. Le fichier reste un signal de préférence, respecté par les acteurs sérieux, ignoré par les autres.
Tester et déployer sans rien casser
Ce fichier se contrôle avant chaque mise en ligne, jamais après coup. Cinq réflexes évitent l’accident.
- Valider la syntaxe avant de déployer, avec le rapport robots.txt de Google Search Console.
- Chercher un Disallow: / oublié, surtout après une migration ou une restauration.
- Vérifier que le CSS et le JavaScript restent explorables.
- Confirmer que la ligne Sitemap pointe vers une URL qui répond 200.
- Recontrôler après tout changement de structure, une bascule d’environnement ou un changement de CMS.
Ce contrôle fait partie de tout audit SEO sérieux, au même titre que les balises canonical et le sitemap.
Questions fréquentes
Bloquer GPTBot empêche-t-il ChatGPT de me citer ?
Non. GPTBot sert à l’entraînement des modèles. Les citations affichées dans la recherche de ChatGPT passent par un robot distinct, OAI-SearchBot. Vous pouvez fermer GPTBot pour protéger votre contenu de l’entraînement, tout en laissant OAI-SearchBot explorer votre site pour rester visible dans les réponses.
Le robots.txt suffit-il à protéger une page privée ?
Non. Le fichier est public et repose sur la bonne volonté des robots. Une page qui doit rester confidentielle se protège par mot de passe ou par authentification serveur. Le robots.txt sert à orienter l’exploration, pas à sécuriser une ressource.
Où placer le fichier robots.txt ?
À la racine du domaine, accessible à votresite.fr/robots.txt. Un fichier ne couvre qu’un hôte et un protocole. Chaque sous-domaine, comme blog.votresite.fr, a besoin de son propre robots.txt.
Bloquer les crawlers IA améliore-t-il le SEO ?
Non, cela n’a aucun effet sur votre classement Google. Le choix de bloquer ou non les robots IA relève de deux enjeux : protéger votre contenu de l’entraînement des modèles, et décider si vous voulez apparaître dans les réponses des moteurs génératifs. Ce n’est pas un levier de référencement classique.
Rédigé par Yonel Sasson, consultant SEO depuis 2014 et GEO chez Getknown. Directives et distinctions sourcées dans les documentations officielles de Google, OpenAI, Anthropic et Perplexity ; cas de contournement documenté par Cloudflare (août 2025). Pièges issus de nos audits.