La Search Console montre une vue agrégée du crawl : 90 jours d’historique, des totaux par type de fichier, pas d’inventaire URL par URL. Vos logs serveur enregistrent chaque requête reçue, sans filtre ni échantillon. Pour savoir ce que Googlebot explore sur votre site et ce qu’il gaspille, c’est la source de référence.
Depuis 2024, une deuxième raison de les ouvrir s’est ajoutée : les robots d’IA. GPTBot, ClaudeBot, OAI-SearchBot ou PerplexityBot n’apparaissent dans aucune console éditeur. Vos logs sont le seul endroit où constater leur passage, ou leur absence.
Que contient un fichier de log serveur ?
Un log serveur enregistre chaque requête reçue par votre site : adresse IP, horodatage, URL demandée, code de réponse HTTP et user-agent. L’analyse de logs SEO consiste à isoler les lignes laissées par les robots, Googlebot mais aussi GPTBot ou ClaudeBot, pour mesurer ce qu’ils explorent, à quelle fréquence, et ce qu’ils ignorent.
Une ligne type au format Apache ressemble à ceci :
66.249.66.1 - - [12/Jul/2026:06:25:17 +0200] "GET /blog/exemple/ HTTP/1.1" 200 15230 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"Cette ligne répond à cinq questions : qui (l’IP 66.249.66.1 et le user-agent Googlebot), quand (le 12 juillet à 6 h 25), quoi (la page /blog/exemple/), avec quel résultat (un code 200) et quel poids (15 230 octets). Multipliez par des milliers de lignes par jour et vous obtenez le journal de bord complet de votre site.
Selon le serveur (Apache, Nginx) ou l’export d’un CDN comme Cloudflare, l’ordre des champs varie, mais l’information reste la même. Sur un hébergement mutualisé, le fichier s’appelle le plus souvent access.log et se récupère depuis cPanel ou par FTP.
Ce qu’on y cherche en SEO : crawl réel, 404, gabarits
Trois lectures produisent la majeure partie de la valeur SEO d’une analyse de logs.
Le budget de crawl réel. Google alloue à chaque site une capacité d’exploration limitée. Les logs montrent où elle part : combien de hits sur vos pages stratégiques, combien sur des URL à paramètres, des filtres à facettes ou de la pagination sans valeur. En audit, nous retrouvons des sites dont une large part des passages de Googlebot se concentre sur des URL que personne ne cherche, pendant que des pages business attendent des semaines entre deux visites. Notre guide du budget de crawl détaille les seuils à partir desquels ce chantier devient prioritaire.
Les 404 crawlées. La Search Console liste des 404 découvertes par Google ; les logs montrent leur poids exact dans le crawl et leur récurrence dans le temps. Une 404 visitée dix fois par jour signale un lien interne ou un sitemap qui pointe encore vers une URL morte. La correction relève d’un audit technique classique, mais la détection passe par les logs.
La fréquence par gabarit. Regrouper les hits par motif d’URL (/blog/, /produit/, /categorie/) révèle quels gabarits Google juge dignes d’une exploration fréquente. Un gabarit crawlé chaque jour est vivant aux yeux de Google ; un gabarit visité une fois par mois trahit un défaut de maillage ou de qualité perçue. Ni un crawler classique ni la Search Console ne fournissent cette donnée avec ce niveau de précision.
Quatrième lecture, moins connue : le délai de découverte. Le temps écoulé entre la mise en ligne d’une page et son premier hit Googlebot mesure la santé de votre maillage interne. Au-delà de quelques jours sur un site actif, cherchez la cause.
Bots IA dans les logs : la dimension que les guides n’abordent pas
La plupart des guides francophones sur le sujet datent d’avant 2024 et s’arrêtent à Googlebot et Bingbot. Le paysage a changé d’échelle : sur le réseau Vercel, l’étude publiée le 17 décembre 2024 comptait 569 millions de requêtes mensuelles pour GPTBot et 370 millions pour le crawler d’Anthropic, soit à eux deux environ 20 % du volume de Googlebot mesuré sur la même infrastructure.
Ces robots ne se valent pas. Confondre un crawler d’entraînement avec un crawler de recherche conduit à des décisions de blocage absurdes.
| User-agent | Éditeur | Rôle | Respecte robots.txt |
|---|---|---|---|
| GPTBot | OpenAI | Collecte pour l’entraînement des modèles | Oui |
| OAI-SearchBot | OpenAI | Indexation pour ChatGPT Search | Oui |
| ChatGPT-User | OpenAI | Visite déclenchée par un utilisateur de ChatGPT | Pas systématiquement |
| ClaudeBot | Anthropic | Collecte pouvant servir à l’entraînement | Oui |
| Claude-SearchBot | Anthropic | Qualité des résultats de recherche de Claude | Oui |
| PerplexityBot | Perplexity | Indexation pour le moteur Perplexity, pas d’entraînement | Oui |
| Perplexity-User | Perplexity | Visite déclenchée par une question d’utilisateur | Non, assumé |
Bloquer GPTBot est un choix éditorial défendable : vos contenus ne serviront pas à entraîner les futurs modèles. Bloquer OAI-SearchBot ou PerplexityBot revient en revanche à sortir de ChatGPT Search et de Perplexity, deux sources de visites en croissance. Cette distinction figure dans les documentations officielles des trois éditeurs, et elle se vérifie dans vos logs : chaque robot signe de son user-agent.
Deuxième enseignement de l’étude Vercel : aucun de ces crawlers n’exécute le JavaScript. Ils téléchargent les fichiers JS sans les rendre. Un contenu injecté côté client reste donc invisible pour ChatGPT, Claude et Perplexity, même quand vos logs prouvent leur passage. Si votre stratégie GEO vise des citations dans ces moteurs, le contenu doit exister dans le HTML initial.
Comment analyser les logs sans outil dédié ?
Une analyse de logs utile ne demande ni Botify ni Oncrawl pour démarrer. Un terminal et la Search Console suffisent sur un site de taille petite à moyenne. Cinq étapes.
1. Récupérez 30 jours de logs. Sur cPanel, la fonction « Accès brut » livre les fichiers access.log compressés ; en SSH, ils vivent le plus souvent dans /var/log ou dans le dossier logs de l’hébergement. Vérifiez d’abord que la conservation est activée : certains mutualisés purgent après 24 heures, et une analyse sur un jour ne prouve rien.
2. Isolez les robots. Trois commandes couvrent l’essentiel :
# URLs les plus crawlées par Googlebot
grep "Googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
# 404 rencontrées par Googlebot
grep "Googlebot" access.log | awk '$9 == 404 {print $7}' | sort | uniq -c | sort -rn
# volume de hits par bot IA
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot" access.log | sort | uniq -c3. Authentifiez Googlebot. N’importe quel scraper peut se déclarer « Googlebot » dans son user-agent. En audit, nous croisons les user-agents avec les adresses IP : une partie des « Googlebot » observés s’avère usurpée. Google documente deux vérifications : le DNS inverse (l’IP doit résoudre vers googlebot.com, google.com ou googleusercontent.com) et des listes d’IP officielles publiées en JSON. OpenAI, Anthropic et Perplexity publient les leurs au même format.
4. Croisez avec la Search Console. Le rapport Paramètres > Statistiques sur l’exploration donne 90 jours de requêtes Google : codes de réponse, objectif (découverte ou actualisation), type de Googlebot. Il valide vos ordres de grandeur, mais il reste limité aux robots de Google et Google précise que ses données ne sont pas exhaustives. Vos logs restent la source complète.
5. Regroupez par gabarit et décidez. Produisez un tableau simple : gabarit d’URL, hits Googlebot sur 30 jours, répartition 200/301/404, présence des bots IA. Ce tableau désigne les chantiers dans l’ordre : nettoyage des 404, réduction des URL parasites, maillage des sections délaissées.
Le piège du WAF : autorisé dans robots.txt, bloqué avant le HTTP
L’idée reçue à casser : un robots.txt qui autorise un robot garantirait son accès. C’est faux, et l’erreur est invisible depuis le site lui-même. Le pare-feu applicatif (WAF) de votre hébergeur ou de votre CDN filtre les requêtes avant qu’elles n’atteignent votre serveur web ; il peut rejeter un bot que vous pensez accueillir.
Nous l’avons constaté en juillet 2026 sur un hébergement mutualisé français : OAI-SearchBot, le crawler d’indexation de ChatGPT Search, recevait un reset de connexion avant toute réponse HTTP, alors que le robots.txt du site l’autorisait. Aucune 403 dans les logs, aucune trace côté site : la connexion était coupée en amont. Seul un test par user-agent a révélé le blocage.
Le test tient en une ligne :
curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://www.votresite.fr/Réponse 200 : le bot passe. Connexion réinitialisée, timeout ou 403 : votre hébergeur bloque en silence, et ni votre robots.txt ni votre CMS n’y changeront rien. Répétez le test avec chaque user-agent du tableau ci-dessus. En cas de blocage, adressez la demande au support de l’hébergeur en fournissant les plages IP officielles du robot concerné.
Ce contrôle illustre une règle plus large : l’absence d’un bot dans vos logs est une information en soi. Zéro hit GPTBot sur 30 jours alors que vos concurrents sont cités dans ChatGPT mérite une investigation, pas un haussement d’épaules.
Des logs au plan d’action
L’analyse de logs fournit le diagnostic ; la valeur vient des corrections. Chez Getknown, nous l’intégrons dans nos audits SEO dès qu’un site dépasse quelques milliers d’URL ou vise une visibilité dans les moteurs IA. Si vos pages stratégiques attendent des semaines entre deux passages de Googlebot, ou si aucun bot IA n’apparaît dans vos fichiers, parlons-en.
Questions fréquentes
Combien de jours de logs faut-il pour une analyse fiable ?
Trente jours donnent une base exploitable pour un site qui reçoit plusieurs centaines de hits robots quotidiens. Sur un petit site, étendez à 60 ou 90 jours pour lisser les à-coups de crawl. Le vrai prérequis est en amont : vérifier que votre hébergeur conserve les logs au lieu de les purger chaque jour.
L’analyse de logs sert-elle sur un site de moins de 1 000 pages ?
Oui, mais pas pour le budget de crawl, qui concerne les gros volumes d’URL. Sur un petit site, les logs servent à détecter les 404 crawlées, à confirmer le passage des bots IA et à repérer un blocage WAF silencieux. Une heure de travail suffit souvent à ces trois contrôles.
Les logs serveur sont-ils soumis au RGPD ?
Oui : les adresses IP des visiteurs humains sont des données personnelles. Pour une analyse SEO, filtrez les lignes des robots vérifiés et travaillez sur ce sous-ensemble. Limitez la durée de conservation, documentez le traitement et ne transmettez jamais de logs bruts non anonymisés à un prestataire tiers.
Peut-on voir dans les logs si ChatGPT cite mon site ?
Non. Les logs montrent les visites des robots, pas les citations dans les réponses. Un hit ChatGPT-User indique qu’un utilisateur a déclenché la lecture d’une de vos pages depuis ChatGPT, un signal indirect d’usage. Pour mesurer les citations elles-mêmes, la méthode est décrite dans notre page sur les citations LLM.
Quelle différence entre les logs et le rapport d’exploration de la Search Console ?
Le rapport de la Search Console couvre uniquement les robots de Google, sur 90 jours, avec des données que Google qualifie lui-même de non exhaustives. Les logs enregistrent tous les robots, URL par URL, sur toute votre période de rétention. Les deux se complètent : la Search Console pour la tendance, les logs pour le détail.