L’analyse des logs serveur consiste à exploiter les fichiers journaux de votre serveur pour observer, requête par requête, ce que les robots font sur votre site. Là où la Search Console échantillonne et agrège, les logs enregistrent chaque visite de Googlebot sans filtre : quelle URL, à quel moment, avec quel code de réponse. C’est la source la plus fiable pour comprendre le comportement réel des robots, et depuis 2026, le seul moyen de mesurer le passage des robots d’IA sur vos pages.
C’est quoi l’analyse de logs en SEO ?
L’analyse de logs SEO exploite les fichiers d’accès du serveur. Elle montre comment les robots comme Googlebot explorent vos pages : quelles URL ils visitent, à quelle fréquence, avec quels codes de réponse. C’est la seule source exhaustive du comportement réel des robots, sans échantillonnage ni estimation.
Chaque ligne d’un fichier de log décrit une requête. Dans le format d’accès courant d’Apache ou de Nginx, on y trouve l’adresse IP de l’appelant, la date et l’heure précises, la méthode et l’URL demandées, le code de réponse renvoyé (200, 301, 404, 500), le poids en octets, le référent et le user-agent qui identifie l’appelant. Multipliez cette ligne par des milliers de requêtes quotidiennes et vous obtenez la trace complète de l’activité de votre site, humains et robots confondus.
Cette exhaustivité fait des logs le dernier étage du diagnostic d’exploration. Le budget de crawl pose le concept, le taux de crawl mesuré dans la Search Console donne les tendances, et les logs révèlent le détail URL par URL que ces deux outils ne montrent pas.
Récupérer ses logs, et vérifier le vrai Googlebot
Où trouver les fichiers
Les logs d’accès se récupèrent auprès de votre hébergement : via un accès SSH ou FTP au serveur, dans l’espace d’administration (cPanel, Plesk) ou, si vous utilisez un CDN comme Cloudflare, dans son tableau de bord. Sur les sites derrière un CDN ou un répartiteur de charge, une partie du trafic peut être servie sans toucher le serveur d’origine : pensez à récupérer les logs au bon niveau, sous peine d’analyser une image partielle. Un point de conformité à ne pas négliger : les logs contiennent des adresses IP, considérées comme des données personnelles au sens du RGPD, ce qui impose une durée de conservation maîtrisée et un accès restreint.
Le piège du faux Googlebot
L’erreur qui fausse le plus d’analyses tient au user-agent. N’importe quel robot peut se déclarer « Googlebot » dans ses en-têtes, et une part non négligeable du trafic qui se présente ainsi n’a rien à voir avec Google : scrapers, outils tiers, robots malveillants. Se fier au seul user-agent pollue tout le reste. La vérification se fait par résolution DNS inverse : l’adresse IP du prétendu Googlebot doit se résoudre vers un domaine googlebot.com ou google.com, confirmé par une résolution directe. Google documente cette procédure et publie la liste de ses plages d’adresses. Filtrer le faux Googlebot est la première étape d’une analyse honnête.
Ce que les logs révèlent, et que la Search Console cache
Une fois les données propres, quelques croisements suffisent à sortir des constats que rien d’autre ne donne. Les analyses qui rapportent le plus en audit technique :
- Le gaspillage d’exploration : les URL sur lesquelles Googlebot passe le plus de temps. Quand des pages de facettes, de tri ou de recherche interne concentrent les hits, votre budget d’exploration part dans le vide.
- Les pages importantes sous-explorées : croisez la liste des URL stratégiques avec les hits de Googlebot. Une page clé jamais visitée depuis des semaines ne sera pas réindexée, quelle que soit sa qualité.
- Les pages orphelines encore crawlées : des URL que plus aucun lien interne ne pointe, mais que Googlebot continue de visiter parce qu’il les garde en mémoire. Autant de requêtes détournées de vos pages utiles.
- La distribution des codes de réponse dans le temps : une hausse des 404 ou des 5xx dans les hits de robots signale un problème avant même qu’il n’apparaisse dans la Search Console.
- Le délai de découverte : le temps écoulé entre la publication d’une page et le premier passage de Googlebot. Un délai qui s’allonge trahit un problème de maillage ou de sitemap.
Aucune de ces analyses n’est possible dans la Search Console, qui agrège les totaux et n’affiche que des exemples d’URL. Les logs donnent la matière brute, page par page, sans plafond.
Les logs en 2026 : mesurer les robots d’IA
C’est le nouvel usage qui rend l’analyse de logs indispensable. Les moteurs de réponse génératifs envoient leurs propres robots collecter le contenu du web, et ce passage est invisible dans les outils de Google. Seuls les logs le révèlent.
Dans vos fichiers, ces robots se repèrent à leur user-agent, sous réserve de la même vérification que pour Googlebot. Les principaux à surveiller aujourd’hui : GPTBot (collecte d’OpenAI pour l’entraînement), OAI-SearchBot (indexation pour la recherche de ChatGPT), ClaudeBot (Anthropic) et PerplexityBot (Perplexity). Suivre leur activité répond à des questions concrètes : ces moteurs viennent-ils chercher votre contenu, quelles pages consultent-ils, à quelle fréquence ?
Un point technique décide de leur efficacité : la plupart de ces robots d’IA n’exécutent pas le JavaScript. Ils lisent le HTML servi par votre serveur, rien de plus. Un contenu injecté côté client leur reste invisible, exactement comme nous le détaillons pour le SEO JavaScript. Mesurer leur passage dans les logs est le point de départ concret d’une démarche de visibilité dans les réponses des IA, où l’on cherche à être lu, puis cité, par ces moteurs.
Avec quoi analyser ses logs
Le choix de l’outil dépend du volume et de vos compétences techniques.
- La ligne de commande (grep, awk) : gratuite et immédiate pour un premier tri sur un petit fichier, mais vite limitée dès que le volume grimpe.
- Screaming Frog Log File Analyser : un outil de bureau qui importe vos fichiers, vérifie les robots et croise les hits avec un crawl. Adapté aux sites de taille moyenne.
- Les plateformes cloud (Oncrawl, Botify) : conçues pour les gros sites, elles traitent des logs en continu et les croisent avec le crawl et les données de la Search Console. C’est l’outillage des catalogues volumineux.
Quel que soit l’outil, la valeur ne vient pas du logiciel mais du croisement : confronter ce que les robots visitent à ce que vous jugez important. C’est ce rapprochement qui fait apparaître le gaspillage et les angles morts.
FAQ : vos questions sur l’analyse de logs
C’est quoi l’analyse de logs en SEO ?
L’analyse de logs SEO exploite les fichiers d’accès du serveur pour observer comment les robots explorent un site : quelles URL ils visitent, à quelle fréquence et avec quels codes de réponse. C’est la seule source exhaustive du comportement réel de Googlebot, sans l’échantillonnage des rapports de la Search Console.
Comment récupérer les logs de son serveur ?
Les logs d’accès se téléchargent via un accès SSH ou FTP, depuis l’espace d’administration de l’hébergement (cPanel, Plesk) ou le tableau de bord de votre CDN comme Cloudflare. Attention à récupérer les logs au bon niveau derrière un CDN, et à respecter le RGPD, car ces fichiers contiennent des adresses IP.
Comment vérifier que c’est le vrai Googlebot ?
Ne vous fiez pas au user-agent, qui se falsifie. Vérifiez par résolution DNS inverse : l’adresse IP du prétendu Googlebot doit se résoudre vers un domaine googlebot.com ou google.com, puis se confirmer par une résolution directe. Google documente cette méthode et publie ses plages d’adresses officielles.
Que voit-on dans les logs qu’on ne voit pas dans la Search Console ?
Le détail URL par URL sans échantillonnage : quelles pages précises Googlebot visite, à quelle fréquence, le faux trafic Googlebot, les pages orphelines encore crawlées et le délai entre publication et première exploration. La Search Console agrège les totaux et ne montre que des exemples d’URL.
Les logs montrent-ils les robots des IA comme ChatGPT ou Perplexity ?
Oui, et ils en sont la seule source fiable. Les robots GPTBot, OAI-SearchBot, ClaudeBot ou PerplexityBot laissent leur trace dans les logs, invisibles dans les outils de Google. Suivre leur passage indique si les moteurs d’IA viennent chercher votre contenu et quelles pages ils consultent.
Passer des logs à un plan d’action
Un fichier de logs brut n’a aucune valeur tant qu’il n’est pas croisé avec votre architecture et vos priorités. Nous intégrons cette analyse à nos audits techniques pour les sites où l’exploration devient un enjeu : catalogues volumineux, sites après migration, plateformes qui soupçonnent un gaspillage de crawl. Parlez-nous de votre site : nous partons de ce que les robots font déjà, humains, Googlebot et moteurs d’IA compris, avant de recommander le moindre chantier.
Article rédigé par Yonel Sasson, Getknown, agence SEO et GEO.