Qu'est-ce que le crawl budget ?
Google n'explore pas toutes les pages d'un site à chaque passage. Il dose ses visites selon la rapidité du serveur (pour ne pas le surcharger) et selon la valeur estimée des pages (popularité, fraîcheur).
Quelle différence avec le robots.txt ?
Le robots.txt dit à Google où il peut aller. Le crawl budget décrit combien de pages il visite réellement. Bloquer des sections inutiles dans le robots.txt est une façon de ne pas gaspiller ce budget.
Qui doit s'en préoccuper ?
Selon Google, surtout les très grands sites (plus d'un million de pages) et les sites de plus de 10 000 pages dont le contenu change chaque jour. Pour un site vitrine ou une PME, le crawl budget est rarement un problème.
Erreur fréquente
Chercher un problème de crawl budget sur un site de 200 pages. Une page non indexée y a presque toujours une autre cause.
Comment on l'optimise
Filtres et paramètres d'URL maîtrisés, pages sans valeur retirées, sitemap à jour, serveur rapide : c'est un volet de notre service SEO technique.




