GratuitVotre marque est-elle citée par ChatGPT ? Le score de visibilité IA en 60 secondes.Tester mon score
Services+GEO, référencement IASEOSEO techniqueAudit
Pour qui+SaaSServices B2BWebflow
Ressources+Guide du GEOBlogOutils gratuits

Robots.txt : dire aux robots où aller

Glossaire · technique

Robots.txt

Le robots.txt est un fichier texte placé à la racine d'un site, qui indique aux robots d'exploration (Google, Bing, robots IA) les parties du site qu'ils peuvent ou ne peuvent pas explorer.

Voir le service lié

Qu'est-ce que le fichier robots.txt ?

Il se compose de règles par robot : User-agent désigne le robot, Disallow les chemins interdits, Allow les exceptions, et Sitemap l'adresse du plan du site. Les robots sérieux le lisent avant d'explorer.

Quelle différence avec le llms.txt ?

Le robots.txt autorise ou bloque l'exploration. Le llms.txt présente le site aux modèles de langage, sans rien autoriser ni bloquer. Le premier est indispensable, le second complémentaire.

Ce qu'il ne fait pas

Bloquer une page dans le robots.txt n'empêche pas son indexation : Google peut l'afficher sans son contenu si d'autres sites y font des liens. Pour exclure une page de l'index, on utilise une balise noindex.

Exemple pour les robots IA

Autoriser OAI-SearchBot (recherche de ChatGPT) et PerplexityBot permet d'être cité ; bloquer GPTBot limite l'usage de vos pages pour l'entraînement des modèles d'OpenAI. Les deux choix sont indépendants.

Erreur fréquente

Un « Disallow: / » oublié après la mise en ligne d'un site de test, qui bloque tout le site.

Comment on le gère

On vérifie le robots.txt et les règles du pare-feu à chaque audit, dans le cadre de notre service SEO technique. Le vérificateur de robots IA gratuit en fait une première lecture.

SEO technique

Votre site est-il lisible par Google et par les IA ?

Crawl, rendu JavaScript, Core Web Vitals, robots IA : on corrige directement dans votre CMS.

Voir le service liéVérificateur bots IA gratuit
FAQ

Robots.txt, en questions.

Une autre question ?

30 minutes avec une stratège, sans engagement.

Réserver un appel
01Où se trouve le robots.txt ?

À la racine du domaine : votresite.be/robots.txt.

02Faut-il bloquer les robots IA ?

Bloquer ceux de la recherche (OAI-SearchBot, PerplexityBot) vous retire des réponses avec sources ; bloquer ceux de l'entraînement est un choix séparé.

03Le robots.txt protège-t-il des pages privées ?

Non, il est public et ne protège rien : les pages privées doivent être protégées par un mot de passe.

Audit gratuit

Votre marque est-elle citée ?

Un score sur 100, quatre sous-scores et vos trois problèmes les plus graves. En 60 secondes.

https://
Audit gratuitRéserver un appel