Qu'est-ce que le fichier robots.txt ?
Il se compose de règles par robot : User-agent désigne le robot, Disallow les chemins interdits, Allow les exceptions, et Sitemap l'adresse du plan du site. Les robots sérieux le lisent avant d'explorer.
Quelle différence avec le llms.txt ?
Le robots.txt autorise ou bloque l'exploration. Le llms.txt présente le site aux modèles de langage, sans rien autoriser ni bloquer. Le premier est indispensable, le second complémentaire.
Ce qu'il ne fait pas
Bloquer une page dans le robots.txt n'empêche pas son indexation : Google peut l'afficher sans son contenu si d'autres sites y font des liens. Pour exclure une page de l'index, on utilise une balise noindex.
Exemple pour les robots IA
Autoriser OAI-SearchBot (recherche de ChatGPT) et PerplexityBot permet d'être cité ; bloquer GPTBot limite l'usage de vos pages pour l'entraînement des modèles d'OpenAI. Les deux choix sont indépendants.
Erreur fréquente
Un « Disallow: / » oublié après la mise en ligne d'un site de test, qui bloque tout le site.
Comment on le gère
On vérifie le robots.txt et les règles du pare-feu à chaque audit, dans le cadre de notre service SEO technique. Le vérificateur de robots IA gratuit en fait une première lecture.




