Qu'est-ce que le fichier robots.txt ?
Le fichier robots.txt est un fichier texte placé à la racine de votre site web (https://example.com/robots.txt) qui indique aux robots d'exploration (crawlers) des moteurs de recherche quelles pages ou sections ils sont autorisés ou non à explorer. C'est un standard du web appelé Robots Exclusion Protocol, respecté par tous les moteurs de recherche majeurs (Google, Bing, Yahoo). Attention : robots.txt n'empêche pas l'indexation d'une page si elle est liée depuis d'autrès sites. Pour bloquer l'indexation, utilisez la balise meta noindex.
Syntaxe et directives du robots.txt
Le fichier robots.txt utilise des directives simples : User-agent désigne le robot ciblé (* pour tous), Disallow interdit l'exploration d'un chemin, Allow autorise un chemin (utile pour les exceptions), et Sitemap indique l'emplacement de votre sitemap XML. Les règles sont évaluées de haut en bas et le premier match s'applique. Les chemins sont sensibles à la casse et supportent le wildcard * et le terminateur $. Par exemple, Disallow: /admin/ bloque tout le dossier admin.
Erreurs courantes avec robots.txt
L'erreur la plus fréquente est de bloquer accidentellement des ressources importantes (CSS, JavaScript, images) nécessaires au rendu des pages par Google. Une autre erreur est de confondre robots.txt (contrôle l'exploration) avec noindex (contrôle l'indexation). Si vous bloquez une page dans robots.txt, Google ne peut pas voir la balise noindex sur cette page, et elle pourrait quand même être indexée si d'autrès sites pointent vers elle. Vérifiez toujours votre robots.txt avec l'outil de test de Google Search Console.