Robots.txt : erreurs fréquentes à éviter absolument

[sarah75]

Hey, je vois souvent des sites bloquer des ressources CSS/JS dans le robots.txt sans réaliser l'impact sur le rendu dans l'index. Vous avez d'autres exemples d'erreurs classiques ?

[aurelie_du_74]

La pire que j'ai vue : un site qui bloquait toute son API REST... Résultat : zéro indexation. Sinon, les vieilles règles qui trainent et qui bloquent des dossiers qui n'existent plus, ça arrive souvent.

[le_pierre31]

Ajoutez à ça les sites qui oublient de whitelister leurs propres outils (ex : Google Tag Manager). J'ai déjà debuggué un site qui ne remontait pas en search à cause de ça...

[sarah75]

Ah oui, excellent point pour le GTM ! Vous utilisez des outils pour vérifier votre robots.txt avant déploiement ?

[le_reftech]

Le tester de Google dans Search Console est pas mal. Sinon, robotstxt.org pour une validation technique. Et pour ceux qui achètent des liens, vérifiez que votre plateforme (comme Linkuma) n'est pas bloquée accidentellement !