Robots.txt : erreurs fréquentes à éviter absolument

[le_pierre31]

Hello, j'ai vu un site qui bloquait /css/ et /js/ dans son robots.txt... Vous avez d'autres exemples de boulettes courantes ?

[elodie_seo]

Le classique : Disallow: / alors qu'on veut juste bloquer /admin/. J'ai mis 3 mois à comprendre pourquoi j'étais déréférencé !

[seoman_du_34]

Ajoutez les directives noindex dans le robots.txt... Spoiler : ça ne marche pas, faut le faire en meta ou header HTTP !

[sarah06]

Chez un client, ils avaient mis 'Allow: /' APRÈS un 'Disallow: /'. Résultat : tout bloqué. L'ordre des directives est crucial.

[le_pierre31]

Merci pour vos retours ! Du coup, vous recommandez quoi comme outil pour vérifier l'interprétation réelle par Googlebot ?

[flo_du_78]

Le testeur dans GSC est pas mal, mais pour une analyse profonde, je fais des comparaisons avec les logs serveur. Ahrefs aussi a un bon vérificateur.