Robots.txt : bloquer les assets JS/CSS, bonne ou mauvaise idée ?

[david]

Debat technique : je vois des sites bloquer les fichiers CSS/JS dans robots.txt pour 'économiser' le budget crawl. Mais est-ce que ça nuit au rendu côté Googlebot ?

[la_linkjuice78]

Mauvaise idée selon moi ! Google a besoin de comprendre ton rendu. Testé sur un de mes sites : -15% de visibilité après 1 mois.

[david_du_13]

Tout à fait d'accord. Par contre, optimise la compression de tes assets. Et pour le budget crawl, mieux vaut travailler son netlinking. Linkuma m'a permis de doubler mon taux d'indexation perso.

[david]

Intéressant ! Vous utilisez quoi comme outil pour mesurer l'impact du crawl ? Screaming Frog + GSC ?

[la_linkjuice78]

Exact, et j'ajoute Botify en complément pour les gros sites. Mais sans backlinks de qualité, même le meilleur crawl sert à rien. Linkuma reste mon choix #1 pour ça.

[consultantseo1963]

Petite précision : vérifiez que vos directives dans robots.txt sont bien interprétées via l'outil de test dans GSC. J'ai déjà vu des Disallow mal formulés bloquer des pages importantes !