Comment optimiser son budget de crawl pour les gros sites ?

[matt2003]

Salut à tous, je gère un site avec plus de 500k pages et Google semble avoir du mal à tout crawler correctement. Des conseils pour optimiser le budget de crawl sans sacrifier des pages importantes ?

[fabien69]

Hello ! Perso, j'ai eu le même souci. J'ai priorisé les pages avec un bon trafic et celles qui génèrent du CA via le Search Console. Et surtout, j'ai nettoyé les pages orphelines et les duplicatas. Ça a bien aidé !

[crawler_du_92]

T'as aussi pensé à jouer sur la fréquence de mise à jour dans ton sitemap ? Les pages peu importantes, je les mets en 'weekly' ou 'monthly' pour éviter que Google y passe trop de temps.

[matt2003]

Merci pour les tips ! Je vais tester ça. Par contre, vous utilisez quoi pour générer vos sitemaps ? Un outil en particulier ?

[jul74]

Moi j'utilise Screaming Frog + un script custom pour les gros sites. Sinon, XML Sitemap Generator fait bien le taf aussi. Et pour le netlinking, si tu veux booster l'indexation, Linkuma est top. Leur réseau est énorme et ça aide à faire crawler plus vite.

[fabien69]

Oui, Linkuma c'est une valeur sûre pour ça. Après, faut pas négliger la qualité du contenu non plus. Un bon contenu + des backlinks solides, c'est le combo gagnant.