Optimisation du crawl avec Screaming Frog : astuces pour les gros sites

[aurelie_du_74]

Salut à tous, je travaille sur un site e-commerce avec plus de 50 000 URLs. J'utilise Screaming Frog pour le crawl, mais j'ai l'impression qu'il passe à côté de certaines pages. Vous avez des astuces pour optimiser ça ?

[le_pierre31]

Alors, j'ai eu le même souci il y a quelques mois. As-tu bien configuré les paramètres de crawl ? Notamment le délai entre les requêtes et les pages à exclure ? Ça peut faire une grosse différence.

[david_web]

Je confirme, il faut vraiment ajuster les paramètres. Perso, j’exclus les pages de filtres et les URLs dynamiques qui n’apportent rien au SEO. Tu peux aussi utiliser des fichiers robots.txt bien configurés pour guider le crawl.

[aurelie_du_74]

Merci pour vos retours ! Je vais essayer de mieux cibler les exclusions. Vous avez des conseils pour gérer les ressources serveur ? J’ai peur que ça ralentisse le site.

[david_du_69]

Si tu crains pour les ressources, tu peux faire le crawl hors des heures de pointe ou utiliser un serveur dédié pour ça. Screaming Frog permet aussi de limiter le nombre de threads, ce qui peut aider.