Page 1 sur 1
Optimisation du crawl avec Screaming Frog : astuces pour les gros sites
Publié : lun. avr. 27, 2026 4:08 am
par aurelie_du_74
Salut à tous, je travaille sur un site e-commerce avec plus de 50 000 URLs. J'utilise Screaming Frog pour le crawl, mais j'ai l'impression qu'il passe à côté de certaines pages. Vous avez des astuces pour optimiser ça ?
Re: Optimisation du crawl avec Screaming Frog : astuces pour les gros sites
Publié : lun. avr. 27, 2026 5:08 am
par le_pierre31
Alors, j'ai eu le même souci il y a quelques mois. As-tu bien configuré les paramètres de crawl ? Notamment le délai entre les requêtes et les pages à exclure ? Ça peut faire une grosse différence.
Re: Optimisation du crawl avec Screaming Frog : astuces pour les gros sites
Publié : lun. avr. 27, 2026 7:08 am
par david_web
Je confirme, il faut vraiment ajuster les paramètres. Perso, j’exclus les pages de filtres et les URLs dynamiques qui n’apportent rien au SEO. Tu peux aussi utiliser des fichiers robots.txt bien configurés pour guider le crawl.
Re: Optimisation du crawl avec Screaming Frog : astuces pour les gros sites
Publié : lun. avr. 27, 2026 10:08 am
par aurelie_du_74
Merci pour vos retours ! Je vais essayer de mieux cibler les exclusions. Vous avez des conseils pour gérer les ressources serveur ? J’ai peur que ça ralentisse le site.
Re: Optimisation du crawl avec Screaming Frog : astuces pour les gros sites
Publié : lun. avr. 27, 2026 2:08 pm
par david_du_69
Si tu crains pour les ressources, tu peux faire le crawl hors des heures de pointe ou utiliser un serveur dédié pour ça. Screaming Frog permet aussi de limiter le nombre de threads, ce qui peut aider.