Page d’accueil de SiteOne Crawler sur fond sombre, avec le titre du projet, les boutons vers un rapport d’audit en ligne et l’installation en 30 secondes, et le téléchargement de l’application de bureau pour Linux en version 1.0.8 — SiteOne Crawler

SiteOne Crawler et les sites derrière une barrière d’âge

SiteOne Crawler n’a aucune option pour envoyer un cookie ou un en-tête HTTP personnalisé : il gère l’authentification HTTP de base, l’agent utilisateur et un proxy, rien de plus. Une barrière d’âge qui retient la confirmation dans un cookie l’arrête donc sur la première page. Pour auditer un tube ou un site payant en entier, il faut soit une copie de préproduction sans barrière, protégée par mot de passe HTTP, soit un autre robot comme Sitebulb Desktop, qui accepte les cookies personnalisés.

La note de qualité sur 10

Chaque audit donne une note de 0 à 10, moyenne pondérée de cinq catégories : sécurité à 25 %, performance, SEO et accessibilité à 20 % chacune, bonnes pratiques à 15 %. Le rapport sort en HTML interactif, en JSON ou en texte, et peut être envoyé par e-mail ou publié en ligne sur crawler.siteone.io, où il reste 30 jours par défaut. Cette mise en ligne ne se fait qu’avec l’option --upload, et le rapport publié peut demander un mot de passe.

Un contrôle automatique à chaque mise en ligne

Avec l’option --ci, SiteOne Crawler devient une porte qualité : il sort avec le code 10 si la note ou une catégorie passe sous le seuil fixé, ou si l’audit trouve des pages 404 ou des erreurs serveur. Un site qui change souvent ses modèles de pages peut ainsi bloquer une mise en ligne qui casserait des liens ou provoquerait des erreurs serveur.

Les autres options de SiteOne Crawler

Rendu des pages dans Chromium, avec captures d’écran, pour les sites qui s’affichent en JavaScript.
Copie hors ligne du site, export en Markdown et génération de sitemaps.
Assistant IA en option, branché sur OpenAI, Anthropic, Gemini ou un serveur compatible.
Réglages par défaut prudents : 3 processus en parallèle et 2 Go de mémoire au plus.

Le binaire tourne sous Linux et macOS, en x64 ou arm64, et sous Windows x64, sans dépendance. L’application de bureau, elle, est restée à la version 1.0.8 d’août 2024, alors que la ligne de commande est en 2.5.1 depuis juin 2026. Sur GitHub, Ján Regeš signe 766 des 776 contributions : le projet tient à une seule personne.

Points forts et limites de SiteOne Crawler

Les points forts

Gratuit et libre, sous licence MIT.
Une note sur 10 et une porte qualité pour la CI.
Linux, macOS et Windows, sans dépendance.

Les limites

Aucun cookie pour passer une barrière d’âge.
Une interface en ligne de commande, l’application de bureau n’est plus suivie.
Un projet porté par une seule personne.

SiteOne Crawler, alternative gratuite à Screaming Frog ?

Sitebulb Desktop a une interface graphique et accepte les cookies et en-têtes personnalisés, contre une licence dès 15 € par mois. La version gratuite de Screaming Frog s’arrête à 500 URL par exploration. SiteOne Crawler en visite 10 000 par défaut, une limite qui se relève avec l’option --max-visited-urls, mais il n’a ni l’interface ni les cookies de la licence payante de Screaming Frog.

Semrush

Semrush est une suite SEO en ligne qui réunit recherche de mots-clés, analyse des concurrents, audit technique et suivi de positions.

Lire la fiche Semrush →

Screaming Frog SEO Spider

Screaming Frog SEO Spider est un crawler à installer sur Windows, macOS ou Linux, qui signale plus de 300 problèmes SEO. La version gratuite explore 500 URL à la fois.

Lire la fiche Screaming Frog SEO Spider →