Page d’accueil de Screaming Frog SEO Spider, avec le bandeau vert du crawler pour Windows, macOS et Linux, les onglets de téléchargement et de tarifs, et l’offre de 500 URL gratuites ou d’une licence à 279 dollars par an — Screaming Frog SEO Spider

Explorer un site adulte derrière sa barrière d’âge avec Screaming Frog

Google demande qu’un site adulte laisse Googlebot explorer son contenu sans déclencher la barrière d’âge. Sinon, ses images et ses vidéos risquent d’être mal classées, et un contenu sage caché derrière la barrière peut faire classer tout le site comme explicite, donc invisible quand SafeSearch est actif. Screaming Frog sert à vérifier ce que voit un robot avant Google.

Trois réglages de la licence couvrent les cas courants :

le user-agent, pour explorer en se présentant comme Googlebot, Bingbot, un robot d’IA ou un agent libre,
les en-têtes HTTP personnalisés, qui ajoutent par exemple le cookie posé après le clic sur « J’ai 18 ans »,
l’authentification par formulaire, qui ouvre un navigateur intégré pour se connecter à l’espace membres avant l’exploration.

Un serveur qui vérifie Googlebot par son adresse IP, comme Google le conseille, refusera Screaming Frog même déguisé en Googlebot. Le cookie de la barrière reste alors la bonne méthode pour un audit.

Les 500 URL de la version gratuite de Screaming Frog

La version gratuite explore jusqu’à 500 URL par exploration, sans inscription ni limite de durée. Elle trouve les liens cassés, les redirections, les titres et descriptions en double, lit les directives robots et génère un sitemap XML. Elle ne sauvegarde aucune exploration et verrouille toute la configuration.

La licence lève la limite des 500 URL et ajoute le rendu JavaScript, la comparaison d’explorations, les quasi-doublons, la validation des données structurées, l’extraction personnalisée, la planification et la ligne de commande. Un tube dont chaque vidéo a sa page dépasse vite ce plafond, et la version gratuite s’arrête alors au milieu du site.

Le prix de la licence Screaming Frog

Nombre de licences	Livres	Euros	Dollars
1 à 4	199 £	245 €	279 $
5 à 9	189 £	235 €	265 $
10 à 19	179 £	219 €	249 $
20 et plus	169 £	209 €	235 $

Le prix s’entend par an et par utilisateur : une licence ne sert qu’à une personne. Elle ne se renouvelle pas d’elle-même. À son expiration, le logiciel redevient la version gratuite, et les explorations sauvegardées ne s’ouvrent plus.

La machine qu’il faut pour un gros site

Screaming Frog tourne sur un système 64 bits, Windows, macOS sur Intel ou Apple Silicon, Ubuntu ou Fedora. Pour des millions d’URL, l’éditeur conseille 16 Go de mémoire, un SSD d’un téraoctet et le stockage en base de données.

Points forts et limites de Screaming Frog SEO Spider

Les points forts

User-agent, en-têtes et cookies réglables pour passer une barrière d’âge.
Plus de 300 contrôles exportables page par page.
Une seule licence annuelle, toutes fonctions comprises.
Une version gratuite sans inscription.

Les limites

Aucun réglage dans la version gratuite.
Une licence par personne.
Des explorations illisibles après l’expiration.
Aucune donnée de mots-clés ni de backlinks.

Screaming Frog ou Semrush pour auditer un site adulte

Semrush audite les sites depuis ses serveurs dans un abonnement à partir de 139,95 $ par mois, avec mots-clés et backlinks en plus, mais son robot ne prend pas de cookie : la barrière d’âge doit le laisser passer côté serveur. Screaming Frog coûte moins cher sur un an et passe la barrière par ses propres réglages.