Portada de SiteOne Crawler con fondo oscuro, el nombre del proyecto, los botones para ver un informe de auditoría y para instalarlo en 30 segundos, y la descarga de la aplicación de escritorio para Linux en la versión 1.0.8 — SiteOne Crawler

Cómo puntúa SiteOne Crawler una web

Cada auditoría da una nota de 0 a 10, media ponderada de cinco categorías: seguridad al 25 %, rendimiento, SEO y accesibilidad al 20 % cada una, y buenas prácticas al 15 %. El informe sale en HTML interactivo, JSON o texto, y se puede enviar por correo o publicar en crawler.siteone.io, donde se guarda 30 días por defecto. Por consola, el informe solo se sube si se activa la opción --upload, y se puede proteger con una contraseña.

¿Puede rastrear una web con verificación de edad?

No. Admite la autenticación HTTP básica, un agente de usuario propio y un proxy, pero ninguna opción para enviar una cookie u otra cabecera. Si la barrera de edad guarda la confirmación en una cookie, el rastreo se queda en la primera página. Para auditar la web completa hace falta una copia de preproducción sin barrera, protegida con contraseña HTTP, o un rastreador como Sitebulb Desktop, que sí envía cookies personalizadas.

Control de calidad en cada despliegue

Con la opción --ci, el programa termina con el código 10 si la nota global o la de una categoría baja del umbral, o si encuentra más páginas 404 o errores de servidor de los permitidos. Así se puede frenar una subida que rompería enlaces antes de que la vean los visitantes.

Otras funciones de SiteOne Crawler

Renderizado opcional en Chromium con capturas de pantalla, copia de la web sin conexión, exportación a Markdown y generación de sitemaps. Un asistente de IA opcional se conecta a OpenAI, Anthropic, Gemini o un servidor compatible. Por defecto trabaja con tres procesos a la vez y un límite de 2 GB de memoria.

El binario no tiene dependencias y funciona en Linux y macOS (x64 y arm64) y en Windows x64. La aplicación de escritorio no pasa de la versión 1.0.8, de 2024, mientras que la versión de consola va por la 2.5.1, de junio de 2026. Casi todo el código es obra de Ján Regeš, con 766 de las 776 contribuciones en GitHub, así que el proyecto depende de una sola persona.

Puntos fuertes y limitaciones de SiteOne Crawler

Puntos fuertes

Gratis y libre, con licencia MIT.
Nota de calidad y control en la integración continua.
Linux, macOS y Windows, sin dependencias.

Limitaciones

Sin cookies para la verificación de edad.
Uso por consola, la aplicación de escritorio ya no se actualiza.
Proyecto de una sola persona en la práctica.

Alternativas de pago con interfaz gráfica

Sitebulb Desktop tiene interfaz gráfica y acepta cookies y cabeceras personalizadas, desde 15 € al mes. La versión gratuita de Screaming Frog se queda en 500 URL por rastreo, y SiteOne Crawler llega a 10.000 por defecto, un tope que sube con la opción --max-visited-urls.