Cómo hacer un crawl de tu web con Screaming Frog
Si tu tienda online o sitio web no aparece donde debería en Google, el problema raramente está donde crees. Los errores técnicos silenciosos —páginas rotas, redirecciones en cadena, contenido duplicado no detectado, metaetiquetas vacías— erosionan tu posicionamiento día a día sin que nadie te avise. La única forma de encontrarlos todos, de forma sistemática, es rastreando tu propio sitio exactamente como lo hace Google.
Screaming Frog SEO Spider es la herramienta de crawling más utilizada por los profesionales del SEO a nivel mundial. No es casualidad: en cuestión de minutos, puede recorrer miles de URLs, extraer cientos de parámetros técnicos y presentarte un mapa completo de la salud técnica de tu sitio. Es el punto de partida obligatorio de cualquier auditoría SEO técnica seria.
En esta guía aprenderás a configurar y ejecutar un crawl profesional con Screaming Frog, a interpretar los datos que genera y a priorizar las correcciones que mayor impacto tendrán en tu posicionamiento. Tanto si tienes una tienda en WooCommerce, Shopify o PrestaShop como si gestionas un site corporativo, el proceso es el mismo y los beneficios son inmediatos.
Al terminar esta lectura tendrás el conocimiento práctico para auditar cualquier sitio web de forma autónoma y con criterio técnico.
---
Qué es Screaming Frog y por qué lo usan los SEOs profesionales
Screaming Frog SEO Spider es un programa de escritorio desarrollado por la agencia británica Screaming Frog Ltd. Funciona de manera similar a los bots de los motores de búsqueda: parte de una URL inicial, sigue todos los enlaces que encuentra y va recopilando datos de cada página visitada.
La versión gratuita permite rastrear hasta 500 URLs, suficiente para sitios pequeños o para hacer pruebas. La versión de pago (licencia anual) levanta ese límite y añade funcionalidades avanzadas como la integración con Google Analytics 4 y Google Search Console, el rastreo de JavaScript y el modo de crawl programado.
Por qué Screaming Frog frente a otras herramientas
Existen otras herramientas de crawling como Sitebulb, DeepCrawl o los rastreadores integrados en Semrush y Ahrefs. Sin embargo, Screaming Frog destaca por varios motivos:
- Velocidad y profundidad: configura la velocidad de rastreo y la profundidad máxima según las características de tu servidor.
- Exportación de datos granular: cada tab es exportable a CSV/Excel para trabajar los datos en hojas de cálculo.
- Integración con APIs de Google: conecta directamente con GA4 y Search Console para cruzar datos de tráfico con datos técnicos.
- Personalización avanzada: extracción de datos custom con XPath o regex, configuración de user-agents, soporte para autenticación básica y rastreo de sitemaps.
- Precio accesible: la licencia anual cuesta alrededor de 209 £, notablemente inferior a otras plataformas enterprise.
Para tiendas con miles de productos —ya sea en Shopify, WooCommerce o PrestaShop— la capacidad de rastrear el sitio completo y exportar los datos en bruto es fundamental para detectar problemas a escala.
---
Configuración previa al crawl: preparar Screaming Frog correctamente
Un crawl mal configurado es peor que no hacer ninguno: te dará datos incompletos o erróneos que pueden llevarte a tomar decisiones equivocadas. Antes de pulsar "Start", dedica cinco minutos a revisar estos ajustes.
Configurar el user-agent
Por defecto, Screaming Frog se identifica como "Screaming Frog SEO Spider". Esto es útil para la mayoría de los casos, pero si tu servidor tiene reglas que bloquean ciertos bots, puedes cambiar el user-agent a Googlebot (Desktop o Mobile) desde Configuration > User-Agent.
Rastrear con el user-agent de Googlebot te permite ver exactamente qué ve Google cuando visita tu sitio, incluyendo posibles restricciones en el robots.txt o diferencias de contenido por user-agent.
Ajustar la velocidad de rastreo
Desde Configuration > Speed, puedes controlar el número máximo de hilos simultáneos y el tiempo entre peticiones. Para sitios de producción, lo razonable es no superar los 5-10 hilos concurrentes para no saturar el servidor. En entornos de staging o desarrollo puedes ser más agresivo.
Configurar el fichero robots.txt
Por defecto, Screaming Frog respeta el robots.txt. Para auditar páginas que tienes bloqueadas para los robots (como páginas de carrito o de checkout en e-commerce), puedes desactivar esta restricción desde Configuration > Robots.txt > Settings marcando "Ignore robots.txt". Hazlo solo en entornos controlados y siendo consciente de lo que estás haciendo.
Habilitar el renderizado de JavaScript
Si tu sitio usa un framework JavaScript (React, Vue, Angular, Next.js) para renderizar contenido en el cliente, el rastreo estándar puede perderse parte del contenido. Activa el modo JavaScript rendering desde Configuration > Spider > Rendering seleccionando "Googlebot (Chrome)". Ten en cuenta que esto ralentiza significativamente el crawl.
Conectar con Google Search Console y GA4
En Configuration > API Access, puedes autenticar la herramienta con Google Search Console y Google Analytics 4. Una vez conectado, Screaming Frog enriquece cada URL rastreada con datos de impresiones, clics, posición media y sesiones. Esta integración transforma el crawl de una auditoría técnica pura en una herramienta de toma de decisiones basada en datos reales de rendimiento, crucial para priorizar qué errores corregir primero según su impacto en el tráfico actual.
---
Cómo ejecutar el crawl paso a paso
Con la configuración lista, el proceso de rastreo es sencillo.
Paso 1: introducir la URL de inicio
En la barra superior de Screaming Frog, escribe la URL raíz de tu sitio (por ejemplo, https://tutienda.com) y pulsa "Start". La herramienta comenzará a rastrear desde esa URL siguiendo todos los enlaces internos que encuentre.
Alternativas al crawl por URL:
- Crawl desde sitemap: en Mode > List, importa las URLs directamente desde tu sitemap XML. Útil cuando quieres auditar únicamente las páginas que Google debería indexar.
- Crawl desde lista: importa un CSV con las URLs que te interese analizar. Ideal para auditorías parciales o para revisar páginas específicas tras hacer cambios.
Paso 2: monitorizar el progreso
Durante el rastreo, el panel inferior muestra en tiempo real el número de URLs descubiertas, los códigos de respuesta encontrados y la velocidad de rastreo. Presta atención a los errores 5xx que aparezcan: indican problemas de servidor que pueden estar interrumpiendo el rastreo.
Paso 3: esperar a que finalice el crawl
Para sitios con menos de 10.000 URLs, el rastreo suele completarse en pocos minutos. Para sitios más grandes, puede llevar horas dependiendo de la velocidad configurada y la respuesta del servidor. No cierres la aplicación mientras el crawl está en curso: Screaming Frog guarda los resultados en memoria RAM.
Al finalizar, guarda el proyecto desde File > Save As para poder retomar el análisis sin necesidad de volver a rastrear.
---
Análisis de los resultados: qué mirar primero
Una vez completado el crawl, Screaming Frog presenta los datos en pestañas organizadas por tipo de contenido y por tipo de análisis. Con cientos o miles de URLs, la clave está en saber dónde mirar y en qué orden.
Códigos de respuesta HTTP: la primera parada
La pestaña Response Codes agrupa todas las URLs por su código de respuesta HTTP. Este es el primer lugar donde ir:
- 2xx (éxito): páginas que responden correctamente. Aquí está la mayoría de tu sitio.
- 3xx (redirecciones): analiza si hay redirecciones innecesarias, cadenas de redirecciones o bucles. Las cadenas de redirecciones (A→B→C→D) ralentizan la carga y diluyen el PageRank. Lo ideal es que todas las redirecciones sean directas (A→B).
- 4xx (errores de cliente): los errores 404 son los más frecuentes. Cada 404 que recibe un enlace interno es una pérdida de señal de enlazado interno y una mala experiencia de usuario. Filtra por "404" y exporta la lista con sus URLs de origen para corregirlos.
- 5xx (errores de servidor): los más graves. Un 500 o 503 recurrente indica problemas de infraestructura que pueden estar impidiendo que Google indexe esas páginas.
Metaetiquetas: título y descripción
En la pestaña Page Titles y Meta Description, Screaming Frog señala automáticamente:
- Títulos duplicados: muy habitual en tiendas con productos similares o en plataformas que generan automáticamente los títulos con la misma plantilla.
- Títulos ausentes o vacíos: páginas sin
, invisibles para Google desde el punto de vista del contexto. - Títulos demasiado cortos o largos: por debajo de 30 caracteres o por encima de 60 pueden ser reescritos por Google.
- Meta descripciones duplicadas o ausentes: no son un factor de ranking directo, pero afectan el CTR en los resultados de búsqueda.
Para tiendas online con miles de productos, el contenido duplicado en títulos y descripciones es un problema estructural que requiere soluciones a nivel de plantilla. Puedes ampliar este tema en nuestro artículo sobre contenido duplicado en e-commerce.
Encabezados H1 y estructura de headings
La pestaña H1 muestra los encabezados principales de cada página. Revisa:
- Páginas sin H1: un error frecuente en fichas de producto cuando el nombre del producto se implementa como un en lugar de un
.- Múltiples H1 en la misma página: algunos temas y constructores de páginas insertan H1 adicionales en el header o el footer.
- H1 duplicados: similar al problema de los títulos, habitual en e-commerce con variantes de producto.
Imágenes: alt text y tamaño
En la pestaña Images, Screaming Frog lista todas las imágenes rastreadas con su atributo
alt. Filtra las que tienen elaltvacío o ausente: este atributo es el principal vector de posicionamiento en Google Images y también es clave para la accesibilidad web. Para tiendas con muchas imágenes de producto, este es habitualmente uno de los hallazgos más voluminosos de la auditoría. Consulta nuestra guía sobre optimización de imágenes para SEO para ver cómo resolverlo a escala.Canonicals y paginación
La pestaña Canonicals muestra todas las etiquetas
rel="canonical"del sitio. Los problemas más frecuentes son:- Canonicals que apuntan a páginas 404: la etiqueta indica una URL correcta, pero esa URL ya no existe.
- Canonicals que apuntan a sí mismos en páginas paginadas: en paginaciones (página 2, 3...) es correcto que cada página tenga su canonical hacia sí misma, pero si apuntan hacia la página 1, se le estará diciendo a Google que no indexe las páginas de paginación.
- Canonicals cruzados inesperados: páginas A que canonizan a páginas B sin que haya una razón clara, lo que puede generar confusión en el crawler.
Velocidad de carga y Core Web Vitals
Screaming Frog muestra el tiempo de respuesta del servidor (Time to First Byte) para cada URL en la columna "Response Time". Páginas con tiempos superiores a 1-2 segundos merecen investigación adicional. Para un análisis más profundo de las métricas de experiencia de usuario, complementa el crawl con los datos de Core Web Vitals desde Google Search Console.
---
Exportar y priorizar los hallazgos
Un crawl completo genera cientos o miles de incidencias. La clave del éxito no está en corregirlo todo a la vez, sino en priorizar con criterio.
Criterio de priorización
Trabaja los hallazgos en este orden:
- Errores 5xx: impacto máximo en indexabilidad. Solución urgente.
- Errores 404 con tráfico o backlinks: usa la integración con GA4 y Search Console para identificar los 404 que están perdiendo tráfico real o que tienen enlaces externos apuntando.
- Canonicals rotos: pueden estar diciéndole a Google que no indexe páginas importantes.
- Títulos y H1 duplicados o ausentes: impacto directo en relevancia de keyword.
- Imágenes sin alt text: especialmente relevante para tiendas con mucho tráfico desde Google Images.
- Cadenas de redirecciones: impacto en velocidad y en distribución del PageRank.
- Meta descripciones: menor prioridad técnica, pero impactan el CTR.
Exportar los datos
Cada pestaña de Screaming Frog es exportable desde el botón "Export" o haciendo clic derecho en la tabla. Exporta siempre en CSV e importa en una hoja de cálculo para poder filtrar, ordenar y asignar tareas al equipo de desarrollo.
Para informes recurrentes, Screaming Frog permite guardar los ajustes del crawl y, en la versión de pago, programar rastreos automáticos con comparativa respecto al crawl anterior. Esto es especialmente útil para detectar regresiones tras despliegues de código.
---
Casos de uso avanzados: más allá del crawl básico
Una vez dominado el crawl básico, Screaming Frog ofrece funcionalidades avanzadas que abren posibilidades de análisis muy potentes.
Extracción de datos custom con XPath
Desde Configuration > Custom > Extraction, puedes definir selectores XPath o CSS para extraer cualquier dato del HTML de cada página. Por ejemplo:
- El precio de todos los productos (para detectar páginas con precios vacíos).
- El texto de las breadcrumbs (para validar la estructura de categorías).
- El valor de los atributos
data-*usados por el sistema de analítica.
Esta funcionalidad es particularmente útil para validar la implementación de structured data en e-commerce: puedes extraer los bloques de JSON-LD de cada página y verificar que están presentes y tienen el formato correcto.
Análisis de log files combinado con el crawl
Screaming Frog Log File Analyser es una herramienta complementaria (gratuita) que permite importar los logs del servidor web y ver qué URLs está rastreando realmente Google, con qué frecuencia y con qué resultado. Cruzar los datos del log analyser con el crawl de Screaming Frog Spider te permite responder preguntas como:
- ¿Está Google rastreando páginas que tengo bloqueadas en robots.txt?
- ¿Qué páginas importantes no está visitando Google con suficiente frecuencia?
- ¿Está el presupuesto de rastreo (crawl budget) bien distribuido entre las páginas que más importan?
Para tiendas con catálogos muy grandes y problemas de indexación, el análisis del crawl budget es una tarea avanzada de alto impacto.
Visualización del sitio como grafo
En Reports > Crawl Overview, Screaming Frog genera una visualización gráfica de la estructura del sitio mostrando la arquitectura de enlaces internos. Esta vista permite identificar de forma visual páginas huérfanas (sin ningún enlace interno apuntando) y páginas con una profundidad de rastreo excesiva (a más de 3-4 clics de la home), dos problemas frecuentes en tiendas con categorías muy profundas o con filtros de facetas que generan miles de URLs.
Un buen enlazado interno es una de las palancas más infrautilizadas del SEO técnico. Si detectas páginas estratégicas demasiado profundas, revisar y reforzar el enlazado interno puede tener un impacto positivo notable en su visibilidad orgánica.
---
Frecuencia recomendada y buenas prácticas
Un crawl no es una acción puntual: es un proceso recurrente que debería formar parte del mantenimiento SEO de cualquier sitio web.
Frecuencia recomendada según el tipo de sitio:
- Tiendas online con catálogo dinámico: crawl mensual como mínimo, y crawl adicional tras cada despliegue importante de código.
- Blogs y sites corporativos: crawl trimestral, o tras publicaciones masivas de contenido.
- Sites en proceso de migración: crawl antes, durante y después de la migración para verificar que todas las redirecciones están correctamente implementadas.
Buenas prácticas:
- Guarda siempre los proyectos de crawl con la fecha en el nombre para poder comparar evoluciones.
- Combina los datos del crawl con datos de Google Search Console para priorizar con impacto real en tráfico.
- Comparte los exports con el equipo de desarrollo en formato estructurado (hoja de cálculo con prioridades y responsables) en lugar de un listado bruto de errores.
---
Screaming Frog en el contexto de una auditoría SEO completa
Screaming Frog es la herramienta central del SEO técnico, pero es una pieza de un puzzle más amplio. Una auditoría SEO completa incluye también:
- Análisis de palabras clave y análisis de la competencia.
- Revisión del perfil de enlazado externo.
- Análisis de rendimiento con Google PageSpeed Insights y datos reales de Core Web Vitals.
- Revisión de la estrategia de contenido y la arquitectura de la información.
- Para tiendas con ambición internacional, análisis de la implementación de hreflang (puedes profundizar en nuestra guía sobre internacionalización SEO).
Dominar Screaming Frog te da una visión técnica del sitio que ninguna otra herramienta puede ofrecer con tanta profundidad y flexibilidad. Pero los datos técnicos cobran su máximo valor cuando se contextualizan dentro de una estrategia SEO completa y orientada a negocio.
---
¿Necesitas que alguien rastree tu web, interprete los hallazgos y te diga exactamente qué corregir primero para mejorar tu posicionamiento? El equipo de Comunicua lleva años realizando auditorías SEO técnicas para tiendas online y sites corporativos, convirtiendo los datos en acciones con impacto real. Contacta con nosotros y cuéntanos tu caso.