¿Qué es Crawl Budget?
Crawl Budget o presupuesto de rastreo es el conjunto de URLs que Googlebot puede y quiere rastrear en un sitio durante un período, resultado de la interacción entre capacidad de rastreo y demanda de rastreo.
Qué es Crawl Budget
Google distingue entre cuánto puede rastrear sin sobrecargar el servidor y cuánto desea rastrear según señales como popularidad, necesidad de actualización e inventario conocido. El presupuesto efectivo surge de esos límites y prioridades.
No todos los sitios necesitan optimizarlo. Google orienta su guía avanzada principalmente a sitios muy grandes, sitios con decenas de miles de páginas que cambian a diario o propiedades con muchas URLs en estado “Descubierta: actualmente sin indexar”.
Qué define el concepto
Crawl Budget o presupuesto de rastreo es el conjunto de URLs que Googlebot puede y quiere rastrear en un sitio durante un período, resultado de la interacción entre capacidad de rastreo y demanda de rastreo.
Dónde está el límite
Google no promete un número estático ni redistribuye automáticamente rastreo liberado hacia otras URLs.
Crawl Budget: diferencias con conceptos cercanos
| Concepto | Diferencia clave |
|---|---|
| Crawl Budget | URLs que Googlebot puede y quiere rastrear según capacidad y demanda. |
| Crawl Rate | Velocidad o capacidad con la que el crawler realiza solicitudes sin perjudicar el servidor. |
| Crawl Demand | Interés de Google en volver a rastrear URLs según popularidad, frescura y cambios. |
| Indexación | Proceso posterior que decide si el contenido rastreado puede incorporarse al índice. |
Factores que determinan Crawl Budget
Capacidad del sitio
Respuesta del servidor, errores y velocidad condicionan cuánto puede rastrear Googlebot.
Demanda de rastreo
Popularidad, cambios y necesidad de frescura influyen en cuánto quiere rastrear.
Inventario de URLs
Duplicados, facetas, parámetros y espacios infinitos pueden ampliar el universo conocido sin aportar valor.
Señales técnicas
Sitemaps, status codes, robots.txt y arquitectura ayudan a orientar qué URLs deberían recibir atención.
Cómo mejorar la eficiencia de rastreo
Gestioná el inventario de URLs
Reducí duplicados y espacios infinitos que obligan al crawler a recorrer variantes de poco valor.
Devolvé status codes correctos
Usá 404 o 410 para contenido eliminado y evitá soft 404 que siguen consumiendo rastreo.
Mantené sitemaps precisos
Incluí URLs importantes y actualizá lastmod cuando refleje cambios reales.
Mejorá respuesta del servidor
Una infraestructura rápida y estable permite que Googlebot rastree sin reducir su actividad por sobrecarga.
Ejemplo de Crawl Budget
Un e-commerce con millones de combinaciones de filtros genera cientos de miles de URLs casi equivalentes. Aunque las categorías centrales sean pocas, Googlebot puede dedicar recursos a esas variantes. Reducir inventario innecesario mejora la eficiencia del rastreo.
Errores frecuentes al trabajar con Crawl Budget
Optimizar crawl budget en un sitio pequeño sin problema real
Para la mayoría de sitios pequeños basta con buen sitemap, arquitectura y control de indexación.
Bloquear URLs para “transferir” presupuesto
Google aclara que liberar capacidad no garantiza que ese rastreo se reasigne a otras páginas.
Confundir rastreo con indexación
Que una URL sea rastreada no implica que vaya a indexarse o posicionar.
Preguntas frecuentes sobre Crawl Budget
¿Qué es Crawl Budget?
Es el conjunto de URLs que Googlebot puede y quiere rastrear, determinado por capacidad y demanda de rastreo.
¿Todos los sitios deben optimizar Crawl Budget?
No. Es especialmente relevante para sitios muy grandes, muy cambiantes o con muchas URLs descubiertas sin indexar.
¿Bloquear páginas aumenta automáticamente el rastreo de otras?
No. Google indica que el presupuesto liberado no se reasigna necesariamente a otras URLs.
¿Crawl Budget e indexación son lo mismo?
No. El rastreo obtiene contenido; la indexación es un proceso posterior que decide cómo incorporarlo al índice.
Fuentes y referencias sobre Crawl Budget
Google Crawling Infrastructure · Crawl Budget · Guía vigente sobre capacidad, demanda, inventario de URLs y prácticas para optimizar rastreo en sitios grandes.
Google Search Central · What Crawl Budget Means for Googlebot · Define crawl budget como las URLs que Googlebot puede y quiere rastrear y explica crawl rate y crawl demand.
Términos relacionados