¿Qué es robots.txt?
robots.txt es un archivo de texto ubicado normalmente en la raíz de un host que comunica a crawlers compatibles qué rutas pueden o no solicitar. Es una herramienta de gestión de rastreo, no un mecanismo de seguridad ni una forma confiable de impedir que una URL aparezca indexada.
Qué significa robots.txt
robots.txt es un archivo de texto ubicado normalmente en la raíz de un host que comunica a crawlers compatibles qué rutas pueden o no solicitar. Es una herramienta de gestión de rastreo, no un mecanismo de seguridad ni una forma confiable de impedir que una URL aparezca indexada.
02 · ComponentesCómo se compone o interpreta
Ubicación
Se publica en `/robots.txt` del host correspondiente.
User-agent
Las reglas pueden dirigirse a crawlers concretos o a grupos.
Disallow/Allow
Indican rutas que el crawler no debería solicitar o excepciones permitidas.
Sitemap
Puede declarar ubicaciones de sitemap XML.
Diferencias con conceptos cercanos
| Concepto | Diferencia principal |
|---|---|
| Noindex | Controla indexación; robots.txt controla rastreo. Una URL bloqueada puede aparecer en resultados si se descubre por otros medios. |
| Seguridad | robots.txt es público y no restringe acceso humano; no debe usarse para proteger información sensible. |
| Meta robots | Se lee dentro de la página, por lo que requiere acceso de rastreo. |
| Sitemap XML | Lista URLs para facilitar descubrimiento; robots.txt puede apuntar a él, pero cumple otra función. |
Ejemplo práctico
Un sitio bloquea `/wp-admin/` para Googlebot mediante Disallow, pero mantiene accesibles páginas públicas. Si quisiera excluir una página pública de resultados, debería usar noindex y permitir que Google la rastree para ver la directiva.
Qué puede decir y qué no
Sirve para
- Indicar a crawlers compatibles qué rutas pueden solicitar en un host.
- Gestionar rastreo a escala mediante grupos de User-agent, Allow y Disallow.
- Declarar la ubicación de sitemaps y separar decisiones de crawling de decisiones de indexación.
No alcanza para
- No todos los bots respetan robots.txt.
- El archivo es público.
- Errores de sintaxis o reglas amplias pueden bloquear secciones importantes.
- No elimina automáticamente URLs ya indexadas.
Errores frecuentes
Usarlo para esconder datos privados.
robots.txt es público y sólo expresa preferencias de rastreo a clientes compatibles. La protección real requiere autenticación, permisos o controles de acceso.
Bloquear una página y esperar que Google lea su noindex.
Si robots.txt impide el rastreo, Google puede no acceder a la meta robots o X-Robots-Tag de esa URL. Crawling e indexación son controles distintos.
Escribir patrones sin probar su alcance.
Una regla demasiado amplia puede bloquear secciones completas o recursos necesarios. Conviene validar paths, grupos de agentes y precedencia antes de desplegar cambios.
Bloquear CSS/JS esenciales para renderizado sin necesidad.
Impedir recursos que Google necesita para renderizar una página puede dificultar su comprensión. El bloqueo debería responder a una razón concreta, no a una regla genérica.
Preguntas frecuentes sobre robots.txt
¿Para qué sirve robots.txt?
Para gestionar qué rutas pueden solicitar crawlers compatibles en un host.
¿robots.txt evita que una página aparezca en Google?
No necesariamente. Una URL bloqueada puede ser conocida por enlaces y aparecer sin contenido rastreado.
¿robots.txt protege información privada?
No. Es público y no impide acceso directo.
¿Dónde se coloca?
En la raíz del host, por ejemplo `https://ejemplo.com/robots.txt`.
¿Puede incluir el sitemap?
Sí, puede declarar una o más líneas Sitemap con la URL del sitemap.
Referencias clave
Google Search Central · robots.txt introduction. Ver fuente.
Google Search Central · robots.txt specification. Ver fuente.
RFC 9309 · Robots Exclusion Protocol. Ver fuente.
Google Search Central · noindex. Ver fuente.
09 · Explorá