El archivo robots.txt indica a los buscadores que lo respetan qué partes de la web pueden recorrer. Una regla incorrecta puede impedirles consultar páginas o recursos importantes. Esta guía explica qué hace el archivo y cómo revisar los cambios.
Aprenderás a distinguir impedir el rastreo, pedir que una página no aparezca en Google y proteger contenido privado. Los ejemplos necesitan adaptarse a las direcciones y configuración reales de tu sitio.
Qué controla robots.txt y qué queda fuera
El archivo gestiona el acceso de rastreadores, no es un sistema de autenticación. Una URL bloqueada puede descubrirse por otros medios y llegar a aparecer en búsqueda. Google lo aclara en su introducción a robots.txt.
Si necesitas impedir que una página se indexe, revisa noindex en un recurso accesible al buscador. Si contiene información privada, protege el acceso con medidas apropiadas, como autenticación. Publicar una ruta en robots.txt no la convierte en confidencial.
Dónde debe estar el archivo
Se publica como robots.txt en la raíz del protocolo y host al que se aplica. Un archivo dentro de una subcarpeta no establece las reglas del sitio completo. Subdominios y versiones distintas requieren revisar su propia situación. La especificación interpretada por Google detalla alcance y sintaxis.
En un CMS, el archivo puede proceder de un fichero físico, de una respuesta generada por la aplicación o de otra capa del servidor. Identifica quién controla la versión pública antes de editar; de lo contrario, puedes cambiar un archivo que no es el que se está sirviendo.
User-agent, Disallow, Allow y Sitemap
User-agent selecciona a quién se dirige el grupo
Indica el rastreador o grupo al que se aplican las reglas. El asterisco representa un grupo general para robots que respetan el protocolo. Utilizar el nombre de una empresa en lugar del identificador pertinente puede no expresar lo que pretendías.
Disallow indica rutas cuyo rastreo no se permite
La regla debe corresponder a las rutas que quieres gestionar. Una barra representa el conjunto del sitio para el grupo afectado, por lo que no es una opción para ocultar solo una página. Revisa también patrones y parámetros antes de utilizarlos.
Allow permite una ruta dentro de una restricción
Puede servir para definir una excepción. No significa que la URL vaya a indexarse ni que tenga preferencia de posicionamiento. Si varias reglas afectan a una URL, revisa cómo las interpreta el rastreador según su especificación.
Sitemap señala un archivo de URLs
La referencia al sitemap ayuda a localizarlo. No anula restricciones de rastreo ni obliga a indexar sus páginas. El archivo indicado también necesita responder correctamente y contener URLs acordes con el objetivo del sitio.
Ejemplo ilustrativo de reglas
User-agent: *
Disallow: /buscador-interno/
Allow: /buscador-interno/ayuda/
Sitemap: https://example.com/sitemap.xmlEl ejemplo restringe una ruta e incluye una excepción. No presupone que deba bloquearse el buscador de cualquier web. La decisión depende de cómo se generan sus URLs y de si existe contenido que deba ser accesible por otras vías.
Cuándo revisar una restricción de rastreo
Puede tener sentido estudiar conjuntos de URLs generadas por funciones internas o combinaciones de filtros. Pero bloquearlas sin conocer enlaces, indexación y finalidad puede crear otro problema. Antes de actuar, inventaría una muestra y define qué debe ocurrir con cada grupo.
No utilices robots.txt como solución automática para contenido parecido. La situación puede necesitar revisar el contenido, una señal canónica o la estructura. Si bloqueas una página, el buscador puede no leer las señales que has incorporado dentro de ella.
Robots.txt, noindex y canonical: tres decisiones diferentes
- Robots.txt: gestiona el rastreo de rutas para los robots a los que se aplica.
- Noindex: indica que un recurso accesible no debe incluirse en el índice del buscador que respeta la regla.
- Canonical: señala una versión preferida entre contenidos duplicados o muy similares; requiere coherencia con el resto de señales.
Noindex no es una directiva admitida por Google dentro de robots.txt. Para que pueda leer la regla en una página, necesita acceder a ella. La documentación de noindex explica las cambios aplicados admitidas.
Cómo preparar un cambio de forma revisable
- Guarda la versión pública actual y localiza el sistema que la genera.
- Expresa el objetivo: qué rutas se gestionan y por qué.
- Selecciona URLs que deben quedar permitidas y restringidas, incluidas excepciones.
- Revisa recursos necesarios para presentar el contenido y rutas con parámetros.
- Valida la sintaxis y la respuesta publicada después del cambio.
- Comprueba posteriormente qué observaciones ofrece el rastreo y la indexación.
Si el sitio tiene un entorno de pruebas, diferencia sus restricciones de las que debe tener producción. Un lanzamiento debe incluir esa comprobación. No copies reglas de otro dominio porque utilice el mismo CMS.
Cómo detectar errores después de publicar
Consulta la URL pública del archivo y confirma que responde como esperabas. Revisa una muestra de páginas con herramientas de rastreo y, cuando tengas acceso, con los informes e inspección de Search Console. La existencia de un archivo no demuestra que sus reglas sean correctas.
Documenta qué cambió y cuándo. Si una página deja de rastrearse o presenta una incidencia, esa referencia temporal ayudará a investigar. No asumas que una mejora o caída de tráfico tiene una única causa por coincidir con una edición.
Errores que conviene evitar
- Bloquear todo el sitio por reutilizar una configuración de staging.
- Confundir la retirada del índice con impedir el rastreo.
- Publicar rutas privadas pensando que el archivo las protege.
- Restringir recursos que necesita el contenido sin comprobar su presentación.
- Aplicar reglas de otra web sin adaptar rutas ni objetivos.
Si necesitas revisar estas decisiones dentro de una arquitectura más amplia, nuestro servicio de SEO técnico permite comprobar rastreo, indexación y señales del sitio. El trabajo identifica hallazgos y requisitos concretos antes de aplicar cambios.
Ejercicio: distinguir un bloqueo de rastreo y una exclusión de indexación
Ejemplo ilustrativo resuelto. No corresponde a un cliente ni representa un resultado obtenido.
Situación de partida
El equipo quiere que una página desaparezca de los resultados y propone bloquear su rastreo en robots.txt sin revisar nada más.
Decisión propuesta
Se aclara el objetivo y se estudia la respuesta de la URL, las reglas que recibe el robot y el estado que informa Search Console.
Qué se comprueba
Robots.txt controla solicitudes de rastreo; no es un mecanismo fiable para retirar una página de los resultados. La solución se elige según el problema concreto.
Si hay bloqueos inesperados o dudas antes de cambiar reglas globales, podemos revisar su efecto sobre las páginas importantes de tu web. Conoce el servicio y el trabajo que incluye.
