Qué es robots.txt y cómo usar sus reglas
Autor: Redacción Domeny.ForSale Publicado
En resumen: robots.txt es un archivo de texto público que indica a los robots web qué partes de un sitio pueden descargar y cuáles deben evitar. Ayuda a gestionar el rastreo del sitio, pero no protege los datos ni garantiza que una dirección desaparezca de los resultados de búsqueda. Sus reglas solo tienen efecto en los robots que las respetan.
¿Dónde se encuentra robots.txt y cómo funciona?
El archivo robots.txt se coloca en el directorio raíz del sitio, en una dirección como https://example.com/robots.txt. Un robot, es decir, un programa que visita páginas automáticamente, puede leerlo antes de descargar su contenido. Sus reglas le permiten determinar a qué rutas puede acceder.
Las reglas se aplican a un protocolo, un host y un puerto concretos. El archivo disponible en https://example.com no controla automáticamente los robots en https://tienda.example.com ni en la versión HTTP. Una subdominio que necesite sus propias restricciones requiere una configuración independiente.
Si el archivo no existe y el servidor devuelve el código HTTP 404, que significa «no encontrado», por lo general no hay restricciones impuestas por robots.txt. Esto no equivale a un fallo del servidor: los errores del servidor al intentar descargar el archivo pueden limitar temporalmente el rastreo del sitio. La forma de gestionar estos errores depende del robot.
¿Cómo leer y escribir las reglas?
Las entradas básicas forman un grupo: identifican al robot y, a continuación, establecen las rutas permitidas o prohibidas. Un archivo de ejemplo podría tener este aspecto:
User-agent: *
Disallow: /buscador/
Disallow: /trabajo/
Allow: /trabajo/ejemplo-publico.html
Sitemap: https://example.com/sitemap.xml
Cada elemento significa lo siguiente:
User-agent: el nombre del robot al que se aplican las reglas; el asterisco*indica el grupo general.Disallow: una ruta cuyo contenido el robot no debe descargar.Allow: una ruta permitida, útil sobre todo para establecer una excepción a un bloqueo más amplio.Sitemap: la dirección completa del mapa del sitio, un archivo con la lista de direcciones que quieres indicar al buscador.
En este ejemplo, los robots deben evitar las direcciones que comienzan por /buscador/ y /trabajo/, pero pueden descargar el archivo público indicado dentro del directorio de trabajo. Cuando las reglas Allow y Disallow se solapan, el estándar da prioridad a la coincidencia más específica. Las rutas distinguen entre mayúsculas y minúsculas.
La entrada Disallow: / bloquea la descarga de todo el sitio para los robots incluidos en ese grupo. Una entrada vacía Disallow: no establece ese bloqueo. Esta pequeña diferencia suele provocar errores graves al publicar un sitio.
Si añades un grupo para un robot concreto, consulta en su documentación cómo selecciona los grupos. No des por hecho que heredará automáticamente todas las restricciones definidas en User-agent: *.
Bloquear el rastreo no implica impedir la indexación
La descarga de una página por un robot, también llamada rastreo, y la indexación son dos procesos distintos. La indexación consiste en analizar y guardar información sobre una página en la base de datos del buscador, a partir de la cual se generan los resultados de búsqueda.
Una dirección bloqueada en robots.txt puede seguir apareciendo en los resultados, por ejemplo, si el buscador la descubre mediante enlaces de otras páginas. El robot no necesita descargar el contenido para saber que la dirección existe.
Si una página de acceso público no debe aparecer en los resultados, normalmente se utiliza la directiva noindex: una instrucción incluida en una etiqueta meta de la página o en la cabecera HTTP X-Robots-Tag. El robot debe poder descargar la respuesta para leer noindex. Un bloqueo simultáneo en robots.txt puede impedírselo. Escribir Noindex directamente en robots.txt no es una forma válida de excluir páginas de Google.
Por ejemplo, una página de agradecimiento que se muestra después de enviar un formulario puede seguir siendo accesible para los usuarios y utilizar noindex. En cambio, un panel con datos de clientes debe exigir el inicio de sesión y comprobar los permisos: prohibir el acceso a los robots no protege por sí solo su contenido.
¿Cuándo usar robots.txt y cuándo otra solución?
Robots.txt puede ser útil para limitar el rastreo de resultados extensos del buscador interno o de numerosas variantes de filtros. Antes, sin embargo, hay que determinar si esas direcciones deben aparecer en los resultados de búsqueda y si el robot necesita acceder a ellas para leer otras instrucciones.
No bloquees sin analizarlo los archivos CSS y JavaScript necesarios para mostrar la página. Si no están disponibles, al buscador le puede resultar más difícil reproducir correctamente el aspecto y el contenido del sitio. Reducir el número de visitas del robot no mejora por sí solo la visibilidad de la página.
El archivo robots.txt es público, por lo que no debes incluir contraseñas, tokens ni listas de recursos confidenciales. Para proteger un entorno de pruebas, utiliza autenticación o restricciones de red. Un robot malicioso puede ignorar por completo las prohibiciones publicadas.
¿Cómo implementar y comprobar el archivo de forma segura?
Antes de modificar robots.txt, guarda una copia de la versión actual. Después, realiza estas comprobaciones:
- Abre
/robots.txten el dominio correcto y comprueba que el servidor devuelve texto plano, no una página de error ni un formulario de inicio de sesión. - Prepara direcciones de ejemplo: la página de inicio, un producto, un artículo y una ruta que quieras bloquear.
- Comprueba qué reglas coinciden con esas direcciones para el robot concreto. Confirma la sintaxis admitida en la documentación oficial del buscador correspondiente.
- Tras la publicación, comprueba el estado del archivo en las herramientas para propietarios de sitios, como Google Search Console. Los robots pueden guardar una copia, por lo que los cambios no siempre se aplican de inmediato.
Si el sitio utiliza un CMS o un complemento que genera robots.txt, edita el origen correcto de la configuración. Un archivo subido manualmente puede ser sobrescrito o sustituir a la versión generada de forma automática. Antes de guardar los cambios, define el objetivo concreto: limitar el rastreo, excluir páginas de los resultados o proteger datos. Cada objetivo requiere una herramienta diferente.
Consulta también: ¿Qué es 2FA?
Lee también
