Indica el agente, las rutas permitidas y bloqueadas y las URL de sitemaps. Añade las URL de las páginas para generar el mapa XML.
Se ejecuta localmente en tu navegadorRellena los cinco campos y pulsa Generar archivos: robots.txt se escribe a partir de las líneas de agente, Disallow, Allow y Sitemap, y sitemap.xml a partir de la lista de URL. Ambos se producen en este navegador; no se consulta ningún sitio ni se sube nada.
En el sitemap solo se escriben direcciones absolutas http y https. El resto de valores queda fuera del archivo y se lista bajo los campos, de modo que ninguna entrada mal formada llega a tu sitio.
robots.txt indica a los rastreadores qué rutas pueden solicitar. Es una petición, no una barrera de seguridad: un rastreador que lo ignore puede seguir accediendo a la página, así que lo que deba ser privado va detrás de autenticación. Cada regla pertenece al grupo de agente que tiene encima, y por eso el archivo generado empieza por User-agent y después enumera las rutas.
sitemap.xml enumera las direcciones que quieres indexar. Ayuda al descubrimiento, no al posicionamiento, y una URL bloqueada en robots.txt no se indexará aunque también aparezca en el sitemap.
Las rutas se corrigen para que el archivo siga siendo válido: se añade la barra inicial que falte, una URL completa pegada se convierte en su ruta y su consulta, y una línea que aun así no puede ser una ruta se queda fuera del archivo y se nombra en el estado. Las líneas que empiezan por # se conservan como comentarios, algo que robots.txt permite. Las líneas de URL y de Sitemap repetidas se escriben una sola vez y se informan como duplicadas. Los comodines (*) y el ancla final ($) pasan intactos.
No hay Crawl-delay, ni un grupo distinto por rastreador, ni lastmod, changefreq o priority en el sitemap. Un solo archivo de sitemap admite como máximo 50.000 URL, y la página lo dice en lugar de escribir más. No se consulta nada, así que una dirección que ya no existe se escribe tal cual: la página no puede saber si una URL responde 200, redirige o devuelve 404.