Geben Sie User-Agent, erlaubte und gesperrte Pfade sowie Sitemap-URLs ein. Tragen Sie die Seiten-URLs für die XML-Sitemap selbst ein.
Läuft lokal in deinem BrowserFüllen Sie die fünf Felder und drücken Sie Dateien erzeugen: robots.txt entsteht aus den Zeilen für User-Agent, Disallow, Allow und Sitemap, sitemap.xml aus der URL-Liste. Beides wird in diesem Browser erzeugt; keine Website wird abgerufen und nichts hochgeladen.
In das Sitemap gelangen nur absolute http- und https-Adressen. Alles andere bleibt außerhalb der Datei und wird unter den Feldern aufgelistet, damit kein fehlerhafter Eintrag auf Ihrer Website landet.
robots.txt sagt Crawlern, welche Pfade sie anfordern dürfen. Das ist eine Bitte, keine Sicherheitsgrenze: Ein Crawler, der sie ignoriert, ruft die Seite weiterhin ab; wirklich Privates gehört hinter eine Anmeldung. Eine Regel gehört zur User-Agent-Gruppe darüber, deshalb beginnt die erzeugte Datei mit User-agent und listet danach die Pfade.
sitemap.xml listet die Adressen, die indexiert werden sollen. Sie hilft beim Finden, nicht beim Ranking, und eine in robots.txt gesperrte URL wird nicht indexiert, auch wenn sie zusätzlich im Sitemap steht.
Pfade werden korrigiert, damit die Datei gültig bleibt: ein fehlender führender Schrägstrich wird ergänzt, eine eingefügte vollständige URL wird zu Pfad und Query, und eine Zeile, die trotzdem kein Pfad sein kann, bleibt aus der Datei heraus und wird im Status genannt. Zeilen mit # bleiben als Kommentar erhalten, was robots.txt erlaubt. Doppelte URL- und Sitemap-Zeilen werden einmal geschrieben und als Duplikat gemeldet. Platzhalter (*) und das Endanker-Zeichen ($) bleiben unverändert.
Es gibt kein Crawl-delay, keine getrennte Gruppe je Crawler und im Sitemap kein lastmod, changefreq oder priority. Eine einzelne Sitemap-Datei fasst höchstens 50.000 URLs, und die Seite sagt das, statt mehr zu schreiben. Nichts wird abgerufen, eine nicht mehr existierende Adresse steht also genau so in der Datei; die Seite kann nicht wissen, ob eine URL 200 liefert, umleitet oder 404 ergibt.