Robots.txt Generator

Was ist eine robots.txt?
In der Datei Robots.txt wird festgelegt, welche Dateien, Verzeichnisse, Inhalte oder Bereiche Deiner Webseiten als gesperrt oder frei zugänglich markiert sind.

Wofür robots.txt?
Suchmaschinen besitzen Programme, die Spider genannt werden. Diese durchsuchen Deine Webseiten nach Links. Alle gefunden Links werden dann, entsprechend der Spiderprogrammierung, soweit verfolgt, dass die Spider erkennen, wohin genau die Links führen. Mit der Datei Robots.txt, die im Hauptverzeichnis(Root) liegen muss, legst Du entsprechende Sperren bzw. Freigaben für die Suchmaschinen fest. Dieses Script hilft Dir nun, Deine Robots.txt zu erstellen, die Du nur noch auf Deinen Webspace legen musst.


Schritt 1
Wähle eine Option aus:
Verbietet allen Spidern, deine Webseiten zu indizieren.
Verbietet allen Spidern, Verzeichnisse oder Dateien zu indizieren.
Verbietet bestimmten Spidern, Verzeichnisse oder Dateien zu indizieren.

Durch Aktivierung des Bestätigungslinks in unserer Service-Mail stimmen Sie zu, dass unsere Sponsoren Ihnen in unregelmäßigen Abständen Werbung per E-Mail zusenden dürfen. Dieser können Sie jederzeit widersprechen. Dank unserer Sponsoren können wir Ihnen diesen Service kostenlos anbieten.