robots.txt Generator

Schritt 1
In der Datei Robots.txt wird festgelegt, welche Dateien, Verzeichnisse, Inhalte oder Bereiche Ihrer Webseiten als gesperrt oder frei zugänglich markiert sind.

Warum robots.txt?
Suchmaschinen besitzen Programme, die Spider genannt werden.
Diese durchsuchen Ihre Webseiten nach Links.
Alle gefunden Links werden dann, entsprechend der
Spiderprogrammierung, soweit verfolgt, dass die Spider
erkennen, wohin genau die Links fuehren. Mit der Datei
Robots.txt, die im Hauptverzeichnis der Domain liegen muss,
legen Sie entsprechende Sperren bzw. Freigaben fuer
die Suchmaschinen fest. Dieses Script hilft Ihnen nun,
Ihre Robots.txt zu erstellen, die Sie nur noch auf
Ihren Speicherplatz legen muessen.



Wählen Sie eine Option aus:
Erlaubt allen Spidern, Ihre Webseiten zu indizieren.
Verbietet allen Spidern, Ihre Webseiten zu indizieren.
Verbietet allen Spidern, Verzeichnisse oder Dateien zu indizieren.
Verbietet bestimmten Spidern, Verzeichnisse oder Dateien zu indizieren.


Url zu der eigenen XML-Sitemap:



robots.txt - Generator © www.gimpchat.de