Robots.txt Generator

Suchmaschinen verwenden Robots (oder sogenannte User-Agents) um Deine Seiten zu crawlen. Die robots.txt-Datei ist eine Textdatei, in der festgelegt werden kann, welche Bereiche einer Domain vom Bot der Suchmaschine gecrawlt werden dürfen und welche nicht. Erstelle mit unserem Free Tool ganz einfach Deine eigene robots.txt Datei!

Schritt für Schritt erklärt

Diese Erklärung zeigt Dir, wie man EINE Regel erstellt. Du kannst dies so oft machen, wie Du willst.
1. Füge Dein Stammverzeichnis (root) ein. Trage ’ ⁄ ’ ein und füge allowed/disallowed URLS relativ zum Stammverzeichnis (root) Deines Servers hinzu -ODER- Trage Dein Stammverzeichnis (root directory) (z.B. de.ryte.com) ein und verwende dann vollständige URLS. (ohne http or https!):
- Beispiel Weg a) root: /, urls: /wiki
- Beispiel Weg b) root: de.ryte.com, urls: de.ryte.com/wiki
2.Wähle die Bot(s), denen Du das Crawlen der Seite(n) erlauben oder verbieten möchtest.
3. Trage den Pfad ein, für den Du das Crawlen erlauben/verbieten willst. ((dis)allowed URLs).
4. Clicke ’ hinzufügen ’, um Deine Regel zu speichern.
5. Fange von vorne an, oder Lade Deine fertige robots.txt herunter.


Wähle Bot(s)













Stammverzeichnis (Root Directory):

Es gibt zwei Möglichkeiten; entweder Du verwendest ’ ⁄ ’ und verwendest danach die URLs relativ zum Stammverzeichnis Deines Servers ODER oder Du arbeitest mit Deinem Stammverzeichnis (z.B. de.ryte.com, kein http(s)) und verwendest danach ganze URLs.

Verbotene (disallowed) URL

Erlaubte (allowed) URL

Sitemap:

Ich verstehe:

Mir ist bewusst, dass die Verwendung des robots.txt Generators auf eigenes Risiko erfolgt. Eine Haftung bei Fehlern oder einer Nicht-Indexierung der Webseite wird von Ryte nicht übernommen.

Vorsicht: Diese voreingestellte Option erlaubt es allen Bots, jede Deiner Seiten zu crawlen.
Passe hier Deine robots.txt Datei an, um zusätzliche Regeln hinzuzufügen.

Ryte screenshot

Sichere Dir 10 Tage lang, kostenfreien und vollen Zugang zur gesamten Ryte Plattform.

Starte Dein Trial