Suchmaschinen verwenden Robots (oder sogenannte User-Agents) um Deine Seiten zu crawlen. Die robots.txt-Datei ist eine Textdatei, in der festgelegt werden kann, welche Bereiche einer Domain vom Bot der Suchmaschine gecrawlt werden dürfen und welche nicht. Erstelle mit unserem Free Tool ganz einfach Deine eigene robots.txt Datei!
Diese Erklärung zeigt Dir, wie man EINE Regel erstellt. Du kannst dies so oft machen, wie Du willst.
1. Füge Dein Stammverzeichnis (root) ein. Trage ’ ⁄ ’ ein und füge allowed/disallowed URLS relativ zum Stammverzeichnis (root) Deines Servers hinzu -ODER- Trage Dein Stammverzeichnis (root directory) (z.B. de.ryte.com) ein und verwende dann vollständige URLS. (ohne http or https!):
- Beispiel Weg a) root: /, urls: /wiki
- Beispiel Weg b) root: de.ryte.com, urls: de.ryte.com/wiki
2.Wähle die Bot(s), denen Du das Crawlen der Seite(n) erlauben oder verbieten möchtest.
3. Trage den Pfad ein, für den Du das Crawlen erlauben/verbieten willst. ((dis)allowed URLs).
4. Clicke ’ hinzufügen ’, um Deine Regel zu speichern.
5. Fange von vorne an, oder Lade Deine fertige robots.txt herunter.
Wähle Bot(s)
Stammverzeichnis (Root Directory):
Verbotene (disallowed) URL
Erlaubte (allowed) URL
Sitemap:
Ich verstehe:
Mir ist bewusst, dass die Verwendung des robots.txt Generators auf eigenes Risiko erfolgt. Eine Haftung bei Fehlern oder einer Nicht-Indexierung der Webseite wird von Ryte nicht übernommen.
Vorsicht: Diese voreingestellte Option erlaubt es allen Bots, jede Deiner Seiten zu crawlen.
Passe hier Deine robots.txt Datei an, um zusätzliche Regeln hinzuzufügen.
Sichere Dir 10 Tage lang, kostenfreien und vollen Zugang zur gesamten Ryte Plattform.
Starte Dein Trial