Nicht indexierbare Seiten: Wie sie entstehen und was Du dagegen tun kannst

Websites sind in der Regel keine statischen Gebilde, sondern wachsen, werden mit neuem Content befüllt oder modifiziert. Dabei kann es immer geschehen, dass URLs aufgrund von fehlerhafter Konfiguration oder falsch gesetzten sowie vergessenen Tags nicht mehr indexiert werden können.

Ohne Indexierung können die betroffenen URLs nicht mehr ranken. Abhängig von der Stärke der jeweiligen URL kann durch die ausbleibende Indexierung ein großer Sichtbarkeitsverlust entstehen. Du solltest Deine Website deshalb regelmäßig auf nicht indexierbare Seiten prüfen. Ryte kann Dir dabei helfen!

Falsch gesetzte oder „vergessene“ Noindex-Tags

Mit dem Noindex-Tag kannst Du Webseiten von der Indexierung durch Suchmaschinen ausschließen. In diesem Fall wird im Header der Tag

eingefügt.

Crawler wie der Googlebot können den Links auf der Seite zwar noch folgen, Sie indexieren jedoch die URL nicht. Meist wird der Noindex-Tag eingesetzt, um temporär zu verhindern, dass eine URL indexiert wird. Das kann zum Beispiel durch Umstellungen auf der URL bedingt sein oder durch Änderungen der URL-Struktur. Wenn der Tag jedoch nach den Änderungen vergessen wird, ist die Seite dauerhaft nicht im Index. Handelt es sich dabei noch um das Tag ohne den Zusatz „follow“, folgt der Googlebot den Links auf der betreffenden Seite nicht mehr. Du verhinderst somit außerdem, dass weitere URLs Deiner Seite gecrawlt und indexiert werden können.

So findest Du fehlerhaft gesetzte Noindex-Tags mit Ryte Website Success:

Klicke unter dem Menüpunkt “Indexierbarkeit” auf den Abschnitt “Was ist indexierbar?”. Danach erhältst Du eine Übersicht mit URLs, die Google indexieren kann oder wo mögliche Indexierungsprobleme bestehen.

Navigiere im Diagramm zum Balken “nonidex via robots”. Nach einem Klick werden Dir alle URLs angezeigt, die mit dem Tag “noindex” ausgezeichnet wurden:

Abbildung 1: URLs mit dem Noindex-Tag mit Ryte Website Success ermitteln.

Was Du dann tun solltest:

Entferne die falsch gesetzten Noindex-Tags von den betreffenden URLs.
Lass Dein Projekt danach erneut von Ryte crawlen und entsprechend prüfen.

Falsch gesetzte Canonical-Tags

Mit einem Canonical-Tag kannst Du Google bei URLs mit gleichen Inhalten auf die „Original-URL“ hinweisen. In der Regel ignoriert Google dann bei der Indexierung das Duplikat und referenziert nur die kanonische URL.

Gerade beim Setzen von Canonical-Tags können viele Fehler entstehen. So ist es möglich, dass der Canonical-Tag auf eine Seite mit noindex-Tag verweist. In diesem Fall wird die kanonische Seite nicht indexiert. Grundsätzlich ist der Canonical-Tag auch nur eine Empfehlung für Google, keine Anweisung. Wenn der Googlebot von falsch gesetzten Canonicals ausgeht, werden diese ignoriert. Google prüft dafür die in der Sitemap.xml hinterlegten Links.

Auch wenn der Canonical-Tag in der Theorie nicht mit der Funktion des Noindex-Tags gleichgesetzt werden kann, haben fehlerhafte Canonicals in der Praxis jedoch ähnliche Auswirkungen.

Was Du noch bei Canonical-Tags beachten solltest:

So werden grundsätzlich alle Inhalte auf einer URL ignoriert, wenn der hinterlegte Canonical-Tag auf eine andere URL verweist und von Google so angenommen wird.
Damit die Kanonisierung funktioniert, sollten die betreffenden Seiten sehr ähnliche, wenn nicht gleiche Inhalte haben.
Werden Canonical Tags nicht im <head>-Bereich gesetzt, werden sie von Google ignoriert.
Wenn ein Canonical-Tag auf eine URL mit einer Weiterleitung verweist, benötigt Google mehr Zeit dafür, zu entscheiden, welche URL indexiert werden soll. Auf diese Weise verschenkst Du wertvolles Crawl Budget. Es kann ebenfalls passieren, dass Google in solchen Fällen das Canonical Tag ignoriert.

So prüfst Du Canonical-Tags mit Ryte Website Success:

Navigiere im Bereich “Indexierbarkeit” zu “Canonicals”. Klicke dort auf “Canonical Verwendung”. Anhand der Übersicht wird Dir angezeigt, wo Canonical-Tags auf Deiner Seite verwendet werden und wo nicht.

Abbildung 2: Canonical-Tag-Verwendung mit Ryte Website Success prüfen.

Was Du dann tun solltest:

Füge auf sich selbst verweisende Canonical-Tags ein, wenn eine Seite nicht auf eine kanonische URL verweisen soll.
Prüfe Canonical-Tags und deren Linkziele. Ist alles korrekt? Pass mögliche Fehler an.

Fehler in der robots.txt

Die kleine robots.txt ist lediglich eine Textdatei, die im Root-Verzeichnis Deiner Domain hinterlegt wird. Doch hat die Datei großen Einfluss auf die Indexierung Deiner Website. Denn sie enthält Anweisungen, wie Bots Deine Website crawlen dürfen. Du kannst mit der robots.txt zum Beispiel Bots ausschließen oder alle Bots daran hindern, bestimmte Verzeichnisse zu crawlen.

Die robots.txt schließt zwar nicht wie oft missverstanden wird, URLs von der Indexierung aus. Aber indem Anweisungen verhindern, dass der Googlebot URLs crawlen darf, können diese auf diesem Weg auch nicht indexiert werden. Durch den Ausschluss von Verzeichnissen kannst Du somit indirekt für deren “Nicht”-Indexierung sorgen.

Aus diesem Grund solltest Du die robots.txt regelmäßig kontrollieren, vor allem nach Veränderungen an der Datei. Grundsätzlich empfiehlt es sich ohnehin, so viele Bereiche wie möglich vom Googlebot crawlen zu lassen. So stellst Du sicher, dass Google Deine Webseiten wie ein menschlicher Nutzer mit seinem Browser rendern kann.

Gängige Fehler sind:

Ausschluss von Verzeichnissen mit Dateien wie CSS oder JavaScript, die seitenweit für das Laden von Funktionen wichtig sind.
Ausschluss von wichtigen Kategorien.
Verwendung falscher Syntax in der robots.txt, wodurch ganze Verzeichnisse ungewollt nicht gecrawlt werden können.

So kontrollierst Du Deine robots.txt-Datei mit Ryte:

Klicke im Bereich “Indexierbarkeit” auf “Robots.txt”. Schon erhältst Du eine Übersicht, welche URLs durch die Datei vom Crawling ausgeschlossen werden.

Abbildung 3: Monitoring der robots.txt mit Ryte.

Fehlerhafte Redirects

Weiterleitungen wie der 301-Redirect helfen dabei alte URLs auf neue URLs umzuleiten, ohne dass dabei Linkjuice verloren geht. Für Nutzer ist die in der htaccess-Datei des Apache-Servers hinterlegte Anweisung kaum spürbar. Wird die 301-Weiterleitung jedoch falsch eingerichtet, kann das zu Rankingverlusten führen, weil die ursprüngliche Seite bei der Indexierung nicht mehr berücksichtigt wird.

Ein häufiger Fehler ist es, wenn eine 301-Weiterleitung die falsche URL weiterleitet. Schlecht für die Indexierung ist es außerdem, wenn eine 301-Weiterleitung zu einer URL führt, die per Canonical auf eine andere URL verweist oder eine URL weiterleitet, die per Noindex von der Indexierung ausgeschlossen ist.

Mit Ryte kannst Du alle Weiterleitungen auf Deiner Webseite kontrollieren:

Klicke im Bereich “Indexierbarkeit” auf den Menüpunkt “Weiterleitungen” und danach auf “Status Codes”. Der Report zeigt Dir sofort alle gesetzten Weiterleitungen an.

Abbildung 4: Weiterleitungen mit Ryte Website Success prüfen.

Das solltest Du tun:

Werden 301-Weiterleitungen noch benötigt? Prüfe, ob die neuen URLs bereits von Google indexiert werden. Hierfür kannst Du mit der betreffenden URL eine einfache “site-Abfrage” durchführen. Ist die neue URL bereits im Index, kann der 301-Redirect entfernt werden. Das hat Gary Illyes von Google in einem Tweet bestätigt.
Sind temporäre Weiterleitungen (302) noch notwendig? Diese Weiterleitungen werden meist gesetzt, wenn es aufgrund der Saison oder des Marketings neue URLs gibt, auf die weitergeleitet wird. Sind die Aktionen vorbei, kannst Du die Weiterleitung auch entfernen.

Defekte oder fehlende interne Verlinkung

Eine intakte interne Verlinkung wirkt wie das Netz aus Adern, das einen Körper mit frischem Blut versorgt. Ist die interne Verlinkung defekt, stockt die Verteilung des Linkjuice und im schlimmsten Fall verhindern defekte Links die Indexierung einzelner URLs Deiner Seite.

So kann es durch Umbauten oder Umstrukturierungen auf Deiner Website dazu kommen, dass URLs zu sogenannten „verwaisten Seiten“ werden. Dabei handelt es sich um Webseiten ohne eingehende interne Links. Sollten diese Seiten nicht von außen über Backlinks verlinkt sein, hat der Googlebot keine Chance mehr, diese zu crawlen und zu indexieren.

Ryte Website Success kann Dir dabei helfen, verwaiste Seiten aufzuspüren:

Klicke hierfür auf “Links”, danach auf “Seiten ohne eingehende Links”. Der Report listet Dir dann alle verwaisten URLs auf.

Abbildung 5: Verwaiste Seiten mit Ryte Website Success finden.

Das solltest Du dann tun:

Passe die interne Verlinkung zur betreffenden URL oder Verzeichnis wieder an. Korrigiere den entsprechenden Link im Menü oder Content.

Fehlerhafte Paginierung

Die Paginierung von URLs in Kombination mit Noindex-Tags und Canonicals kann zu Irritationen bei Suchmaschinen und somit zur fehlerhaften Indexierung oder zum Ausbleiben der Indexierung führen.

Hast Du zum Beispiel eine Paginierung eingefügt und die paginierten Seiten verweisen auf die erste Seite der Paginierung, kann das dazu führen, dass die paginierten Seiten selbst nicht mehr indexiert werden. Dabei dient die Paginierung aber dazu, Google zu zeigen, dass es sich um eine fortlaufende Reihe an Seiten handelt.

Mögliche Fehler können häufig auch bei der Verwendung einer Paginierung mit dem Noindex-Tag auftreten. Ein Fehler wäre es zum Beispiel, eine paginierte Seite per Noindex von der Indexierung auszuschließen und diese Seite per Canonical-Tag auf die erste Seite der Paginierung verweisen zu lassen.

In diesem Fall würde Google die Anweisung erhalten, dass die betreffende Seite nicht in den Index soll, allerdings würdest Du mit dem Bot den Hinweis geben, nur die Links auf der ersten Seite der Paginierung zu berücksichtigen. Die harmonische “Durchblutung” Deiner Seite wäre somit gestört: Linkjuice könnte nicht mehr alle Kategorieseiten erreichen.

So findest Du die Fehler mit Ryte Website Success:

Klicke im Bereich “Indexierbarkeit” auf “Paginierung”, danach auf “Paginierungs-Ziele”.

Ryte zeigt Dir anschließend, wohin die mit rel=“prev” gekennzeichneten Links verweisen.

Abbildung 6: Paginierung mit Ryte Website Success prüfen.

Das solltest Du tun:

Kontrolliere, ob der Verweis der Paginierung korrekt ist und die markierten Links auf die korrekte Seite bzw. das korrekte Verzeichnis verweisen. Korrigiere eventuelle Fehler.
Lass Dein Projekt nach den Verbesserungen nochmals von Ryte crawlen und prüfe Paginierungen erneut.

Seiten mit 404 Status-Code

Eine 404-Fehlerseite wird immer dann ausgegeben, wenn der Server auf die Anfrage eines Clients keine Inhalte mehr zur angefragten URL findet (404 not found). Wenn der Googlebot nun Deine Website crawlt und häufig auf Fehlerseiten trifft, wird das Crawling enorm gestört. Das kann dazu führen, dass der Googlebot aufgrund des beschränkten Crawl Budgets die tieferen Bereiche Deiner Website nicht mehr besuchen kann. Die Gefahr ist dann groß, dass diese URLs aufgrund des fehlenden Crawls auch nicht indexiert werden.

So findest Du 404-Fehler mit Ryte:

Navigiere im Bereich “Indexierbarkeit” zu “Status Codes”. Klicke danach auf den roten Button “>4xx (nicht gefunden)”. Der Report zeigt Dir dann alle URLs an, die einen 404-Fehlercode ausliefern.

Abbildung 7: Statuscodes mit Ryte abrufen.

Das kannst Du tun:

Prüfe, ob es für die vorhandenen 404-Fehler wirklich keine relevante URL gibt. Füge ansonsten eine 301-Weiterleitung zu neuen Inhalten ein.
Prüfe, ob die URLs fehlerhaft sind, für die der Server einen 404-Fehler ausgibt.
Kontrolliere, ob Du eine individuelle 404-Fehlerseite verwendest, die Nutzern mögliche Alternativen anbietet. Auch Google empfiehlt, benutzerdefinierte 404-Seiten zu verwenden. Denn 404-Fehler lassen sich nicht immer vermeiden und gehören auf “natürliche” Weise zum Web dazu. Mit einer ansprechend gestalteten Fehlerseite kannst Du jedoch die Usability erhöhen und verhindern, dass viele Nutzer abspringen.

Fazit

Je größer ein Webprojekt ist, desto höher ist die Wahrscheinlichkeit, dass dort Fehler auftauchen. Gerade bei Websites mit vielen URLs ist es deshalb umso wichtiger, dass Du Dein Projekt regelmäßig auf Fehler prüfst. Empfehlenswert ist eine Kontrolle immer dann, wenn Du Änderungen an Inhalten, der URL-Struktur oder Weiterleitungen vornimmst. Mit Ryte kannst Du mit geringem Aufwand die passenden Reports erstellen, die Dir bei der Fehlersuche helfen.

Ryte-Nutzer erzielen +93% Klicks nach 1 Jahr. Erfahre wie!

Demo buchen

Veröffentlicht am Jun 25, 2018 von Philipp Roos

Philipp Roos

Philipp ist ein erweitertes Mitglied der Ryte Familie und unterstützt Ryte mit dem neuesten SEO-Knowhow. Der studierte Germanist ist glücklich, dass das Zeitalter vorbei ist, in dem unlesbare, mit Keywords vollgestopfte Webtexte für Spitzenrankings gesorgt haben.