OnPage’s Eleven Nr. 4 - Was ist indexierbar?

Heute stellt unsere Johanna den neuen Report "Was ist indexierbar" vor. Dieser soll helfen, alle Inhalte auf ihre Indexierbarkeit zu überprüfen und stellt verschiedene Fälle in diesem Zusammenhang vor.

Im Artikel letzter Woche hat Kathi bereits den neuen Reportaufbau vorgestellt und auf Verbesserungen beim Datenexport hingewiesen. In diesem Artikel stellen wir den "Was ist indexierbar" Report vor und beschreiben diesen Bericht etwas detaillierter.

Der Report

Der Report befindet sich im Modul "OnPage.org Zoom" und gibt Dir eine komplette Übersicht über die Indexierbarkeit der Inhalte Deines Projektes. Er besteht aus drei wesentlichen Bestandteilen:

• einem Balkendiagramm
• der Dokumententyp-Anzeige
• der URL-Liste

Abbildung 1: Der Report zur Indexierbarkeit bei OnPage.org.

Warum der Report zur Indexierbarkeit?

Du möchtest sicherlich, dass Deine Seiten sehr gut ranken. Dazu muss die Suchmaschine die Seite jedoch zuerst crawlen und dann in ihren Index aufnehmen. Das Sicherstellen der Indexierbarkeit einer Webseite ist daher eine wichtige Voraussetzung für das Ranking. In diesem Report zeigen wir Dir die Inhalte Deiner Seite, die problemlos von Suchmaschinen indexiert werden und auch die, die aufgrund bestimmter Eigenschaften nicht indexierbar sind.

Diese Eigenschaften können sein:

- Paginierte Seiten (rel-prev, rel-next)
- Seiten, die mit dem "nofollow" Attribut im robots-Tag versehen sind
- Seiten, die eine Weiterleitung enthalten
- Seiten, die einen Canonical-Tag aufweisen
- Fehlerseiten
- Seiten, die via robots.txt gesperrt wurden (disallow-Anweisung)

Der Bericht zeigt Dir also den Überblick über die indexierbaren und die nicht indexierbaren Seiten. Es ist empfehlenswert sich zunächst vor allem die nicht indexierbaren Seiten genauer anzusehen.

Denke daran, dass die Suchmaschinen nur begrenzte Ressourcen (Crawl Budget) haben und pro Crawl-Session möglicherweise nicht alle Bereiche abdecken können. Primär solltest Du der Suchmaschine eher wichtige URLs "präsentieren", die in den Index gehören, damit diese Seiten auch in die oberen Ranking-Positionen kommen.

Exkurs: Crawl Budget

Suchmaschinen weisen jeder Domain ein gewisses Kontingent an Crawl Budget zu, also wieviele URLs über einen bestimmten Zeitraum analysiert werden. URLs, die z.B. über das Meta-Robots Tag "noindex" oder über den Canonical-Tag auf eine andere URL verweisen, sind nicht für den Index bestimmt. Um diese Information zu erhalten, müssen Suchmaschinen diese URLs trotzdem analysieren und verbrauchen auf diese Weise Crawl-Budget. Auf jeder Domain gibt es immer Seiten, die nicht für den Index bestimmt sind. Schließe diese daher am besten aus, damit die Suchmaschine nur die wichtigen Seiten erfassen und indexieren kann.

Beispiel:

Die SEA-Abteilung lässt regelmäßig für Ihre Kampagnen standalone Seiten aufsetzen und diese werden in einem gesonderten Verzeichnis /sea abgelegt. Im Laufe der Zeit sammeln sich hunderte von Landing Pages an. Da die Kampagnen-Seiten speziell auf SEA ausgelegt werden, eignen sie sich nicht fürs organische Ranking. Schließe solche Seiten vom Crawling aus (z.B. über die robots.txt), da sie nur das wertvolle Crawl Budget der Suchmaschine verbrauchen, aber nicht für das organische Ranking relevant sind.

Indexierbarkeit nach Kategorien

Im oberen Reportbereich erhältst Du bei OnPage.org einen Übersichtsgraphen. Es handelt sich um ein Balkendiagramm, das in drei verschiedenen Farben dargestellt wird.

Grün: Alles in Ordnung! Bei diesen URLs besteht kein Handlungsbedarf. Seiten sind indexierbar und werden von Suchmaschinen normalerweise in den Index aufgenommen.

Gelb: Diese Seiten werden indexiert. An sich nicht weiter schlimm, jedoch empfiehlt es sich, diese zu überprüfen, ob sie vielleicht doch nicht indexiert werden sollen.

Rot: Hier liegt vermutlich ein Fehler vor. Es kann sein, dass diese Seiten versehentlich gesperrt wurden oder Fehler aufweisen. Diese sollten unbedingt geprüft werden.

Abbildung 2: Das Balkendiagramm über dem Indexierbarkeit Report

Roter Bereich

Fang am besten mit dem "roten Bereich" an und lass Dir nur die URLs in der Liste anzeigen, die nicht indexierbar sind. Beim Klick auf den jeweiligen roten Balken "Fehlerhafte URLs" und "Disallowed via robots.txt" werden Filter aktiv. Unten in der Liste erschienen in unserem Fall 28 URLs, die nicht indexierbar sind.

Abbildung 3: Aktiviere den Filter durch das Klicken auf den jeweiligen Balken.

Abbildung 4: In der unteren Liste werden nun nur die nicht indexierbaren Seiten angezeigt.

Die Chance: Nicht indexierbare Seiten mit hohem OPR

Der OPR (OnPage Rank) bewertet die Stärke der URL einer Domain. Diese Berechnung basiert auf der des PageRanks von Google. Prominent verlinkte Seiten haben einen hohen OPR und können potentiell oben ranken. Nicht indexierbare URLs mit einem hohem OPR stellen daher Verschwendung von Linkpower dar. Überlege Dir ob es sinnvoll ist, die URL indexierbar zu machen und anschließend die Seite dazu zu nutzen andere Seiten zu verlinken, die von der Linkpower profitieren können. Mit Hilfe des Indexierbarkeits-Reports kannst Du in der ganz linken Spalte nach dem OPR sortieren und so die Seiten mit hohen OPR einfach identifizieren.

Gelber Bereich

Die Balken, die im Indexierbarkeits-Report gelb dargestellt werden, sind in der Regel URLs mit folgenden Eigenschaften:

Paginierte Seiten

Paginierte Seiten enthalten einen rel=prev, rel=next Attribut und weisen die Suchmaschine darauf hin, dass eine vorhergehende und eine nachfolgende Seite existiert. Sobald der Bot diesen Hinweis erkennt, weiß die Suchmaschine, dass es sich um eine Auflistung ähnlicher Seiten handelt und indexiert diese Seiten nicht.

Redirects

Bei den Redirects handelt es sich um Seiten, die eine Weiterleitung (Status Code 301 oder 302) haben. Eine Weiterleitung deutet meist auf eine andere Seite, somit geht der Bot der Suchmaschine weiter und indexiert die weiterleitende Seite nicht.

Canonicals auf andere Seiten

Enthält eine Seite einen Canonical-Tag auf eine andere URL, dann erhält die Suchmaschine einen Hinweis drauf, dass es sich hier um Duplicate Content handelt. Anschließend wird die Seite nicht indexiert.

Exkurs: Indexierbare URLs ohne Canonical

Der Canonical-Tag ist ein wichtiges Instrument, welches Du nutzen kannst um Duplicate Content zu vermeiden. Angenommen Du betreibst ein Kampagnen Tracking und hängst bestimmte Kampagnen Parameter an Deine URL. Da kein Canonical-Tag gesetzt ist, würde jede URL mit gleichem Inhalt auf unterschiedlichen URLs erreichbar sein. Achte deshalb immer darauf, dass Deine URL einen Canonical besitzt und dieses Problem somit gar nicht erst entsteht.

noindex via robots tag

Dieses Attribut spricht im Meta-Tag Robots für sich. Mit dem noindex-Attribut wird die Suchmaschine angewiesen, diese Seite nicht zu indexieren.

Indexierbarkeit nach Dokumenten Typ

Unterhalb des Balkendiagramms befindet sich eine Übersicht über Dokumenten-Typen, die in diesem Bericht gefunden wurden. Beim Klick auf einen bestimmten Dokumenten-Typ (z.B. HTML, PDF, image etc.) löst Du den entsprechenden Filter aus.

Abbildung 5: Filtere ganz einfach nach Dokumententypen.

Angenommen der Report zeigt Dir eine große Anzahl an PDFs, die indexierbar sind. Zunächst solltest Du Dir die Frage stellen, ob es sinnvoll ist, dass die PDFs indexiert werden. PDFs sind zwar gute, beständige Inhalte, die Suchmaschinen auch "gerne" ranken, diese stellen jedoch eine Sackgasse für die User dar. Wenn der User auf diesen PDF-Seiten landet, dann kann er nur über das Ändern der URL zu Deiner Seite zurückkehren.

Identifiziere die indexierbaren PDFs folgendermaßen:

• Klicke auf den Grünen Balken "Indexierbar"
• Klicke auf das Icon "application/pdf" in der Dokumententyp-Box
• Setze dann einen Canonical-Tag für alle Deine PDFs auf die jeweilige Landing Page, die das PDF wirbt. So werden die Besucher aus den SERPs auf der Landing Page landen und nicht direkt im PDF. Nach dem PDF-Download kann die Seite ganz normal besucht werden, da sie z.B. den Startseitenlink und die Navigation bereit hält.

Im Idealfall ist der grüne Balken der höchste von allen und die meisten Inhalte überwiegen über die nicht-indexierbaren Inhalte. Jedoch kannst Du daraus viel herausholen. Hier sind einige Beispiele, wie Du bestimmte Seiten genauer anschauen könntest. Füge zusätzliche Spalten zum Indexierbarkeits-Report hinzu, um diese Situationen zu analysieren.

1. Indexierbare URLs, die nicht in der Sitemap sind.

Wenn sie für den Index bestimmt sind, sollten sie auch in der XML-Sitemap enthalten sein.

Abbildung 6: Sind die indexierbaren URLs auch in der Sitemap enthalten?

2. Indexierbare URLs mit wenig eingehenden Links

Eine gute interne Linkstruktur ist auch für das Ranking sehr wichtig. URLs, die indexierbar sind, sollten auch von Usern gefunden werden und somit auch intern über ausreichende interne Links verfügen.

3. Indexierbare URLs mit einem langen Klickpfad:

Der Klickpfad misst den kürzesten Weg von der Startseite zur jeweiligen URL. Benötigt es eine hohe Anzahl von Klicks zu einer URL, wird dies von den Suchmaschinen als ein Signal interpretiert, dass diese URL nicht so wichtig ist.

Tipp: Untersuche die URLs, die nur mit sehr vielen Klicks erreichbar sind und überlege Dir, ob es nicht sinnvoll wäre diese Seiten durch einen Link von anderen Seiten intern besser und schneller erreichbar zu machen und so Deine Rankings zu verbessern.

4. Indexierbare Seiten ohne Title und Description

URLs ohne Title und Description, die indexierbar sind, können potentiell auch in den Suchergebnislisten vertreten sein. Fehlen diese beiden Meta-Tags, kann es passieren, dass das Ranking niedriger ausfällt und die Description von der Suchmaschine selbst generiert wird. Nutze das Snippet um den Besucher zum Klick zu animieren.

5. Indexierbare Seiten mit Thin Content (weniger als 300 Wörter)

Seiten, die wenig Inhalt vorweisen, können deutlich schlechter ranken als andere, die viel relevanten Inhalt aufweisen. Identifiziere alle indexierbaren Seiten in Deinem Webauftritt, die weniger als 300 Wörter aufweisen. Somit verhinderst Du von vorn herein, dass die Suchmaschine erkennt, dass Deine Domain auch den sogenannten Thin Content aufweist.

Der Indexierbarkeits-Report liefert nicht nur einen sehr guten Überblick, welche Inhalte nicht indexierbar sind, sondern zeigt auch Mängel an den Seiten, die bereits im Suchmaschinenindex enthalten sind. Verschaffe Dir regelmäßig den Überblick über die Indexierung Deiner Seiten, denn diese ist das A und O für das erfolgreiche Ranking in Suchmaschinen.

Happy Analyzing!

Folgende Beiträge sind bisher in dieser Artikelserie erschienen:

OnPage.org startet OnPage’s Eleven - Willkommen im V3 Dashboard
OnPage's Eleven Nr. 2 - Die einzelnen Module und deren Einsatz
OnPage’s Eleven Nr. 3 - Verbesserte Reportansicht
OnPage’s Eleven Nr. 5 – Benutzerdefinierte Felder und Zähler
OnPage’s Eleven Nr. 6 - Dateien (statische Inhalte)
OnPage's Eleven Nr. 7 - PDF-Exports
OnPage's Eleven Nr. 8 - Das neue OnPage.org Keywords Modul
OnPage’s Eleven Nr. 9 - robots.txt Monitoring
OnPage’s Eleven Nr. 10 - Crawler Einstellungen