Noindex

Mit dem Eintrag „noindex“ in den Meta-Tags wird einem Suchmaschinen-Robot mitgeteilt, dass die besuchte Seite nicht in den Index aufgenommen werden soll. Webmaster können mit dem „noindex somit aktiv beeinflussen, welche URls indexiert werden sollen und welche nicht. Der sogenannte Noindex-Tag kann mit dem Attribut „follow“ oder „nofollow“ ergänzt werden.

Umsetzung

Der Meta-Tag „noindex“ wird im Quelltext einer Website bzw. Unterseite im <head>-Bereich eingebaut und zu den weiteren Meta-Angaben hinzugefügt.

Der komplette Tag sieht dann so aus:

<meta name="robots" content="noindex" />

Die Inhalte der Seite werden dann vom Robot nicht indiziert und sind nicht über die SERP erreichbar.

Um zu kontrollieren, ob der Meta-Tag gelesen und beachtet wird, kann jeder Webmaster eine sogenannte Site-Abfrage für die betreffende Seite durchführen. Ist der Tag korrekt eingebaut, sollte das Suchergebnis negativ ausfallen, weil der Tag dem Suchmaschinenrobot das Indexieren verboten hat.

600x400-noindex-01.png

Anwendungsgebiete

Mit „noindex“ kann Suchmaschinen mitgeteilt werden, dass eine Webseite von der Indexierung ausgeschlossen werden soll. Die Verwendung des Tags kann nützlich sein bei:

  • internen Suchergebnisseiten
  • doppelten Kategorieseiten
  • urheberrechtlich geschützten Inhalten
  • paginierten Seiten

noindex vs. disallow

Vielfach ist Webmastern der Unterschied zwischen dem Befehl „disallow“ in der Robots.txt Datei und dem Meta-Tag „noindex“ nicht bewusst. Generell gilt: es ist nicht ratsam, beide Verfahren gleichzeitig anzuwenden. Denn durch den „disallow“ Befehl in der robots.txt-Datei wird der Bot angehalten, die Seite nicht zu durchforsten. Aus diesem Grund erkennt der Crawler auch den Meta-Tag „noindex“ nicht und wird die Seite folglich dennoch in den Index aufnehmen. Wenn ein Webmaster mit dieser Methode doppelt sichergehen möchte, dass seine Seite weder gecrawlt noch indiziert wird, liegt er falsch.

Der Meta-Tag „noindex“ ist folglich nur dazu da, um Suchmaschinen von der Indizierung einer Seite abzuraten. Wenn ganze Seitenbereiche nicht gecrawlt werden sollen, empfiehlt sich die Verwendung der robots.txt.

disallow

  • Inhalte sollen erst gar nicht gecrawlt werden
  • für sensible Inhalte, wie Login-Seiten
  • für massives Datenvolumen, wie bestimmte Bilddatenbanken
  • Aufnahme der Seiten in den Index möglich

noindex

  • Inhalte sollen gecrawlt, aber nicht indiziert werden
  • für interne Suchergebnisseiten
  • keine Aufnahme in den Index

Sonderfall „noindex,follow“

Wer möchte, dass ein Bot eine Unterseite einer Domain nicht indexiert, den Links darauf aber dennoch folgt, kann den Meta-Tag „noindex“ noch um den Zusatz „follow“ erweitern. In der Praxis sieht das dann so aus:

<meta name="robots" content="noindex,follow" />

Diese Möglichkeit kann zum Beispiel für eine Kategorie verwendet werden, die mehrere Seiten enthält. Der Bot folgt den Links auf den jeweiligen Unterseiten, indexiert aber nur die erste Kategorieseite und nicht die Folgeseiten.[1] Es besteht darüber hinaus die Möglichkeit, das Noindex-Tag mit der Seitenpaginierung rel=“prev“ und rel=“next“ zu kombinieren. Wichtig ist, dass das Noindex-Tag nicht mit einem Canonical-Tag kombiniert wird. In diesem Fall wird der Suchmaschine einerseits mitgeteilt, dass es zwei identische Seiten gibt und diese das Original ist. Mit dem Noindex-Tag soll diese Seite jedoch nicht indexiert werden.[2]

noindex,nofollow

Soll ein Crawler wie der Googlebot eine Website weder in den Index aufnehmen noch den darauf befindlichen Links folgen, wird der Tag noindex,nofollow im Head-Bereich implementiert.

<meta name="robots" content="noindex,nofollow" />

In der Praxis wird diese Kombination eher selten verwendet, weil sie das Crawling einer Webseite behindern kann.

Nutzen für SEO

Der Meta-Tag „noindex“ ist für die Suchmaschinenoptimierung eine elegante Möglichkeit, um doppelte Inhalte zu vermeiden. Vor allem vor dem Hintergrund, dass Google und andere Suchmaschinen doppelte Inhalte mit Penalties belegen können, ist eine Einflussnahme auf die Indizierung sehr nützlich. Durch den Zusatz „follow“ wird dem Bot noch die Möglichkeit gelassen, allen Links auf der nicht-indexierten Seite zu folgen.

Viele CMS legen automatisch vielfältige Archivseiten an, die schnell in den Index gelangen können. Im Extremfall kann ein solches „Fluten“ der Indizes als Spamming bewertet werden. Durch „noindex“ lassen sich auch solche Gefahren vermeiden.

Auch beim Relaunch einer Webseite oder einer neuen Seitenversion erleichtert „noindex“ die Arbeit. Alle Beteiligten am Projekt können die Funktionalität der neuen Seite „live“ testen, ohne dass Bereiche davon schon in den Index einer Suchmaschine gelangen. Wichtig ist, dass die noindex-Angabe nach dem “Livegang” wieder aus dem Quellcode genommen wird. Nur dann kann der Googlebot oder Bingbot die Seite auch tatsächlich indexieren. Und letztlich können nur die indexierbaren URLs überhaupt ranken.

Einzelnachweise

  1. Aufnahme in den Suchindex mithilfe von Meta-Tags blockieren support.google.com. Abgerufen am 12.12.2014
  2. Google: Do Not No Index Pages With Rel Canonical Tags seroundtable.com Abgerufen am 31.01.2017

Weblinks

Kategorie

Verwandte Artikel