10 Schritte zur erfolgreichen Indexierung Deiner Website

Für jeden Webmaster und SEO ist es frustrierend, wenn sich trotz Optimierungs-Maßnahmen die Rankings nicht nach oben bewegen.

Tatsächlich ist keiner von uns fehlerfrei und so kann es passieren, dass Du bei aller Optimierung den sprichwörtlichen Wald vor lauter Bäumen nicht mehr gesehen hast.

Also, lass uns die Scheuklappen ablegen und mit Ryte den Blick Schritt für Schritt auf die naheliegenden Möglichkeiten lenken, die Deine Seite am Indexieren hindern. Wenn Du alle Schritte geprüft und Korrekturen vorgenommen hast, steht der erfolgreichen Indexierung Deiner Website nichts mehr im Weg.

Step 1: Prüfe Deine Seiten auf Noindex-Tags

Ein Fehler, der auch den versiertesten SEOs passieren kann: Möglicherweise hast Du auf Deinen Unterseiten versehentlich das Meta-Tag "noindex, follow" eingebaut oder vergessen, es wieder zu entfernen. Die Anwendung dieses Tags sorgt dafür, dass eine URL nicht in den Index von Suchmaschinen gelangt. Es wird folgendermaßen im <head>-Bereich der URL eingefügt:

<meta name="robots" content="noindex, follow"/>

Der Einsatz dieses Tags kann unter anderem Duplicate Content vermeiden und wird beispielsweise vor einem Domainumzug verwendet, wenn eine Webseite vor dem eigentlichen Launch getestet wird. Wenn Deine Seite dann anschließend live geht, sollten die Noindex-Tags natürlich wieder entfernt werden.

Mit dem Ryte Website Success Modul prüfst Du innerhalb weniger Klicks, welche Deiner Seiten überhaupt indexierbar sind. Klicke hier für im Bereich "Indexierbarkeit" auf den Report "Was ist indexierbar?".

Abbildung 1: Indexierbarkeit mit Ryte kontrollieren.

Step 2: Kontrolliere Deine Robots.txt Datei

Mithilfe der robots.txt Datei kannst Du aktiv das Crawling und die Indexierung Deiner Webseite steuern, indem Du dem Googlebot konkrete Anweisungen gibst, welche Verzeichnisse und URLs Deiner Seite er crawlen darf und welche nicht.

Beim Konfigurieren der Datei kann es jedoch passieren, dass Du wichtige Verzeichnisse vom Crawling ausschließt oder sogar die komplette Seite für Bots sperrst. Damit verhinderst Du zwar nicht direkt die Indexierung Deiner URLs, denn tatsächlich könnte der Googlebot diese auch über Backlinks von anderen Webseiten finden, crawlen und indexieren. Doch mit einer fehlerhaften robots.txt-Datei ist es dem Googlebot nicht möglich, beim regelmäßigen Crawling Deiner Seite alle Bereiche ausreichend zu durchsuchen. Die Konsequenz ist dann eine ausbleibende Indexierung.

Kontrolliere Deine Robots.txt deshalb vor allem nach Änderungen auf Fehler. Ryte hilft Dir dabei: Klicke dazu einfach im Abschnitt „Indexierbarkeit“ auf den Report „Robots.txt“. Ryte Website Success übermittelt Dir anschließend alle URLs, die zum Beispiel vom Crawling ausgeschlossen werden.

Abbildung 2: Kontrolle der Robots.txt-Datei mit Ryte.

Step 3: Prüfe Deine .htaccess-Datei auf Fehler

Auch die .htaccess-Datei kann dazu führen, dass Deine Seite nicht in den Suchergebnissen auftaucht und das Crawlen als unberechtigten Zugriff betrachtet. Die .htaccess ist eine Steuerungsdatei, die in einem Verzeichnis des Apache-Servers abgelegt ist.

Webseitenbetreiber setzen sie unter anderem für folgende Vorhaben ein:

Umschreiben einer URL
Umleiten einer alten URL auf eine neue URL
Umleiten auf die www-Version einer Seite

In der .htaccess lassen sich demnach konkrete Regeln definieren. Damit diese Regeln vom Server ausgeführt werden können, muss die Datei jedoch in folgenden Fällen immer genau so benannt werden:

Umleitungen oder Umschreiben von URLs:

RewriteEngine On

Umschreiben erfordern mit:

RewriteBase /

Regel definieren, die der Server ausführen soll:

RewriteEngine On RewriteBase / RewriteRule seitea.html seiteb.html [R=301]

Es kann natürlich passieren, dass die Datei fehlerhaft benannt wurde – und sie deswegen URLs nicht umschreiben oder umleiten kann. Die Folge: Nutzer können die Seiten nicht aufrufen. Ebenso können Suchmaschinen die Seite nicht korrekt crawlen und werden somit am Indexieren gehindert.

Step 4: Teste Deine eingesetzten Canonical-Tags

Ein Canonical-Tag hilft Google dabei, bei mehreren URLs mit gleichen Inhalten die Original-URL zu finden, um diese bevorzugt zu indexieren. Dabei verweist der Canonical-Tag als HTML-Tag mit einem Link auf die Originalseite, die „kanonische“ URL.

Beim Setzen von Canonical-Tags kann es zu zahlreichen Fehlern kommen, die zu Problemen mit der Indexierung führen.

Der Canonical-Tag verweist auf einen relativen Seitenpfad
Der Canonical-Tag verweist auf eine URL, auf der sich in Noindex-Tag befindet
Eine paginierte Seite verweist per Canonical-Tag auf die erste Seite der Paginierung
Der Canonical-Tag verweist auf eine URL ohne Trailing-Slash

So kontrollierst Du Deine Canonical-Tags mit Ryte:

Ryte hält für Canonical-Tags im Bereich "Indexierbarkeit" einen eigenen Report bereit. Nach dem Klick auf "Canonicals" und "Canonical Verwendung" erhältst Du schnell eine Übersicht über mögliche Konflikte mit Deinen implementierten Canonical-Tags.

Abbildung 3: Canonical-Tags kontrollieren mit Ryte.

Step 5: Überwache Deine Servererreichbarkeit und Status-Fehlermeldungen

Ein weiterer Grund dafür, dass eine Webseite es nicht in den Index schafft? Ein Server-Ausfall. Denn der macht es technisch unmöglich, eine Seite aufzurufen.

Auch für die Suchmaschinenoptimierung spielen Server eine wichtige Rolle: Für ein gutes Ranking braucht man einen schnellen und leistungsfähigen Server. Reagiert er zu langsam, kommt es zu Verzögerungen beim Laden einer Webseite. Das mögen User nicht. Die Folge: Eine kurze Verweildauer und eine hohe Absprungrate. Solche Merkmale ordnet Google als schlechte KPIs in puncto User Experience ein, was sich natürlich negativ auf SEO auswirkt.

Mit Ryte Website Success kannst Du Deinen Server regelmäßig kontrollieren. Das Server-Monitoring berichtet Dir über Ausfälle und Time-outs, sodass Du schnell handeln kannst.

Abbildung 4: Server-Monitoring mit Ryte.

Tipp: Beschäftige Dich auch mit den HTTP-Statuscodes Deiner Seite: Überprüfe regelmäßig, ob 301-Weiterleitungen korrekt funktionieren oder ob 404-Statuscodes existieren. Seiten mit diesem Status sind unauffindbar für potenzielle Leser und Webcrawler. Links, die auf solche Seiten verweisen, werden "Tote Links" genannt.

Step 6: Suche auf Deiner Seite nach verwaisten Seiten

Durch Umstrukturierungen auf der Webseite oder das Hinzufügen von neuen Kategorien kann es passieren, dass diese neuen URLs intern nicht verlinkt sind. Werden diese neuen URLs außerdem nicht in der Sitemap.xml aufgeführt und nicht von externen Quellen verlinkt, ist die Gefahr einer ausbleibenden Indexierung groß. Versuche deshalb, verwaiste Seiten unbedingt zu vermeiden.

Ryte Website Success zeigt Dir verwaiste Seiten schnell an. Klicke hierfür auf den Report "Seiten ohne eingehende Links" im Bereich "Links".

Abbildung 5: Seiten ohne eingehende Links mit Ryte finden.

Step 7: Suche nach externem Duplicate Content = Contentklau

Externer Duplicate Content bedeutet, dass seine andere Seite Inhalte Deiner Seite komplett übernimmt. Obwohl Google mittlerweile besser darin geworden ist, Inhalte dem „Original“ zuzuordnen, kann es passieren, dass eine Seite mit Deinem Content besser rankt als Du oder im Extremfall verhindert, dass Dein Content überhaupt indexiert wird.

Folgender Tipp hilft Dir dabei, Contentklau vorzubeugen:

Bitte beim Veröffentlichen von Deinen Inhalten um einen Verweis zur Originalquelle: Gerade bei Pressemeldungen kann es vorkommen, dass Inhalte von Deiner Seite komplett übernommen werden. Indem Du im Vorfeld auf die Konditionen zur Übernahme dieser Textelemente hinweist, vermeidest Du externen Duplicate Content. Die Publisher können entweder mit einem konkreten Hinweis arbeiten wie „Original-Text auf www.deineseite.de“ oder sie setzen einen Canonical-Tag zu der URL, auf der Du die Inhalte ursprünglich veröffentlicht hast.

Um externen Duplicate Content zu finden, kannst Du einfach einige relevante Textzeilen aus Deiner Seite kopieren und sie in der Google-Suche eingeben. Erscheinen danach mehrere Ergebnisse mit exakt den gleichen Inhalten ohne einen Verweis auf Deine Seite, handelt es sich offensichtlich um Contentklau.

Step 8: Identifiziere Interne nofollow-Links

Wenn Du Deine internen Links mit dem rel=“nofollow“-Attribut auszeichnest, folgt der Googlebot dem markierten Link nicht. Tatsächlich verhinderst Du damit das korrekte Crawling Deiner Webseite. Hinderst Du den Googlebot zum Beispiel am Folgen eines Links, kann er möglicherweise nicht in tiefere Seitenbereiche vorstoßen. Die Konsequenz ist, dass er diese URLs nicht mehr crawlt und somit die Chance auf deren Indexierung sinkt.

Solltest Du mit internen nofollow-Links arbeiten, kannst Du mit Ryte prüfen, wo diese zu finden sind. Anschließend empfehlen wir Dir, das nofollow-Attribut zu entfernen. Möchtest Du tatsächlich eine URLs von der Indexierung ausschließen, eignet das noindex-Tag in Kombination mit dem "follow"-Attribut besser.

Step 9: Checke Deine XML-Sitemap

Bei der Erstellung einer Sitemap kann es passieren, dass die Sitemap nicht alle zu indexierenden URLs enthält. So entsteht ein ähnliches Problem wie bei den verwaisten Seiten, weil es keine Verweise auf die betroffenen URLs gibt. Geschieht dies, ist die Gefahr einer ausbleibenden Indexierung groß.

Ryte Website Success kann Dich dabei unterstützen. So geht’s: Navigiere im Bereich "Sitemap" zum Report "Status Codes der Inhalte". Dort werden Dir alle URLs der Sitemap angezeigt, die zum Beispiel nicht auf dem Server gefunden werden oder die weitergeleitet werden.

Abbildung 6: Sitemap.xml mit Ryte auf Fehler prüfen.

Mit der Google Search Console kannst Du Deine Sitemap ebenfalls auf Fehler überprüfen, denn ein Report weist auf mögliche Probleme bei der Indexierung hin.

Abbildung 7: Status-Anzeige der bei Google hinterlegten Sitemap.xml.

Step 10: Prüfe regelmäßig, ob die eigene Seite gehackt wurde

Google ist sehr daran interessiert, seinen Nutzern eine bestmögliche Qualität in den Suchergebnissen zu liefern. Gehackte Seiten schränken diese Qualität massiv ein. Achte deshalb unbedingt auf Hinweise in der Google Search Console. Sollte Deine Website Opfer eines Hacks geworden sein, gilt es erst einmal, Ruhe zu bewahren. Ein erster entscheidender Schritt ist es, die Passwörter für den Zugang zum Backend zu ändern, sofern das noch möglich ist.

Um Hacks vorzubeugen solltest Du Passwörter regelmäßig ändern und den Kreis der Passwortnutzer bestmöglich einschränken. Darüber hinaus ist es wichtig, dass Du alle angebotenen Updates immer installierst. Google hat einige Artikel zum Thema Hacking im Webmasterzentrale-Blog zusammengestellt.

Fazit

Wie Du gesehen hast, kann es viele Ursachen geben, warum Deine Seite oder einzelne URLs nicht indexiert werden. Ryte erleichtert Dir jedoch die Fehlersuche und hilft Dir zuverlässig dabei, die Indexierung Deiner Webseite zu verbessern.

Checkliste zur Indexierung

Bereich	Maßnahme
Noindex-Tags	Kontrolliere alle Seiten auf dieses Tag hin. Wenn er nicht zwingend erforderlich ist, Tag auf "index,follow" ändern.
Robots.txt	Kontrolliere die Textdatei und schau, ob wichtige Verzeichnisse vom Crawling ausgeschlossen werden.
.htaccess	Prüfe die Server-Datei auf korrekte Weiterleitungen oder Syntax-Fehler.
Canonical-Tags	Teste, ob Tags korrekt auf die kanonische URL verweisen.
Servererreichbarkeit und Statusmeldungen	Überwache die Erreichbarkeit Deines Servers und prüfe die Statuscodes Deiner URLs.
Verwaiste Seiten	Ermittle Seiten ohne eingehende interne Links und verlinke diese bei Bedarf intern.
Contentklau	Prüfe, ob andere Seiten Deine Inhalte übernehmen. Setze Canonical-Tags und vermeide relative URLs.
interne nofollow-Links	Suche auf Deiner Seite nach nofollow-Tags und entferne diese. Alternativen sind Canonical- oder Noindex-Tags.
XML-Sitemap	Prüfe, ob die Datei alle zu indexierenden URLs enthält; Kontrolle von Statuscodes der enthaltenen URLs.
Hacking	Achte auf Meldungen zu gehackten Seiten durch die Google Search Console und ändere z.B. zügig Deine Zugangsdaten.

Ryte-Nutzer erzielen +93% Klicks nach 1 Jahr. Erfahre wie!

Demo buchen

Veröffentlicht am Feb 1, 2018 von Eva Wagner

Eva Wagner

Eva ist ein erfahrener Content Marketer. Sie war bis Mai 2018 Teil des Online-Marketing Teams von Ryte. Als Verantwortliche für Redaktion & Presse organisierte sie mit viel Kreativität und ihrem Gespür für aktuelle Themen das Ryte Magazine und das Ryte Wiki. Außerdem leitete sie die Präsenz von Ryte auf großen Messen wie der dmexco in Köln.