Wer häufig im Internet surft, trifft nicht immer auf reibungslos funktionierende Websites. So geben Server z.B. einen Status Code 404 aus, wenn Seiten nicht gefunden werden.
Möglich sind aber auch 403-Fehler. Diese entstehen, wenn ein Client auf eine Ressource zugreift, für die er keine Berechtigung hat. Wir zeigen Dir hier, wie der Fehlercode 403 entsteht, welche Konsequenzen er haben kann und was Du dagegen tun kannst.
Wenn ein Client, zum Beispiel ein Browser, per http eine URL von einem Server abrufen will, prüft der Server diese Anfrage. Ist die Seite vorhanden und kann ausgegeben werden, sendet der Server den Status Code 200 OK. Der Browser kann die Webseite dann laden und dem Nutzer anzeigen. Diese “Verhandlung” zwischen Client und Server bleibt für Nutzer in der Regel unbemerkt. Es sei denn, es treten Fehler auf.
Mögliche Fehler sind sogenannte 4xx-Fehler. Sie gehören zur Klasse der Client-Fehler. Der Fehler 403 gehört wie der Fehlercode 404 auch dazu. Greift nun ein Browser auf einen Server per http zu, kann der Server den Zugriff verweigern. In diesem Fall gibt der Server den Code 403 aus und der Browser kann nicht auf die gewünschte Ressource zugreifen.
Abbildung 1: Hinweis des Servers beim versuchten Zugriff auf eine Admin-Seite eines WordPress-Blogs.
Auch wenn der Fehlercode 403 zunächst einen Client-Fehler suggeriert, liegt es letztlich an den Server-Einstellungen oder an den Einstellungen des jeweiligen CMS, ob ein Client Zugriff auf bestimmte Verzeichnisse bzw. URLs hat oder nicht.
Wenn URLs nicht von Browsern dargestellt werden können, sind sie für Websitebesucher ohne Nutzen und Mehrwert. Ein 403-Fehler führt damit zwangsläufig zu einer negativen User Experience und schränkt die Usability der betreffenden Website deutlich ein. In der Folge kann es sein, dass Deine Website bei einer Häufung entsprechender 403-Fehler nicht mehr so häufig besucht wird.
Aus Suchmaschinensicht ist ein 403-Fehler ebenfalls ein Manko, denn der Googlebot kann die Inhalte der betreffenden URLs nicht crawlen und wie ein Browser rendern. Somit riskierst Du, dass die entsprechenden Seiten aus dem Google-Index entfernt werden.
Im Jahr 2014 hatte Matt Cutts noch eine Art Kulanzzeit von 24 Stunden eingeräumt, wenn der Googlebot eine 403-Seite gefunden hatte. Diese Zeit gab das System laut Cutts der URL, um im Crawling-System zu bleiben.
In einer SEO-Fragerunde auf Reddit hat Googles John Mueller sich ebenfalls zum Thema 4xx-Fehler geäußert. Dort wurden die Hinweise konkreter:
Abbildung 2: Statement von John Mueller zu 4xx-Fehlern. (Quelle)
Somit ist klar: Sollte eine URL auf eine Client-Anfrage, also auch eine Googlebot-Anfrage keinen Content ausliefern, wird sie aus dem Index entfernt.
Es gibt verschiedene Möglichkeiten, warum eine Website 403-Fehler ausgibt. In vielen Fällen ist die Zugriffssperre bewusst gesetzt und ergibt auch Sinn:
Neben dieser sinnvollen Einschränkung können Nutzer ausgeschlossen werden, wenn Verzeichnisse unbeabsichtigt gesperrt werden. In folgenden Fällen kann das geschehen:
Darüber hinaus können auch 403-Fehler für Bots entstehen, wenn Sie versuchen, Deine Website zu crawlen. Verursacht werden diese Fehler dann, wenn zum Beispiel der Googlebot wichtige Verzeichnisse aufgrund der Vorgaben in der robots.txt nicht durchsuchen darf, die für die Funktionalität Deiner Website wichtig sind. “Forbidden”-Fehler sind ebenfalls möglich, wenn Du über die robots.txt zentrale Verzeichnisse mit Content vom Crawling ausschließt.
Ryte kann Dich dabei unterstützen, 4xx-Fehler zu identifizieren. Am schnellsten wirst Du über diese Fehler informiert, wenn Du den Bericht “Kritische Fehler” im Ryte Dashboard anklickst.
Darüber hinaus kannst Du mit dem Tool Ryte Website Success die Status Codes Deiner Website abrufen. Beachte dabei, wann Dein Projekt letztmalig gecrawlt wurde.
Abbildung 3: Status Codes einer Website mit Ryte Website Success prüfen.
Auch die Google Search Console (GSC) zeigt Dir, ob 403-Fehler vorliegen. Den entsprechenden Bericht findest Du im Bereich “Crawling-Fehler”:
Abbildung 4: Crawling-Fehler mit der GSC ermitteln.
Sollte der Zugriff auf Verzeichnisse oder URLs Deiner Website für Clients verweigert werden, solltest Du handeln.
Prüfe zunächst, ob die robots.txt wichtige Verzeichnisse vom Crawling ausschließt. Hierbei kann Dich Ryte unterstützen. Das Tool Website Success zeigt Dir an, welche Bereiche aktuell nicht gecrawlt werden dürfen. (Disallowed)
Abbildung 5: robots.txt mit Ryte prüfen.
Die Google Search Console eignet sich ebenfalls, um die robots.txt zu prüfen. Den Report findest Du im Segment “Crawling” in der bisherigen Version der GSC. Bis dato wurde der robots.txt-Tester noch nicht in die neue Benutzeroberfläche integriert. (Stand: Juli 2018)
Abbildung 6: robots.txt mit der GSC testen.
Mit dem Tool “Abruf wie durch Google” hast Du außerdem die Möglichkeit zu prüfen, ob der Googlebot am Crawling wichtiger Bereiche durch Einschränkungen in der robots.txt gehindert wird.
403-Fehler sind zwar zunächst Client-Fehler, doch entstehen diese Fehler auch durch eine fehlerhafte Konfiguration des Servers oder der robots.txt-Datei. Um zu vermeiden, dass Google mittelfristig URLs deindexiert, weil sie keinen Content liefern können und um eine mangelhafte User Experience zu vermeiden, solltest Du bei 403-Fehlern schnell handeln.
Finde und korrigiere deine 403 Seiten mit Ryte FREE
Los geht’s!Veröffentlicht am 16.07.2018 von Philipp Roos.
Philipp ist ein erweitertes Mitglied der Ryte Familie und unterstützt Ryte mit dem neuesten SEO-Knowhow. Der studierte Germanist ist glücklich, dass das Zeitalter vorbei ist, in dem unlesbare, mit Keywords vollgestopfte Webtexte für Spitzenrankings gesorgt haben.
Jetzt Gastautor werden »Entdecke Ryte und optimiere Deine Website nachhaltig!
Jetzt loslegenWillst Du mehr SEO Traffic generieren?
Ryte FREE hilft dabei.
Analysiere jetzt Deine Website!