Fehlercode 403: Ursachen und Lösungen von Ryte

Möglich sind aber auch 403-Fehler. Diese entstehen, wenn ein Client auf eine Ressource zugreift, für die er keine Berechtigung hat. Wir zeigen Dir hier, wie der Fehlercode 403 entsteht, welche Konsequenzen er haben kann und was Du dagegen tun kannst.

Und hier die ausführliche Erklärung zum Fehlercode 403:

Wenn ein Client, zum Beispiel ein Browser, per http eine URL von einem Server abrufen will, prüft der Server diese Anfrage. Ist die Seite vorhanden und kann ausgegeben werden, sendet der Server den Status Code 200 OK. Der Browser kann die Webseite dann laden und dem Nutzer anzeigen. Diese “Verhandlung” zwischen Client und Server bleibt für Nutzer in der Regel unbemerkt. Es sei denn, es treten Fehler auf.

Mögliche Fehler sind sogenannte 4xx-Fehler. Sie gehören zur Klasse der Client-Fehler. Der Fehler 403 gehört wie der Fehlercode 404 auch dazu. Greift nun ein Browser auf einen Server per http zu, kann der Server den Zugriff verweigern. In diesem Fall gibt der Server den Code 403 aus und der Browser kann nicht auf die gewünschte Ressource zugreifen.

Abbildung 1: Hinweis des Servers beim versuchten Zugriff auf eine Admin-Seite eines WordPress-Blogs.

Auch wenn der Fehlercode 403 zunächst einen Client-Fehler suggeriert, liegt es letztlich an den Server-Einstellungen oder an den Einstellungen des jeweiligen CMS, ob ein Client Zugriff auf bestimmte Verzeichnisse bzw. URLs hat oder nicht.

Aus Suchmaschinensicht ist ein 403-Fehler ebenfalls ein Manko, denn der Googlebot kann die Inhalte der betreffenden URLs nicht crawlen und wie ein Browser rendern. Somit riskierst Du, dass die entsprechenden Seiten aus dem Google-Index entfernt werden.

Im Jahr 2014 hatte Matt Cutts noch eine Art Kulanzzeit von 24 Stunden eingeräumt, wenn der Googlebot eine 403-Seite gefunden hatte. Diese Zeit gab das System laut Cutts der URL, um im Crawling-System zu bleiben.

In einer SEO-Fragerunde auf Reddit hat Googles John Mueller sich ebenfalls zum Thema 4xx-Fehler geäußert. Dort wurden die Hinweise konkreter:

Abbildung 2: Statement von John Mueller zu 4xx-Fehlern. (Quelle)

Somit ist klar: Sollte eine URL auf eine Client-Anfrage, also auch eine Googlebot-Anfrage keinen Content ausliefern, wird sie aus dem Index entfernt.

• Ausschluss sensibler Login-Bereiche: Websites können den Zugriff auf bestimmte Admin Login-Bereiche für gewöhnliche Nutzer sperren. Der Zugriff kann zum Beispiel nur auf spezifische IP-Adressen oder einen VPN-Zugang eingeschränkt werden. In der Regel haben diese URLs für den Standard-Nutzer keine Relevanz und sind auch nicht über das Frontend erreichbar. Lediglich Seitenadministratoren haben den Zugang zu diesen Seiten.

Neben dieser sinnvollen Einschränkung können Nutzer ausgeschlossen werden, wenn Verzeichnisse unbeabsichtigt gesperrt werden. In folgenden Fällen kann das geschehen:

• Du hast einen neuen Bereich auf Deiner Website eingerichtet, der noch nicht vollständig bearbeitet wurde und erst nach Login erreichbar ist. Allerdings hast Du unbeabsichtigt bereits einen internen Link über das Menü auf diesen Bereich gesetzt.
• Der Serveradmin hat aus Versehen ein gesamtes Verzeichnis für nicht autorisierte Nutzer gesperrt. Das kann durch eine fehlerhafte Konfiguration oder Syntax der .htaccess-Datei geschehen.
• Der Server hat die Website-Leserechte für alle Nutzer und alle Bereiche eingeschränkt.

Darüber hinaus können auch 403-Fehler für Bots entstehen, wenn Sie versuchen, Deine Website zu crawlen. Verursacht werden diese Fehler dann, wenn zum Beispiel der Googlebot wichtige Verzeichnisse aufgrund der Vorgaben in der robots.txt nicht durchsuchen darf, die für die Funktionalität Deiner Website wichtig sind. “Forbidden”-Fehler sind ebenfalls möglich, wenn Du über die robots.txt zentrale Verzeichnisse mit Content vom Crawling ausschließt.

Darüber hinaus kannst Du mit dem Tool Ryte Website Success die Status Codes Deiner Website abrufen. Beachte dabei, wann Dein Projekt letztmalig gecrawlt wurde.

Abbildung 3: Status Codes einer Website mit Ryte Website Success prüfen.

Auch die Google Search Console (GSC) zeigt Dir, ob 403-Fehler vorliegen. Die entsprechenden Meldungen findest Du im Bereich "Abdeckung":

Abbildung 4: Crawling-Fehler mit der GSC ermitteln.

Prüfe zunächst, ob die robots.txt wichtige Verzeichnisse vom Crawling ausschließt. Hierbei kann Dich Ryte unterstützen. Das Tool Website Success zeigt Dir an, welche Bereiche aktuell nicht gecrawlt werden dürfen. (Disallowed)

Abbildung 5: robots.txt mit Ryte prüfen.

Die Google Search Console eignet sich ebenfalls, um die robots.txt zu prüfen. Den Report findest Du im Segment “Crawling” noch in der alten Version der GSC. Bis dato wurde der robots.txt-Tester noch nicht in die neue Benutzeroberfläche integriert. (Stand: Juli 2019)

Abbildung 6: robots.txt mit der GSC testen.

Mit dem Tool “Abruf wie durch Google” hast Du außerdem die Möglichkeit zu prüfen, ob der Googlebot am Crawling wichtiger Bereiche durch Einschränkungen in der robots.txt gehindert wird.

Fazit

403-Fehler sind zwar zunächst Client-Fehler, doch entstehen diese Fehler auch durch eine fehlerhafte Konfiguration des Servers oder der robots.txt-Datei. Um zu vermeiden, dass Google mittelfristig URLs aus dem Index ausschließt, weil sie keinen Content liefern können und um eine mangelhafte User Experience zu vermeiden, solltest Du bei 403-Fehlern schnell handeln.