403 Forbidden: Was tun bei einem HTTP Fehler 403?

Wir alle kennen den bekannten 404 Fehler, möglich sind aber auch Fehler 403. Diese entstehen, wenn ein Client auf eine Ressource zugreift, für die er keine Berechtigung hat. Wir zeigen Dir hier, wie der Fehlercode 403 entsteht, welche Konsequenzen er haben kann und was Du dagegen tun kannst.

Was bedeutet 403 Forbidden?

Der Fehlercode 403, auch „HTTP 403 Forbidden“ genannt, wird von einem Server ausgegeben, wenn einem Client (Browser) die erforderlichen Rechte für den Zugriff fehlen. Der Zugriff wird “verboten”. Deshalb erscheint im Browserfenster dann häufig der Hinweis „Error 403 Forbidden“.

Und hier die ausführliche Erklärung zu Fehlercode 403 Forbidden:

Wenn ein Client, zum Beispiel ein Browser, per http eine URL von einem Server abrufen will, wird diese Anfrage zuerst vom Server geprüft. Ist die Seite vorhanden und kann ausgegeben werden, sendet der Server den Status Code 200 OK. Der Browser kann die Webseite dann laden und dem Nutzer anzeigen. Diese “Verhandlung” zwischen Client und Server bleibt für Nutzer in der Regel unbemerkt. Es sei denn, es treten Fehler auf.

Mögliche Fehler sind sogenannte 4xx-Fehler. Sie gehören zur Klasse der Client-Fehler. Der Error 403 gehört wie der Fehlercode 404 auch dazu. Greift nun ein Browser auf einen Server per http zu, kann der Server den Zugriff verweigern. In diesem Fall gibt der Server den http Code 403 aus und der Browser kann nicht auf die gewünschte Ressource zugreifen.

Abbildung 1: 403 Forbidden-Hinweis des Servers beim versuchten Zugriff auf eine Admin-Seite eines WordPress-Blogs

Auch wenn der 403 Status Code zunächst einen Client-Fehler suggeriert, liegt es letztlich an den Server-Einstellungen oder an den Einstellungen des jeweiligen CMS, ob ein Client Zugriff auf bestimmte Verzeichnisse bzw. URLs hat oder nicht.

Was sind die Auswirkungen des Status Codes 403 Forbidden auf Deine Website?

Wenn URLs nicht von Browsern dargestellt werden können, sind sie für Websitebesucher ohne Nutzen und Mehrwert. Ein http Error 403 führt damit zwangsläufig zu einer negativen User Experience und schränkt die Usability der betreffenden Website deutlich ein. In der Folge kann es sein, dass Deine Website bei einer Häufung entsprechender 403 Forbidden-Fehler nicht mehr so häufig besucht wird.

Aus Suchmaschinensicht ist ein 403 Error ebenfalls ein Manko, denn der Googlebot kann die Inhalte der betreffenden URLs nicht crawlen und wie ein Browser rendern. Somit riskierst Du, dass die entsprechenden Seiten aus dem Google-Index entfernt werden.

Im Jahr 2014 hatte Matt Cutts noch eine Art Kulanzzeit von 24 Stunden eingeräumt, wenn der Googlebot eine Seite mit http Status 403 gefunden hatte. Diese Zeit gab das System laut Cutts der URL, um im Crawling-System zu bleiben.

In einer SEO-Fragerunde auf Reddit hat Googles John Mueller sich ebenfalls zum Thema 4xx-Fehler geäußert. Dort wurden die Hinweise konkreter:

Abbildung 2: Statement von John Mueller zu 4xx-Fehlern (Quelle)

Somit ist klar: Sollte eine URL auf eine Client-Anfrage, also auch eine Googlebot-Anfrage keinen Content ausliefern, wird sie aus dem Index entfernt.

Was sind die Ursachen von einem Status Code 403 Forbidden?

Es gibt verschiedene Möglichkeiten, warum eine Website 403 Fehler ausgibt. In vielen Fällen ist die Zugriffssperre bewusst gesetzt und ergibt auch Sinn, zum Beispiel bei einem Login-Bereich.

• Ausschluss sensibler Login-Bereiche: Websites können den Zugriff auf bestimmte Admin Login-Bereiche für gewöhnliche Nutzer sperren. Der Zugriff kann zum Beispiel nur auf spezifische IP-Adressen oder einen VPN-Zugang eingeschränkt werden. In der Regel haben diese URLs für den Standard-Nutzer keine Relevanz und sind auch nicht über das Frontend erreichbar. Lediglich Seitenadministratoren haben den Zugang zu diesen Seiten.

Neben dieser sinnvollen Einschränkung können Nutzer ausgeschlossen werden, wenn Verzeichnisse unbeabsichtigt gesperrt werden. Durch diesen Ausschluss zeigt der Browser dem User auch eine 403 Forbidden-Meldung an. In folgenden Fällen kann das geschehen:

• Du hast einen neuen Bereich auf Deiner Website eingerichtet, der noch nicht vollständig bearbeitet wurde und erst nach Login erreichbar ist. Allerdings hast Du unbeabsichtigt bereits einen internen Link über das Menü auf diesen Bereich gesetzt.

• Der Serveradmin hat aus Versehen ein gesamtes Verzeichnis für nicht autorisierte Nutzer gesperrt. Das kann durch eine fehlerhafte Konfiguration oder Syntax der .htaccess-Datei geschehen.

• Der Server hat die Website-Leserechte für alle Nutzer und alle Bereiche eingeschränkt.

Darüber hinaus können auch für Bots 403 Forbidden Error entstehen, wenn Sie versuchen, Deine Website zu crawlen. Verursacht werden diese Fehler dann, wenn der Googlebot zum Beispiel wichtige Verzeichnisse aufgrund der Vorgaben in der robots.txt nicht durchsuchen darf, die aber für die Funktionalität Deiner Website wichtig sind. 403 Fehler sind ebenfalls möglich, wenn Du über die robots.txt zentrale Verzeichnisse mit Content vom Crawling ausschließt.

Wie kann man 403 Forbidden-Fehler finden?

Ryte kann Dich dabei unterstützen, eventuelle 4xx-Fehler auf Deiner Website zu identifizieren. Am schnellsten wirst Du über diese Fehler informiert, wenn Du den Bericht “Kritische Fehler” unter Quality Assurance anklickst.

Darüber hinaus kannst Du unter Quality Assurance die Status Codes Deiner Website abrufen. Beachte dabei, wann Dein Projekt letztmalig gecrawlt wurde.

Abbildung 3: Status Codes einer Website mit Ryte prüfen

Auch die Google Search Console (GSC) zeigt Dir, ob 403-Fehler vorliegen. Die entsprechenden Meldungen findest Du im Bereich „Abdeckung“:

Abbildung 4: Crawling-Fehler mit der GSC ermitteln

Was kann ich bei 403 Fehlern tun?

Sollte der Zugriff auf Verzeichnisse oder URLs Deiner Website für Clients verweigert werden, solltest Du handeln. Du solltest prüfen, ob die robots.txt wichtige Verzeichnisse vom Crawling ausschließt

Für diese Prüfung Deiner robots.txt kann Dich Ryte unterstützen. Der Bericht „Robots.txt Monitoring“ unter SEO zeigt dir, welche Bereiche aktuell nicht gecrawlt werden dürfen. (Disallowed)

Abbildung 5: robots.txt mit Ryte prüfen

Die Google Search Console eignet sich ebenfalls, um die robots.txt zu prüfen. Den Report findest Du im Segment “Crawling” noch in der alten Version der GSC. Bis dato wurde der robots.txt-Tester noch nicht in die neue Benutzeroberfläche integriert. (Stand: Dez 2019)

Abbildung 6: robots.txt mit der GSC testen

Mit dem Tool “Abruf wie durch Google” hast Du außerdem die Möglichkeit zu prüfen, ob der Googlebot am Crawling wichtiger Bereiche durch Einschränkungen in der robots.txt gehindert wird.

Fazit

403 Forbidden-Status Codes sind zwar zunächst Client-Fehler, doch entstehen diese Fehler auch durch eine fehlerhafte Konfiguration des Servers oder der robots.txt-Datei. Um zu vermeiden, dass Google mittelfristig URLs aus dem Index ausschließt, weil sie keinen Content liefern können und um eine mangelhafte User Experience zu vermeiden, solltest Du bei 403 Error-Seiten schnell handeln.