Die URL-Entfernen-Funktion der Search Console und warum Google diese überarbeiten sollte

Denn das Tool wirkt schnell, gezielt und besitzt eine hohe Wirkkraft. Innerhalb kürzester Zeit kann man damit ungewollte indexierte URLs aus dem Google-Index verbannen. Doch genauso effektiv die Nutzung dieses Features in der Search Console auch ist: die Risiken und Nebenwirkungen einer nicht sachgemäßen Verwendung sind groß. Leider ist die „Packungsbeilage“ von Google nicht ganz eindeutig, so dass mögliche Fehlinterpretationen zu fatalen Folgen führen können.

Der Nutzen der URL-Entfernen-Funktion

Ihren vorrangigen Nutzen findet die URL-Entfernen-Funktion der Google Search Console vor allem bei der schnellstmöglichen Entfernung von URLs, die z.B. aus rechtlichen Gründen aus dem Google-Index entfernt werden sollen. Wer schon selbst einmal in der Situation war „per sofort“ einen Einfluss auf die Indexierung von bestimmten URLs haben zu wollen, wird über das Tool mehr als dankbar sein. Gleichzeitig werden sich viele Webmaster über das Tool ärgern, wenn sie es in einer Akut-Situation für eine größere Anzahl an URLs verwenden müssen. Das ist nämlich ein sehr mühsames Unterfangen! Die URL-Entfernen-Funktion besitzt keine Möglichkeit, per Bulk- oder REGEX-Angaben mehrere URLs zur Löschung zu übersenden.

Aber die URL-Entfernen-Funktion kann auch ein nützliches Hilfsmittel sein, um den Suchmaschinen-Index effizient vor Altbeständen, Thin- bzw. Duplicate Content URLs zu bereinigen. Sicherlich ist hierbei die Nutzung dieses Tools nicht der ausschließliche Weg und die Lösung aller Probleme.

Irrelevante URLs gilt es situationsbedingt entweder

• zu entfernen,

• weiterzuleiten,

• zu optimieren oder

• durch Instrumente wie Meta-Robots-Tag, Canonical-Tag oder die robots.txt von einer zukünftigen Indexierung fernzuhalten.

Aber damit Google die bereits indexierten, unnützen URLs aus dem Index entfernen kann, müssen diese auch immer noch einmal gecrawlt werden, damit der GoogleBot die Veränderungen an der URL mitbekommen kann. Dies gestaltet sich mitunter bei insbesondere alten bzw. nicht mehr (gut) intern verlinkten URLs als nicht ganz so einfach.

Sicherlich steht einem mit beispielsweise einer XML-Sitemap ein weiteres Steuerungsinstrument zur Hand, um das Crawling einer Website zu beeinflussen. Aber in vielen Fällen ist dies doch viel zu umständlich und ineffizient. Google schreibt zwar selbst in ihrer Hilfe-Dokumentation, dass man das Tool nicht dafür verwenden soll, um überflüssige Inhalte zu entfernen. Da sie ihrem Versprechen, diese irrelevanten URLs aus dem Google-Index zu entfernen, nicht immer selbst gerecht werden, ist eine Nutzung des Tools auch für diese Zwecke mehr als naheliegend und üblich.

Die Wirkweise der URL-Entfernen-Funktion

Prinzipiell gibt es bei der URL-Entfernen-Funktion immer drei Auswahlfelder. Sofern man nur eine einzelne URL mit der Funktion behandeln möchte, kann man sich entscheiden, ob nur der Cache geleert oder die ganze URL vorübergehend aus den Suchergebnissen entfernt werden soll. Wenn man eine größere Anzahl an URLs mit einem Schlag behandeln möchte, kann ein Präfix definiert werden. Alle URLs, die wie angegeben beginnen, werden aus den Suchergebnissen ausgeblendet und der Cache dieser Seiten gelöscht.

Die URL-Entfernen-Funktion der Google Search Console funktioniert hierbei jedoch anders als beispielsweise der Meta-Robots-Tag, der ja ebenfalls zur De-Indexierung von URLs verwendet wird. Wenn man das Tool benutzt, deutet Google bereits durch das Wort „ausblenden“ darauf hin, dass die behandelten URLs im eigentlichen Sinne noch im Suchmaschinen-Index aufgenommen sind, jedoch für den Nutzer schlichtweg nicht mehr angezeigt werden.

Die ausgeblendeten URLs können weiterhin gecrawlt werden und der Ausschluss erfolgt laut Google für eine Dauer von ca. 90 Tagen. Spätestens danach werden die zuvor ausgeblendeten URLs neu hinsichtlich ihrer Indexierbarkeit bewertet. Wenn bis dahin keine Crawling- und Indexierungssteuerung erfolgt ist, ist damit zu rechnen, dass der Patient wieder erkrankt – d.h. die zuvor als irrelevant identifizierten URLs wieder in den Suchmaschinen-Index gelangen können.

Dass Google die URL durch die Benutzung der Google Search Console Funktion nicht tatsächlich aus dem „internen“ Index entfernt, sondern ausblendet, liegt sicherlich darin, dass sie damit schneller zum vom Nutzer hinterlegten Ziel kommen. Denn eine Entfernung einer URL aus einer Datenbank (verschiedener Datencenter) ist sicherlich langwieriger und komplizierter als eine vergleichsweise klassische „Hide“-Funktion wie wir SEOs sie bei CSS oder JavaScript kennen. Darüber hinaus ermöglicht Google dem Nutzer auch immer die Aktivitäten der URL-Entfernen-Funktion rückgängig zu machen. Denn nicht zwangsläufig werden immer nur ausschließlich die URLs im Google-Index ausgeblendet, die man gern entfernt haben möchte.

Die Risiken der URL-Entfernen-Funktion

Wenn man ein Medikament nimmt, ist man es gewohnt, dass es dazu eine recht lange Packungsbeilage gibt, die dem Patienten über den Nutzen, die Wirkweise sowie die Risiken aufklärt. Die potentiellen Nebenwirkungen werden – bevor ein Medikament offiziell an den Markt gehen kann – in Studien anhand von Probanden erhoben. Google selbst hat auf ihrer Hilfe-Seite zur Search Console ein paar Hinweise zur Nutzung dieses Tools zusammengestellt. Diese sollte man sich in jedem Fall einmal durchlesen. Doch auch wenn man die Funktion selbst benutzt, erhält man innerhalb der Google Search Console entsprechende Hinweise zur URL-Entfernung.

Abbildung 1: Ausgabe der Google Search Console bei URL-Entfernung eines Verzeichnisses

Unglücklicherweise ist die Dokumentation im Hinblick auf mindestens einen Fall nicht sehr eindeutig: Der Entfernung der gesamten Property. Google fokussiert sich in ihren Beschreibungen immer auf die URL-Entfernung von einzelnen URLs oder Verzeichnissen. Hier wird einem sowohl in der Hilfe-Seite als auch im Tool selbst deutlich gemacht, dass immer alle Varianten mit HTTP und HTTPs sowie mit und ohne WWW als eine Einheit betrachtet und behandelt werden.

Doch was passiert, wenn man beispielsweise die HTTP-Version einer Website, jedoch nicht die HTTPs-Variante über die URL-Entfernen-Funktion aus dem Google-Index entfernen möchte – und das, weil diese trotz sauberer HTTP-Statuscodes (301-Redirects oder 410) schon seit mehreren Monaten oder gar Jahren diese nicht mehr klick- und indexrelevanten URLs teils immer noch indexiert sind?

Während bei einer URL-Entfernung eines Verzeichnisses innerhalb der Google Search Console noch der warnende Hinweis erfolgt, dass hier alle Varianten mit HTTP und HTTPs sowie mit und ohne WWW ausgeblendet werden, weist Google in diesem Fall darauf hin, dass alle Ergebnisse der Google-Suche für die explizit ausgewählte Property – hier also die HTTP-Version der Website – für mindestens 90 Tage entfernt wird.

Wer hier jedoch glaubt, dass Google hier nur die HTTP-Variante aus dem Index nimmt, täuscht sich. Wir haben dies einmal mit zwei Projekten getestet: In beiden Fällen erfolgte das für uns in dem Fall überraschende Ergebnis: Die URL-Entfernen-Funktion entfernte alle URLs der WWW und non-WWW-Subdomain, d.h. einschließlich der HTTP- und HTTPs-Variante, aus dem Suchmaschinen-Index.

Google, passt bitte eure URL-Entfernen-Funktion an!

Da eine versehentliche Nutzung fatale Folgen für Website-Betreiber haben kann, möchten wir an dieser Stelle die Plattform von Ryte dafür nutzen, um an Google zu adressieren: Google, bitte weist in eurer Hilfe-Dokumentation sowie in der Google Search Console selbst auf diesen Fall mit hin!

Da die URL-Entfernen-Funktion selbst Teil der „alten“ Google Search Console ist, besteht die Wahrscheinlichkeit, dass dieses Tool perspektivisch in die „neue“ Version überführt wird. Damit diese überarbeitete Funktion möglichst praktisch in der Handhabe ist, möchten wir hiermit die SEO-Community dazu auffordern, über die Kommentarfunktion eure Wünsche für eine mögliche, neue URL-Entfernen-Funktion zu dokumentieren. Wir machen gern mit den folgenden Punkten den Start:

• Einführung einer Bulk-Funktion: Google, bitte ermöglicht eine einfachere Handhabe, um eine Vielzahl an URLs über die Funktion aus den Suchergebnissen zu entfernen. Wenn man aus rechtlichen Gründen mehrere URLs an dem Index verbannen muss, kommt man mit der aktuellen Fassung schlichtweg in Probleme!
  

• Adressierung von URL-Pattern mit REGEX: Google, bitte glaubt nicht, dass man mit einer Prefix-Lösung immer die URLs selektieren kann, die man gern aus dem Suchmaschinen-Index entfernen möchte. Gebt uns bitte eher eine Möglichkeit, in der man z.B. mithilfe von Regex URL-Muster adressieren kann. Damit lässt sich viel mehr anfangen!
  

• Index-Hygiene als Nutzungsoption mit bedenken: Google, bitte habt Verständnis dafür, dass die URL-Entfernen-Funktion nicht nur für Fälle genutzt wird, wo man aus rechtlichen Gründen URLs aus dem Index haben möchte. Ihr wollt, dass wir Websites dahin bringen, dass nur noch relevante URLs gecrawlt und indexiert werden? Dann rechnet bitte auch damit, dass wir Index-Hygiene ernst nehmen und euch unterstützen wollen, in dem wir z.B. alte URLs, die ihr verständlicherweise gar nicht mehr regelmäßig crawlen wollt, aus dem Index zu nehmen!