Die URL-Entfernen-Funktion der Google Search Console ist seit jeher ein sehr mächtiges Werkzeug. Wenn dieses Tool mit einem Medikament zu vergleichen ist, dann mit einem Antibiotikum.
Denn das Tool wirkt schnell, gezielt und besitzt eine hohe Wirkkraft. Innerhalb kürzester Zeit kann man damit ungewollte indexierte URLs aus dem Google-Index verbannen. Doch genauso effektiv die Nutzung dieses Features in der Search Console auch ist: die Risiken und Nebenwirkungen einer nicht sachgemäßen Verwendung sind groß. Leider ist die „Packungsbeilage“ von Google nicht ganz eindeutig, so dass mögliche Fehlinterpretationen zu fatalen Folgen führen können.
Ihren vorrangigen Nutzen findet die URL-Entfernen-Funktion der Google Search Console vor allem bei der schnellstmöglichen Entfernung von URLs, die z.B. aus rechtlichen Gründen aus dem Google-Index entfernt werden sollen. Wer schon selbst einmal in der Situation war „per sofort“ einen Einfluss auf die Indexierung von bestimmten URLs haben zu wollen, wird über das Tool mehr als dankbar sein. Gleichzeitig werden sich viele Webmaster über das Tool ärgern, wenn sie es in einer Akut-Situation für eine größere Anzahl an URLs verwenden müssen. Das ist nämlich ein sehr mühsames Unterfangen! Die URL-Entfernen-Funktion besitzt keine Möglichkeit, per Bulk- oder REGEX-Angaben mehrere URLs zur Löschung zu übersenden.
Aber die URL-Entfernen-Funktion kann auch ein nützliches Hilfsmittel sein, um den Suchmaschinen-Index effizient vor Altbeständen, Thin- bzw. Duplicate Content URLs zu bereinigen. Sicherlich ist hierbei die Nutzung dieses Tools nicht der ausschließliche Weg und die Lösung aller Probleme.
Irrelevante URLs gilt es situationsbedingt entweder
Aber damit Google die bereits indexierten, unnützen URLs aus dem Index entfernen kann, müssen diese auch immer noch einmal gecrawlt werden, damit der GoogleBot die Veränderungen an der URL mitbekommen kann. Dies gestaltet sich mitunter bei insbesondere alten bzw. nicht mehr (gut) intern verlinkten URLs als nicht ganz so einfach.
Sicherlich steht einem mit beispielsweise einer XML-Sitemap ein weiteres Steuerungsinstrument zur Hand, um das Crawling einer Website zu beeinflussen. Aber in vielen Fällen ist dies doch viel zu umständlich und ineffizient. Google schreibt zwar selbst in ihrer Hilfe-Dokumentation, dass man das Tool nicht dafür verwenden soll, um überflüssige Inhalte zu entfernen. Da sie ihrem Versprechen, diese irrelevanten URLs aus dem Google-Index zu entfernen, nicht immer selbst gerecht werden, ist eine Nutzung des Tools auch für diese Zwecke mehr als naheliegend und üblich.
Prinzipiell gibt es bei der URL-Entfernen-Funktion immer drei Auswahlfelder. Sofern man nur eine einzelne URL mit der Funktion behandeln möchte, kann man sich entscheiden, ob nur der Cache geleert oder die ganze URL vorübergehend aus den Suchergebnissen entfernt werden soll. Wenn man eine größere Anzahl an URLs mit einem Schlag behandeln möchte, kann ein Präfix definiert werden. Alle URLs, die wie angegeben beginnen, werden aus den Suchergebnissen ausgeblendet und der Cache dieser Seiten gelöscht.
Die URL-Entfernen-Funktion der Google Search Console funktioniert hierbei jedoch anders als beispielsweise der Meta-Robots-Tag, der ja ebenfalls zur De-Indexierung von URLs verwendet wird. Wenn man das Tool benutzt, deutet Google bereits durch das Wort „ausblenden“ darauf hin, dass die behandelten URLs im eigentlichen Sinne noch im Suchmaschinen-Index aufgenommen sind, jedoch für den Nutzer schlichtweg nicht mehr angezeigt werden.
Die ausgeblendeten URLs können weiterhin gecrawlt werden und der Ausschluss erfolgt laut Google für eine Dauer von ca. 90 Tagen. Spätestens danach werden die zuvor ausgeblendeten URLs neu hinsichtlich ihrer Indexierbarkeit bewertet. Wenn bis dahin keine Crawling- und Indexierungssteuerung erfolgt ist, ist damit zu rechnen, dass der Patient wieder erkrankt – d.h. die zuvor als irrelevant identifizierten URLs wieder in den Suchmaschinen-Index gelangen können.
Dass Google die URL durch die Benutzung der Google Search Console Funktion nicht tatsächlich aus dem „internen“ Index entfernt, sondern ausblendet, liegt sicherlich darin, dass sie damit schneller zum vom Nutzer hinterlegten Ziel kommen. Denn eine Entfernung einer URL aus einer Datenbank (verschiedener Datencenter) ist sicherlich langwieriger und komplizierter als eine vergleichsweise klassische „Hide“-Funktion wie wir SEOs sie bei CSS oder JavaScript kennen. Darüber hinaus ermöglicht Google dem Nutzer auch immer die Aktivitäten der URL-Entfernen-Funktion rückgängig zu machen. Denn nicht zwangsläufig werden immer nur ausschließlich die URLs im Google-Index ausgeblendet, die man gern entfernt haben möchte.
Wenn man ein Medikament nimmt, ist man es gewohnt, dass es dazu eine recht lange Packungsbeilage gibt, die dem Patienten über den Nutzen, die Wirkweise sowie die Risiken aufklärt. Die potentiellen Nebenwirkungen werden – bevor ein Medikament offiziell an den Markt gehen kann – in Studien anhand von Probanden erhoben. Google selbst hat auf ihrer Hilfe-Seite zur Search Console ein paar Hinweise zur Nutzung dieses Tools zusammengestellt. Diese sollte man sich in jedem Fall einmal durchlesen. Doch auch wenn man die Funktion selbst benutzt, erhält man innerhalb der Google Search Console entsprechende Hinweise zur URL-Entfernung.
Abbildung 1: Ausgabe der Google Search Console bei URL-Entfernung eines Verzeichnisses
Unglücklicherweise ist die Dokumentation im Hinblick auf mindestens einen Fall nicht sehr eindeutig: Der Entfernung der gesamten Property. Google fokussiert sich in ihren Beschreibungen immer auf die URL-Entfernung von einzelnen URLs oder Verzeichnissen. Hier wird einem sowohl in der Hilfe-Seite als auch im Tool selbst deutlich gemacht, dass immer alle Varianten mit HTTP und HTTPs sowie mit und ohne WWW als eine Einheit betrachtet und behandelt werden.
Doch was passiert, wenn man beispielsweise die HTTP-Version einer Website, jedoch nicht die HTTPs-Variante über die URL-Entfernen-Funktion aus dem Google-Index entfernen möchte – und das, weil diese trotz sauberer HTTP-Statuscodes (301-Redirects oder 410) schon seit mehreren Monaten oder gar Jahren diese nicht mehr klick- und indexrelevanten URLs teils immer noch indexiert sind?
Während bei einer URL-Entfernung eines Verzeichnisses innerhalb der Google Search Console noch der warnende Hinweis erfolgt, dass hier alle Varianten mit HTTP und HTTPs sowie mit und ohne WWW ausgeblendet werden, weist Google in diesem Fall darauf hin, dass alle Ergebnisse der Google-Suche für die explizit ausgewählte Property – hier also die HTTP-Version der Website – für mindestens 90 Tage entfernt wird.
Wer hier jedoch glaubt, dass Google hier nur die HTTP-Variante aus dem Index nimmt, täuscht sich. Wir haben dies einmal mit zwei Projekten getestet: In beiden Fällen erfolgte das für uns in dem Fall überraschende Ergebnis: Die URL-Entfernen-Funktion entfernte alle URLs der WWW und non-WWW-Subdomain, d.h. einschließlich der HTTP- und HTTPs-Variante, aus dem Suchmaschinen-Index.
Da eine versehentliche Nutzung fatale Folgen für Website-Betreiber haben kann, möchten wir an dieser Stelle die Plattform von Ryte dafür nutzen, um an Google zu adressieren: Google, bitte weist in eurer Hilfe-Dokumentation sowie in der Google Search Console selbst auf diesen Fall mit hin!
Da die URL-Entfernen-Funktion selbst Teil der „alten“ Google Search Console ist, besteht die Wahrscheinlichkeit, dass dieses Tool perspektivisch in die „neue“ Version überführt wird. Damit diese überarbeitete Funktion möglichst praktisch in der Handhabe ist, möchten wir hiermit die SEO-Community dazu auffordern, über die Kommentarfunktion eure Wünsche für eine mögliche, neue URL-Entfernen-Funktion zu dokumentieren. Wir machen gern mit den folgenden Punkten den Start:
Deine Website. Nur besser. Mit Ryte.
Veröffentlicht am 08.07.2019 von Darius Erdt.
Darius Erdt ist Expert Lead SEO-Consulting bei der international aufstrebenden Digitalagentur Dept. Ende 2010 als Head of SEO inhouse gestartet, berät er seit vielen Jahren eingesessenen Dax-Unternehmen bis zu Hidden-Champions. Seine größte Leidenschaft: Prozesse und Rahmenbedingungen schaffen, damit Erfolg planbar wird.
Sichere Dir die Poleposition in SERPs, mit der Platform die ausschließlich Google-Daten nutzt.
Demo buchen