Yahoo! Slurp
Yahoo! Slurp ist der Webcrawler von Yahoo, der Webseiten ausliest und durchsucht, um sie in den Yahoo Index aufzunehmen und zu bewerten.
Yahoo! Slurp ist eine Weiterentwicklung der Inktomi Suchmaschine Slurp. Mit der Übernahme von Inktomi nahm Yahoo 2002 die Technik der Suchmaschine in sein Portfolio auf. Die Übernahme gilt als Beginn des zweiten Suchmaschinen-Krieges: Suchmaschinen wie die von Yahoo, Bing und Google kämpfen um Nutzer und Marktanteile. Google ist in den USA absoluter Monopolist, allerdings kann Google Yahoo nicht ignorieren, da immerhin über hundert Millionen Nutzer bei Yahoo registriert sind. Seit 2009 kooperieren Bing und Yahoo, um gegen den großen Konkurrenten Google gut aufgestellt zu sein.[1]
Funktionen
Yahoo! Slurp crawlt Websites und liest deren Inhalte aus. Findet der Crawler Hyperlinks, folgt er ihnen und liest die dort gefundenen Inhalte aus. Auf diese Weise wird eine Website durchsucht, wobei Slurp im Unterschied zu anderen Suchmaschinen den gesamten gefundenen Text in einer Datenbank speichert. Slurp aktualisiert diese Datenbanken in regelmäßigen Abständen. Deshalb gilt der Webcrawler auch als einer der wenigen, der dynamischen Webseiten wohlwollend gegenüber steht. Denn wechselnde Inhalte werden in den Datenbanken ständig aktualisiert.
Bedeutung für die Suchmaschinenoptimierung
Ähnlich wie bei dem Googlebot, dem Konkurrenzprodukt von Google, haben verschiedene Faktoren Einfluss auf das Crawlverhalten von Slurp und die spätere Bewertung einer Website. Zunächst sollte der Zugang des Crawlers zur Website geregelt werden. In der robots.txt ist Slurp als User-Agent erkennbar. Je nach Inhalt und Struktur der Website kann es empfehlenswert sein, bestimmte Seiten vom Crawling auszuschließen, um beispielsweise Duplicate Content zu vermeiden. Auch die Abstände, in denen Slurp seine Datenbanken aktualisiert bzw. eine Website crawlt, können in der robots.txt bestimmt werden. So lassen sich Ladezeiten optimieren, wenn die Bots von Slurp zu viel Serverleistung in Anspruch nehmen.
Neben den Grundeinstellungen in der robots.txt gilt es, viele andere Faktoren zu beachten. Sowohl On-Page- als auch Off-Page-Faktoren haben Einfluss auf das Crawlverhalten von Slurp – das ist bei anderen Suchmaschinen ebenfalls so. Beispielsweise Menüstrukturen, Flash-Animationen, Skripte, aber auch eingehende und ausgehende Links sind so zu wählen, dass die Richtlinien der Suchmaschine beachtet werden und all das erreichbar ist, was für die Yahoo bzw. Bing-Suche und den Index herangezogen werden soll. Auf den Hilfe Seiten von Yahoo findet man zum Beispiel Qualitätsrichtlinien für Inhalte sowie weitere Tipps für das Ranking oder den Ausschluss bestimmter Websites.[2]
Einzelnachweise
- ↑ Web-Allianz: Microsoft und Yahoo verbünden sich gegen Google. Spiegel Online. Abgerufen am 04. Dezember 2013.
- ↑ Content Quality Guidelines. Yahoo Help. Abgerufen am 04. Dezember 2013.
Weblinks