Unser High-Performance Crawler mit JavaScript Crawling

Check-in: Die JavaScript Challenge

Wie Ihr wisst, ermöglicht die Verwendung von JavaScript beim Entwerfen und Erstellen von Websites interaktive und dynamische Inhalte. Nutzerfreundliche Animationen, Navigationen oder die Darstellung dynamischer Inhalte für User auf der Grundlage ihres bisherigen Kaufverhaltens sind nur einige Dinge, die mit JavaScript leichter fallen.

Allerdings kommt JavaScript auch mit dem ein oder anderen Nachteil, da es nur schwer mit einer effizienten Suchmaschinenoptimierung kombinierbar ist. Letztlich wird die Optimierung um eine Ebene der Komplexität erweitert, was bedeutet, dass Google mehr Ressourcen benötigt, um JavaScript-Websites zu rendern, zu crawlen und zu indexieren. Das traurige Ergebnis: es wird mehr Crawl-Budget als bei HTML-Websites verbraucht. Tests von Bartosz Goralewicz haben gezeigt, dass diese zusätzliche Ebene im schlechtesten Fall dazu führen kann, dass der Googlebot nicht immer JavaScript-Seiten rendert. Wenn jedoch eine Website nicht gerendert wird, kann sie auch nicht gecrawlt und indexiert werden. Das Resultat: Unsichtbarkeit in den SERPs und Trafficverlust.

“Ryte by your side”: Unser neuer High-Performance Crawler

Hier kommt unser neuer High-Performance Crawler ins Spiel, der JavaScript ausführen, rendern und crawlen kann. Wir verwenden einen optimierten Chrome-Browser, um Javascript analog zu Eurem Browser darzustellen. Im Vergleich zu anderen Produkten, die beispielsweise Rendering-Dienste von Drittanbietern nutzen, bekommt Ihr so echte Insights und vor allem alle notwendigen Details zur Optimierung Eurer Webseite.

Unser Crawler nutzt Google Lighthouse Audits, was den Zugriff zu zahlreichen Lighthouse-Metriken erlaubt, wie beispielsweise unseren Web Vitals Report oder die Simulationen mobiler Geräte und mobiler Netzwerke wie 4G, die Deine mobile Websiteleistung aufschlüsseln.

Unser neuer Ryte Crawler führt JavaScript auf jeder Seite bis zu 30 Sekunden lang aus, so dass alle Elemente, die beim ersten Laden der Seite ausgelöst werden, gerendert und gecrawlt werden. Und damit das Ganze auch auf einer breiten Basis steht, unterstützen wir alle JavaScript Libraries und Frameworks egal, ob Ihr diese selbst erstellt habt oder JQuery, Ember.js, plain js, React, Vue.js, Angular einsetzt.

What’s in for you? Ab sofort könnt Ihr defekte Links, die mit JavaScript dynamisch eingefügt wurden, erkennen. Zudem könnt Ihr kontrollieren, ob bei JS-Verwendung zur Änderung oder zum Hinzufügen von Page- und Meta-Descriptions, etwas fehlt oder nicht bzw. Duplikate vorhanden sind.

Alles für einen Zweck: damit Eure User und Google ungehindert auf Eure Inhalte zugreifen können!

Unser Dashboard und die Website Success Reports machen es Euch dabei einfach, die gewünschten Informationen zu finden. In unserem Dashboard hast du alle Informationen im Blick die du benötigst um die Optimierung deiner Website anzugreifen. Deine Websiteoptimierung startet auf unserem Projekt-Dashboard!

Abbildung 1: Ryte Dashboard

Ich will JavaScript Crawling haben! Aber wie geht das?

JavaScript Crawling ist derzeit für alle unsere Business-Suite Kunden verfügbar und kann im Tool aktiviert werden. Basic-Suite Kunden haben derzeit leider noch keinen Zugriff auf den neuen Crawler. Über ein Account-Upgrade könnt Ihr hier jedoch Abhilfe schaffen. Leicht machbar durch einen kurzen Austausch mit unserem Sales Team. Und wenn jemand von Euch noch kein Ryte Kunde ist … kein Problem – verschafft Euch auf unserer Website unter dem Reiter “Preise” einen Überblick bzw. fordert dort ein Angebot an oder kontaktiert direkt unser Sales Team per Mail.

Die JavaScript Crawling Aktivierung für Business Suite Accounts

Innerhalb der Ryte Suite kann “JavaScript Crawling” in den Projekt-Einstellungen durch die Accountinhaber aktiviert werden. Ein Klick auf “Aktiviere JavaScript Crawling” genügt.

Abbildung 2: Aktivierung JavaScript Crawling in den Projekt-Einstellungen

Hinweise zu den Crawler Einstellungen

Was die Crawler Einstellungen angeht, haben wir sichergestellt, dass die wichtigsten Einstellungen zur Verfügung stehen. Zugleich haben wir aber auch Wert darauf gelegt, auf ungenutzte Einstellungen zu verzichten, um die Usability für Euch zu optimieren. Last, but not least werden wir nachgelagerte Einstellungen kurzfristig zum Release bringen. Hier eine Übersicht für Euch:

Die Einzelseitenanalyse ist immer noch verfügbar, kann aber kein JavaScript crawlen und ausführen, da sie noch nicht den High-Performance-Crawler verwendet.

Tipp

Vor der JavaScript-Crawling-Aktivierung solltet Ihr den RyteBot bei Eurem Webseiten-Analytics-Tool ausschließen, da der Crawler Tracking-Skripte ausführt. Wenn Ihr dem RyteBot einen individuellen Namen geben wollt, könnt Ihr das über “Erweiterte Analyse >> Wie analysiert wird >> Analyse User-Agent” entsprechend einrichten. Wenn Ihr darüber hinaus weitere Unterstützung beim Einrichten der Projekt-Einstellungen benötigt, solltet Ihr nicht zögern, unser Customer Success Team zu kontaktieren.

Abbildung 3: Individueller Name für den User-Agent

Fazit

JavaScript ist ein Segen für Eure User, leider jedoch nicht für Suchmaschinen. Mit unserem neuen High-Performance Crawler habt Ihr ab jetzt ein Problem weniger. Dadurch, dass Ihr jetzt JavaScript ausführen, rendern und crawlen könnt, machen wir es für Euch einfach, relevante Daten zu extrahieren. Für mehr Transparenz und eine technisch perfekte, dynamische Webseite.

Analysiert Eure Webseite mit unserem neuen High-Performance Crawler, damit JavaScript Eurem Erfolg in den SERPs nicht im Wege steht. Und, wenn JavaScript (noch) kein Thema ist, freut Euch einfach auf einen Crawler, der noch schneller, noch präziser und noch mächtiger ist. Einen Crawler, der von Euch herausgefordert werden will und Zukunftssicherheit verspricht!