9 Erfolgsfaktoren für einen wirklich guten Website-Test

Website Testing ist in aller Munde. Ständig hört man "Das haben wir getestet" oder "Da fahren wir gerade einen Test". Das Positive an diesen Aussagen ist, dass es viele Website/Marketing-Verantwortliche gibt, die daran glauben, dass Testing gesicherte Erkenntnisse für eine agile Optimierung der eigenen Seite und eine verbesserte Usability sorgen. Das stimmt so auch.

Die zweite Seite der Medaille ist allerdings, dass viele A/B - Tests nie brauchbare Ergebnisse erzielen werden. Und noch viel schlimmer noch: Es gibt Tests, die nicht durchgeführt werden sollten, da die Anzahl der Conversions (Fallzahlen) pro Variante einfach so gering ist, dass eine Entscheidung auf dieser Grundlage sogar grob fahrlässig ist. Das bedeutet ganz konkret: Viele A/B Tests loben einen Sieger aus, der später ausgerollt wird, obwohl diese Variante tatsächlich die Conversion gefährdet.

Klingt alles sehr negativ, aber Fakt ist, dass man bei Webseiten Tests ein paar Grundregeln beachten sollte, damit die Experimente wirklich die Erkenntnisse bringen, wofür sie gedacht waren.

1. Teste nur, wenn Du es kannst

Wer zu wenig Conversions für einen A/B Test hat, sollte die Finger vom Testing lassen. Das ist eine harte Aussage zu Beginn, aber wenn die eigene Seite nicht genügend Traffic und Conversions hat, dann führt das Auswerten von A/B-Tests unweigerlich zu falschen Aussagen. Aber was heißt zu wenig? Wie viel Traffic braucht man mindestens, um statistisch nachweisbare Effekte zu erzielen?

Die nachfolgende Abbildung zeigt den Zusammenhang zwischen dem zu erwartenden Uplift und den dafür notwendigen Conversions. Um einen statistisch belegbaren Uplift von bspw. 10% nachweisen zu können, benötigt man pro Testvariante 1.500 Conversions. Das bedeutet, bei 2 Varianten sind für ein solches Experiment bereits 3.000 Conversions notwendig. Wenn man mit einem A/B Test noch weniger Uplift schafft, dann sind bei 5% Uplift mal eben 6.000 Conversions pro Variante notwendig.

Wenn Du 2.000 Conversions pro Monat hast, dann bedeutet das konkret, dass Du den Webseiten Test länger als einen Monat laufen lassen musst, um Effekte nachweisen zu können. Aber Du kannst mit dieser Anzahl Conversions testen.

Abbildung 1: Zusammenhang zwischen zu erwartenden Uplift und benötigten Conversions als Ergebnis eines t-Tests

Unterm Strich bleiben einem da also nicht viele Tests pro Jahr, die überhaupt durchgeführt werden können. Wer die Zahlen nicht erreicht, hat die Möglichkeit, dafür zu sorgen, dass die Uplifts höher werden, da damit die Anzahl notwendiger Conversions sinkt (sich weiter rechts im Diagramm bewegen). Wir nennen das kontrastreiche Tests.

Anderseits kann man auch auf Micro-Conversions als Testing Ziel (Add To Cart, anstatt Kaufabschluss) schwenken. Hierbei sei allerdings gesagt, dass man immer alle Ziele messen sollte, um nicht Gefahr zu laufen, dass die Micro-Conversions (add to cart) zwar gesteigert werden konnten, aber eine negative Veränderung bei den Macro-Conversions (sales) erreicht wurde (mehr dazu in Punkt 6).

Wer zu wenig Traffic hat, dem bleibt nichts anderes übrig, als die Seite Schritt für Schritt zu optimieren, in dem User Feedback eingeholt wird und auf Basis der qualitativen Aussagen Optimierungskonzepte entstehen. Diese können nach und nach umgesetzt werden.

Weiterführende Informationen zum Thema Statistik beim Testing gibt es im kostenlosen ebook "Basiswissen: Das 1×1 um Testresultate souverän zu interpretieren."

2. Teste nicht ohne Hypothese

Die Hypothese ist das Herzstück eines Tests - nicht die Umsetzung der Variante im Testingtool, nicht das Design, nicht die Testergebnisse. Mit einem (A/B)-Test versucht man herauszufinden, ob es messbare Effekte einer Veränderung in der Testvariante im Vergleich zur Kontroll-Gruppe gibt. Es geht um kausale Zusammenhänge und darum, diese in Test-Gruppen nachzuweisen.

Wenn ….. die Versandkosten reduziert werden

Dann ….. kaufen mehr Besucher

Weil ….. sie beim Einkauf sparen möchten und ihnen der Gesamtpreis sehr wichtig ist

Hypothesen fallen dabei nicht einfach vom Himmel, sondern sind Resultat einer vorangegangenen Analyse. Du solltest Dich mit den Schwachstellen Deiner Seite beschäftigen, Freunde und Familie befragen, oder ein Use-Lab durchführen. Echte Menschen geben Dir gute Anhaltspunkte für die Schwachstellen Deiner Seite. Daten aus der Webanalyse sollten dazu genommen werden, um beziffern zu können, wo die Probleme auf der Seite sind und welche am dringlichsten angegangen werden sollten (Produktpräsentation, Warenkorb, Landing Pages, Formulare, etc.). Mehr über den Aufbau einer Hypothese kannst Du hier nachlesen: Testhypothesen

3. Priorisiere Deine Hypothesen und Ideen

Nach der Schwachstellenanalyse stellst Du womöglich viele Hypothesen auf. Die Frage lautet: Mit welcher beginnen? Wie kann man objektiv bewerten, welche der Hypothesen am erfolgversprechendsten ist? Wenn man nicht so viele Conversions und/oder Traffic hat, dann kann man nicht unendlich viele Tests pro Jahr durchführen. Man muss die einzelnen Webseiten Tests (Sprints) gut planen und sorgsam mit den Ressourcen umgehen.

Eine Priorisierung der Testideen muss also her. Priorisiere Deine Optimierungsideen nach dem jeweiligen Aufwand für die Umsetzung, aber auch nach dem zu erwartenden Impact. Einen Baukasten zur Priorisierung kann man sich im konversionsKRAFT Blog kostenlos runterladen.

4. Teste kontrastreich

Wie im ersten Punkt bereits erläutert, brauchst Du gute Tests, die es schaffen, die Conversion Rate um mehr als nur ein paar Prozentpunkte zu steigern.

Abbildung 2: Testergebnisse, die von Anfang an eindeutige Uplifts zeigen

Das heißt im Detail: Du solltest Varianten erstellen, die das Verhalten der Zielgruppe so stark beeinflussen, dass eine Veränderung auch schnell in den Zahlen auffindbar ist (eine Linie dominiert die anderen von Anfang an). Die Änderung in der Testvariante muss das Zeug dazu haben, dass die Besucher die Änderung wahrnehmen, aber auch positiv darauf reagieren, weil es ihre Entscheidung beeinflusst. Es braucht Mut zum Kontrast. Ein Button Test (grün/orange) würde nie das Zeug dazu haben, die Einstellung eines Besuchers zu ändern, nur weil die Farbe geändert wurde.

Das nachfolgende Beispiel einer buy box auf einer Detailseite zeigt, dass in der Variante A die exakten Versandkosten (4,99€) entfernt wurden. In Variante B wurde zusätzlich noch eine Dringlichkeit für die Bestellung vor 16:00 Uhr hinzugefügt. Die Variante B hat diesen Versuch dominiert und gewonnen.

Abbildung 3: Varianten eines A/B/C-Tests

5. Sorge für ein sauberes Test-Setup

Wer gute Ideen hat und diese mittels eines Testingtools wie Optimizely oder vwo umsetzt, muss unbedingt darauf achten, dass die Test-Setups qualitätsgesichert werden. Hier steckt nochmals richtig Arbeit drin. Es besteht die Gefahr, dass eine gute Idee in einem Test verpufft, da die Variante B im Browser XY, Version Z nicht korrekt angezeigt wird und daher schlecht performt.

Vor einem Test-Setup solltest Du unbedingt die wichtigsten System Setups der Zielgruppe im Webanalytics System anschauen und für diese Systeme die Qualitätssicherung durchführen, bevor ein Experiment live geht. Das ist gerade für mobile Tests auch wichtig.

6. Wähle Testzeitraum und Testdauer mit Bedacht

Einen A/B Test am 25.12. zu starten kann für manche Websites Sinn machen, für viele aber auch nicht, weil in dieser Zeit einfach nichts los ist. Manche Webseiten haben stark saisonale Nachfragen und eigene Marketingaktionen, die einen Versuch womöglich in Gefahr bringen. Wenn gerade eine "Versandkostenfrei Aktion" in einem Shop ausgelobt wird, macht es wenig Sinn, auf der Detailseite etwas zur Kommunikation der Produktqualität zu testen. Einfach deswegen, weil der Effekt einer kostenfreien Aktion den Test überlagen würde. Das kann die Ergebnisse vollkommen verzerren und lässt keine Rückschlüsse mehr auf einen möglichen Gewinner zu. Wer viele Marketing Aktionen durchführt, sollte sich mit Testing in Sales Phasen beschäftigen.

Wer in einer Nebensaison einen Test startet, muss sich einfach darauf gefasst machen, dass der Versuch länger dauern kann. Mit dem folgendem Tool von vwo kann man sich berechnen lassen, wie lange ein Experiment voraussichtlich dauert: Test Duration Calculator

7. Übe Dich in Geduld

Aus eigener Erfahrung kann ich nur allzu gut sagen, wie neugierig man auf die Ergebnisse eines A/B-Tests starrt, sobald dieser gestartet wurde. Gerade in der Anfangszeit kann das Testingtool allerdings wilde Kurven ausspucken.

Diese Tabelle zeigt echte Werte eines A/B Tests im Zeitverlauf. Zu erkennen ist, dass der Uplift immer wieder schwankt, aber auch die Chance to beat original. Unterm Strich bleibt nach 4 Wochen allerdings nichts mehr vom Uplift übrig. Wer sich also nach 7 Tagen auf Grund des Testberichts für den Sieger entschieden hätte, hätte zunächst richtig entschieden, wäre aber nach Umstellung auf den Testsieger hinterher enttäuscht gewesen, weil der Uplift von 8,68% nicht in der Realität erkennbar gewesen wäre.

Abbildung 4: Veränderung des Uplifts in einem Zeitraum von 4 Wochen

Man sollte sich daher in Geduld üben und nicht zu vorschnell einen Testsieger feiern. Das hat vor allem etwas mit dem nächsten Punkt zu tun.

8. Statistik ist Dein Freund (oder sollte es werden)

Ein Grundverständnis für Statistik beim Website-Testing ist unumgänglich, um nicht grobe Fehler zu machen und Begriffe wie Alpha-Fehler, Signifikanz, Konfidenzintervall, Stichprobengröße und Co. sollte man zumindest grob verstanden haben.

Warum ist das so wichtig? Weil man sich nicht für einen Gewinner entscheiden sollte, der hinterher auf einer Webseite "ausgerollt" wird, ohne wirklich sicher zu sein, dass der Gewinner auch besser ist. Klingt erst mal nach einem Widerspruch.

Für diesen Zweck haben wir einen Konfidenzrechner entwickelt, der angibt, ob ein Uplift auch wirklich signifikant ist, oder nicht.

Abbildung 5: konversionsKRAFT Konfidenzrechner

9. Ziehe sinnvolle Rückschlüsse

Das Reporting am Ende eines Testing Sprints wird nicht gemacht, um tolle Ergebnisse zu feiern, sondern um Erkenntnisse zu gewinnen. Das heißt in einem Reporting steht neben einer Hypothese, einem Testzeitraum, Segmenten und den Ergebnissen der Varianten sowie einzelnen Conversion-Ziele auch eine Handlungsempfehlung.

Diese sollte nicht lauten: "Variante B hat einen signifikanten Uplift erzielt und sollte daher umgesetzt werden." Es sollte vielmehr eine Handlungsempfehlung darstellen, welche Erkenntnisse mit dem Test gewonnen werden konnten. Was bedeutet es für mein (Online)Marketing, wenn die Hypothese bestätigt werden konnte? Welche Ableitungen kann ich daraus ziehen? Wie muss ich die Kommunikation ändern? Wie sollte ich Neukunden ansprechen? Verhalten sich die Nutzer auf unterschiedlichen Endgeräten grundsätzlich verschieden?

Die Rückschlüsse aus Testhypothese und den Testergebnissen sollten in konkreten Maßnahmen münden. Nach jedem Versuch besser werden, das ist das Ziel. Daher sollten Tests nicht des Testen Willens geschehen, sondern um die eigene Seite Schritt für Schritt besser zu machen.

Fazit

"Die Dinge als Prozess verstehen, bedeutet sie im Ganzen zu verstehen."

Dieses Zitat von William Edwards Deming soll verdeutlichen, dass man nicht mit dem Testing beginnen kann, ohne zu verstehen, wie die Prozesse und Mechanismen dahinter funktionieren. Conversion Optimierung ist eine mächtige Disziplin, mit der man die eigene Webseite kontinuierlich besser macht und so für Wachstum sorgt. Damit das gelingt, solltest Du die oben beschriebenen 9 Punkte stets im Hinterkopf behalten.