A/B-Tests im Marketing

Was genau ist ein A/B-Test?

Im Marketing treten dafür zwei Varianten von etwas (einer Website, eines Newsletters, einer Anzeige …) gegeneinander an. Das Ziel: herauszufinden, welche Variante besser ankommt, die besseren Ergebnisse liefert. Dabei vergleichen wir jeweils Key Performance Indicators (KPIs) wie die Verweildauer, die Klick- oder Absprungrate etc. Wichtig ist, dass sich beide Varianten in genau einer Variable unterscheiden, schließlich wollen wir am Ende aussagekräftige Ergebnisse erhalten.

Ein A/B-Test lohnt sich immer dann, wenn eine Entscheidung zwischen Version A und Version B ansteht. Mit aussagekräftigen Daten sollte am Ende klar sein, welche Variante die bessere Wahl ist.

💡A/B-Testing wurde erstmals Anfang des 20. Jahrhunderts von Claude Hopkins in der Werbung genutzt, um die Beliebtheit seiner Werbecoupons zu testen. Google und Microsoft sind Pioniere des digitalen Zeitalters, die bereits zu Beginn des Internets A/B-Tests einsetzten, um ihre Dienstleistungen zu optimieren.¹ Beide Unternehmen führen inzwischen jährlich mehr als 10.000 A/B-Tests durch.

^{1) Dieser erste Test war wegen langsamer Ladezeiten erfolglos. Wir sehen also: Auch bei den Tech-Giganten läuft nicht immer alles rund. 😇}

A/B-Testing hilft uns dabei:

• Entscheidungen auf Basis messbarer Ergebnisse zu treffen.
• Die User-Experience zu verbessern.
• Die Conversion-Rate zu steigern.
• In erfolgversprechende Marketingstrategien zu investieren.

Die häufigsten Fehler bei A/B-Tests

Auch Google & Co. mussten erst lernen, wie A/B-Tests am besten funktionieren. Denn oft scheitert ein Testing an einem der folgenden Punkte:

• Die Testdauer war zu kurz oder der Test wurde vorzeitig beendet. Läuft der Test zu kurz, erreichen wir keine statistische Signifikanz und laufen Gefahr, zufällige Schwankungen als aussagekräftige Ergebnisse zu interpretieren.
• Es wurden mehrere Variablen verändert. Wenn wir die direkten Auswirkungen einer Variablem messen wollen, ist es wichtig, dass wir genau nur diese eine Variable verändern. Dazu gehört auch, dass die Testaudience möglichst identisch und daher vergleichbar ist.
• Die Stichprobengröße war zu klein. Wenn wir eine zu kleine Stichprobe wählen, wird der Zufall stärker gewichtet und wir erhalten keine aussagekräftigen Ergebnisse.
• Tests werden nicht wiederholt. Ein einzelner Test reicht oft nicht aus, um dauerhafte Schlüsse zu ziehen. Besser ist es, regelmäßig Tests zu wiederholen, um die Zuverlässigkeit der Ergebnisse zu bestätigen.

A/B-Testing: So geht’s richtig.

Im digitalen Umfeld haben wir das Glück, fast alles testen zu können: Elemente im UX-Design wie Call-to-action-Elemente, Farbschemata und Navigationsstrukturen, aber auch Landingpages mit unterschiedlichen Layouts oder Überschriften. Bei helllicht haben wir vor einigen Wochen unseren Newsletter getestet, um herauszufinden, wann unser Newsletter von mehr Personen gelesen wird: Wenn der dort angekündigte Fachartikel mit einem kurzen Text angeteasert wird oder wenn ein größerer Teil des Textes bereits im Newsletter selbst zur Verfügung steht. Vorgegangen sind wir dabei so:

1. Problem identifizieren und Ziel setzen.

Wenn nicht klar ist, welches Ziel mit dem A/B-Test erreicht werden soll, führt der Test ins Leere. Dazu gehört, dass wir festlegen, welche Frage wir mit dem Test beantworten wollen und die passende(n) Kennzahle(n) definieren. In unserem Fall ging es um die Frage, welche Newsletter-Variante bei unseren Leser:innen auf mehr Resonanz stößt. Dazu haben wir uns die Klickzahlen und die Scrolltiefe angeschaut.

2. Hypothese formulieren.

Neben dem Ziel ist es hilfreich, eine Hypothese zu formulieren, um die Ergebnisse später einordnen zu können. In unserem Fall sind wir davon ausgegangen, dass die Variante mit dem kurzen Teaser zu mehr Besucher:innen auf unserer Website führt, ohne dass die übrigen Inhalte des Newsletters an Aufmerksamkeit verlieren.

3. Testgruppe wählen.

Hier ist es wichtig, die Zielgruppe in Abhängigkeit von der Zielsetzung zu betrachten. Außerdem sollten wir darauf achten, dass die beiden Testgruppen in den wichtigsten Punkten vergleichbar sind. In unserem Fall hat unser Newsletter-Tool die beiden Varianten per Zufall jeweils an einen Teil unserer Leser:innen ausgespielt. Das Zufallsprinzip funktioniert, wenn die Testgruppe ausreichend groß ist.

4. Test durchführen.

In unserem Fall haben wir beide Varianten jeweils an die Hälfte der Zielgruppe versendet. Bei einer größeren Testgruppe wäre es auch möglich, den Test nur mit einem Teil der Abonnent:innen durchzuführen und anschließend die erfolgreichere Variante an alle weiteren auszuspielen.

5. Analyse und Auswertung starten.

Nach einer angemessenen Testdauer öffnen wir die Statistik-Box und sehen uns an, ob die Ergebnisse die aufgestellte Hypothese bestätigen. Im Anschluss können wir daraus unsere Maßnahmen ableiten. In unserem Fall haben wir uns die Daten in unserem Newsletter-Tool sowie unser Website-Tracking angesehen. In Zukunft wird es von unserem Newsletter bis auf Weiteres nur die Variante mit dem kurzen Teaser geben.

Fazit: Erfolgreiches A-/B-Testing – von der Zielgruppe lernen.

Der berühmte Butterfly Effect: Kleine Veränderungen können große Auswirkungen haben und wie eben gezeigt zu einer höheren Conversion-Rate oder mehr Kundenzufriedenheit führen. A/B-Tests sind ideal, um herauszufinden, was bei der Zielgruppe besser ankommt. Dafür werden zwei verschiedene Varianten einer Webseite, eines Newsletters, einer Werbeanzeige o. Ä. bei jeweils einer Hälfte der Testgruppe ausgespielt. Anschließend schauen wir uns die Ergebnisse an und können, darauf basierend, eine fundierte Entscheidung treffen.