View
783
Download
2
Category
Preview:
DESCRIPTION
Wie geht man bei einem A/B-Test richtig vor? Von der Problemanalyse, über die Hypothesenbildung bis zur Auswertung. Auf der DMX Austria 2014 hat Mirja Bettels, Senior Partner Manager bei der etracker GmbH, alle Bereiche des A/B-Testings umfassend beleuchtet. Die Kernthesen im Überblick: Ohne Hypothese kein Test Ohne Psychologie kein Test Ohne Segmentierung kein Test Ohne Micro-Conversions kein Test Ohne Formularfeldanalyse kein Formulartest Ohne UX-Analyse kein Page-Test Ohne Multi-KPI-Analyse kein Test
Citation preview
A/B-Testing aber richtig
DMX Austria 2014, Mirja Bettels, etracker GmbH
© etracker GmbH 2
Tag 1 nach dem Relaunch
Produkt Management
Website Management
Online Marketing
April 14
© etracker GmbH 3
1 Jahr nach dem Relaunch
Produkt Management
Website Management
Online Marketing
April 14
© etracker GmbH 4
Unsere Protagonisten
Alexander
32 Jahre
Master Betriebswirtschaft
Online Marketing Manager
Neu bei Online ElectroniX
Barbara
34 Jahre
Medienfachwirtin
Online Marketing Manager
Seit 4 Jahren bei
Online ElectroniX
Expertin für Web-Controlling
April 14
© etracker GmbH 5
Alexanders erster Tag
April 14
User
Experience-
Analyse
Marketing-
Analyse
Web-Controlling
6 © etracker GmbH
Wie wirken
Kampagnen?
Was passiert auf
meiner Website? Wie passiert es?
Warum passiert
es?
Web-Analyse
Zufriedenheits-
analyse
April 14
© etracker GmbH 7
Web-Controlling
Marketing-Abteilung
Analyse der Website
Ableitung von
Optimierungsempfehlungen
Analysieren Optimieren
IT-Abteilung
Umsetzung der
Optimierungsempfehlungen
April 14
User
Experience-
Analyse
Marketing-
Analyse
Wie wirken
Kampagnen?
Was passiert
auf meiner
Website?
Wie passiert
es?
Warum
passiert es?
Web-Analyse
Zufriedenheits-
analyse
© etracker GmbH 8
… aber sollten wir unsere Ideen nicht
erst testen?
April 14
© etracker GmbH 9
Web-Controlling
Analysieren Optimieren
April 14
Web-Controlling
10 © etracker GmbH
Analysieren Testen Optimieren
April 14
© etracker GmbH 11
Wie soll das funktionieren ?
April 14
© etracker GmbH 12
A/B-Testing aber richtig
April 14
© etracker GmbH 13
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
1
April 14
© etracker GmbH 14
Was ist ein A/B-Test?
1000 Besucher
Original Variante
50 % 50 %
Online ElectroniX
Jetzt kaufen
Online ElectroniX
20 % Rabatt
Jetzt kaufen
April 14
© etracker GmbH 15
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
2
April 14
Bevor man testet: Hypothesen
aufstellen!
16
Eine Hypothese setzt sich aus drei
Komponenten zusammen:
(1) Problemstellung
(2) Optimierungsvorschlag
(3) Erwartetes Ergebnis des
Optimierungsvorschlags
Wenn ............
durch ............ verändert wird,
dann erreichen wir eine Optimierung
der ............ !
© etracker GmbH
“
1
2
3
? April 14
© etracker GmbH 17
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
3
April 14
Probleme identifizieren:
Web-Analyse Daten
18
Was sind typische
Einstiegsseiten?
Auf welchen Seiten gibt es die
meisten Bouncer?
Was sind typische
Ausstiegsseiten?
Welche Traffic-Quelle liefert
die niedrigste Klick to Sale-
Konversion?
© etracker GmbH April 14
© etracker GmbH 19
Probleme identifizieren:
Sales-Funnel
Werbemittel
Landingpage / Startseite
Produktseite
Warenkorb
Bestellprozess
Bestellung abgeschickt
An welchen Stellen im Sales-Funnel brechen die meisten
Besucher weg?
April 14
Probleme identifizieren:
User Experience-Analyse
20
Gibt es auffällige
Mausbewegungen auf einer
bestimmten Seite?
Werden wichtige Elemente
einer Website nicht
betrachtet?
Scrollen die Besucher nicht
zum entsprechenden Call-to-
Action?
© etracker GmbH April 14
© etracker GmbH 21
Probleme identifizieren:
Formularanalyse
Wie viele Besucher interagieren mit dem Formular?
Wie viele schicken das Formular ab?
Wie lange benötigen Besucher pro Feld?
Bei welchen Feldern brechen sie ab?
April 14
Probleme identifizieren:
Besucherfeedback
22
Was sagen die Nutzer über
die User Experience auf der
Website?
Gibt es Probleme, die Nutzer
immer wieder anmerken?
© etracker GmbH April 14
© etracker GmbH 23
Ideen für Tests ableiten:
Was sollte man für einen Test verändern?
One step at a time
Headlines
Seitenlayout
Navigation
Copy-Texte
Das konkrete Angebot an den Kunden
Design und Text von Call-to-Actions
Unterschiedliche Medienarten wie Videos oder Bildergalerien
… oder auch radikale Änderungen
Online ElectroniX
Jetzt kaufen
April 14
© etracker GmbH 24
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
4
April 14
© etracker GmbH 25
Ideen für Tests ableiten:
Grundlagen der Persuasion
Besucher
überzeugen
April 14
© etracker GmbH 26
Ideen für Tests ableiten:
Grundlagen der Persuasion
Künstliche Verknappung
April 14
© etracker GmbH 27
Ideen für Tests ableiten:
Grundlagen der Persuasion
Soziale Erwünschtheit
April 14
© etracker GmbH 28
Ideen für Tests ableiten:
Grundlagen der Persuasion
Commitment und Konsistenz
April 14
© etracker GmbH 29
Ideen für Tests ableiten:
Grundlagen der Persuasion
Begrenzte Auswahl
April 14
© etracker GmbH 30
Ideen für Tests ableiten:
Grundlagen der Persuasion
Begeisterung
Und noch einen
oben drauf…
April 14
© etracker GmbH 31
Alexander hat hierzu mal ein Beispiel…
April 14
© etracker GmbH 32
Beispiel: Warenkorb
Vorher (ohne Optimierung)
April 14
© etracker GmbH 33
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 34
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 35
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 36
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 37
Beispiel: Warenkorb
Vorher
Nachher
April 14
© etracker GmbH 38
Beispiel: Warenkorb
Vorher
Nachher
April 14
Vorher
Beispiel: Warenkorb
39
1. Klarer und einziger Call-to-Action
2. Übersichtlicher Produktbereich
3. Dynamische Promotionbox für jede
Situation
4. Sichtbare Versand- und
Gesamtkosten
5. Fokus liegt auf dem
KOSTENLOSEN Geschenk
6. Häkchen wecken positive
Assoziationen
7. Gutschein-Code rückt in den
Hintergrund
8. Vertrauen und Flexibilität der
Zahlung werden herausgestellt
9. Call-to-Action wird noch einmal
wiederholt
© etracker GmbH
Nachher
1
2
3
4
5
6
7
8
9
April 14
Und wie kann man das Ganze auf
Online ElectroniX übertragen?
40 © etracker GmbH April 14
Eine Hypothese setzt sich aus drei
Komponenten zusammen:
(1) Problemstellung
(2) Optimierungsvorschlag
(3) Erwartetes Ergebnis des
Optimierungsvorschlags
Wenn auf den Produktseiten
der Call-to-Action auffälliger
dargestellt und mit einem konkreten Angebot
versehen wird, dann wird die Click-Sale-
Conversion steigen!
Unsere Hypothese für die
Produktseiten
41 © etracker GmbH
“
1
2
3
? April 14
© etracker GmbH 42
Verschiedene Varianten testen
Online ElectroniX
Jetzt kaufen
Original
Online ElectroniX
20 % Rabatt
Jetzt kaufen
Online ElectroniX
Jetzt kaufen
Online ElectroniX
Jetzt kaufen
20 %
Rabatt
Variante A
Variante B
Variante C
April 14
© etracker GmbH 43
Verschiedene Varianten testen
Nicht zu viele Varianten mit zu vielen Änderungen testen
Online ElectroniX
20 % Rabatt
Jetzt kaufen
Online ElectroniX
Jetzt kaufen
Online ElectroniX
Jetzt kaufen
20 %
Rabatt
Variante A Variante B Variante C
April 14
© etracker GmbH 44
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
5
April 14
© etracker GmbH 45
Die Wahl des Konversionsziels
Produkt-
übersicht
Produkt
gesehen
Produkt in den
Warenkorb
gelegt
Produkt
gekauft
Kürzere Konversionsziele sind aussagekräftiger als längere
April 14
© etracker GmbH 46
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
6
April 14
© etracker GmbH 47
Multi-KPI-Analyse
8,75% 11,67 %
1.200 1.200
105 140
Konversionsrate
Besucher
Bestellungen
Original Variante A
Der Erfolg eines Tests sollte nicht alleine anhand der
Konversionsrate beurteilt werden
April 14
© etracker GmbH 48
Multi-KPI-Analyse:
Weitere Kennzahlen
Ø Durchschnittlicher Warenkorbumsatz
Umsatz und Ergebnis
Berücksichtigung von Retouren
Berücksichtigung der Customer Journey
Berücksichtigung des Customer Lifetime Value
u.v.m.
April 14
© etracker GmbH 49
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
7
April 14
Testergebnisse auswerten:
User Experience-Analyse
50
Wie hat sich das
Besucherverhalten der
Variante im Vergleich zum
Original geändert?
© etracker GmbH April 14
© etracker GmbH 51
A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne User Experience-Analyse kein Test
Ohne Segmentierung kein Test
Lektion
8
April 14
© etracker GmbH 52
Analyse des A/B-Tests über alle
Besucher
11,67 %
8,75 % Original
Variante A
April 14
© etracker GmbH 53
Analyse des A/B-Tests nach
verschiedenen Segmenten
9,56 %
9,23 % Original
Variante A 8,68 %
10,30 %
12,15%
8,83%
12,68 %
7,52%
Segment 1 Segment 2 Segment 3 Segment 4
April 14
Segmentieren nicht vergessen
54
A/B-Test sollten nicht nur über
alle Besucher ausgewertet
werden
Einflussfaktoren können z.B.
auch sein
Einstiegsseite
Medium
Kampagne
Herkunft
Keyword
© etracker GmbH April 14
© etracker GmbH 55
Fazit: A/B-Testing aber richtig
Ohne Test keine Optimierung
Ohne Hypothese kein Test
Ohne Problemanalyse kein Test
Ohne Psychologie kein Test
Ohne Mikro-Konversionen kein Test
Ohne User Experience-Analyse kein Test
Ohne Multi-KPI-Analyse kein Test
Ohne Segmentierung kein Test
April 14
© etracker GmbH 56
Und die Moral von der Geschicht …
… Analysieren und Optimieren
geht ohne Testen nicht.
April 14
Kommen Sie an unserem Stand vorbei
etracker Academy
in Österreich
Oktober 2014
Jetzt Infos am Stand erhalten!
Mirja Bettels
Senior Partner Manager
Tel: +49 40 55 56 59 54
Fax: +49 40 55 56 59 59
bettels@etracker.com
etracker GmbH
Erste Brunnenstraße 1
20459 Hamburg
© etracker GmbH April 14 58
Ihr persönlicher Ansprechpartner
Recommended