Management & Priorisierung von Online-Tests bei Holidaycheck

#optex2015

Management & Priorisierung Der Testing Alltag – von der Idee bis zur Auswertung

Jan Mikulica UX Research & User Insights Manager

@HolidayCheck

jan.mikulica@holidaycheck.com

#optex2015

Hi. Ich bin Jan,

UX Research &

User Insights Manager @

#optex2015

2003 gegründet

Seit 2006 Teil der Tomorrow Focus AG

Teams über EU verteilt

Breite Produktpalette

Über 180 M Pageviews / 20 M visits pro Monat

#optex2015

Unser Test-Bordpersonal

#optex2015

AB@HC

Research Manager Web Analyst Web Analyst Data Scientist

#optex2015

AB@HC

Research Manager Web Analyst Web Analyst Data Scientist

#optex2015

AB@HC

Research Manager Web Analyst Web Analyst Data Scientist

VS

Center of Excellence

#optex2015

Viele Teams = Viele Skilllevel

#optex2015

Zahlen & Menschen

Schweizer Parlamentswahlen

#optex2015

Zahlen & Menschen

#optex2015

Zahlen & Menschen

Brian Haemorrhage Jane Superbrain

#optex2015

Zahlen & Menschen

Brian Haemorrhage Jane Superbrain

#optex2015

Infrastruktur & Consulting

#optex2015

Hypothesen & Ziele

„Ich glaube, den Header zu

ndern macht meine Seite besser“

• blau anmalen wird den Revenue erhöhen? • blau anmalen wird den Klick auf „jetzt

bewerten“ erhöhen? • rot anmalen wird den Revenue erhöhen? • entfernen wird den Klick auf „jetzt bewerten“

erhöhen?

#optex2015

Evolution vs. Revolution

#optex2015

Simultanes Testen

• Experimente auf derselben Seite

• Experimente im selben Funnel / Flow

• Multivariate Experimente

#optex2015

Simultanes Testen

• Experimente auf derselben Seite

• Experimente im selben Funnel / Flow

• Multivariate Experimente

#optex2015

Statistik Basics

#optex2015

Statistik Basics

Alphafehler Kummulierung 𝑝 =α

𝑛

#optex2015

Nicht signifikant – komplett einpacken?

Testen

Auswerten

(Re)Priorisieren

Design & Dev

#optex2015

Inspiration

#optex2015

Inspirationsquellen

#optex2015

Inspirationsquellen

random dude

random Biergarten

#optex2015

Inspirationsquellen

#optex2015

Inspirationsquellen

#optex2015

Inspirationsquellen

#optex2015

Inspirationsquellen

#optex2015

Inspirationsquellen

#optex2015

„Heute nehme ich den

klassischen multivariaten“

#optex2015

Testtemplate

#optex2015

Testtemplate

#optex2015

Testtemplate

#optex2015

Priorisierung

#optex2015

Priorisierung

#optex2015

60 second business case

Koordination Kreativität Entwicklung Rollout

Strategie? Revenue

impact CX Value Kostensenkung PM Prio

Aufwand

Business

Value

Gewichtung der Faktoren Berechnung eines Scores

#optex2015

Es gibt für alles eine App

#optex2015

Berechnung eines Scores

#optex2015

Berechnung eines Scores

#optex2015

Überwachung von Testaktivitäten

#optex2015

Auswertung

#optex2015

…aber man sieht eine klare Tendenz…

Nicht Signifikant?

#optex2015

…aber man sieht eine klare Tendenz…

Nicht Signifikant?

#optex2015

Optimizely Results Page - Advanced

#optex2015

Optimizely Results Page - Advanced

#optex2015

Kommunikation

#optex2015

Archiv

#optex2015

Rundmail

#optex2015

• Kenne Deine Goals, Probleme und Hypothesen

• „Großes“ Testen ist erlaubt

• Arbeite an Deinem Backlog & Priorisierungsmodell

• Segmentiere Deinen Traffic

• Keine Angst vor gleichzeitigem Testen

• Nutze testfreie Zeit

• 100%ige Sicherheit gibt es nicht

Key Takeaways

#optex2015

DANKESCHÖN!

jan.mikulica@holidaycheck.com