Embed Size (px)
Citation preview
#optex2015
Management & Priorisierung Der Testing Alltag – von der Idee bis zur Auswertung
Jan Mikulica UX Research & User Insights Manager
@HolidayCheck
#optex2015
Hi. Ich bin Jan,
UX Research &
User Insights Manager @
#optex2015
2003 gegründet
Seit 2006 Teil der Tomorrow Focus AG
Teams über EU verteilt
Breite Produktpalette
Über 180 M Pageviews / 20 M visits pro Monat
#optex2015
Unser Test-Bordpersonal
#optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist
#optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist
#optex2015
AB@HC
Research Manager Web Analyst Web Analyst Data Scientist
VS
Center of Excellence
#optex2015
Viele Teams = Viele Skilllevel
#optex2015
Zahlen & Menschen
Schweizer Parlamentswahlen
#optex2015
Zahlen & Menschen
#optex2015
Zahlen & Menschen
Brian Haemorrhage Jane Superbrain
#optex2015
Zahlen & Menschen
Brian Haemorrhage Jane Superbrain
#optex2015
Infrastruktur & Consulting
#optex2015
Hypothesen & Ziele
„Ich glaube, den Header zu
ndern macht meine Seite besser“
• blau anmalen wird den Revenue erhöhen? • blau anmalen wird den Klick auf „jetzt
bewerten“ erhöhen? • rot anmalen wird den Revenue erhöhen? • entfernen wird den Klick auf „jetzt bewerten“
erhöhen?
#optex2015
Evolution vs. Revolution
#optex2015
Simultanes Testen
• Experimente auf derselben Seite
• Experimente im selben Funnel / Flow
• Multivariate Experimente
#optex2015
Simultanes Testen
• Experimente auf derselben Seite
• Experimente im selben Funnel / Flow
• Multivariate Experimente
#optex2015
Statistik Basics
#optex2015
Statistik Basics
Alphafehler Kummulierung 𝑝 =α
𝑛
#optex2015
Nicht signifikant – komplett einpacken?
Testen
Auswerten
(Re)Priorisieren
Design & Dev
#optex2015
Inspiration
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
random dude
random Biergarten
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
#optex2015
Inspirationsquellen
#optex2015
„Heute nehme ich den
klassischen multivariaten“
#optex2015
Testtemplate
#optex2015
Testtemplate
#optex2015
Testtemplate
#optex2015
Priorisierung
#optex2015
Priorisierung
#optex2015
60 second business case
Koordination Kreativität Entwicklung Rollout
Strategie? Revenue
impact CX Value Kostensenkung PM Prio
Aufwand
Business
Value
Gewichtung der Faktoren Berechnung eines Scores
#optex2015
Es gibt für alles eine App
#optex2015
Berechnung eines Scores
#optex2015
Berechnung eines Scores
#optex2015
Überwachung von Testaktivitäten
#optex2015
Auswertung
#optex2015
…aber man sieht eine klare Tendenz…
Nicht Signifikant?
#optex2015
…aber man sieht eine klare Tendenz…
Nicht Signifikant?
#optex2015
Optimizely Results Page - Advanced
#optex2015
Optimizely Results Page - Advanced
#optex2015
Kommunikation
#optex2015
Archiv
#optex2015
Rundmail
#optex2015
• Kenne Deine Goals, Probleme und Hypothesen
• „Großes“ Testen ist erlaubt
• Arbeite an Deinem Backlog & Priorisierungsmodell
• Segmentiere Deinen Traffic
• Keine Angst vor gleichzeitigem Testen
• Nutze testfreie Zeit
• 100%ige Sicherheit gibt es nicht
Key Takeaways
