Big Data, große Einsichten & große Fehler

Usabilitykongress 2013Frankfurt, 11.10.2013

Jens Jacobsenbenutzerfreun.de

I. Akt: Von Truthähnen & Schwänen

Schuldlos schuldig

Bild: Public Domain, http://commons.wikimedia.org/wiki/File:Wild_turkey_eastern_us.jpg

Tag

Zuf

ried

enhe

its-R

atin

g

1 500 1000

0

38

75

113

150

Nutzerzufriedenheit Truthahn

Foto 28.11.

Bild: Public Domain, http://commons.wikimedia.org/wiki/File:US_Navy_021103-N-1159M-001_Mess_Management_Specialist_3rd_Class_Nicole_Phillipe_(left)_and_Mess_Management_Specialist_Seaman_Crista_Spencer,_prepare_roast_turkey_for_the_noontime_meal_aboard_the_ship.jpg?uselang=de

Tag

Zuf

ried

enhe

its-R

atin

g

1 500 1000

0

38

75

113

150

Nutzerzufriedenheit TruthahnThanksgiving

2. Akt: Von Zahlen & Gefühlen

der Experten liegen falsch.

37,879 Prozent

15 Babys/d 45 Babys/d

♀ : ♂50 : 50

A, B oder A=B?

Wo wurden an mehr Tagen >60% Jungs geboren?

Auch Statistiker sind schlechte intuitive Statistiker.

Daniel Kahnemann

A BTestobjekt A B

Konversionsrate 4 % 6 %

Steigerung: 50%Konfidenzniveau: 97%

A performt besser als B

A performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als BA performt besser als B A performt besser als B

TestobjektA

(Konventionell)B

(Öko)

Karotte 4 8

N: Anzahl Versuche8+4 = 12

D: Halbe Differenz Gewinner/Verlierer(8-4) ÷ 2 = 2

Ergebnis ist signifikant, wenn D2 > N

D2: 4, N: 12 ⇒ nicht signifikant

Nach: http://blog.asmartbear.com/easy-statistics-for-adwords-ab-testing-and-hamsters.html

Signifikanz.

signifikant = nicht zufällig

Fotos Zeit, Fußball, Wiesn, Kalender, Überschwemmung,

37,9876

Task-Time: sinkt um 21% (20 Sekunden)Aufgabe: täglich 7,8 Mal durchgeführtAngestellte: 500

ROI: 20 sec * 7,8 Mal * 5 Tage * 4 Wochen * 500 Angestellte= 433,33333333 Stunden im Monat = 32.500 €UNSINN

B / lokales Optimum

OptimumB

A

If neither the A nor B idea is very good, then A/B testing will just tell you which sucks less.

Peter Seibel

Bild: CC 2.0, The U.S. Army, https://commons.wikimedia.org/wiki/File:2007_Military_World_Games_long_jump.jpg?uselang=de

A B

Tage

Kon

vers

ion

Das sieht man doch!

Die Zahlen zeigen es.

Das sagt einem der gesunde Menschenverstand.

Wir Alle

Gut Ding will Weile haben.

Der frühe Vogel fängt den Wurm.

Wer wagt, gewinnt.

Vorsicht ist die Mutter der Porzellan-Kiste.

http://unbounce.com/a-b-testing/shocking-results/

Der gesunde Menschenverstand taugt kaum für Vorhersagen und noch weniger für Erklärungen.

Duncan Watts

Influencer

?

3. Akt: Die richtigen Werkzeuge

Foto Durcheinander (Werkzeugkiste)

X ⇒ Yq.e.d.

Tofu

(glückliches) Ende

Twitter: @benutzerfreundBlog: www.benutzerfreun.de Buch:

Mehr: