View
321
Download
2
Category
Preview:
Citation preview
1996 28 700Gründung MitarbeiterBüros in 15 Ländern
4.000 7020.000zufriedene Kunden Forschungsprojekte im Jahr Forschung in über
70 Ländern
4 Mio. Panelisten
40Konsumenten-Panels in
40 Ländern
15Medical Panels
MEET Lightspeed GMI
Jon Puleston
Vice President of Innovation
Dennis SewberathDirector Creative Research
Question Arts Team
Ein Team, darauf spezialisiert interaktive Umfragen und
Technologien für Online Research zu designen
• Wie man Befragte motiviert
• Wie man Fragen entwickelt, die die richtige Art von
Information erfassen
• Wo und wann verschiedene kreative Techniken verwendet
werden können
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
In den letzten 10 Jahren hatten Online-Fragebögen eine
durchschnittliche Länge von 20 Minuten.
Keine Änderung in Sicht...
Maximale Zeit Umfragen: COMPUTER TABLET SMARTPHONE
5 Minuten oder weniger 2% 9% 27%
10 Minuten oder weniger 9% 24% 45%
15 Minuten oder weniger 19% 42% 65%
20 Minuten oder weniger 34% 65% 73%
25 Minuten oder weniger 42% 71% 77%
30 Minuten oder weniger 65% 81% 85%
US data from 1185 completes November, 2013
T H E B A C K G R O U N D I S S U E
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
37% der neue Panelisten registrieren sich über Apple (IOS) oder
Android-Endgeräte
MYSURVEY % REGISTRANTS BY DEVICE
10%
12%
14%
16%
18%
20%
22%
Jan13
Feb13
Mar13
Apr13
May13
Jun13
Jul13
Aug13
Sep13
Oct13
Nov13
Dec13
iOS
Android
T H E B A C K G R O U N D I S S U E
HEUTE
- Entdecken Sie die Problemfragen- Ändern Sie die Fragen
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
Setzen Sie die „Probanden“-Brille auf
“Unglaublich …. Ich setzte sie auf und sofort
wurde ich in einen Befragten verwandelt”
“WOW, ist dass meine Befragung?!”
STEP 1
P A R T
1
NEU!
Die 5 ZEICHEN für problematische Fragen:…………………………………………………………………………………………………………….
1. Dropout (Abbrecher)
2. Straight-lining (Musterklicker)
3. Reduzierung der Standardabweichung von Antworten
4. Reduzierte Antwortzeiten
5. Immer mehr Antwort-Korrelation
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
DROPOUT
Wenn mehr als 1% der Befragten ausfällt bei einer einzelnen
Frage, ist das ein Zeichen für ein Problem-Frage.
Wenn mehr als 20% der Befragten die Umfrage nicht ausfüllt,
ist das ein Zeichen für eine Problem-Befragung.
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
Antwortzeit sinkt
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
Jede Frage, die in weniger als 2 Sekunden beantwortet wird.
ist ein Zeichen für eine Problem-Frage.
P A R T
1
Der “Tacker”-TestWenn Sie Ihre Umfrage drucken und sie nicht
zusammenheften können, dann ist der Fragebogen zu lang.
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
STEP 2
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T 1
Annahme einer iterativen
Umfrage Design-Philosophie
TIPPS FÜR TEST-PILOTIERUNG…………………………………………………………….
1. Nicht den Kunden beteiligen
2. Versuchen Sie nicht, die gesamte Umfrage in dem Piloten
zu programmieren
3. Nicht zu sehr ins Detail gehen
4. Realisieren Sie, dass Sie nach Hinweisen suchen, nicht
nach ±95% statistischer Sicherheit
5. Seien Sie mutig und spielerisch:
Verwenden Sie klassische Tests und
Kontrolltechniken, um Antworten
zu vergleichen
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
STEP 3
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
Auf der Jagd nach unnötigen Fragen:
Statistische Techniken
Fragen Sie die gleiche Frage zweimal?
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
Answeroverlap
P A R T
1
FINDEN SIE DIE UNNÖTIGE FRAGE
• Value for money
• Anticipates my needs
• Delivers creative solutions
• Responds in a timely manner
• Delivers competitive pricing
• Is a company I would recommend
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
FINDEN SIE DIE UNNÖTIGE FRAGE
• Value for money
• Anticipates my needs
• Delivers creative solutions
• Responds in a timely manner
• Delivers competitive pricing
• Is a company I would recommend
KORRELATION = 0.67
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
FINDEN SIE DIE UNNÖTIGE FRAGE
• Value for money
• Anticipates my needs
• Delivers creative solutions
• Responds in a timely manner
• Delivers competitive pricing
• Is a company I would recommend
KORRELATION = 0.67
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
JEDE UMFRAGE, DIE WIR ANALYSIERT HABEN,
HAT EINIGE KORRELIERENDE FRAGEN……………………………………………………………………………………………….
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
SUCHE NACH KORRELATION IN FRAGEN
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
LATENTE KORRELATION
BEFRAGTEN-ERMÜDUNG
CASE STUDY: SINGTEL
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
24 KREUZKORRELIERENDE FRAGEN IDENTIFIZIERT
P A R T
1
FOKUS AUF MESSEN
WAS IST WERT DES MESSENS?……………………………………………………………………………………………….
Dies sind in etwa die Fehlergrenzen:
• Sampling 100 = ±6%
• Sampling 200 = ±5%
• Sampling 400 = ±4%
• Sampling 1000+ = ±2%
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
TYPISCHES UMFRAGE SAMPLE: n=400
SO MAX VON 8 ITEMS IN JEDER SINGLE CHOICE LIST
= 50 PER ITEM
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
LEGEN SIE EINIGE “OPTION CAPS”……………………………………………………………………..
USING LEAST FILL QUOTAS
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
HINZUFÜGEN VON FRAGEN-LEVEL-QUOTEN………………………………………………………………………………………………….
Minimale Stichprobengröße =
[(Standardabweichung x Z)/ Akzeptablen Fehler] 2
Z ist der Faktor, der das Niveau des statistischen Vertrauens
bestimmt, das Sie verwenden möchten.
Für 90% würde ich Z = 1.64 empfehlen,und für 95% Z= 1.96.
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
FRAGEN-LEVEL-QUOTEN
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
0
200
400
600
800
1000
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97
Sampleanforderungen pro Frage
All sample Sub demographic 1 Sub demographic 2 Sub demographic 3
P A R T
1
FALLSTUDIE: SINGTEL- Survey Chunking
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
0
200
400
600
800
1000
1200
1400
A A A A A A A A A A A B B B C C C C C C D D E E E E E F F F F F F F F F G G G G G G H H H H H H H I I I I I I I I I I I I
Mindestanforderung Stichprobengröße
1000 800
P A R T
1
FALLSTUDIE: SINGTEL
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
0
200
400
600
800
1000
1200
1400
D D B B H H H H H F F F F F F A1A1A1 A2A2A2A2 C C C C E E E E G G G G G I I I I I I I I I I
“Survey Chunking”
BLOCK 3 x50% BLOCK 4 x 50%BLOCK 1 BLOCK 2
P A R T
1
21 MINUTEN 13 MINUTEN 800 710 + 90 INCOMPLETES
TIPP:
NUTZEN SIE DEN PILOTEN UM IHRE
SAMPLE-ANFORDERUNGEN
ZU BESTIMMEN
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
VERWENDEN SIE EINE “MONTE-CARLO-STYLE”
VORRAUSSAGUNGS-TECHNIK……………………………………………………………………………………………
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
MODELLING
ASCRIPTION
P A R T
1
85%+
VERWENDUNG VON MODELLING & ASCRIPTIONS
(Zuschreibung) TECHNIKEN
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
1
GELANGWEILTBEFRAGTEN
Konsolidierung und Gruppierung von Fragen
Q1 Which of these xxxxx are you aware of?Not heard ofHeard of
Q2 Which of have you purchased?PurchasedNot purchased
Q3 How much do you like?Do not likeLike a littleLikeLove
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
Kombination aus Bekanntheit, Nutzung und
Gefallen…
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
INTELLIGENTE GRUPPIERUNG VON ANTWORTEN
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
What type of drink have you consumed in the last 24 hoursCarbonated Soft Drinks Sparkling-Regular
Carbonated Soft Drinks-Light
Juices/Nectars
Juice Drinks
Vegetable Juices/Juice Drinks
Tap water
Bottle water - Still Unflavored
Bottle water - Sparkling Unflavored
Bottle water - Still Flavored
Bottle water - Sparkling Flavored
Bulk water (5L and more)
Enhanced Water (eg Vitamin Water)
Sports Drinks
Energy Drinks
Tea - Black
Tea –Green
Coffee
Plain White Milk
Flavored Milk
Yogurt Drinks
Smoothies
Soy Based Drinks
Other Non-Alcoholic RTD Beverages
INTELLIGENTE GRUPPIERUNG VON ANTWORTEN
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
What type of drink have you consumed in the last 24 hours
Carbonated Soft Drinks
Juices
Tap water
Bottle water
Sports & Energy Drinks
Tea
Coffee
Milk
Flavored Milk
Yogurt Drinks & Smoothies
Other
Bottle water - Still Unflavored
Bottle water - Sparkling Unflavored
Bottle water - Still Flavored
Bottle water - Sparkling Flavored
Bulk water (5L and more)
Enhanced Water (eg Vitamin Water)
ÄNDERN SIE DIE FRAGE
Example:
How important on a scale of 1 to 10 are these 15 factors when deciding on whichbrand to buy?
Time = 40 seconds
Sample needed to differentiate all 15 factors = 1,000+
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
ANFORDERUNGEN AN DIE STICHPROBENGRÖßE
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
5.8 5.9 5.9 6.0 6.1 6.2 6.2 6.4 6.5 6.6 6.8 6.97.5
8.2 8.5
0
1
2
3
4
5
6
7
8
9
Wie wichtig sind diese Faktoren?0.1
Mindeststichprobengröße = [(Standardabweichung x Z)/Akzeptabler Fehler
Standardabweichung = 1.6
Akzeptable Fehlertoleranz = <0.1
Mindeststichprobengröße= 1,000
Ändern Sie, wie Sie die Frage stellen
Alternativen:
1. Fragen Sie eine abkürzende Frage:z.B. welches sind die 5 wichtigsten Faktoren?dann bitten Sie nur um ein Rating der 5 ausgewählten FaktorenZeit gespart = ca. 10 Sekundenbenötigtes Sample um die 5 Top Faktoren zu differenzieren = ca. 500
2. Verwenden Sie ein selektives Ranking:Um es vor dem Rating weiter zu vereinfachen, bitten Sie um einRanking der 5 FaktorenZeit gespart= ca. 20 Sekundenbenötigtes Sample um die 5 Top Faktoren zu ranken = ca. 300
3. Verwenden Sie ein auswahlbasiertes max diff:Präsentieren Sie die Auswahl in zufallsbasierten Untergruppen von 5und bitten Sie um Auswahl des wichtigsten und des unwichtigstenFaktors aus jeder UntergruppeZeit gespart= ca. secondsbenöt. Sample für max diff sortierung von 15 Faktoren = 300
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
WEG VON RATING-SKALEN
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
-200
-100
0
100
200
300
400
500
600
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
P A R T
2
DAS PROBLEM MIT RATING-SKALEN
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
-200
-100
0
100
200
300
400
500
600
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
SIE MÜSSEN GROβE SAMPLES HABEN, UM MEINUNGEN ZU DIFFERENZIEREN
P A R T
2
DAS PROBLEM MIT RATING-SKALEN
1. Rating ist eine komplexe “System 2” Denkprozess.
Es kann beschädigt werden durch das jeder Befragte die Dinge
auf eine andere Weise beantwortet
2. Es ist langweilig
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
DAS PROBLEM MIT RATING-SKALEN
Auswertungszeit
Binäre Skala “System 1” = <0.5 secondsRating Skala “System 2” = 1-5 seconds
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
0
20
40
60
80
100
120
140
Ad
1
Ad
3
Ad
11
Ad
12
Ad
7
Ad
13
Ad
9
Ad
14
Ad
21
Ad
19
Ad
22
Ad
23
Binary Rating
P A R T
2
25% STÄRKERE DIFFERENZIERUNG
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
.
P A R T
2
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
2
DER WECHSEL VON “RATING-Frage” ZUR
“CHOICE - Auswahl”
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
Rating = 6.8
P A R T
2
70% Choice
DER WECHSEL VON “RATING-Frage” ZUR
“CHOICE - Auswahl”
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
Rating = 6.8 Rating = 6.7
70% Choice 30% Choice
P A R T
2
DER WECHSEL VON “RATING-Frage” ZUR
“CHOICE - Auswahl”
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
Rating = 6.8 Rating = 6.7
70% Choice 30% Choice
SAMPLE VON 200
SAMPLE <40
P A R T
2
DER WECHSEL VON “RATING-Frage” ZUR
“CHOICE - Auswahl”
TRADING GAMES
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
020406080
100120140
Fun Interesting Thinkingtime
Standard Trading game
P A R T
3
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
.
-200%
-100%
0%
100%
200%
300%
400%Trading game
Standard rating
P A R T
3
0.89 KORRELATION 5X STÄRKERE DIFFERENZIERUNG
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
.
P A R T
3
-100%
-80%
-60%
-40%
-20%
0%
20%
40%
60%
80%
100%
1 5 9
13
17
21
25
29
33
37
41
45
49
53
57
61
65
69
73
77
81
85
89
93
97
10
1
10
5
10
9
11
3
11
7
12
1
12
5
12
9
13
3
13
7
14
1
14
5
14
9
15
3
15
7
16
1
16
5
16
9
17
3
17
7
18
1
-100%
-80%
-60%
-40%
-20%
0%
20%
40%
60%
80%
100%
1 5 9
13
17
21
25
29
33
37
41
45
49
53
57
61
65
69
73
77
81
85
89
93
97
10
1
10
5
10
9
11
3
11
7
12
1
12
5
12
9
13
3
13
7
14
1
14
5
14
9
15
3
15
7
16
1
16
5
16
9
17
3
17
7
18
1
Standard rating certainty point
Trading game certainty point
SETTING QUESTION LEVEL QUOTA’SWenn 20% der Befragten Antworten erfinden weil
es ihnen egal ist, was sie sagen.
Dann brauchen Sie zusätzliche 40% mehr
Stichprobe um diese systematischen Fehler zu
glätten.
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
SETTING QUESTION LEVEL QUOTA’STIPPS ZUM DESIGNEN VON BEFRAGUNGEN
FÜR MOBILE GERÄTE
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
PORTRAIT ODER LANDSCAPE-MODUS?………………………………………………………………………………
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Natürliche
Präferenz
Viel scrollen, um den “Weiter”
Button zu erreichen
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Kann aber nicht mit größeren Fragen umgehen.
HORIZONTALES SCROLLEN… A BIG NO-NO!
ADAPTIVES DESIGN vs FESTER LANDSCAPE-MODE……………………………………………………………………………………………………………………
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
SETTING QUESTION LEVEL QUOTA’S
Ein fester Landscape-Modus
Unsere Lösung = jedes Pixel ist wichtig
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Raum ist Luxus: jedes Pixel ist wichtig …
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Löschen Sie die Leerzeichen!
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Der obere Teil der Umfrage ist heilig
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Der obere Teil der Umfrage ist heilig
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Auf Mobile ist die Höhe begrenzt
(im Landscape-Modus)
Investieren Sie eher in interaktive Fragetypen………………………………………..
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Interaktive Fragetypen für Desktop waren
ein nice to have.
Um effektive plattformneutrale
Fragebögen zu designen sind interaktive
Fragetypen ein must have.
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
INTERACTIVE QUESTION FORMATS BECOME MUCH
MORE IMPORTANT WEAPONS - LIKE DYNAMIC GRIDS
Strongly
disagreedisagree Neither Agree
Strongly
Agree
I like brocolliI like broccoliI like cheeseI like broccoliI like chocolate
Strongly
Agreedisagree
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
SOME PLUSES - DRAGGING IS SO MUCH MORE INTUITIVE
choice
Option BOption A choice
choice
Minimale Größe, machen Sie ein Stylesheet
für jedes Gerät
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Für Fragen mit vielen Anweisungen:
Legen Sie die Anweisungen in ein separates Fenster
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Fassen Sie mit
der Frage die
Aufgabe
nochmal
zusammen
Anweisungen
Vielleicht ist das eine Anregung?
Schreiben Sie Fragen wie einen guten Tweet:mit allen Anweisungen in weniger als 140
Zeichen!
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
Kurz und klar, es wird gelesen
SETTING QUESTION LEVEL QUOTA’SPlease read through the statements shown below
and select which statement best describes your
attitude towards this brand. Please select the
most appropriate statement per brand
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
SETTING QUESTION LEVEL QUOTA’SPlease read through the statements shown below
and select which statement best describes your
attitude towards this brand. Please select the
most appropriate statement per brand
Which of these statements best describes your
attitude towards each brand
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
10 TIPPS FÜR BONSAI SURVEYS…………………………………………………………………………….
1. Denken Sie wie eine Testperson
2. Eignen Sie sich eine iterativen Umfrage-Design-Philosophie an
3. Finden Sie die unnötige Fragen
4. Fügen Sie Fragen-Level-Quoten hinzu
5. Versuchen Sie Modelling, Ascription und Chunking
6. Kombination, Konsolidierung und Gruppierung von Fragen,
Verwendung von Ikonographie
7. Zu kürzeren, effektiveren Frage-Techniken wechseln
8. Bessere Fragen schreiben
9. Wenn Sie Ihre Umfrage designen, denken Sie an den heiligen
oberen Abschnitt & das jedes Pixel wichtig ist
10. Schreiben Sie Fragen wie einen tweet
T H E A R T O F B O N S A I S U R V E Y D E S I G N S
P A R T
3
SIE HÄTTEN GERNE DIESE PRÄSENTATION?
• Schreiben Sie an: dennis@gmi-mr.com
• Geben Sie mir hier Ihre Visitenkarte
• Schreiben Sie an: twitter @LightspeedGMI
• Blog: www.ls-gmi.com
• Kommen Sie zu uns jetzt oder morgen gerne an
den Stand 171 für eine Tasse Espresso...
VIELEN DANK
Dennis Sewberath
Director, Creative Research
M +31(0)6 – 5236 2492
dennis@gmi-mr.com
Copyright © 2014 Lightspeed, LLC. Proprietary and Confidential. All rights reserved.
• Lightspeed GMI
Stand 171 (beim Bistro)
Besuchen Sie uns für mehr Antworten…(+ eine Tasse Nespresso)!
WEITERE FRAGEN?
Wir freuen uns auf Sie!
Recommended