Www.donsbach.net Prof. Donsbach Philosophische Fakultät – Institut für...

Preview:

Citation preview

www.donsbach.netProf. Donsbach

Philosophische Fakultät – Institut für Kommunikationswissenschaft

Prof. Donsbach

Ringvorlesung

Methoden der empirischen Sozialforschung II

Sommersemester 2010

2

www.donsbach.net

Gastvortrag Dr. Stipp

3

www.donsbach.net

Ablauf

Sommersemester 2010

4. Komplex Durchführung von Befragungen

16 13.04.10 Hagen Inhaltsanalysen I

17 20.04.10 Hagen Inhaltsanalysen II

18 27.04.10 Donsbach Einführung in die standardisierte Befragung

19 04.05.10 Donsbach Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft

20 11.05.10 DonsbachSpezielle Verfahrensformen bei persönlichen, telefonischen und schriftlichen Umfragen

21 18.05.10 Donsbach Neuere Formen der quantitativen Befragung

22 01.06.10 Gastvorlesung (Thema ist noch offen)

www.donsbach.netProf. Donsbach

Vorlesung 19

Fragebogenkonstruktion: Von der Kunstlehre zur

Wissenschaft

Prof. Dr. Wolfgang DonsbachInstitut für Kommunikationswissenschaft

5

www.donsbach.net

The Art of Asking Questions (Payne 1951)

Scientific Paradigm for Surveys (Tourangeau 2003)

Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15 (1),3-7. Tourangeau, R., Rips, L. J. und Rasinski, K. (2000). The psychology of survey response. Cambridge: University Press.

Payne, S. L. (1951). The art of asking questions. Princeton: University Press.

6

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

7

www.donsbach.net

8

www.donsbach.net

9

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

10

www.donsbach.net

11

www.donsbach.net

Unvermeidbare Fehler

Instrumentelle Fehler

Vermeidbare Fehler

Fehlerarten

Stichprobenfehler Zeit-Fehler

Fehlende Daten Meinungsklima-

Fehler

12

www.donsbach.net

Unvermeidbare Fehler

Instrumentelle Fehler

Vermeidbare Fehler

Fehlerarten

Handwerk Sorgfalt Klienten

13

www.donsbach.net

Unvermeidbare Fehler

Instrumentelle Fehler

Vermeidbare Fehler

Fehlerarten

Manipulationen bei Sample Fragebogen Auswertung Präsentation

14

www.donsbach.net

15

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

16

www.donsbach.net

Fragebogen und Frageformen

Definition:„Ein Fragebogen ist eine mehr oder weniger standardisierte Zusammenstellung von Fragen, die Personen zur Beantwortung vorgelegt werden mit dem Ziel, deren Antworten zur Überprüfung der den Fragen zugrunde liegenden theoretischen Konzepte und Zusammenhänge zu verwenden. Der Fragebogen ist das Verbindungsstück zwischen Theorie und Analyse.“(Porst, 1998, S.21)

17

www.donsbach.net

Grundprinzip: Nicht der Interviewer – der Fragebogen muss schlau sein“

Noelle-Neumann/Petersen 2005, 102

18

www.donsbach.net

Frageformen

19

www.donsbach.net

20

www.donsbach.net

Meinungen/Einstellungen

Ist die deutsche Wiedervereinigung für Sie eher Anlass zur Freude oder zur Sorge?

Anlass zur Freude 58% Anlass zur Sorge 10% Teils / Teils 30% Weiß nicht 3%

(DNN-Barometer September 2000, n= 514 Befragte)

21

www.donsbach.net

„Eine Bürgerinitiative will ja einen Tunnel statt der geplanten Brücke. Der Tunnel hätte den Vorteil, dass wahrscheinlich der Titel Weltkulturerbe erhalten würde. Sein Nachteil wäre wahrscheinlich eine Bauverzögerung und höhere jährliche Betriebskosten. Würden Sie sich bei dieser Alternative für einen Tunnel oder für die im Bau befindliche Brücke entscheiden?“

Feb 2008

Mai 2008

Für Tunnel 34,1 32,6

Für Brücke 53,3 57,1

Weder noch 7,4 5

Weiß nicht / unentschieden 4,2 5,3

Meinungen/Einstellungen

DNN-Barometer, Bevölkerung Dresdens ab 18 Jahre; n = 515 (Feb), 479 (Mai)

22

www.donsbach.net

23

www.donsbach.net

Überzeugungen/Werte (IfD) Was für eine Gesellschaft finden Sie eigentlich besser: Eine

Gesellschaft, in der der Staat hauptsächlich für seine Bürger verantwortlich ist, oder eine Gesellschaft, in der die einzelnen Bürger so viel wie möglich selbst für sich zu lösen versuchen?

Der betreute und der selbständige Mensch

23

59

18

48

27 25

Staat für Bürgerverantwortlich

Bürger versuchen,soviel wie möglich

selbst lösen

unentschieden0

20

40

60

80

100 West Ost

Prozent

Quelle: Institut für Demoskopie Allensbach, November 2001

"Was für eine Gesellschaft finden Sie besser: Eine Gesellschaft, in der der Staat hauptsächlich für seine Bürger verantwortlich ist, oder eine Gesellschaft, in der die einzelnen

Bürger so viel wie möglich selbst für sich zu lösen versuchen?"

24

www.donsbach.net

25

www.donsbach.net

26

www.donsbach.net

Wissen/Verhalten

„Im Juni sind ja Oberbürgermeisterwahlen. Waren Sie bei den letzten OB-Wahlen wahlberechtigt?“

Ja 83%Nein 17%

„Und sind Sie auch wählen gegangen?“Ja 77%Nein 22%Anderes 1%

Wahlbeteiligung 2001: 48,1% (Erster Wahlgang)

DNN-Barometer, Mai 2008, n= 1044

27

www.donsbach.net

28

www.donsbach.net

29

www.donsbach.net

30

www.donsbach.net

31

www.donsbach.net

32

www.donsbach.net

EigenschaftenHaben Sie selbst Schröder in der letzten Zeit im Fernsehen gesehen?

Ja 78 %Nein 22 % Filter Frage 7

Und wie wirkte Schröder da auf Sie. Ich lese Ihnen jetzt einigeEigenschaften vor. Bitte sagen Sie mir immer ob Sie dieser voll und ganz,überwiegend etwas oder gar nicht zustimmen.

Stimme zu Voll u. ganz überwiegend etwas gar nicht weiß nicht

WarmherzigKompetentGewandtSympathischUnsicherVertrauenswürdigEnergischSeriösGelassenUmgänglich

33

www.donsbach.net

34

www.donsbach.net

35

www.donsbach.net

36

www.donsbach.net

37

www.donsbach.net

Ziel: Vermeidung von Ausstrahlungs- und Kontexteffekten Ausstrahlungseffekte = Nachdenken über eine Frage

beeinflusst Antwort auf nachfolgende Frage Beispiel: Frage zu Arbeitslosigkeit gefolgt von Frage zu

Performanz des Kanzlers Puffer: Andere Themen dazwischen Interviewer: „Ich habe Ihren Fragebogen sortiert“

Pufferfragen

38

www.donsbach.net

39

www.donsbach.net

Eisbrecherfrage(Trend Dezember seit 1995)

Seit Ende November gibt es ja wieder den Striezelmarkt in Dresden. Finden Sie eigentlich, dass der Striezelmarkt noch immer eine Attraktion Dresdens ist oder glauben Sie das eher nicht? (N= 512 Befragte)

Immer noch Attraktion 83 % Eher nicht 13 % Weiß nicht 4 %

(DNN-Barometer Dezember 2004, n= 504 Befragte)

Jetzt im Sommer ist ja wieder Biergartensaison und man sitzt gerne draußen, um etwas zu essen oder zu trinken. Waren Sie in diesem Jahr schon in einem Biergarten?Ja 47 %Nein 53 %

(DNN-Barometer Juli 2002, n= 514 Befragte)

Warum?

40

www.donsbach.net

41

www.donsbach.net

a

Filterfragen

Und wen kennen Sie da? [offen mit

Direktverschl.]

Und haben Sie schon mal von ... gehört? [ ja/nein ]

aKennen Sie eigentlich schon Politiker, die in einem der Dresdner Wahlkreise zur nächsten Bundestags-wahl

als Direktkandidaten antreten? [ ja/nein ]

ungestützte Bekanntheit

gestützte Bekanntheit

42

www.donsbach.net

43

www.donsbach.net

44

www.donsbach.net

45

www.donsbach.net

46

www.donsbach.net

47

www.donsbach.net

48

www.donsbach.net

49

www.donsbach.net

50

www.donsbach.net

Vorteile Befragte können sprechen, wie sie es gewöhnt sind Sachverhalte werden angesprochen, die man vielleicht bei

einer geschlossenen Befragung vergessen hat Nachteile

Misst eher Verbalisierungsfähigkeit eines Befragten als Einstellungen zum Thema

Misst eher Antwortbereitschaft Hoher Aufwand bei der Vercodung bei der Datenaufbereitung Sehr heterogene Antwortmuster

Wichtig: Geschlossene Fragen setzen voraus, dass man die möglichen Antwortalternativen kennt

Offene Fragen

51

www.donsbach.net

52

www.donsbach.net

53

www.donsbach.net

54

www.donsbach.net

55

www.donsbach.net

Vorteile mittels zusätzlicher Kategorie kann festgestellt

werden, ob die Vorgaben der geschlossenen Frage allumfassend waren oder nicht

wird verwandt, wenn Antwortvorgaben gut abgeschätzt aber nicht definitiv sicher erfasst werden können

Nachteile Vercodungsaufwand der offenen Frage Aufweichung der Standardisierung des Interviews

Halboffene Fragen oder Hybridfragen

56

www.donsbach.net

Weitere Unterscheidungen für Fragen

Dichotom Polytom

ListenKartenspieleBildblätter

ZeichnungenAnimationen (Web)

Mit optischer Präsentation

Ohne optische Präsentation

Beispiele (Folien)

57

www.donsbach.net

Sonderform: Split-Ballot

„Split-ballot“ = Teilen der Stichprobe Nach Zufallsprinzip, z. B. jedes zweite Interview anders Gründe:

Platz- bzw. Zeitsparen (Aufteilung von Fragen auf halbe oder Drittel-Stichproben

Rotation von Stimulus-Abfolgen (Vermeidung von Primacy-/Recency-Effekte)

Experiment zur Wirkung von Frageformen oder anderen Stimuli (z. B. Kontexteffekte) – Beispiele folgen

Beispiel: DNN-Barometer

58

www.donsbach.net

(18a) Stellen Sie sich vor, einige Leute auf der Straße fangen an, über das Thema Waldschlösschenbrücke zu reden. Würden Sie sich gerne an der Unterhaltung beteiligen oder würden Sie das nicht? Ja, würde mich gern einschalten 46% Nein, würde das nicht 47% Weiß nicht/k.A. 7%

(18b) Stellen Sie sich vor, einige ihrer Freunde fangen an, über das Thema Waldschlösschenbrücke zu reden. Würden Sie sich gerne an der Unterhaltung beteiligen oder würden Sie das nicht? Ja, würde mich gern einschalten 73% Nein, würde das nicht 25% Weiß nicht/k.A. 2%

(18) Und sind Sie für oder gegen den Bau der Waldschlösschenbrücke?Dafür 59 %Dagegen 31 %Unentschieden 10 %

DNN-Barometer Mai 2006

Split A Split B

Sonderform: Split-Ballot

59

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

60

www.donsbach.net

61

www.donsbach.net

62

www.donsbach.net

63

www.donsbach.net

63(vgl. Petersen 2002)

64

www.donsbach.net

65

www.donsbach.net

66

www.donsbach.net

67

www.donsbach.net

68

www.donsbach.net

69

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

70

www.donsbach.net

Thematische KontexteffekteStimmungen als KontexteSkalen-VerwendungReihenfolge-EffekteInterviewer-EffekteAnwesenheit anderer Personen

Einflüsse auf das Antwortverhalten

71

www.donsbach.net

Thematische Kontexteffekte

72

www.donsbach.net

Tourangeau, Roger et al. (1989): Carry-over effects in attitude surveys. POQ, 53, 495-524

Target Issue Context Set One

Context Set Two

Persian Gulf Lebanon Iran

Rights of accused

Fear of crime Civil liberties

Welfare Government responsibility

Economic individualism

Abortion Traditional values

Rape

Defense spending

Arms control Soviet threat

Nicaragua Vietnam Cuba

73

www.donsbach.net

ContextApprove U.S. policy in Persian Gulf

Lebanon 46,6Iran 54,2Neutral 42,6

ContextApprove Court Decision Legalizing Abortion

Traditional values 55,0Rape 58,4Neutral 51,7

Tourangeau, Roger et al. (1989): Carry-over effects in attitude surveys. POQ, 53, 495-524

74

www.donsbach.net

75

www.donsbach.net

Stimmungen als Kontexte

76

www.donsbach.net

Experimente: Abhängigkeit der Urteile über generelles Glücklichsein/ Zufriedenheit mit Leben von Stimmung zum Zeitpunkt des Interviews

Experiment 1: Induzierung von Stimmung in Exp1 durch vorangegangene Fragen nach fröhlichen und traurigen Ereignissen im eigenen Leben

Signifikante Unterschiede Experiment 2: Wetter (Sonne/Regenwetter) zum Zeitpunkt des

Interviews Zusätzlich varriiert: Bedeutung des Wetters (einmal gar nicht erwähnt,

einmal beiläufig durch Interviewer ("By the way, how is the weather down there?"), einmal als Hauptanliegen der Umfrage deklariert ("We are intersted in how the weather affects persons moods")

Signifikante Unterschiede

Schwarz, Norbert & Gerald L. Clore (1983): Mood, Misattribution, and Judgments of Well-being: Informative and Directive Functions of Affective States. JP&SPsych 45, 513-523

Stimmungen als Kontexte

77

www.donsbach.net

Erklärung

Traditionelle Vorstellung: Befragte haben relativ feste Einstellungen, die im Interview abgerufen werden, wahrscheinlich falsch

Stattdessen: Accessibility-Hypothese = Befragte generieren Antworten auf Basis verfügbarer Informationen und Gefühle im Moment der Befragung

Kein systematischer Weg, sondern „Sampling-Prozess“, bei dem Befragte eine schnelle Auswahl aus ihren vorhandenen Einstellungen treffen

In diesen Situationen „Oversampling“ der aktivierten Einstellungen Kontexte aktivieren solche Einstellungen: je näher dran am Thema,

desto stärker ihr Einfluss

78

www.donsbach.net

Skalen-Verwendung

79

www.donsbach.net

Einfluss von numerischen Werten bei Skalen"How often do you get a haircut/visit a museum/attend a poetry reading"

Schwarz et al. 1998: IJPOR

5,6

4,1

1,8

4,4

3,1

1,3

Getting a haircut Visiting a museum attending poetry reading0

1

2

3

4

5

6

7Skala 0-10 Skala 1-11

80

www.donsbach.net

Reihenfolge-Effekte

81

www.donsbach.net

Experiment 1

82

www.donsbach.net

83

www.donsbach.net

“…the larger the proportion of time respondents spent looking at the top half of the options, the more likely

they were to choose an option from that part.”

84

www.donsbach.net

Interviewer-Effekte

85

www.donsbach.net

2 Einflussquellen: Erfahrung, Art der Schulung demografische Merkmale (Alter, Geschlecht, Hautfarbe)

Interviewer müssen keine Experten auf dem Gebiet sein Art der Interviewer-Schulung:

Soziale Umgangsformen Hinweis auf Einhalten der Frageformulierung Wie viel darf bei Unverständnis erläutert werden? Umgang mit „schwierigen“ Interviewpartnern

Einfluss des Interviewers

86

www.donsbach.net

87

www.donsbach.net

88

www.donsbach.net

89

www.donsbach.net

Catania, Joseph A./Binson, Diane/ Chanchola, Jesse (1996): Effects of

Interviewer Gender, Interviewer Choice,

and Item Wording on Responses to

Questions Concerning Sexual

Behavior. Public Opinion Quarterly,

vol 60, 345-375

90

www.donsbach.net

91

www.donsbach.net

92

www.donsbach.net

93

www.donsbach.net

94

www.donsbach.net

Anwesenheit anderer Personen

95

www.donsbach.net

Fragebogenlänge

96

www.donsbach.net

EFFECTS OF QUESTIONNAIRE LENGTH ONPARTICIPATION AND INDICATORS OF RESPONSEQUALITY IN A WEB SURVEYMIRTA GALESICMICHAEL BOSNJAK

Public Opinion Quarterly, Vol. 73, No. 2, Summer 2009, pp. 349–360

This paper investigates how expected and actual questionnaire length affects cooperation rates and a variety of indicators of data quality in web surveys. We hypothesized

• that the expected length of a web-based questionnaire is negatively related to the initial willingness to participate.

• Moreover, the serial position of questions was predicted to influence four indicators of data quality. We hypothesized that questions asked later in a web-based questionnaire will, compared to those asked earlier, be associated with

• (a) shorter response times, • (b) higher item-nonresponse rates, • (c) shorter answers to open-ended questions, and • (d) less variability to items arranged in grids.

To test these assumptions, we manipulated the stated length (10, 20, and 30 minutes) and the position of questions in an online questionnaire consisting of randomly ordered blocks of thematically related questions.

As expected, the longer the stated length, the fewer respondents started and completed the questionnaire. In addition, answers to questions positioned later in the questionnaire were faster, shorter, and more uniform than answers to questions positioned near the beginning.

97

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

98

www.donsbach.net

99

www.donsbach.net

Temporäre Determinanten(Kontexteffekte)

Permanente Determinanten

100

www.donsbach.net

ELM angewendet auf Umfrageforschung

101

www.donsbach.net

Beispiel: Heuristiken bei Anwendung von Skalen

102

www.donsbach.net

3 Experimente deutsches Sample, Erfolg im eigenen Leben, 11 Punkte-Skala Endpunkte: überhaupt nicht erfolgreich -

sehr erfolgreich Version A: 0 –10 Version B: -5 - +5 Ergebnis: Version A: 34% gaben Werte zwischen 0 und 5. Version B: 13 %

103

www.donsbach.net

Einfluss von numerischen Werten bei SkalenFrage: "Wie erfolgreich waren Sie bisher in Ihrem Leben?" Endpunkte jeweils verbal:

"überhaupt nicht erfolgreich", "sehr erfolgreich",

0 02

57

20

14

20 20

63 3

1 0 1 1 1

9 9

23

35

14

42

0/-5 1 2/--3 3 4 5 6 7 8 9 10-04 -02 -01 00 +01 02 +03 +04 +05

0

5

10

15

20

25

30

35

40Skala 0-10 Skala -5 bis +5

Bevölkerung der Bundesrepublik Deutschland, 1988, IfD-Umfrage 5007; Quelle: Schwarz et al. 1991

104

www.donsbach.net

„We conclude from the reported findings that respondents may use the numeric values provided on a rating scale to disambiguate the meaning of scale labels.“

bei 0 bis 10: legt nahe, dass Forscher Anwesenheit oder Abwesenheit von bestimmten Eigenschaften wissen will (in diesem Fall Erfolg oder Glück)

bei -5 bis +5 mit Nullpunkt in der Mitte: legt nahe, dass Abwesenheit der Eigenschaft mit Null korrespondiert, während negative Punkte Anwesenheit seines Gegenteils anzeigen.

Generell bei Minuspunkten: legen nahe, dass Forscher ein bipolares Konzept der Dimension unterstellt

105

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und

Fragen Regelwerke Literatur

106

www.donsbach.net

Prüfer, Peter, Rexroth, Margrit (1996): Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, Nr. 39, S. 95-115

107

www.donsbach.net

108

www.donsbach.net

Prüfer, Peter, Rexroth, Margrit (1996): Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, Nr. 39, S. 95-115

109

www.donsbach.net

110

www.donsbach.net

111

www.donsbach.net

112

www.donsbach.net

113

www.donsbach.net

114

www.donsbach.net

Think Aloud-Test

zentrale kognitive Technik Befragter aufgefordert, „laut zu denken“ und dabei

sämtliche Gedankengänge, die zur Antwort führen bzw. führten zu formulieren.

Ziel: Hinweise darauf, wie Frage oder einzelne Begriffe verstanden wurden

"verbal protocols"

115

www.donsbach.net

116

www.donsbach.net

117

www.donsbach.net

Oksenberg/ Cannell/Kalton (1991) und Presser/Blair (1994): Vergleiche Übereinstimmendes Fazit: keine Methode, die in allen

Problembereichen am besten ist Probleme oft erkennbar, aber nicht deren Ursache Kognitive Verfahren wie Probes und Think-Aloud-Verfahren: liefern die

meisten Verständnisprobleme, aber z.B. keine Interviewerprobleme Empfehlung: Mehrere Verfahren einsetzen Fowler (1995): Einsatz von Focus Groups, kognitiven Laborinterviews

und einen Feld-Pretest mit Auswertung der Antwortverteilungen Ressourcen?

Was ist das beste Verfahren?

118

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

119

www.donsbach.net

120

www.donsbach.net

Fowler, F. J. Jr. (2001): Why it is so easy to write bad questions. ZUMA-Nachrichten, Nr. 48, S. 49 – 66.

121

www.donsbach.net

Content standards Cognitive standards Interpersonal standards Psychometric standards Usability Multi-mode capability Multi-language

capability Cost effective use of

survey time

Analytische Ziele und Auskunftsfähig-keiten der Respondenten

Kognitive Fähigkeiten des Resp. berücksichtigen

Soziale Situation des Interviews berücksichtigen

Validität, Reliabilität der Messungen

Nutzerfreundlichkeit des Instruments

Verwendbarkeit in allen Modi

Verwendbarkeit in allen Sprachen

Kostenbewusster Einsatz der Ressourcen von Forscher und Befragtem

122

www.donsbach.net

Im letzten Monat hat die UNO eine weltweite Umfrage durchgeführt. Die Frage war: "Teilen Sie uns bitte ihre ehrliche Meinung zur Lösung

der Nahrungs-Knappheit im Rest der Welt mit." Die Umfrage stellte sich, nicht unerwartet, als Riesenflop heraus: In Afrika wussten die Teilnehmer nicht was "Nahrung" ist. Osteuropa wusste nicht, was "ehrlich" heißt. Westeuropa kannte das Wort "Knappheit" nicht. Die Chinesen wussten nicht, was "Meinung" ist. Der Nahe Osten fragte nach, was denn "Lösung" bedeute. Südamerika kannte die Bedeutung von "bitte" nicht. Und in den USA wusste niemand, was "der Rest der Welt" ist!

Probleme internationaler Umfragen

123

www.donsbach.net

10 Gebote nach Porst (2000)Du sollst... 1. ...einfache, unzweideutige Begriffe verwenden, die von allen

Befragten in gleicher Weise verstanden werden!2. ...lange und komplexe Fragen vermeiden!3. ...hypothetische Fragen vermeiden!4. ...doppelte Stimuli und Verneinungen vermeiden!5. ...Unterstellungen und suggestive Fragen vermeiden!6. ...Fragen vermeiden, die auf Informationen abzielen, über die

viele Befragte mutmaßlich nicht verfügen!7. ...Fragen mit eindeutigem zeitlichen Bezug verwenden!8. ...Antwortkategorien verwenden, die erschöpfend und disjunkt

(überschneidungsfrei) sind!9. ...sicherstellen, dass der Kontext einer Frage sich nicht auf

deren Beantwortung auswirkt!10. ...unklare Begriffe definieren!

124

www.donsbach.net

Zusammenstellung von Informationen zum Untersuchungsthema Nutzung von Ergebnissen aus Daten- und Fragearchiven Nutzung von Ergebnissen aus systematischer Grundlagenforschung

(z.B. split-ballot-Experimente) Einbettung einzelner Fragen in ein System aussagekräftiger

Indikatoren Prüfen der Zuverlässigkeit der Antworten mittels Kontrollfragen Fragebogen im Team ausarbeiten (verschiedene Sichtweisen) Intensives Pretesting Dokumentation der Ergebnisse bei der Fragebogenentwicklung und

Einbettung neu gewonnener Ergebnisse in Trendreihen (Methodenforschung)  

Der Weg zu einem guten Fragebogen (DFG-Enquete)

Quelle: Max Kaase (Hrsg.): Deutsche Forschungsgemeinschaft. Qualitätskriterien der Umfrageforschung. S. 24

125

www.donsbach.net

Why is it easy to ask bad questions?

Das existierende Methodenwissen wird nicht angewendet

Die Regeln können im Konflikt zueinander stehen: machen Fragen in einer Hinsicht besser, in einer anderen aber schlechter

Die angewendeten Testverfahren sind nicht immer aussagekräftig

Es besteht ein Hang in der Wissenschaft, auf Kosten der Qualität die Vergleichbarkeit zu wahren.

(Fowler 2001, S. 54)

126

www.donsbach.net

Gliederung

Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

127

www.donsbach.net

Abschnitte aus allgemeiner Methoden-Literatur

Atteslander, P. (2000), Methoden der empirischen Sozialforschung, Berlin/New York: de Gruyter.Bortz, J. & Döring, N. (1995), Forschungsmethoden und Evaluation für Sozialwissenschaftler: Berlin: Springer.Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag.Diekmann, A. (1995), Empirische Sozialforschung. Reinbek: Rowohlt.Friedrichs, J. (1982), Methoden der empirischen Sozialforschung, Opladen: Westdeutscher Verlag.Schnell, R., Hill, P. & Esser, E. (1992), Methoden der empirischen Sozialforschung, München: Oldenbourg.

Literatur

128

www.donsbach.net

Einführung in die standardisierte BefragungGroves, R. (1987). Research on survey data quality. Public Opinion Quarterly 52 (4). 156-172.Kaase, M. (1999). Qualitätskriterien der Umfrageforschung. Berlin: Akademie-Verlag.Wüst, A.M. (1998). Die Allgemeine Bevölkerungsumfrage der Sozialwissenschaften als Telefonumfrage. ZUMA-Arbeitsbericht 98(04).Price, V. & Neijens, P. (1997). Opinion quality in public opinion research. International Journal of Public Opinion Research 9, 336-360.Noelle-Neumann, E., Petersen, T. (2000). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin.: Springer.Koch, W. (1998). Wenn "mehr" nicht gleichbedeutend mit "besser" ist: Ausschöpfungsquoten und Stichprobenverzerrungen in allgemeinen Bevölkerungsumfragen. ZUMA-Nachrichten, 22(42).Porst, R., Ranft, S.& Ruoff, B. (1998). Strategien und Maßnahmen zur Erhöhung der Ausschöpfungsquoten bei sozialwissenschaftlichen Umfragen. Ein Literaturbericht. ZUMA-Arbeitsbericht 98(07).Rasinski, K.A. (2008). Designing Reliable and Valid Questionnaires. In: W. Donsbach M.W. Traugott (eds.): The SAGE Handbook of Public Opinion Research. Los Angeles u.a.: Sage, S. 361-373.

Recommended