20
Empirie: Quantitative Methoden L19-1 Lerneinheit 19: Ausfälle und Gewichtungen Ausfälle Der im Erhebungsdesign einer Untersuchung festgelegte Auswahlplan lässt sich in der Regel nicht vollständig realisieren, da es in der Praxis praktisch unmöglich ist, alle Informationen über alle nach dem Auswahlplan zu erfassenden Elemente der Stichprobe zu erhalten. Es kommt somit zu Ausfällen (engl.: nonresponse). Bei den Auswirkungen von Ausfällen wird zwischen ignorierbaren Ausfällen und nicht-ignorierbaren Ausfällen unterschieden. Um den Unterschied zu verdeutlichen, wird das Beispiel der Schätzung des Anteils von Schülern weiterverfolgt, die die Schule ohne Abschluss verlassen. Um die Zahl der möglichen Stichproben gering zu halten, wird nun davon ausgegangen, dass es in der Population 3 Schulen mit gleicher Anzahl von Schülern gibt, von denen zwei Schulen in einer einfachen Zufallsauswahl ausgewählt werden sollen. Schule 1 ver- lassen 10% der Schüler ohne Abschluss, Schule 2 verlassen 20% ohne Abschluss und Schule 3 30%. In der Population verlassen somit insgesamt 20% der Schüler die Zunächst wird wieder die Situation betrachtet, dass der Stichprobenplan (engl.: sampling frame) vollständig realisiert werden kann. Im Beispiel gibt es dann drei mögliche Stichproben, die mit gleicher Wahrscheinlichkeit realisiert werden.

Lerneinheit 19: Ausfälle und Gewichtungen

  • Upload
    didina

  • View
    20

  • Download
    0

Embed Size (px)

DESCRIPTION

Lerneinheit 19: Ausfälle und Gewichtungen. Ausfälle. - PowerPoint PPT Presentation

Citation preview

Page 1: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-1

Lerneinheit 19: Ausfälle und Gewichtungen

Ausfälle

Der im Erhebungsdesign einer Untersuchung festgelegte Auswahlplan lässt sich in der Regel nicht vollständig realisieren, da es in der Praxis praktisch unmöglich ist, alle Informationen über alle nach dem Auswahlplan zu erfassenden Elemente der Stichprobe zu erhalten. Es kommt somit zu Ausfällen (engl.: nonresponse).Bei den Auswirkungen von Ausfällen wird zwischen ignorierbaren Ausfällen und nicht-ignorierbaren Ausfällen unterschieden.

Um den Unterschied zu verdeutlichen, wird das Beispiel der Schätzung des Anteils von Schülern weiterverfolgt, die die Schule ohne Abschluss verlassen. Um die Zahl der möglichen Stichproben gering zu halten, wird nun davon ausgegangen, dass es in der Population 3 Schulen mit gleicher Anzahl von Schülern gibt, von denen zwei Schulen in einer einfachen Zufallsauswahl ausgewählt werden sollen. Schule 1 ver-lassen 10% der Schüler ohne Abschluss, Schule 2 verlassen 20% ohne Abschluss und Schule 3 30%. In der Population verlassen somit insgesamt 20% der Schüler die Schule ohne Abschluss. Dies ist der Wert, der aus den Stichprobendaten geschätzt werden soll.

Zunächst wird wieder die Situation betrachtet, dass der Stichprobenplan (engl.: sampling frame) vollständig realisiert werden kann.

Im Beispiel gibt es dann drei mögliche Stichproben, die mit gleicher Wahrscheinlichkeit realisiert werden.

Page 2: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-2

Nr. Schulen % ohne Abschluss Mittelwert Wahrsch. Mittelw.Wahrsch. quad. FehlerWahrsch. 1 1,2 10% , 20% 15% 1/3 15/3

25/3 2 1,3 10% , 30% 20% 1/3 20/3

0/3 3 2,3 20% , 30% 25% 1/3 30/3

25/3Durchschnittswert 60/3 = 20%

50/3 = 16.667

Einfache Zufallsauswahl ohne Ausfälle

Die Schätzungen führen zu unverzerrten Schätzern mit einem Standardfehler von 4.082 = (16.667).

Es soll nun davon ausgegangen werden, dass für jeden Fall der Population die Wahrscheinlich-keit 1/3 ist, dass der Fall bei der Stichprobenziehung nicht beobachtet werden kann, also aus-fällt. Bei voneinander unabhängigen Ausfällen ergeben sich dann folgende Beobachtungswahr-scheinlichkeiten in jeder Stichprobe:

Fall AAusfall ja nein

ja 1/9 2/9 1/3B nein 2/9 4/9 2/3

1/3 2/3 3/3

Fall AAusfall ja nein

ja -- 2/8 2/8B nein 2/8 4/8 6/8

2/8 6/8 8/8

Mit einer Wahrscheinlichkeit von 1/9 fallen beide Fälle der Stichprobe aus. Tatsächlich beob-achtbar sind aber nur Stichproben unter der Bedingung, dass mindestens 1 Fall realisiert wird. Unter dieser Bedingung ergeben sich die in der rechten Tabelle aufgeführten bedingten Wahr-scheinlichkeiten, dass maximal einer der beiden Stichprobenfälle (Schulen) ausfällt.

Page 3: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-3

RealisierungswahrscheinlichkeitenNr. Schulen Mittelwert Stichpr.-Plan. kein Ausfall Mittelw.Wahrsch. quad. FehlerWahrsch.1a 1,2 15% 1/3 4/8 154/24

254/241b 1 10% 1/3 2/8 102/24

1002/241c 2 20% 1/3 2/8 202/24

02/242a 1,3 20% 1/3 4/8 204/24

04/242b 1 10% 1/3 2/8 102/24

1002/242c 3 30% 1/3 2/8 302/24

1002/243a 2,3 25% 1/3 4/8 254/24

254/243b 2 20% 1/3 2/8 202/24

02/243c 3 30% 1/3 2/8 302/24

1002/24Durchschnittswert 18/18 480/24 = 20%

1000/24 = 41.667

Einfache Zufallsauswahl mit ignorierbaren Ausfällen

Wenn wie im Beispiel die Wahrscheinlichkeit eines Ausfalls unabhängig von den Werten der interessierenden Größen ist, bleiben die Schätzungen unverzerrt. Die einzige Konsequenz ist ein größerer Standardfehler, im Beispiel 6.455 = (41.667) statt 4.082. Der Standardfehler ist größer, weil durch den Ausfall der Stichprobenumfang (im Durchschnitt) kleiner wird.

Diese Situation wird als vollkommen zufälliger Ausfall bezeichnet. In der Literatur wird i.a. die englische Bezeichnung „missing completely at random“ (MCAR) benutzt, die von dem Statistiker Rubin vorgeschlagen wurde. Ausfälle in der Situation MCAR sind ignorierbar, weil trotz Ausfall unverzerrte Schätzungen resultieren.

Page 4: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-4

Einfache Zufallsauswahl mit nicht ignorierbaren Ausfällen

Anders sieht es aus, wenn es einen Zusammenhang der Ausfallwahrscheinlichkeit mit den in-teressierenden Variablen der Untersuchung gibt. Dies führt grundsätzlich zu nicht ignorierbaren Ausfällen.

Um dies zu demonstrieren, wird für Schule 1 eine Ausfallwahrscheinlichkeit von 1/6, für Schule 2 von 2/6 und für Schule 3 von 3/6 angenommen. Je höher der Anteilder Schüler ohne Abschluss ist, desto höher ist also die Ausfallwahrscheinlichkeit.

Durch die unterschiedlichen Ausfallwahrscheinlichkeiten muss für jede der drei möglichen Stichproben bei einer einfachen Zufallsauswahl eine eigene Tabelle mit unbedingten bzw. be-dingten Realisierungswahrscheinlichkeiten berechnet werden:

Schule 2 3 Schule 3 1 Ausfall kein Ausfall Ausfall kein Ausfall 2 Ausfall kein Ausfall

Ausfall 2/36 4/36 1/6 3/36 3/36 1/6 6/36 6/36 2/6kein Ausfall 10/36 20/36 5/6 15/36 15/36 5/6 12/36 12/36 4/6

2/6 4/6 6/6 3/6 3/6 6/6 3/6 3/6 6/6

Schule 2 3 Schule3

1 Ausfall kein Ausfall Ausfall kein Ausfall 2 Ausfallkein Ausfall Ausfall -- 4/34 2/17 -- 3/33 3/33 -- 6/30 1/5

kein Ausfall 10/34 20/34 15/17 15/33 15/33 30/33 12/30 12/30 4/5

5/17 12/17 17/17 15/33 18/33 33/33 2/5 3/5 5/5

Page 5: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-5

RealisierungswahrscheinlichkeitenNr. Schulen Mittelwert Stichpr.-Plan. kein Ausfall Mittelw.Wahrsch. quad. FehlerWahrsch.1a 1,2 15% 1/3 10/17 1510/51 = 2.941 2510/51 = 4.9021b 1 10% 1/3 5/17 10 5/51 = 0.980100 5/51 = 9.8041c 2 20% 1/3 2/17 20 2/51 = 0.784 0 2/51 = 02a 1,3 20% 1/3 15/33 2015/99 = 3.030 015/99 = 02b 1 10% 1/3 15/33 1015/99 = 1.51510015/99 = 15.1522c 3 30% 1/3 3/33 30 3/99 = 0.909100 3/99 = 3.0303a 2,3 25% 1/3 2/5 25 2/15 = 3.333 25 2/15 = 3.3333b 2 20% 1/3 2/5 20 2/15 = 2.667 0 2/15 = 03c 3 30% 1/3 1/5 30 1/15 = 2.000

100 1/15 = 6.667Durchschnittswert 18.160 42.888

Einfache Zufallsauswahl mit nicht ignorierbaren Ausfällen

Dadurch, dass die Ausfallwahrscheinlichkeiten nicht unabhängig von den Ausprägungen der interessierenden Variablen sind, sind die Schätzungen des Populationsmittelwerts verzerrt und der Ausfall daher nichtignorierbar.

Innerhalb der nichtignorierbaren Ausfallsituationen gibt es wiederum zwei Möglichkeiten, die Rubin als „missing at random“ (MAR) bzw. „observed at random“ später als „missing not at random“ (MNAR) bezeichnet hat.Zur Charakterisierung dieser beiden Situationen muss zunächst zwischen dem vollständigen und dem teilweisen Ausfall einer Untersuchungseinheit unterschieden werden.

Page 6: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-6

Unit-Nonresponse und Item-Nonresponse

• Der vollständige Ausfall einer Untersuchungseinheit wird als Unit-Nonresponse bezeich-net,

• der teilweise Ausfall bei einem oder mehreren Merkmalen als Item-Nonresponse. Bei Item-Nonresponse liegen also zumindest einige Informationen über einen Fall vor, bei dem allerdings andere interessierende Eigenschaften fehlen.Eine MAR-Situation liegt vor, wenn die Ausfallwahrscheinlichkeit bei einer Variablen nur von vorliegenden Informationen abhängt.

Als Beispiel soll von einer zweiwelligen Panelstudie ausgegangen werden, bei derjeweils eine dichotome Variable, z.B. positive bzw. negative Beurteilung der System-zufriedenheit, interessiert.

Zur Verdeutlichung wird zunächst wieder von vollständigen Daten ohne Ausfall ausgegangen.

Welle 1Systemzu-friedenheit ja nein

Wel- ja 75 25 100le 2 nein 25 25 50

100 50 150

Zu beiden Messzeitpunkten sind 2/3 mit dem politi-schen System zufrieden, während 1/3 jeweils unzufrie-den ist.Allerdings wechseln - etwa als Folge von mangelnder Reliabilität - zwischen den beiden Panelwellen jeweils 1/6 der Befragten ihre Beurteilung von zufrieden nach

unzufrieden oder umgekehrt. Es wird nun angenommen, dass die in der ersten Welle systemzufriedenen Personen eine Ausfallwahrscheinlichkeit von 20% haben und die unzufriedenen Personen eine von 40%.

Page 7: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-7

Missing at Random

Der Ausfall von 40% der in Welle 1 unzufriedenen Personen reduziert die Anzahl der in Welle 1 unzufriedenen und in Welle 2 zufriedenen Personen und der in bei-den Wellen unzufriedenen Personen jeweils von 25 auf 15 (= 0.625).

Der Ausfall ist nicht ignorierbar, da im Unterschied zu den vollständigen Daten nun zwischen Welle 1 und 2 eine Reduktion des Anteils der Zufriedenen von 72.7% (= 80/110) auf 68.2% (= 75/110) zu beobachten ist.

Welle 1Systemzu-friedenheit ja nein

Wel- ja 60 15 75le 2 nein 20 15 35

80 30 110nur in Welle 1 beobachtet 20 20 40

Durch den Ausfall reduziert sich die Zahl der Fäl-le bei den systemzufriedenen Personen von 100 auf 80. Die Zahl der in beiden Wellen zufriedenen Personen reduziert sich von 75 auf 60 (= 0.875) und die der in Welle 1 zufriedenen und in Welle 2 unzufriedenen auf 20 (= 0.825).

Diese Verzerrung kann jedoch relativ leicht kontrolliert werden, da die Ausfallwahrscheinlich-keit ausschließlich von vorhandenen Informationen abhängt.

Da aus den vorliegenden Daten ersichtlich ist, dass jeweils 20 von ursprünglich 100 bzw. 50 in Welle 1 systemzufriedenen bzw. unzufriedenen Personen ausfallen,kann aus diesen Werten für die Zufriedenen eine Ausfallquote von 20% (= 20/100) und für die Unzufriedenen von 40% (= 20/50) berechnet werden.

Page 8: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-8

Missing at Random

Werden nun die Werte in den Tabellenzellen mit dem Kehrwert der berechneten Wahrscheinlichkeit nicht auszufallen multipliziert bzw. durch diese Wahrschein-lichkeit dividiert, lassen sich die vollständigen Daten ohne Ausfall wiederherstellen.

Welle 1Systemzu-friedenheit ja nein

Wel- ja 60 15 75le 2 nein 20 15 35

80 30 110nur in Welle 1 beobachtet 20 20 40

Ausfallquote 0.2 0.4

Obwohl also MAR-Ausfälle zunächst nicht ignorierbar sind, ist es doch möglich, durch Nut-zung empirisch beobachtbarer Information zu unverzerrten Schätzungen zu kommen.

Welle 1Systemzu-friedenheit ja nein

Wel- ja 60/0.8 = 75 15/0.6 = 25 100le 2 nein 20/0.8 = 25 15/0.6 = 25 50

80/0.8 = 100 30/0.6 = 50 150

Anders ist es, wenn die Ausfallwahrscheinlichkeiten von nichtbeobachteten (ausgefallenen) Werten abhängen.

Als Beispiel hierfür wird angenommen, dass die in der zweiten Welle systemzufriede-nen Personen eine Ausfallwahrscheinlichkeit von 20% haben und die unzufriedenen Personen eine von 40%. Die Ausfallwahrscheinlichkeiten hängen nun also geradevon der Variablen ab, bei der Ausfälle auftreten.

Page 9: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-9

Not missing at Random

Welle 1Systemzu-friedenheit ja nein

Wel- ja 60 20 80le 2 nein 15 15 30

75 35 110nur in Welle 1 beobachtet 25 15 40

Ausfallquote .25 .30

Ausfällen, die weder MCAR noch MAR sind, sind nicht ignorierbar und es ist zudem nicht möglich, durch ausschließliche Nutzung vorliegender Information zu unverzerrten Schätzun-gen zu kommen.Unverzerrte Schätzungen sind hier nur möglich, wenn der Ausfallprozess bei der Schätzung korrekt berücksichtigt wird. Es bedarf daher zusätzlicher (externer) Informationen.

Angenommen, es ist (durch andere Daten) bekannt, dass in der zweiten Welle, dasVerhältnis von Zufriedenen zu Nichtzufriedenen 2 zu 1 beträgt.

Welle 1Systemzu-friedenheit ja nein

Wel- ja 60/.75 = 80 20/0.7 = 28.6 108.6le 2 nein 15/.75 = 20 15/0.7 = 21.4 41.4

75/.75 = 100 35/0.7 = 50.0 150.0

Werden wieder wie im MAR-Beispiel aus den vorhandenen Informationen über dieAusfälle nach der 1. Welle Ausfallquoten berechnet und diese benutzt, um zu versu-chen, die vollständigen Daten herzustellen, zeigt sich, dass dies nicht möglich ist:Die Zahl der Zufriedenen in Welle 2 wird über-, die der Unzufriedenen unterschätzt.

Page 10: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-10

Not missing at Random

Aus dem Produkt des Kehrwerts aus der beobachteten Verteilung in Welle mal derbekannten tatsächlichen Verteilung für Welle 2 lassen sich Korrekturfaktoren be-rechen, deren Anwendung zu einer unverzerrten Schätzung der relativen Häufig-keiten führt: Für die rekonstruierten Daten gilt wie für die vollständigen Daten,dass sich das Verhältnis der systemzufriedenen zu den systemunzufrieden Personennicht ändert und die Zahl der Wechsler von zufrieden zu unzufrieden bzw. umge-kehrt jeweils gleich ist und 1/6 (=18.333/110) der Fallzahl beträgt.

Welle 1 bekannte führtSystemzu- Verteilung zufriedenheit ja nein für Welle 2 Korrekturfaktor

Wel- ja 60 20 80 2/3 11/82/3 = 11/12le 2 nein 15 15 30 1/3 11/31/3 = 11/9

75 35 110

Welle 1

Systemzu-friedenheit ja nein

Wel- ja 6011/12 = 55 2011/12 = 18.333 73.333le 2 nein 1511/9 = 18.333 1511/9 = 18.333 36.667

73.333 36.667 110.000

Page 11: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-11

Not missing at Random

Welle 1 bekannte führtSystemzu- Verteilung zufriedenheit ja nein für Welle 2 Korrekturfaktor

Wel- ja 60 20 80 2/3 11/82/3 = 11/12le 2 nein 15 15 30 1/3 11/31/3 = 11/9

75 35 110

Auch bei missing not at random ist es also im Prinzip möglich, unverzerrte Schätzungen zu erhalten. Voraussetzung ist allerdings, dass externe Daten vorliegen, die es erlauben, den Aus-fallprozess bei der Schätzung der eigentlich interesssierenden Größen korrekt zu modellieren.

Im Beispiel wird so die Information genutzt, dass die nur teilweise beobachtetenWerte der zweiten Welle den Ausfallprozess steuern und dass die korrekte Verteilungin Welle 2 bekannt ist.

Wird der Ausfallprozess nicht korrekt modelliert, kann es sein, dass die ausfallkorrigierten Schätzungen noch stärker verzerrt sind als vor der Ausfallkorrektur.

Welle 1Systemzu-friedenheit ja nein

Wel- ja 6011/12 = 55 2011/12 = 18.333 73.333le 2 nein 1511/9 = 18.333 1511/9 = 18.333 36.667

73.333 36.667 110.000

Page 12: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-12

Ausfallgründe in Befragungen

Zur Beurteilung der Qualität einer Stichprobe ist es sinnvoll, möglichst detaillierte Informati-onen über die Ausfallgründe von Unit-Nonresponse zu erhalten. Bei Befragungen werden daher Ausfallgründe regelmäßig mit erhoben. Dabei wird meist zwischen stichprobenneutralen und systematischen Ausfällen unterschieden, wobei für stichprobenneutrale Ausfälle unterstellt wird, dass sie irrelevant sind, d.h. missing completely at random (MCAR).

Als unproblematische, stichprobenneutrale Ausfallgründe gelten etwa bei Telefonumfragen:• kein Anschluss unter gewählter Nummer,• technische Probleme (Störungen): hier wird unterstellt, dass technische Defekte nicht mit

inhaltlichen Variablen einer Umfrage korreliert sind,• kein Privathaushalt (bei Befragung von Personen in Privathaushalten),• keine Zielperson im Privathaushalt (z.B. Ausländer bei Wahlumfragen),• statt Telefonanschluss Nummer für Fax oder Modem: wenn allerdings in einem Privathaus-

halt eine Nummer auch als Fax oder Modem genutzt wird, kann eine fälschliche Zuordnung als Fax oder Modem erfolgen.

Page 13: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-13

Ausfallgründe in Befragungen

Von kommerziellen Erhebungsinstituten werden oft auch die folgenden Gründe als stichpro-benneutral bezeichnet:• kein Kontakt nach maximaler Anzahl von Kontaktversuchen,• Zielperson krank,• Zielperson über Erhebungszeitraum abwesend (z.B. verreist),• Zielperson trotz mehrerer Versuche nicht erreichbar.Problematisch ist diese Einteilung, weil Krankheit und Nichterreichbarkeit nicht gleichmäßig über die Bevölkerung verteilt sind und es daher nicht sicher ist, dass die Ausfälle bezogen auf die erhobenen Variablen tatsächlich MCAR sind.

Systematische Ausfallgründe sind:• Hörer aufgelegt• keine Auskunft über mögliche Zielperson erhalten• Zielperson verweigert unter Hinweis auf fehlendes Interesse• Zielperson verweigert unter Hinweis auf keine Zeit• Zielperson verweigert unter Hinweis keine Auskunft am Telefon• Zielperson verweigert aus anderen Gründen

Page 14: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-14

Ausfallgründe in Befragungen

Die Ausschöpfungsquote berechnet sich aus dem Verhältnis der Anzahl der realisierten Fälle in der Stichprobe (Nettostichprobenumfang) zur Anzahl der nach dem Stichprobenplan auszu-wählenden Elemente der Population (Bruttostichprobenumfang). Da in der Regel stichprobenneutrale Ausfälle von der Bruttostichprobe abgezogen werden und hier Spielraum besteht, ist die Ausschöpfungsquote nicht das Qualitätsmerkmal einer Erhe-bung, für das es oft gehalten wird. So ist durchaus eine gewisse Skepsis angebracht, wenn in Querschnittserhebungen der Wohnbevölkerung Ausschöpfungsquoten von 70 oder mehr Prozent berichtet werden. Realistischer dürften z.Z. Ausschöpfungsquoten zwischen 30 und 60 Prozent sein.

Da Ausfälle die Realisierung des Stichprobenplans verhindern, können Ausfälle die Vorzüge von Zufallsauswahlen (statistische Repräsentativität) zunichte machen. So hat sich bei einigen Wahlumfragen gezeigt, dass etwa Quotenauswahlen innerhalb zufällig ausgewählter Gebiete nicht stets zu schlechteren Ergebnissen führen als (scheinbar) zufällige Random-Walks.

Page 15: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-15

Gewichtungen

Bei der Analyse von Daten wird jeder Fall standardmäßig so berücksichtigt, wie er beobachtet ist. Die Daten sind dann ungewichtet oder gleichgewichtet.Von gewichteten Daten spricht man, wenn den Fällen der Stichprobe unterschiedliche Ge-wichte zugeordnet werden und diese Gewichte in die Datenanalyse einfließen.

So wurde in den Beispielen zum nicht ignorierbaren Ausfall die Werte in den Ta-bellenzellen mit unterschiedlichen Werten multipliziert. Das gleiche Ergebnis stelltsich ein, wenn bei der Situation „missing not at random“ jeder Fall, der in der zweiten Welle bei der Systemzufriedenheit die Ausprägung „zufrieden“ ausweist, das Gewicht 11/12 erhält, und jeder Fall mit der Ausprägung „unzufrieden“ das Gewicht 11/9 und dann die Berechnung mit gewichteten Daten durchgeführt wird.

Das Beispiel zeigt, dass gewichtete Daten zu „besseren“ Schätzungen führen können als unge-wichtete Daten.In der Praxis der Sozialforschung werden zwei Arten von Gewichten eingesetzt:• Designgewichte sind für unverzerrte Schätzungen notwendig, wenn der Stichprobenplan

einer empirischen Erhebung die Zahl der Stichprobenfälle in den Schichten oder Klumpennicht proportional zu den entsprechenden Populationszahlen vorsieht.

So werden in Deutschland in Bevölkerungsumfragen in der Regel sehr viel mehrBefragte aus den neuen Bundesländern befragt, als es dem Bevölkerungsanteil ent-spricht. Dies ermöglicht genauere Ost-West-Vergleiche, verzerrt aber Schätzungenfür Gesamtdeutschland.

Page 16: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-16

Gewichtungen

Als Ausgleich werden daher Designgewichte verwendet, die Befragten aus den neuen Ländern ein geringeres und Befragten aus den alten Ländern ein höheres Gewicht geben.Da in Umfragen i.a. nur eine Person pro Haushalt befragt wird, haben Befragte aus Mehrpersonenhaushalten notwendigerweise eine geringere Chance, in die Stichprobe zu gelangen als Befragte aus Einpersonenhaushalten. Designgewichte, die die Anzahl der Zielpersonen im Haushalt berücksichtigen, gleichen dies aus.

Designgewichte sind so konstruiert, dass sie proportional zum Kehrwert der Auswahlwahr-scheinlichkeit eines Falles in der Stichprobe sind. Um nicht den Stichprobenumfang zu ver-ändern wird zudem sichergestellt, dass die Summe der Gewichte gleich der Stichprobenfall-

zahl ist.

• Gewichte werden darüber hinaus verwendet, um Ausfälle zu korrigieren. Diese Art von Ge-wichtung wird als Redressment bezeichnet. Statistisch gesehen handelt es sich um eine Post-stratifizierung, (engl.: Post-Stratification), die Abweichungen zwischen Stichproben- und Populationsverteilungen bei den Gewichtungsvariablen verhindert.

Das Beispiel zur Korrektur der Verzerrung bei Ausfällen missing not at random kann auch als Beispiel für ein Redressment interpretiert werden, als die Abwei-chung der empirischen Verteilung der Systemzufriedenheit von der Verteilung inder Population zum zweiten Messzeitpunkt korrigiert wird.

Die Gewichte sind proportional zum Kehrwert der relativen Stichprobenhäufigkeiten mal den relativen Populationshäufigkeiten.

Page 17: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-17

Gewichtungen

Kommerzielle Umfrageinstitute benutzen Redressment, um sogenannte Repräsen-tativgewichte zu erzeugen. In die Berechnung der Gewichte fließen oft Region undHaushaltsgröße sowie Alter, Geschlecht und Schulbildung als Gewichtungsvaria-blen ein.

Repräsentativgewichte sind also meist Kombinationen aus Designgewichtung und Post-stratifizierung.

Gewichte können Schätzungen verbessern. Dies ist allerdings an Voraussetzungen gebunden: • So sind Designgewichte zwar theoretisch notwendig, um bei disproportionalen Stichproben

unverzerrte Schätzungen zu erhalten. Vorausgesetzt wird dabei allerdings, dass der Stichpro-benplan auch realisiert wird, also nur Ausfälle vorkommen, die MCAR sind.

In Umfragen zeigt sich meist, dass Einpersonenhaushalte schlechter erreichbarsind als Mehrpersonenhaushalte. Designgewichte, die ungleiche Haushaltsgrößen

ausgleichen sollen, können daher bewirken, dass Einpersonenhaushalte stärker unterrepräsentiert werden als in den ungewichteten Daten. Die Gewichte verschlech-tern dann die Schätzungen.

In der Praxis werden daher Designgewichte oft mit Poststratifizierung kombiniert.

• Gewichte zum Ausgleich von Ausfällen sind nur dann optimal, wenn sie den Ausfallprozesskorrekt wiedergeben.

Wenn also z.B. eine Altersgruppe in einer Stichprobe nicht so oft vorkommt wie inder Population und dies durch Gewichtung ausgeglichen wird, wird unterstellt, dass

Page 18: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-18

Gewichtungen

die Befragten, die nach dem Stichprobenplan in der Altersgruppe befragt werdensollten, aber nicht erreicht wurden, die gleiche Verteilung der Beobachtungswerteaufweisen wie die in dieser Altersgruppe tatsächlich Befragten.

• Redressment über mehrere Variablen setzt Kenntnis über die gemeinsame Verteilung aller Gewichtungsvariablen in der Population voraus. Tatsächlich sind aber oft nur die getrenntenunivariaten Verteilungen der Gewichtungsvariablen bekannt. Mit spezifischen Rechenalgo-rithmen werden die Gewichte dann so bestimmt, dass alle univariaten Verteilungen der Ge-wichtungsvariablen reproduziert werden. Dies gilt aber nicht notwendigerweise für die ge-meinsame (multivariate) Verteilung der Gewichtungsvariablen. Die Gewichte führen daher nicht notwendigerweise zu korrekter multivariaten Poststratifizierung.

• Redressmentgewichte beziehen sich auf den Ausgleich von Unit-Nonresponse. Darüber hin-aus gibt es jedoch meist auch Item-Nonresponse, der durch Repräsentativgewichte nicht be-rücksichtigt wird. Es ist nicht auszuschließen, dass Repräsentativitätsgewichte unvorteilhaft mit Variablen korrelieren, die den Item-Nonresponse beeinflussen, und daher die Schätzun-gen nicht verbessern, sondern verschlechtern.

Statistisch gesehen bedeutet dies, dass die Ausfälle bezogen auf die Gewichtungsvariablen zwar nicht „completely missing at random“ aber doch „missing at random“ (MAR) sind.Wenn andere Variablen als die Gewichtungsvariable den Ausfallprozess beeinflussen, dannführt die Gewichtung zu um so besseren Schätzungen, je höher die Gewichtungsvariablenmit den Variablen korrelieren, die den Ausfallprozess beeinflussen.

Page 19: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-19

Gewichtungen

• Bei der Datenanalyse gewichteter Daten müsste berücksichtigt werden, dass sich durch dieGewichtung die Standardfehlern ändern.Tatsächlich wird dies in den meisten Analysen genauso wenig berücksichtigt wie ein kom-plexes geschichtetes mehrstufiges Stichprobendesign. Stattdessen wird bei vielen Datenana-lysen von einer einfachen Zufallsauswahl ohne Ausfall ausgegangen, auch wenn diese Situ-ation tatsächlich nicht vorliegt.

Es gibt Alternativen zu Gewichtungen: • Wenn der Zusammenhang einer abhängigen Variable mit erklärenden Variablen interessiert,

ergeben gewichtete Datenanalysen die gleichen Ergebnisse wie ungewichtete Analysen, wenn alle Gewichtungsvariablen als zusätzliche erklärende Variablen in die Analyse einge-hen. Die Berechnung der Gewichte ist dann nicht notwendig.

• In der Statistik werden zunehmend neue Verfahren entwickelt und in der Sozialforschungeingesetzt, die auf der Basis der verfügbaren Informationen die zusätzlichen Fehlermöglich-keiten durch Ausfälle abschätzen und zu korrigieren versuchen.

Page 20: Lerneinheit 19: Ausfälle und Gewichtungen

Empirie: Quantitative Methoden L19-20

Literaturhinweise:

• Schnell u.a., 6. • Diekmann, B. IX.