Dipl.-Psych. Christiane Fiege (christiane.fiege@uni-jena.de ... · Quasi-Experimente vs....

”Does design trump analysis?“Forschungsdesigns und Versuchsplane

Dipl.-Psych. Christiane Fiege(christiane.fiege@uni-jena.de)

07.02.2008

Forschungsdesigns & Versuchsplane (Christiane Fiege) 1

Agenda1 Motivation: Warum dieses Thema?

Die wissenschaftliche Methode (Forschungsprozess)Bewertungskriterien fur Designs: Validitatsarten

2 Beispiel: Evaluation in der Bildungsforschung

3 ForschungsdesignsUbersichtVerschiedene ForschungsdesginsKontrolltechniken (allgemeine Prinzipien)

4 Zusammenfassung

5 Literatur

Forschungsdesigns & Versuchsplane (Christiane Fiege) 2

MotivationDie wichtigste Aufgabe der Wissenschaft ist es...

originelle und fruchtbare Gedanken zu entwerfen und Theorien zuentwickeln, die sich nachzuprufen lohnen.

Versuchsplanung ist das Zweitwichtigste in einer empirischenWissenschaft!

Versuchsplanung befaßt sich im Wesentlichen mit der Frage:Wie mussen Versuche geplant sein, damit das Ergebnis desVersuchs aussagekraftig und interpretierbar ist?

Forschungsdesigns & Versuchsplane (Christiane Fiege) 3

MotivationKausale Analysen sind ...

... besonders wichtig

... besonders schwierig

Kausale Aussagen durfen nur gemacht werden, wennAlternativerklarungen ausgeschlossen werden konnen!

á Kontrolle von Storvariablen im Rahmenvon Untersuchungsplanung

Forschungsdesigns & Versuchsplane (Christiane Fiege) 4

Der ForschungsprozessVersuchsplanung ist Teil des empirischen Forschungsprozesses ...

1 Theorie

2 Forschungshypothese

3 Prazisierung der Hypothese

4 Design der Studie

5 Datenanalyse

6 Interpretation der Daten

7 Implikationen fur die Theorie

Forschungsdesigns & Versuchsplane (Christiane Fiege) 5

MotivationVersuchsplanung als Bindeglied zw. Theorie und statistischerAuswertung.

Liegt dem Forschungsvorgehen keine vernunftige Idee zugrunde,dann kann der beste Versuch nichts bewirken.

Forschungsdesigns & Versuchsplane (Christiane Fiege) 6

Beispiel: Der Barfußphilosoph

Symmer (1758) nach Schneider:

”Ich hatte wahrend einiger Zeit beobachtet, dass meine Strumpfe beimAusziehen am Abend haufig ein knisterndes Gerausch von sich gaben.[...] Durch die Einfachheit des Untersuchungsgegenstandes und die großeLeichtigkeit Experimente zu machen stand es in meiner Macht, meineUntersuchung zu jeder beliebigen Zeit zu machen. [...] Nachdem ich es alsunangenehm empfunden hatte, die Strumpfe zu elektrisieren, indem ichsie so oft an- und auszog, wie es fur die Experimente erforderlich war,habe ich diese Methode vollig aufgegeben; ich gebe mich jetzt zufriedenmit der Elektrizitat, die entsteht, wenn ich die Strumpfe uber die Handziehe [...] denn wie jeder andere elektrische Apparat mussen auch siesauber gehalten werden.“

Forschungsdesigns & Versuchsplane (Christiane Fiege) 7

Beispiel: Der BarfußphilosophErgebnisse ,

1 Der Effekt (die Socken blahen sich auf, ziehen sich gegenseitig an)und seine Starke sind unabhangig von der Tageszeit desSockenausziehens.

2 Woll- und Seidensocken bringen die besten Effekte, Baumwolle gehtnicht so gut.

3 Der Effekt ist von der Sockenfarbe unabhangig.4 Der Effekt ist unabhangig davon, welcher Socken außen ist.

Forschungsdesigns & Versuchsplane (Christiane Fiege) 8

MotivationVersuchsplanung als Bindeglied zw. Theorie und statistischerAuswertung.

Liegt dem Forschungsvorgehen keine vernunftige Idee zugrunde,dann kann der beste Versuch nichts bewirken.

Ist ein Versuch schlecht geplant worden, dann hilft die beste Statistiknichts mehr.

Forschungsdesigns & Versuchsplane (Christiane Fiege) 9

Motivation

You can’t fix by analysiswhat you bungled by design.— Light, Singer and Willett (1990)

Forschungsdesigns & Versuchsplane (Christiane Fiege) 10

Validitatsarten in der VersuchsplanungCampbell & Stanley (1963); Cook & Campbell (1979); Shadish, Cook & Campbell (2002)

Interne Validitat

Statistische Validitat (Conclusion Validity)

Externe Validitat (Generalisierbarkeit)

Konstruktvaliditat

Forschungsdesigns & Versuchsplane (Christiane Fiege) 11

Validitatsarten in der VersuchsplanungCampbell & Stanley (1963); Cook & Campbell (1979); Shadish, Cook & Campbell (2002)

Interne Validitat:Laßt sich in der vorliegenden Studie die Variation in der AV auf die Variation der UVzuruckfuhren? Ist nur die UV und nicht sonstige Storfaktoren fur die Variation der AVverantwortlich?

Statistische Validitat (Conclusion Validity):Ist die Untersuchung so aufgebaut, dass in der vorliegenden Studie entsprechendder Hypothese ein statistisch nachweisbarer Zusammenhang zwischen UV & AVermittelt werden kann? (z.B.: Besteht eine relativ gute Chance, einen tatsachlichenUnterschied als sign. Unterschied zwischen EG & KG nachweisen zu konnen?)

Externe Validitat (Generalisierbarkeit):Wie weit laßt sich das Ergebnis der durchgefuhrten Studie generalisieren aufPersonen, Situationen & Zeiten?

Konstruktvaliditat:Reprasentieren die konkreten Realisationen von UV & AV tatsachlich die theoretischzugrundeliegenden Variablen? Sind UV & AV in der Untersuchung zuverlassig &valide operationalisiert worden?

Forschungsdesigns & Versuchsplane (Christiane Fiege) 12

Validitatsarten in der VersuchsplanungWas stort die interne Validitat?

externe zeitliche Einflusse (history)

Reifungsprozesse (maturation)

Testubung (testing)

mangelnde instrumentelle Reliabilitat (instrumentation)

statistische Regressionseffekte (statistical regression)

Selektionseffekte (selection)

experimentelle Mortalitat (experimental mortality)

Interaktionen zw. diesen Faktoren (bspw. Selektion & Reifung etc.)

weitere Faktoren im Between-Group-Design (nach Cook & Campbell,1979): emporte Demoralisierung, kompensatorischer Wettstreit,kompensatorischer Ausgleich

Forschungsdesigns & Versuchsplane (Christiane Fiege) 13

Validitatsarten in der VersuchsplanungWas stort die statistische Validitat?

Statistische Validitat als spezieller Aspekt der internen Validitat.

zu kleine Stichproben

unreliable Messinstrumente

Fehler bei der Anwendung statistischer Verfahren

Die statistische Validitat gehort zur Inferenzstatistik!

Forschungsdesigns & Versuchsplane (Christiane Fiege) 14

Validitatsarten in der VersuchsplanungWas stort die externe Validitat?

mangelnde instrumentelle Validitat

Stichprobenfehler

experimentelle Reaktivitat

Pretest-Effekte

Hawthorne-Effekt

Die externe Validitat beinhaltet neben Stichprobentheorie auch vieletheoretische Bezuge.

Forschungsdesigns & Versuchsplane (Christiane Fiege) 15

Externe ValiditatBeispiel: Der Barfußphilosoph

Forschungsdesigns & Versuchsplane (Christiane Fiege) 16

Validitatsarten in der VersuchsplanungWas stort die Konstruktvaliditat?

Konstruktvaliditat als spezieller Aspekt der externen Validitat.

unzureichende Explikation der verwendeten Konstrukte

ungenaue Operationalisierung der aus den Konstrukten abgeleitetenVariablen

Die Konstruktvaliditat ist ohne inhaltliche Theorie nicht umzusetzen!

Forschungsdesigns & Versuchsplane (Christiane Fiege) 17

VersuchsplanformalisierungDie wichtigsten Bestandteile der Versuchsplanformalisierung sind:

die am Versuch beteiligten Gruppen

die Art der Zuordnung der Versuchspersonen zu den Gruppen

die experimentellen Bedingungen (die Stufen der UV) sowie dieMessung der AV

der Untersuchungsabfolge: die Realisierungszeitpunkte der UV sowiedie Erhebungszeitpunkte der abhangigen Variablen

Versuchsplanformalisierung

O = Messung der AVX = Treatment (nichts ist Kontrollgruppe)R = randomisierte Zuweisung der Vpn zu den Gruppen

Forschungsdesigns & Versuchsplane (Christiane Fiege) 18

Ein Beispiel im Kontext der BildungsforschungDie Lehrer in Thuringen sind frustriert: Uberall zeigt sich das gleiche Bild vonunmotivierten, lethargischen Schulern!

Ein neues Programm zur Motivationsforderung von Schulern der 5. Klasse sollthuringenweit in den Schulen implementiert werden. Da dieses jedoch recht zeit-und kostenintensiv ist, bittet uns das TKM zuvor um eine Evaluation, um weitereMotivationsverluste seitens Lehrer- & Schulerschaft zu verhindern. Insgesamt 10Schulen stehen fur die Pilotierung zur Verfugung...á Mogliche Versuchsplane ???

Forschungsdesigns & Versuchsplane (Christiane Fiege) 19

Versuchsplanung: UbersichtForschungsdesign = Konkrete Gestaltung der Datenerhebungentsprechend den Anforderungen der zu prufenden Hypothesen

Festzulegen sind hierbei:

Ebene der Untersuchung: Individual-/Aggregatebene

Zeitdimension der Untersuchung: Querschnitts- vs.Langsschnittdesign

Strukturierung der Untersuchung: Experimente vs.Quasi-Experimente vs. Beobachtungsstudie

Ort der Untersuchung: Feld- vs. Laboruntersuchung

Methode der Datenerhebung: Ein-/Mehrmethodendesign

Anzahl der betrachteten Faktoren bzw. Faktorstufen und derenKombination

Forschungsdesigns & Versuchsplane (Christiane Fiege) 20

Versuchsplanung: Ubersicht

Forschungsdesigns & Versuchsplane (Christiane Fiege) 21

Verschiedene ForschungsdesignsKategorisierung

1 Vorexperimentelle Versuchsplane

2 Quasi-experimentelle Versuchsplane

3 Experimentelle Versuchplane

Forschungsdesigns & Versuchsplane (Christiane Fiege) 22

Verschiedene ForschungsdesignsVorexperimentelle Versuchsplane

1) Ein-Gruppen-Plan (One-Shot Case Study)

X O

Vorteil: einfache Durchfuhrbarkeit

Nachteil: fehlende Vergleichswerte;geringe interne Validitat (Alternativerklarungen)

Forschungsdesigns & Versuchsplane (Christiane Fiege) 23

Verschiedene ForschungsdesignsVorexperimentelle Versuchsplane

2) Ein-Gruppen Vortest-Nachtest Design

O X O

Nachteil: geringe interne Validitat (Alternativerklarungen);mogliche Effekte des Vortests (instrumentelle Reaktivitat bzw.Testubung)

Forschungsdesigns & Versuchsplane (Christiane Fiege) 24

Verschiedene ForschungsdesignsQuasi-experimentelle Versuchsplane

3) Vortest-Nachtest Design mit nicht-aquivalenter KG

O X O---------------O O

Nachteil: mangelnde Vergleichbarkeit der Gruppen bspw. durchSelektionseffekte (zusatzliche Kontrolltechniken notig, sonst geringeinterne Validitat);mogliche Effekte des Vortests

Forschungsdesigns & Versuchsplane (Christiane Fiege) 25

Verschiedene ForschungsdesignsQuasi-experimentelle Versuchsplane

4) Regression-Discontinuity Design

OA C X O2

OA C O2

Beispiele:

Evaluation spezieller Forderprogramme an Schulen (Mathematik,Lesen, Motivation etc.) [Trochim (1984), Lesik (2006)]

Evaluation von Veranderungen eines Bildungssystems (bspw.Verkurzung der Schulpflicht) [Oreopoulos (2006)]

Forschungsdesigns & Versuchsplane (Christiane Fiege) 26

Verschiedene ForschungsdesignsQuasi-experimentelle Versuchsplane

4) Regression-Discontinuity Design

OA C X O2

OA C O2

Vorteil: einfache Durchfuhrbarkeit; Forschungsethik berucksichtigt;

Nachteil: mogliche Effekte des Vortests

Forschungsdesigns & Versuchsplane (Christiane Fiege) 27

Verschiedene ForschungsdesignsExperimentelle Versuchsplane

5) Vortest-Nachtest Kontrollengruppen-Design

R O X OR O O

Vorteil: hohe interne Validitat

Nachteil: nicht immer realisierbar (Forschungsethik);mogliche Effekte des Vortests

Forschungsdesigns & Versuchsplane (Christiane Fiege) 28

Verschiedene ForschungsdesignsExperimentelle Versuchsplane

6) Solomon-Vier-Gruppen-Plan

R O1 X O2

R O3 O4

R X O5

R O6

Frage: Welche Storvariablen konnenauf welche Weise kontrolliert werden?

Forschungsdesigns & Versuchsplane (Christiane Fiege) 29

Verschiedene ForschungsdesignsExperimentelle Versuchsplane

6) Solomon-Vier-Gruppen-Plan

R O1 X O2

R O3 O4

R X O5

R O6

Bsp.: Evaluation einer Software zum Lernen von Grammatikregeln einer Fremdsprache

Treatment-Effekte: (O2 − O1) = (O4 − O3) = (O5 − O6)

Vortest-Effekte: O4 = O6/ O3 = O4/ O1 = O3/ O1 = O4

Effekte der Zeit: O3 = O6 / O1 = O6

Forschungsdesigns & Versuchsplane (Christiane Fiege) 30

Verschiedene ForschungsdesignsExperimentelle Versuchsplane

6) Solomon-Vier-Gruppen-Plan

R O1 X O2

R O3 O4

R X O5

R O6

Vorteil: hohe interne Validitat;Prufung von Vortest-Effekten, Zeit-Effekten (Reifung etc.) moglich

Nachteil: nicht immer realisierbar (Forschungsethik, Okonomie);α-Fehler

Forschungsdesigns & Versuchsplane (Christiane Fiege) 31

KontrolltechnikenAllgemeine Prinzipien zur Kontrolle von Storvariablen sind ...

Randomisierung , und bedingte Randomisierung

Konstanthalten (standardisierte Untersuchungsbedingungen)

Parallelisieren (Matching)

Ausbalancieren

Registrieren & anschließend berucksichtigen (mehrfaktorielle Planeoder kovarianzanalytische Kontrolle von Storvariablen (bspw.ANCOVA, EffectLite))

Forschungsdesigns & Versuchsplane (Christiane Fiege) 32

Conclusio

Design trumps analysis!

Versuchsplanung bzw. Design als zentraler Aspekt des empirischenForschungsprozesses ...

ist immer abhangig von der konkreten Fragestellung (inhaltlicheTheorie)

und naturlich von der Durchfuhrbarkeit (bspw. Okonomie,Forschungsethik)

legt fest, welche statistische Analysen moglich sind

Forschungsdesigns & Versuchsplane (Christiane Fiege) 33

Design-Empfehlungen fur die BildungsforschungForschungsdesigns, die hinreichend Informationen bereitstellen, umkausale Zusammenhange abzubilden (Crowley & Hauser, 2007):

(Randomisierte) Experimente

Quasi-experimentelle Vortest-Nachtest Design mit nicht-aquivalenterKG

Quasi-experimentelle Regression-Discontinuity Designs

Quasi-experimentelle Kohorten-Designs

Quasi-experimentelle Ein-Gruppen-Messwiederholungs-Designs(Time-Series Designs)

Forschungsdesigns & Versuchsplane (Christiane Fiege) 34

LiteraturCampbell, D.T. & Stanley, J.C.(1963). Experimental an quasi-experimental designsfor research on teaching. In N. L. Gage (Ed.), Handbook of research on teaching.Chicago: Rand McNally.

Cook, T.D. & Campbell, D.T.(1979). Quasi-experimentation. Design & analysis issuesfor field settings. Chicago: Rand McNally.

Crowley J.J. & Hauser, A.G. (2007). Evaluation whole school improvement models:Creating meaningful and reasonable standards of review. Journal of Education forStudents Placed at Risk, 12, 37–58.

Bortz, J. & Doring, N. (2006). Forschungsmethoden und Evaluation fur Human- undSozialwissenschaftler. Berlin: Springer.

Huber, O.(2005). Das psychologische Experiment. Eine Einfuhrung. Bern: Huber.

Jacobs, B. (2000). Einfuhrung in die Versuchsplanung.http://www.phil.uni-sb.de/˜jakobs/seminar/vpl/index.htm

Lesik, S.A. (2006). Applying the Regression-Discontinuity Design to Infer Causalitywith Non-Random Assignment. The Review of Higher Education, 30, 1–19.

Forschungsdesigns & Versuchsplane (Christiane Fiege) 35

LiteraturMaxwell, S.E. & Delaney, H.D.(2004). Designing experiments and analyzing data: Amodel comparison perspective. Mahwah, New Jersey: Lawrence ErlbaumAssociates.

Oreopoulos, P. (2006). Estimating average and local average treatment effects ofeducation when compulsory schooling laws really matter. The American EconomicReview, 96, 152–174.

Schneider, R.U. (2006). Das Buch der verruckten Experimente. Munchen:Goldmann. [http://www.verrueckte-experimente.de/]

Shadish, W.R, Cook, T.D. & Campbell, D.T. (2002). Experimental andQuasi-Experimental Design for Generalized Causal Inference. Boston:Houghton-Mifflin.

Trochim, W. (1984). Research Design for Program Evaluation: TheRegression-Discontinuity Approach. Beverly Hills, CA: Sage Publications.

Trochim, W. (1994). The Regression-Discontinuity Design: An Introduction. ResearchMethods Paper Series, Number 1, Thresholds National Research and TrainingCenter on Rehabilitation and Mental Illness, Chicago, IL.

Forschungsdesigns & Versuchsplane (Christiane Fiege) 36