1

Analyse eines Trainings zum Induktiven Denken

Seminar Kausalität – WS 2006/200726.01.2007

Bianca Mariß, Caroline Rook, Franziska Ehrke

2

Gliederung

Einleitung Vorüberlegungen Modellübersicht Modell 1 mit einer Kovariate Modell 2 mit zwei Kovariaten Chi2-Differenzentest Prüfung von Unkonfundiertheit Schlussfolgerung für kausale Effekte Schlussfolgerungen für inhaltliche Fragestellung

3

Einleitung Klauer-Datensatz

Erfassung eines Trainings zum induktiven Denken

3 Tests CPM = Raven-Matrizen-Test CFT = Culture-Fair-Test/Grundintelligenztest WST= Wortschatztest

Inhaltliche Fragestellung: Bei wem erzielt das Induktive Denktraining die größten

durchschnittlichen kausalen Effekte?

4

Vorüberlegungen

Outcomevariable? Autoren: CPM misst induktives Denken am besten CPM zu t2 = Outcomevariable für unsere Modelle

Relevante Kovariaten? CPM 1 -> eventuell anfängliche

Mittelwertsunterschiede? CFT 1& WST 1?

5

CPM - Bestehen anfängliche Gruppenunterschiede?

*** Simultaneous tests for all treatment groups and all dependent variables ***

==================================Hypothesis Chi-sq DF Prob------------------------------------------------No treatment effect 8.563 1 0.0034==================================

*** Group means of the outcome variable(s) ***

Group Outcome Mean Std.dev. Std.error

0 A1 13.312 2.329 0.224

1 A1 12.368 2.562 0.239

EffectLite

*** Detailed analysis of the effects ***

Results for outcome variable 1: A1

Group 1 - Control group 0

Effect -0.944 Std.error 0.327 Effect/SE -2.884 Effect size -0.405

6

CPM - Bestehen anfängliche Gruppenunterschiede?

es bestehen anfängliche Gruppenunterschiede zwischen Treatment- und Kontrollgruppe bzgl. der Mittelwerte des CPMTreatmentgruppe zeigt vor dem Training niedrigere Messwerte im induktiven Denken als die Kontrollgruppe

CPM zu t1 = relevante Kovariate, die berücksichtigt werden sollte!

7

CFT und WST als relevante Kovariaten? Überlegung

Wortschatztest misst kein induktives Denken

WST als Kovariate irrelevant

Mittelwertsunterschiede von CFT und WST

zwischen den Gruppen zu t2 betrachten!

8

CFT und WST als relevante Kovariaten?Zeigen sich nach dem Treatment Mittelwertsunterschiede? *** Group means of the outcome variable(s) ***

Group Outcome Mean Std.dev. Std.error

0 CFT2 53.007 9.103 0.772

0 WST2 26.421 4.032 0.342

1 CFT2 57.633 7.797 0.664

1 WST2 26.050 4.453 0.379

9

CFT und WST als relevante Kovariaten? WST

kein Effekt auf WST durch Treatment WST wird nicht mit in unsere Modelle einbezogen

CFT erfasst Trainingseffekte des induktiven Denkens sollte als Kovariate einbezogen werden? Bestehen anfängliche Gruppenunterschiede?

10

CFT - Bestehen anfängliche Gruppenunterschiede?

*** Group means of the outcome variable(s) ***

Group Outcome Mean Std.dev. Std.error

0 A1 23.052 3.666 0.317

1 A1 20.667 4.267 0.378

*** Simultaneous tests for all treatment groups and all dependent variables ***===============================Hypothesis Chi-sq DF Prob------------------------------------------------No treatment effect 21.371 1 0.0000================================

*** Detailed analysis of the effects ***

Results for outcome variable 1: A1

Group 1 - Control group 0

Effect -2.385 Std.error 0.494 Effect/SE -4.832 Effect size -0.651

11

CFT - Bestehen anfängliche Gruppenunterschiede?

es bestehen anfängliche Gruppenunterschiede zwischen Treatment- und Kontrollgruppe bzgl. der Mittelwerte des CFTTreatmentgruppe zeigt vor dem Training niedrigere Messwerte im induktiven Denken als die Kontrollgruppe

CFT zu t1 = relevante Kovariate, die berücksichtigt werden sollte!

12

Modellübersicht Modell 1 (mit einer Kovariate)

Y: (gemessen durch CPM 12 & CPM 22) Z: (gemessen durch CPM 11 & CPM 21)

Modell 2 (mit 2 Kovariaten) Y: (gemessen durch CPM 12 & CPM 22) Z1: (gemessen durch CPM 11 & CPM 21) Z2: (gemessen durch CFT 11 & CFT 21)

13

Modell 1 (mit einer Kovariate) Outcomevariable

Y: (gemessen durch CPM 12 & CPM 22) Kovariate

Z: (gemessen durch CPM 11 & CPM 21)

Pfaddiagramm/Strukturgleichungsmodell

ξ ηCPM11

CPM22CPM21

CPM121

1 1

1

Chi-Square=19.64, df=13, P-value=0.10456, RMSEA=0.053

δ21

δ11 ε12

ε12

X g1-0(ξ)

14

Modell 1 (mit einer Kovariate)

ξ ηCPM11

CPM22CPM21

CPM121

1 1

1

3,02

1,77 4,07

1,98

ξ ηCPM11

CPM22CPM21

CPM121

1 1

1

4,92

1,71 3,81

2,73

Treatmentgruppe 1

Kontrolltgruppe 0

0,98

0,62

EX=0(η/ξ)= γ00+γ01*ξ

EX=1(η/ξ)= γ00+γ01*ξ + γ10 + γ11*ξ

15

Modell 1 - Hypothesentest unter Berücksichtigung einer Kovariaten*** Simultaneous tests for all treatment groups and all dependent variables ***

============================================================Hypothesis Chi-sq DF Prob--------------------------------------------------------------------------------------------------------No average treatment effect: E(g1-0) = 0 73.511 1 0.0000No covariate effect in control group: g0 = constant 96.171 1 0.0000No treatment*covariate interaction: g1-0 = constant 7.146 1 0.0075============================================================

Es gibt einen durchschnittlichen kausalen Effekt des Treatments.

Es gibt einen Einfluss der Kovariaten auf die Outcome-Variable.

Es gibt einen Interaktionseffekt zwischen Kovariate und Treatment.

16

Durchschnittlicher kausaler Effekt für Gesamtstichprobe

*** Detailed analysis of the average effects ***

Results for outcome variable 1: B1

Group 1 - Control group 0

Effect E(g1-0) 2.633 Std.error 0.251 Effect/Std.error 10.475 Effect size 0.916

ACE

Starker Effekt

17

Durchschnittliche kausale Effekte gegeben der Treatment-Bedingungen

*** Average effects given a treatment condition ***

Results for outcome variable 1: B1

Group 1 - Control group 0

Effect given treatment: 0 1 Effect E(g1-0|X=i) 2.501 2.767 Std.error 0.251 0.267 Effect/Std.error 9.956 10.37 Effect size 0.870 0.962

ACE1-0; X=i (ξ)

Starker Effekt

18

Modell 1Zusammenfasung

bei CPM zu t1 bestehen Mittelwertsunterschiede (KG > TG)

ACE1-0 (X=0) < ACE1-0 (X=1)

Training erzielt größere durchschnittliche kausale Effekte bei anfänglich niedrigerer Fähigkeit Abzuleitende Zuweisungsstrategie für ein Training des

induktiven Trainings: „Trainiere die, die am bedürftigsten sind!“

19

Modell 2 (mit zwei Kovariaten) Outcomevariable

Y: (gemessen durch CPM 12 & CPM 22) Kovariaten

Z1: (gemessen durch CPM 11 & CPM 21) Z2: (gemessen durch CFT 11 & CFT 21)

Pfaddiagramm

ξ1

CPM11

CPM21

1λ21

δ21

δ11

ξ2

CFT11

CFT21

1

δ22

δ21η

CPM22

CPM12

1

1 ε12

ε12

Chi-Square=21.57 df=31, P-value=0.89609 RMSEA=0.000

Xλ22

g1-0(ξ1, ξ2)

EffectLite

20

Kontrollgruppe

ξ1

CPM11

CPM21

1

1,132,25

2,27

ξ2

CFT11

CFT21

1

12,01

2,10η

CPM22

CPM12

1

1 3,68

2,37

0,69

0,74

EX=0(η/ξ1)= γ00+γ01*ξ1

EX=0(η/ξ2)= γ00+γ01*ξ2

21

Treatmentgruppe

ξ1

CPM11

CPM21

1

1,132,84

2,92

ξ2

CFT11

CFT21

1

11,93

1,89η

CPM22

CPM12

1

1 3,64

2,90

0,39

0,66

EX=1(η/ξ1)= γ00+γ01*ξ1 + γ10 + γ11*ξ1

EX=1(η/ξ2)= γ00+γ01*ξ2 + γ10 + γ11*ξ2

22

Modell 2 - Hypothesentest unter Berücksichtigung zweier Kovariaten

Es gibt einen durchschnittlichen kausalen Effekt des Treatments.

Es gibt einen Einfluss der Kovariaten auf die Outcome-Variable.

Es gibt einen Interaktionseffekt zwischen den Kovariaten und dem Treatment.

*** Simultaneous tests for all treatment groups and all dependent variables ***

============================================================Hypothesis Chi-sq DF Prob---------------------------------------------------------------------------------------------------------No average treatment effect: E(g1-0) = 0 39.933 1 0.0000No covariate effect in control group: g0 = constant 97.096 2 0.0000No treatment*covariate interaction: g1-0 = constant 7.760 2 0.0207============================================================

23

Durchschnittlicher kausaler Effekt für Gesamtstichprobe

*** Detailed analysis of the average effects ***

Results for outcome variable 1: B1

Group 1 - Control group 0

Effect E(g1-0) 2.723 Std.error 0.254 Effect/Std.error 10.704 Effect size 0.950

ACE

Starker Effekt

24

*** Average effects given a treatment condition ***

Results for outcome variable 1: B1

Group 1 - Control group 0

Effect given treatment: 0 1 Effect E(g1-0|X=i) 2.647 2.798 Std.error 0.260 0.276 Effect/Std.error 10.180 10.153 Effect size 0.923 0.976

Durchschnittliche kausale Effekte gegeben der Treatment-Bedingungen

ACE1-0; X=i (ξ1,ξ2)

Starker Effekt

25

Modell 2 Zusammenfassung der durchschnittliche kausale Effekt der TG ist

weiterhin größer als der der KG unter zusätzlicher Berücksichtigung einer zweiten Kovariate

Training erzielt größere durchschnittliche kausale Effekte bei anfänglich niedrigerer Fähigkeit bei Messung durch CPM und CFT weiterhin abzuleitende Zuweisungsstrategie: „Trainiere die, die am bedürftigsten sind!“

26

Chi2-Differenzentest (nested) Modell 1

Chi2 =38,91 df=32

Modell 2 Chi2=21,57 df=31

Chi2-Differenzentest: Chi2 = 21,57-38,91 = -17,34 df=31-32= -1 ?

27

Übersicht der ACEs ACE Modell 1

ACE1-0(ξ) = 2,633

ACE Modell 2 ACE1-0 (ξ1ξ2) = 2,830

Ist der ACE-Unterschied durch Hinzunahme einer zweiten zusätzlichen Kovariate bedeutsam?

Kann man von Unkonfundiertheit ausgehen?

28

Prüfung der Unkonfundiertheit 2 Wege

Empirisch: Betrachtung der Differenz der ACEs der zu vergleichenden Modelle in Relation zu den entsprechenden Standardfehlern

Statistische: Vertrauensintervalle

29

empirisch

Modell2 –Modell1 ACE2 = 2,830 - Std.error= 0,255 ACE1= 2,633 - Std.error=0,251

ACE2-ACE1= 0,197< std.error Unterschied zw. ACEs ist nicht bedeutsam

weist auf Unkonfundiertheit hin der ACE des Modell 1 kann auch als solcher

interpretiert werden

30

Statistische Prüfung der Unkonfundiertheit pro Gruppe Vergleich von:

Vertrauensintervalle der adj.mean (ξ)vs.

Vertrauensintervalle der adj.mean (ξ1,ξ2)

Vertrauensintervall der adj.means aus Modell 1 KG : 15,243 – (0,249*1,96); 15,243 + (0,249 * 1,96)

[14,755; 15,806] TG : 17,877 – (0,247 * 1,96); 17,877 + (0,247 * 1,96)

[17,393; 18,361] Vertrauensintervall der adj.mean Modell 2

KG 15,230 – (0,250 * 1,96); 15,230 + (0,250 * 1,96) [14,74; 15,72]

TG 17,953 – (0,248 * 1,96); 17,953 + (0,248 * 1,96) [17,467; 18,439]

31

Vertrauensintervalle der adj.means

Kontrollgruppe Treatmentgruppe

Modell 1 [14,755; 15,806] [17,393; 18,361]

Modell 2 [14,74; 15,72] [17,467; 18,439]

32

Schlussfolgerungen für kausale Effekte Unkonfundiertheit scheint bezüglich unserer

Kovariaten gegeben

Wenn ... Anfangsunterschiede der Variable CPM als

Kovariate berücksichtigt werden, dann ...

sind ACEs bezüglich des Trainings induktiven Denkens kausal interpretierbar!

33

Schlussfolgerungen für inhaltliche Fragestellung Inhaltliche Fragestellung:

Bei wem erzielt das Induktive Denktraining die größten durchschnittlichen kausalen Effekte?

Personen mit niedriger Ausprägung induktiven Denkens profitieren stärker vom Training.

34

Vielen Dank für eure

Aufmerksamkeit!