40
Effektgrößen, Kontraste & Post-hoc-Tests [email protected]

Effektgrößen, Kontraste & Post-hoc-Tests [email protected]

Embed Size (px)

Citation preview

Page 1: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Effektgrößen, Kontraste & Post-hoc-Tests

[email protected]

Page 2: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Mediator- & Moderatoranalyse

Was erinnert ihr?

Page 3: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Erinnerung- Spezielle Verwendungen der Methode:

Regressionsanalyse - Funktion Mediatoranalyse: Vermittlung der

gemeinsamen Varianz über eine Drittvariablen sichtbar machen

- Die vier Schritte der Mediatoranalyse- Funktion Moderatoranalyse: Beeinflussung der

„Höhe“ des Zusammenhangs zwischen zwei Variablen durch eine dritte Variable prüfen

- Zentraler mathematischer Unterschied:Bei der Mediatoranalyse müssen alle Variablen korrelieren, bei der Moderatoranalyse soll die Drittvariable nicht mit Prädiktor/UV korrelieren

Page 4: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Einfaktorielle Varianzanalyse

Was wisst ihr noch?

Page 5: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Erinnerung- Einsetzbar für multiple Mittelwertsvergleiche- Vorteile gegenüber dem t-Test: Vergleich von mehr

als zwei Gruppen mit einem Test bei gleichzeitiger Vermeidung einer Alpha-Fehler-Kummulierung

- Beruht mathematisch auf eine Zerlegung der Varianz in Gesamt-, Gruppen- und Fehlervarianz

- Eine Vorstufe der Varianz stellen dabei die Quadratsummen dar

- Der F-Test relativiert die durch die Gruppenzugehörigkeit erklärte Varianz an der Fehlervarianz

- Die Effektgröße einer ANOVA lässt sich über Eta² bestimmen, dass die erklärte Varianz an der Gesamtvarianz relativiert

Page 6: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

EffektgrößenEine signifikante Varianzanalyse erlaubt keine

Aussage über die Größe des statistischen Zusammenhangs!

Daher werden Effektgrößen bestimmt, die von der Stichprobengröße unabhängig und standardisiert sind (prozentualer Anteil erklärter Varianz)

Dies entspricht dem

Determinationskoeffizienten der Regressionsanalyse

Page 7: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

EffektgrößenDie durch die Stichproben-Prädiktoren

erklärte Varianz überschätzt meist die Populationsvarianz (Capitalization of Chance), daher erfolgt eine Korrektur durch ω2 :

Dieser Wert wird von SPSS als korrigiertes R2

berichtet.

Page 8: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Thema heute: Kontraste & Post-hoc-Tests

Page 9: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Gliederung

I. Funktion von Kontrasten & Post-hoc-Tests

II. Interpretation wichtiger Post-hoc-Tests

III. Berechnung von Kontrasten

Page 10: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

I. Funktion von Kontrasten & post-hoc-Tests

Page 11: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

ANOVA: unspezifischer „overall-Test“o Wenn Femp > Fkrit wird die H0 verworfen und

damit die H1 angenommen.

o Es gilt also: μi ≠ μj, für mindestens ein Paar i, j

o Allerdings ist damit noch unklar, welche Mittelwerte sich unterscheiden.

SPT TPT KVT

M1=5 M2=10 M3=12

? ?

?

Kontraste oder post-hoc-Tests

Page 12: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Kontraste oder post-hoc-Tests?

F-Test: signifikant?

keine Vermutung über Gruppenunterschiede

Vermutung über Gruppenunterschiede

post-hoc-Tests

Tukey-HSD-Test Scheffé-Test

paarweiser Vergleich von Mittelwerten

Vergleich von Mittel-wertskombinationen

Kontraste; ersetzen auch den F-Test

Page 13: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

II. Interpretation wichtiger Post-hoc-Tests

Page 14: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Post-hoc-Testso Bei signifikantem F-Wert können wir im

Nachhinein prüfen, welche Mittelwerte sich unterscheiden.

o Es gibt verschiedene Verfahren hierzu. Eine besonderes hohe Teststärke haben:- Tukey‘s HSD (Honestly Significant Differences)- Scheffé-Test

Page 15: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Post-hoc-Tests: Tukey´s HSDo Tukey‘s HSD beruht auf dem Vergleich

der Mittelwertsdifferenzen• Ihr müsst den Test nicht rechnen können,

aber wissen, wie man eine SPSS Ausgabe interpretiert

• Der Tukey-HSD-Test führt alle möglichen Mittelwertsvergleiche durch. Eine Differenz ist signifikant, wenn der Unterschied zwischen zwei Mittelwerten xyi und xyj größer ist als die so genannte “Honestly Significant Difference”

Page 16: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Mehrfachvergleiche

Abhängige Variable: mem

Tukey-HSD

-5.0000* 1.12546 .002 -8.0026 -1.9974

-7.0000* 1.12546 .000 -10.0026 -3.9974

5.0000* 1.12546 .002 1.9974 8.0026

-2.0000 1.12546 .219 -5.0026 1.0026

7.0000* 1.12546 .000 3.9974 10.0026

2.0000 1.12546 .219 -1.0026 5.0026

(J) bed2.00

3.00

1.00

3.00

1.00

2.00

(I) bed1.00

2.00

3.00

MittlereDifferenz (I-J)

Standardfehler Signifikanz Untergrenze Obergrenze

95% Konfidenzintervall

Basiert auf beobachteten Mittelwerten.

Die mittlere Differenz ist auf der Stufe .050 signifikant.*.

Tukey´s HSD in SPSS

Page 17: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Post-hoc-Vergleiche: Scheffé-Testo Auch der Scheffé-Test beruht auf

Mittelwertsvergleicheno Analog zu Tukey‘s HSD genügt es, wenn ihr

eine SPSS-Ausgabe interpretieren könnto Der Scheffé-Test hat eine geringere Power

als Tukey‘s HSD

Page 18: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Der Scheffé-Test in SPSSMehrfachvergleiche

Abhängige Variable: mem

Scheffé

-5.0000* 1.12546 .003 -8.1373 -1.8627

-7.0000* 1.12546 .000 -10.1373 -3.8627

5.0000* 1.12546 .003 1.8627 8.1373

-2.0000 1.12546 .246 -5.1373 1.1373

7.0000* 1.12546 .000 3.8627 10.1373

2.0000 1.12546 .246 -1.1373 5.1373

(J) bed2.00

3.00

1.00

3.00

1.00

2.00

(I) bed1.00

2.00

3.00

MittlereDifferenz (I-J)

Standardfehler Signifikanz Untergrenze Obergrenze

95% Konfidenzintervall

Basiert auf beobachteten Mittelwerten.

Die mittlere Differenz ist auf der Stufe .050 signifikant.*.

Page 19: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

III. Berechnung von Kontrasten

Page 20: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Kontrasteo Bestehen vor der Datenerhebung

Hypothesen, welche Gruppenmittelwerte sich unterscheiden, werden Kontraste formuliert

o Im Gegensatz zu post-hoc-Tests, prüfen Kontraste nur die a priori vermuteten Mittelwertsdifferenzen auf Signifikanz

Man kann Kontraste daher als geplante Mittelwertsvergleiche bezeichnen

Page 21: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

DefinitionDer Kontrast Ψ ist die gewichtete Summe von p Populationsmittelwerten μj, in welcher mindestens ein Gewicht cj ungleich Null ist.

p

jjjc

1

Nomenklatur für die Stichprobe:

p

jjj yc

1

ˆ

Voraussetzung: Die Summe aller Gewichte muss null ergeben.

p

jjc

1

0

Page 22: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Kontrast-Berechnung1. Hypothesen aufstellen

Können im Gegensatz zu post-hoc-Tests auch gerichtet sein!

2. Kontrastgewichte cj formulieren

3. Voraussetzungen prüfen:– Ist Summe aller Gewichte = 0?

– sind Kontraste unabhängig?

4. Kontraste berechnen:

5. Signifikanzprüfung per t-Test

p

jjc

1

0

)Ψ( estvartdf

ˆ

p

jjj cc

121 0

p

jjj yc

1

ˆ

Page 23: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Kontrastgewichte (Kodierung)

Kontrast A B C D

1. A vs. B 1 -1 0 0

2. A,B vs. C,D 1/2 1/2 -1/2 -1/2

3. A,B,C vs. D 1/3 1/3 1/3 -1

Die Kontrastkodierung zeigt die Gewichte für die Mittelwerte:

Voraussetzung prüfen: Addieren sich die Gewichte in jeder Zeile zu null?

Page 24: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Unabhängigkeito Alle formulierten Kontraste müssen

paarweise unabhängig sein.o Nur bei unabhängigen Kontrasten wird eine

α-Fehler Kumulierung verhindert.o Zwei Kontraste sind unabhängig, wenn gilt:

p

jjj cc

121 0

Page 25: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Unabhängigkeit: Beispiel I

Die Unabhängigkeit muss paarweise überprüft werden:

1 und 2?

1 und 3?

2 und 3?

Kontrast A B C D

1. A vs. B 1 -1 0 0

2. A,B vs. C,D 1/2 1/2 -1/2 -1/2

3. A,B,C vs. D 1/3 1/3 1/3 -1

4

121 0

2

10

2

10

2

11

2

11

jjj cc

4

131 010

3

10

3

11

3

11

jjj cc

67.02

1

6

1

6

1

6

1

12

1

3

1

2

1

3

1

2

1

3

1

2

14

132

jjj cc

ok

ok

X

Page 26: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Unabhängigkeit: inhaltlich

Kritischer Punkt: mehrere Kombinationsvergleiche.Ein Faktor darf hierbei nicht…- auf „verschiedenen Seiten“ stehen.- mit unterschiedlichen Kombinationen verglichen

werden.

Kontrast A B C D

1. A vs. B 1 -1 0 0

2. A,B vs. C,D 1/2 ½ -1/2 -1/2

3. A,B,C vs. D 1/3 1/3 1/3 -1

Page 27: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Unabhängigkeit: Beispiel II

Die Unabhängigkeit muss paarweise überprüft werden:

1 und 2?

1 und 3?

2 und 3?

Kontrast A B C D

1. A vs. B 1 -1 0 0

2. A,B vs. C,D 1/2 1/2 -1/2 -1/2

3. C vs. D 0 0 1 -1

4

121 0

2

10

2

10

2

11

2

11

jjj cc

4

131 010

3

10

3

11

3

11

jjj cc

012

11

2

10

2

10

2

14

132

jjj cc

ok

ok

ok

Page 28: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Berechnung der KontrasteKontrast 1: A vs. B

DCBA yyyy 00)1(1ˆ1

Kontrast 2: A & B vs. C & D

DCBA yyyy

2

1

2

1

2

1

2

1ˆ2

Kontrast 3: A & B & C vs. D

DCBA yyyy

1

3

1

3

1

3

1ˆ3

Page 29: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

SignifikanzprüfungKontraste werden mit einem t-Test auf Signifikanz überprüft:

p

j j

jwithin n

cMSestvar

pNdf

mit

)Ψ( estvart

1

2

ˆ

:

ˆ

ˆ H0:Der Kontrast ist gleich 0, bzw. die Mittelwerte unterscheiden sich nicht.

H1:Der Kontrast ist ungleich Null, bzw. die Mittelwerte unterscheiden sich.

Analog zu den post-hoc-Tests müsst ihr Kontraste nicht von Hand berechnen, sondern lediglich in SPSS mit ihnen arbeiten können.

Kontrast (Mittelwertsdifferenz)

Standardfehler des Kontrasts

Page 30: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Kontraste in SPSS

Ist dieser Kontrast signifikant?

Das kommt darauf an, ob eine ungerichtete oder eine gerichtete Hypothese formuliert war…

Page 31: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Kontraste vs. Post-hoc-TestsEine ANOVA sagt uns lediglich, ob sich mindestens zwei Gruppen unterscheidenUm herauszufinden welche dies sind, gibt es zwei Möglichkeiten:

1. Post-hoc-Tests, falls vor der Datenerhebung keine Hypothesen bestehen (exploratives Vorgehen)

2. Kontraste, falls vor der Datenerhebung bereits Hypothesen bestanden (hypothesengeleitetes Vorgehen); Kontraste ersetzen auch den F-Test

Bezüglich der Power gilt: Kontraste > Tukey‘s HSD > Scheffé

Page 32: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Unterschiede

mögliche Anzahl = p-1

Leonhart (2008) S. 327

Page 33: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Mögliche und unabhängige Kontraste

Bei p Gruppen können p - 1 unabhängige Kontraste gebildet werden.

Page 34: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Rechenbeispiel: Kontraste

Page 35: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Datensatz & Hypothesen

Hypothesen:a. Therapiemethoden wirken im Vergleich zur Kontrollgruppe.b. Psychotherapien wirken besser als medikamentöse Therapie.c. Es gibt einen Unterschied zwischen Psychotherapien.

Page 36: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Kontrast-Gewichte

ok

ok

ok

Page 37: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Unabhängigkeit

ok

ok

ok

Wie viele unabhängige Kontraste sind hier möglich?

p - 1 = 4 – 1 = 3

Page 38: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Kontrast-Berechnung

93,94,2118,123

111

3

16,10

3

A

24,2108,12)1(112

16,10

2

B

4,04,2108,12011)1(6,101ˆ C

Page 39: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Signifikanzprüfung

Welche Informationen benötigen wir noch?

N

n

MSwithin

tkrit

Page 40: Effektgrößen, Kontraste & Post-hoc-Tests S.Tomczyk@gmx.net

Vielen Dank für die Aufmerksamkeit!