1

Vorlesung:Multivariate Statistik für Psychologen

11. Vorlesung: 18.05.2003

2

Agenda

4. Multivariate Varianzanalysei. Einführung in die multivariate Variananalyseii. Uni- vs. multivariate Varianzanalyseiii. Statistisches Modelliv. Hypothesentestungv. Varianzzerlegung vi. Multivariate Prüfgrößen§ Prüfgrößen bei der MANOVA§ Exkurs: Eigenwerte und Eigenvektoren§ Kriterien zur Auswahl der Multivariaten Prüfgröße

vii. Beispielanalyse mit SPSS§ Daten und Fragestellung§ SPSS-Analyse und Interpretation des Outputs

viii. Post-hoc Tests bei der MANOVA

2

3

Zusammenfassung der letzten Vorlesung: MANOVA I

n Grundidee der multivariaten Varianzanalyse¡ gleichzeitige Testung von Mittelwertsunterschieden verschiedener Gruppen auf

mehreren abhängigen Variablenn Vermeidung kumulierter Alpha-Fehler bei multipler ANOVA (Multiple

Univariate Fragestellung)n Berücksichtigung der Zusammenhänge der abhängigen Variablen à Testung

von Gruppenmittelwertsunterschieden auf Konstruktebene ("Instrinsische" Multivariate Fragstellung)

n Statistisches Modell¡ Verrechnung der Variablenvektoren der aller abhängigen Variablen

n Personenvektoren, Gruppenmittelwertsvektoren, Gesamtmittelwertsvektor

¡ Bildung einer Linearkombination der abhängigen Variablen (gewichtete Summe) zur optimalen Darstellung der vorhandenen Mittelwertsunterschiede

4

Zusammenfassung der letzten Vorlesung: MANOVA II

n Hypothesen der multivariaten Varianzanalyse¡ Nullhypothese

n keine Unterschiede der Mittelwertsvektoren der abhängigen Variablen zwischen den Gruppen

n Interpretation: keine Gruppenunterschiede auf irgendeiner abhängigen Variablen und auf allen Linearkombinationen der abhängigen Variablen

¡ Alternativhypothesen Gruppenunterschiede auf Mittelwertsvektoren der abhängigen Variablenn Interpretation: Unterschiede auf mindestens einer abhängigen Variable (oder

einer Linearkombination der abhängigen Variablen) zwischen mindestens zwei Gruppen

n Problem: keine Information über Art, Größe, Richtung der Unterschiede; unterschiedliche Gruppen; "verantwortliche" Variablen à Post-hoc Tests

3

5

Varianzzerlegung bei der MANOVA III

n Betrachtung der Varianz-Kovarianz-Matrizen¡ Zusammenhänge der abhängigen Variablen untereinander berücksichtigt

¡ durch Faktor erklärte Varianz der einzelnen abhängigen Variablen: Varianzenn ohne Berücksichtigung der Zusammenhänge der abhängigen Variablenà

Überschätzung der durch Faktor erklärten Varianz

¡ durch Faktor erklärte gemeinsame Varianz aller abhängigen Variablen: Kovarianzen

n Varianzzerlegung / Quadratsummenzerlegung¡ Gesamtquadratsumme

n Quadratsumme der abhängigen Variablenn Abweichung aller Personenvektoren vom Gesamtmittelwertsvektorn SSCPTO bzw. Matrix T (Sum of Squares and Cross Products)

6

Varianzzerlegung bei der MANOVA IV

n Varianzzerlegung / Quadratsummenzerlegung¡ Treatmentquadratsumme

n Zwischengruppen- bzw. systematische Effekten Abweichung der Gruppenmittelwertsvektoren vom Gesamtmittelwertsvektor (pro

Person)n SSCPBG bzw. Matrix B

¡ Fehlerquadratsummen Innergruppen- bzw. unsystematische Effekte (im Sinne der Faktoren)n Abweichung der Personenvektoren vom Mittelwertsvektor der jeweiligen Gruppen SSCPWG bzw. Matrix W

n Additivität der Varianzen / Quadratsummen¡ Quadratsummen der systematischen und unsystematischen Effekte ergeben

Gesamtquadratsummen SSCPTO = SSCPBG + SSCPWG bzw. T = B + W

4

7

Multivariate Prüfgrößen I

n Grundprinzip der Prüfgrößen¡ Prüfgrößen sind Kennwerte, deren Verteilung bekannt ist

n bei Erfüllung der Voraussetzungen, z.B. Normalverteilung der Residuenn Beispiel: F-Wert ist F-verteilt

¡ Berechnung aus Kennwerten der Daten, z.B. Standardfehler, Varianzen, Mittelwerte, Mittelwertsdifferenzen

n Prüfgrößen bei der MANOVA¡ Wilk's Lambda

¡ Hotelling-Lawley's Spurkritierium

¡ Pillai-Bartlett's V

¡ Roy's größter Eigenwert

¡ Grundprinzip: Verhältnis erklärter zu nicht-erklärter Varianz-Kovarianz-Matrix

¡ alle vier Prüfgrößen umrechenbar in F-Wert (zur Berechnung des p-Werts)

8

Multivariate Prüfgrößen II

n Beispiel: Wilk's Lambda¡ Verrechnung der Matrix der Zwischengruppeneffekte B und

Innergruppeneffekte W

¡ Formel:

¡ Umrechnung der Prüfgröße in F-Wertn Grund: bekannte Verteilung der Prüfgröße (unter Annahme der Nullhypothese)n Vergleich des F-Werts mit kritischem F-Wert auf Alpha-Fehler-Niveaun statistische Entscheidung

¡ Gütemaß zur Vorhersagekraft der Prädiktorenn Bestimmung des durch alle Faktoren erklärten Varianzanteilsn Formel: n Interpretation

¡ analog zu Determinationskoeffizient R2

¡ einzelner Faktoren nicht additiv (vgl. Multiple Regression)

Λ = =+

W WT B W

Λ

2η

2 1η λ= −

5

9

Multivariate Prüfgrößen III

n Berechnung der multivariaten Prüfgrößen

¡ Wilk's Lambdan Formel:

n entspricht dem Produkt der Eigenwerte der Matrix

¡ Hotelling-Lawley's Spurkriteriumn entspricht der Summe der Eigenwerte von

¡ Pillai-Bartlett's Vn entspricht der Summe der Eigenwerte von

¡ Roy's größter Eigenwertn entspricht dem größten Eigenwert der Matrix

Λ = =+

W WT B W

1−WT

1−BW

1−BT

1−BW

10

Exkurs: Eigenwerte und Eigenvektoren I

n Charakteristik der Kennwerte Eigenwert und Eigenvektor¡ Eigenwerte und Eigenvektoren als statistische Kennwerte

¡ bestimmbar für jede quadratische Matrix n quadratische Matrizen bei MANOVA: Varianz-Kovarianz-Matrizen der

abhängigen Variablen T bzw. der erklärten und nicht-erklärten Varianzanteile der abhängigen Variablen B, W

n Berechnung ¡ eine (n x n)-Matrix hat i.d.R. n reele Zahlen als Eigenwerte und n reelwertige

Vektoren als Eigenvektoren

¡ Definition:

n Legende: Eigenwerte (n Stück)Eigenvektoren (n Stück)

11 1 12 11

21 22 1 12

0

0

a a va a v

λλ

− ⋅ = −

1 n, ,λ λ…1 n, ,v v…

6

11

Exkurs: Eigenwerte und Eigenvektoren II

n Berechnung (Fortsetzung)¡ Aufgabe: Finden der n möglichen Eigenwerte und Eigenvektoren für eine

gegebene (n x n)-Matrix

¡ Beispiel:n Ursprungsmatrix A:

n Eigenwerte:

n Eigenvektoren:

n Beweis (für ersten Eigenwert und ersten Eigenvektor):¡ Eigenwert subtrahieren:

¡ mit Eigenvektor multiplizieren:

5 1

4 2

1 26 1λ λ= =

1 21 1

1 4v v

− = =

5 6 1 1 1

4 2 6 4 4

− − = − −

1 1 1 0

4 4 1 0

− ⋅ = −

12

Exkurs: Eigenwerte und Eigenvektoren III

n Berechnung (Fortsetzung)¡ Berechnung der Eigenwerte und Eigenvektoren durch Lösung des

Gleichungsystemsn

n oder:

det( ) 0λ− =A I

5 1 00

4 2 0λ

λ

− =

7

13

Multivariate Prüfgrößen IV

n Auswahl der Multivariaten Prüfgröße¡ Kriterien

n Ziel der Analyse (siehe Fragestellungen der MANOVA)¡ Gruppenunterschiede auf einzelnen abhängigen Variablen vs.

Linearkombinationen der abhängigen Variablen (Konstruktebene)n Gültigkeit der Annahmen und Voraussetzungen der MANOVA

¡ unterschiedliche Robustheit gegen Voraussetzungsverletzungen¡ Unterschiede in statistischer Power (Größe des Beta-Fehlers, d.h. der

Wahrscheinlichkeit der Entdeckung von Unterschieden)¡ Einsatz der Multivariaten Prüfgrößen

n Pillai-Bartlett's V¡ Ziel: gleichzeitige Testung der Gruppenunterschiede auf einzelnen

abhängigen Variablen¡ sehr robust bei Verletzungen der Annahmen und Voraussetzungen¡ große statistische Power (besonders bei kleinen Stichproben, ungleichen

Stichprobengrößen in Gruppen und Heteroskedastizität)

14

Multivariate Prüfgrößen V

n Auswahl der Multivariaten Prüfgröße (Fortsetzung)¡ Einsatz der Multivariaten Prüfgrößen (Fortsetzung)

n Wilk's Lambda¡ Ziel: Test aller Diskriminanzfunktionen (siehe Diskriminanzanalyse)¡ mittlere Robustheit bei Verletzungen der Annahmen und Voraussetzungen

n Roy's größter Eigenwert¡ Gruppenunterschiede der besten Linearkombination zur Trennung der

Gruppen (entspricht 1. Diskriminanzfaktor, siehe Diskriminanzanalyse)¡ weniger robust bei Voraussetzungsverletzungen¡ größte statistische Power bei erfüllten Annahmen und Voraussetzungen

(bei Verletzung größerer Beta-Fehler à nur Entdeckung großer Gruppenunterschiede)

¡ Hinweis:n bei MANOVA mit einem Faktoren mit zwei Faktorstufen (2 Gruppen):

Wilk's Lambda = Hotelling-Lawley's Spurkriterium = Pillai-Bartlett's V

8

15

Multivariate Prüfgrößen VI

n Simulationsstudie zum Einsatz der Multivariaten Prüfgrößen¡ Quelle: Olson, C.L. (1976). On Choosing a Test Statistic in Multivariate

Analysis of Variance. Psychological Bulletin, 83, 579-586.

¡ Ergebnisse und Empfehlungen hinsichtlich der statistischen Power in Abhängigkeit von Eindimensionalität (hohe Korrelation) der abhängigen Variablen (d.h. Abbildung eines Konstrukts) Noncentrality structure 1 = am empfehlenswertesten 4 = am wenigsten emfehlenswert concentrated diffuse Prüfgröße

Roy's größter Eigenwert 1 4 Hotelling-Lawley's

Spurkriterium 2 3

Wilks Lambda 3 2 Pillai-Bartlett's V 4 1

16

Multivariate Prüfgrößen VII

n Simulationsstudie (Fortsetzung)¡ Ergebnisse und Empfehlungen hinsichtlich der Robustheit gegen Verletzungen

der Annahmen und Voraussetzungenn keine multivariate Normalverteilung à konservativeres Testen (kleiner Alpha-Fehler, geringere statistische Power)

n keine Varianzhomogenität (Heteroskedastizität) à progressiveres Testen (größerer Alpha-Fehler)

Prüfgröße Beurteilung Roy's größter Eigenwert 4 Hotelling-Lawley's Spurkriterium 2 Wilk's Lambda 2 Pillai-Bartlett's V 1

9

17

Beispielanalyse zur MANOVA I

n Daten¡ aus Bortz, J. (51999). Statistik für Sozialwissenschaftler. Berlin: Springer.

S. 176ff.

n Fragestellung¡ Zusammenhang zwischen sozialer Herkunft und verbaler Ausdrucksfähigkeit

bei Kindern

n Operationalisierung¡ Faktor soziale Herkunft

n 3 Faktorstufen/Gruppen: Unterschicht vs. Mittelschicht vs. Oberschicht¡ abhängige Variablen

n Index für Satzlängen (Y1)n Index für Vielfalt der Wortwahl (Y2)n Index für Komplexität der Satzkonstruktionen (Y3)

18

Beispielanalyse zur MANOVA II

n Datensatz

¡ Mittelwertsvektoren

Unterschicht Mittelschicht Oberschicht

Y1 Y2 Y3 Y1 Y2 Y3 Y1 Y2 Y3

3 4 4 2 2 3

3 4 4 5 4 4

4 3 6 5 5 6

3 2 4 5

4 5 3 5

4 5 6 6

4 4 3 4 6

5 6 6 7 5

7 4 6 6 6

Mittelwert 3,0 4,0 4,8 .. 3,5 4,25 5,25 .. 4,2 5,8 5,8

1

3,04,04,8

+

=

y 2

3,54,255,25

+

=

y 3

4,25,85,8

+

=

y3,534,675,27

++

=

y

10

19

Beispielanalyse zur MANOVA III

n Analyse¡ Nullhypothese: keine Mittelwertsunterschiede der 3 Gruppen auf den 3

abhängigen Variablen (bzw. einer Linearkombination der abhängigen Variablen)

¡ Alternativhypothese (unspezifisch): Mittelwertsunterschiede zwischen mindestens 2 Gruppen auf mindestens einer abhängigen Variablen (bzw. einer gewichteten Summe der abhängigen Variablen à Linearkombination)

n Auswahl der Prüfgröße¡ Pillai-Bartlett's V

n pro: stabile Schätzungen trotz kleiner Stichprobe (potentielle Nichterfüllung der Annahmen)

n contra: geringere statistische Power; Vergleich der Einzelvariablen

¡ Roy's größter Eigenwertn pro: Test der Gruppenunterschiede auf Konstruktebenen contra: kein guter Schätzer bei kleinen Stichproben

20

Beispielanalyse zur MANOVA IV

n SPSS-Bedienung

11

21

Beispielanalyse zur MANOVA V

n Output – Modellbewertung

¡ Interpretationn Verwerfung der Nullhypothese abhängig von gewählter Prüfgrößen evtl. Post-hoc Tests erforderlich (Empfehlung hier: Diskriminanzanalyse)

Multivariate Testsc

,990 347,487a 3,000 10,000 ,000

,010 347,487a 3,000 10,000 ,000

104,246 347,487a 3,000 10,000 ,000

104,246 347,487a 3,000 10,000 ,000

,717 2,049 6,000 22,000 ,102

,297 2,784a 6,000 20,000 ,039

2,321 3,481 6,000 18,000 ,018

2,300 8,435b 3,000 11,000 ,003

Pillai's Trace

Wilks' Lambda

Hotelling's Trace

Roy's Largest Root

Pillai's Trace

Wilks' Lambda

Hotelling's Trace

Roy's Largest Root

Effect

Intercept

GRUPPE

Value F Hypothesis df Error df Sig.

Exact statistica.

The statistic is an upper bound on F that yields a lower bound on the significance level.b.

Design: Intercept+GRUPPEc.

22

Beispielanalyse zur MANOVA VI

n Output – Test der Zwischensubjekteffekte (univariate Varianzanalysen)

Tests of Between-Subjects Effects

3,933 a 2 1,967 1,710 ,222

9,783 b 2 4,892 7,775 ,007

2,550 c 2 1,275 1,064 ,376

185,659 1 185,659 161,443 ,000

320,112 1 320,112 508,788 ,000

409,103 1 409,103 341,314 ,000

3,933 2 1,967 1,710 ,222

9,783 2 4,892 7,775 ,007

2,550 2 1,275 1,064 ,376

13,800 12 1,150

7,550 12 ,629

14,383 12 1,199

205,000 15

344,000 15

433,000 15

17,733 14

17,333 14

16,933 14

Dependent Variable

SATZLÄNG

WORTVIEL

SATZKOMP

SATZLÄNG

WORTVIEL

SATZKOMP

SATZLÄNG

WORTVIEL

SATZKOMP

SATZLÄNG

WORTVIEL

SATZKOMP

SATZLÄNG

WORTVIEL

SATZKOMP

SATZLÄNG

WORTVIEL

SATZKOMP

Source

Corrected Model

Intercept

GRUPPE

Error

Total

Corrected Total

Type III Sumof Squares df Mean Square F Sig.

R Squared = ,222 (Adjusted R Squared = ,092)a.

R Squared = ,564 (Adjusted R Squared = ,492)b.

R Squared = ,151 (Adjusted R Squared = ,009)c.

12

23

Post-hoc Tests für die MANOVA I

n Voraussetzung¡ Verwerfung der Nullhypothese der MANOVA

n Interpretation: Unterschiede der Mittelwertsvektoren der abhängigen Variablen (Unterschiede bei mindestens einer abhängigen Variablen oder einer Linear-kombination der abhängigen Variablen) zwischen mindestens zwei Gruppen

n Post-hoc Tests bei nicht-signifikantem Ergebnis der MANOVA nur sehr bedingt interpretierbar

n Fragestellungen¡ Gruppenunterschiede aufgrund welcher abhängigen Variablen bzw. welcher

Linearkombination von abhängigen Variablen (Beitrag der einzelnen Variablen zur Linearkombination)?

¡ Unterschiede zwischen welchen Gruppen?

24

Post-hoc Tests für die MANOVA II

n Übersicht der Post-hoc Tests ¡ Univariate Varianzanalyse

¡ Stepdown Analysis

¡ Diskriminanzanalyse

¡ Beitrag abhängiger Variablen

¡ Multivariate Kontraste

13

25

Post-hoc Tests für die MANOVA III

n Möglichkeit 1: Univariate Varianzanalyse ¡ Ziel

n Identifizierung der abhängigen Variablen mit Gruppenunterschieden

¡ Vorgehenn siehe ANOVA

¡ Vorteiln einfache Interpretierbarkeit

¡ Nachteilen Alpha-Fehler-Kumulierung bei multiplen Tests (ein Test pro abhängiger

Variable) vs. Bonferroni-Korrektur mit geringer statistischer Powern keine Berücksichtigung der Korrelation zwischen abhängigen Variablen (effekte

auf Linearkombinationen der abhängigen Variablen bei MANOVA)n keine Aussage, welche Gruppen unterschiedlichn Standard-Post-hoc Test in SPSS

26

Post-hoc Tests für die MANOVA IV

n Möglichkeit 2: Stepdown Analysis ¡ Ziel

n Identifizierung der für Gruppenunterschiede verantwortlichen abhängigen Variablen

¡ Voraussetzungn a priori Folge der abhängigen Variablen (hypothesengeleitet)

¡ Vorgehenn konzeptionelle Ähnlichkeit zur hierarchischen Regressionn ANOVA für erste abhängige Variable mit allen Faktoren (Test des F-Werts)n Bestimmung der Veränderung des F-Werts durch Hinzunahme weiterer

abhängiger Variablen (unter Berücksichtigung vorher ins Modell aufgenommener Variablen)

¡ Problemen eingeschränkter Geltungsbereich, nur bei a priori Hypothesenn Interpretation der (Nicht-)Effekte

14

27

Post-hoc Tests für die MANOVA V

n Möglichkeit 3: Diskriminanzanalyse ¡ Ziel

n Finden der optimalen Linearkombination(en) der abhängigen Variablen zur optimalen Unterscheidung der Gruppen

¡ Vorgehenn Gruppierungsvariable (Faktor) als abhängige Variable bei DA, abhängige

Variablen der MANOVA als unabhängige Variablen Suche der optimalen Linearkombination(en) à Diskriminanzfaktorenn Test der Gruppenunterschiede auf Diskriminanzfaktoren (siehe ANOVA)

¡ Ergebnisn Vorhandensein von Linearkombinationen zur Unterscheidung der Gruppenn Beitrag der abhängigen Variablen zu dieser/n Variable(n)

¡ Problemen Anwendungsbereich beschränkt auf Fall, dass abhängige Variablen eine

latente Dimension (ein Konstrukt) bilden

28

Post-hoc Tests für die MANOVA VI

n Möglichkeit 4: Beitrag abhängiger Variablen ¡ Ziel

n Bestimmung der für signifikantes MANOVA-Ergebnis maßgeblichen abhängigen Variablen

¡ Vorgehenn Berechnung mehrerer MANOVAs mit Weglassen einzelner abhäng. Variablenn Bestimmung der Veränderung des multivariaten F-Werts in jedem Einzelmodell

gegenüber Gesamtmodell¡ Ergebnis

n Identifizierung der für MANOVA-Effekt im vollständigen Modell unerlässlichen abhängigen Variablen

¡ Problemen Betrachtung des Effekts einzelner abhängiger Variablen; keine

Berücksichtigung gemeinsamer Effekte (Konstruktebene)n exploratives Vorgehen

15

29

Post-hoc Tests für die MANOVA VII

n Möglichkeit 5: Multivariate Kontraste¡ Ziel

n Bestimmung der sich im Mittelwertsvektor unterscheidenden Gruppenn keine Suche nach für Effekt verantwortlichen abhängigen Variablen, sondern

nach sich unterscheidenden Gruppen¡ Vorgehen

n paarweiser Vergleich der Mittelwertsvektoren aller Gruppen (Hotelling's T2 = multivariater T-Test)

n Möglichkeit kombinierter Vergleiche mehrerer Gruppen mit einzelnen Gruppen oder Kombinationen anderer Gruppen (siehe Konstrastkodierung)

n Möglichkeit der Bestimmung der Gruppenunterschiede für einzelne abhängige Variablen oder Linearkombinationen abhängiger Variablen

¡ Problemen (kumuliertes) Alpha-Fehler-Niveau und statistische Powern Interpretation a priori vs. post-hoc Kontrasten (konfirmatorisch vs. explorativ)

30

Ausblick

n Multivariate Varianzanalyse ¡ Annahmen und Voraussetzungen der MANOVA

n Kovarianzanalyse¡ Einführung in die Kovarianzanalyse

¡ Anwendungsbeispiele

¡ Statistisches Modell und Hypothesentestung

¡ Interpretation der Ergebnisse der Kovarianzanalyse

¡ Beispielanalysen in SPSS

¡ Annahmen und Voraussetzungen der Kovarianzanalyse