3. Das allgemeine lineare Modell - ruhr-uni-bochum.de · (ALM), Methode der kleinsten Quadrate 3.4 Der F-test im ALM 3.5 Zweifaktorielle Varianzanalyse 3.6 Kovarianzanalyse Eine grunds

3. Das allgemeinelineare Modell

3.1 Matrizen undVektoren, Kodierung

3.2 Addition undMultiplikation vonMatrizen

3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate

3.4 Der F -test imALM

3.5 ZweifaktorielleVarianzanalyse

3.6 Kovarianzanalyse

3. Das allgemeine lineare Modell

3.1 Matrizen und Vektoren, Kodierung

3.2 Addition und Multiplikation von Matrizen

3.3 Das allgemeine lineare Modell (ALM), Methode der kleinstenQuadrate

3.4 Der F -test im ALM

3.5 Zweifaktorielle Varianzanalyse


3.7 Modelle mit Messwiederholungen

1 / 113








Eine grundsatzliche Bemerkung zu Beginn

I Es bestehen viele “Ahnlichkeiten” zwischen den bisher betrachte-ten Beispielen (Zwei-Stichproben t-Test, einfaktorielle Varianz-analyse, lineare und multiple Regression)

- Zerlegung der Varianz

- F -Verteilung (das Quadrat der t-Verteilung mit k Freiheits-graden ist eine F -Verteilung mit (1, k) Freiheitsgraden)

- R2 (welcher Teil der Variation ist durch das Modell erklarbar)

I Ziel: ein Modell, in dem alle bisher behandelten SituationenSpezialfalle sind!

−→ Das allgemeine lineare Modell (ALM)

Y = Xb + ε

I Hilfsmittel: Matrizenrechnung

2 / 113







3.6 Kovarianzanalyse3.1 Matrizen und Vektoren, Kodierung

3 / 113








I Vektoren und Matrizen sind nutzliche mathematische Hilfsmittelfur die

- Beschreibung von der Position eines Objektes- Beschreibung von Bewegungen und Kraften- Etc.- In unserem Fall: Zusammenfassung und die ”Kodierung” der

beobachteten Variablen

I Beispiele fur Vektoren

(13

);

2.11

3.2

;

1234

I Die Anzahl der Zeilen in einem Vektor heißt Dimension des

Vektors

4 / 113








Vektoren und Matrizen

I In Matrizen fasst man mehrere Vektoren gleicher Dimensionzusammen

I Beispiele fur Matrizen

(1 03 1

);

2.1 0 3.41 1 1

3.2 0 −3

;

1 0 2 −72 1 1.1 13 −1 3 −24 0 1 3

I Eine Matrix mit Variablen x1 x2 x3 x4 x5

y1 y2 y3 y4 y5

z1 z2 z3 z4 z5

;

(cos ρ sin ρ− sin ρ cos ρ

)

5 / 113








Mehr uber Matrizen: “Zeilen vor Spalten (ZVS)”

I Matrix mit 2 Zeilen und 4 Spalten (2 x 4 Matrix)(2.1 1.2 6.1 3.41.2 −0.5 2.7 −1.9

)I Matrix mit 4 Zeilen und 2 Spalten (4 x 2 Matrix)

2 10 16 2−1 3

I Matrix mit einer Spalte = Vektor

I Matrix mit einer Zeile und 6 Spalten (1 x 6 Matrix)(Zeilen-Vektor);(

3 1 1.2 −3.4 0 −2.7)

6 / 113








Beispiel 3.1: Erkennen von Zahlenreihen (Fort-setzung von Beispiel 1.10)

I Studierende der Fachrichtungen Mathematik und Psychologiemachen einen Zahlengedachtnistest

– Wie viele Ziffern konnen sich maximal gemerkt werden

– Wiedergabe in Original und umgekehrter Reihenfolge

I Daten

M 14 14 15 12 13 19 17 13P 13 14 13 12 16 16 10 16

M 14 17 15 13 16 13 - -P - - - - - - - -

I Frage: Haben Studierende der Psychologie ein besseresZahlengedachtnis als Studierende der Mathematik?

7 / 113








Kodierung des Merkmals Mathematik (1,0) undPsychologie (0,1)

I Betrachte in jeder der beiden Gruppen nur die ersten 5 Daten(aus Platzgrunden)

Y =

14141512131314131216

X =

1 01 01 01 01 00 10 10 10 10 1

I Alle Daten der abhangigen Variablen werden in einem Vektor

zusammengefasst (Dimension 10)I Alle Daten der unabhangigen Variablen (Studienfach) werden in

einer Matrix zusammenfasst (10 Zeilen, 2 Spalten)I Die Matrix enthalt nur Nullen und Einsen, wobei die Kodierung

(1,0) in einer Zeile fur das Fach Mathematik und (0,1) fur dasFach Psychologie verwendet wird. Man spricht auch von einerDummy-Kodierung

I Beispiel: in der dritten Zeile von X steht (1, 0), d.h. der Eintragin der dritten Zeile von Y gehort zu einem Mathematikstudenten

8 / 113








Beispiel 3.2 (Fortsetzung von Beispiel 1.10)

I An dem Zahlengedachtnistest (vgl. Beispiel 1.10) nehmen auchnoch 6 Studierende der Geisteswissenschaften teil.

I Daten:

M 14 14 15 12 13 19 17 13P 13 14 13 12 16 16 10 16G 11 13 13 10 13 12 13 -

M 14 17 15 13 16 13 - -P - - - - - - - -G - - - - - - - -

I Frage: Existieren Unterschiede hinsichtlich des Zahlenge-dachtnisses zwischen den Studierenden der Psychologie,Mathematik und Geisteswissenschaften?

9 / 113








Kodierung der Merkmale Mathematik (1,0,0),Psychologie (0,1,0), Geisteswissenschaften(0,0,1)

I Betrachte in jeder Gruppe die ersten 5 Daten (aus Platzgrunden)

Y =

141415121313141312161113131013

X =

1 0 01 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 10 0 1

I Y ist 15-dimensionaler Vektor, X ist 15 x 3 Matrix

I Beispiel: in der zwolften Zeile von X steht (0, 0, 1), d.h. derEintrag in der zwolften Zeile von Y (13) gehort zu einemStudierenden der Geisteswissenschaften

10 / 113








Beispiel 3.3: Arbeitsmotivation (Fortsetzung vonBeispiel 2.1)

I Untersuchung zur Motivation am Arbeitsplatz in einemChemie-Konzern

I 25 Personen werden durch Arbeitsplatz zufallig ausgewahlt undverschiedene Variablen gemessen.

I y : Motivation (Einschatzung durch Experten)x : Leistungsstreben (Fragebogen)

I Frage: besteht ein Zusammenhang zwischen der Variablen“Motivation” und der Pradiktorvariablen “Leistungsstreben”

I Daten

x 20 30 15 39 5 6 12 0 35y 32 14 12 27 20 13 17 8 22x 8 34 26 32 26 12 36 27 26y 19 25 23 17 22 19 27 26 20x 13 19 25 30 18 21 11 - -y 11 24 19 19 22 24 17 - -

11 / 113








“Kodierung” von quantitativen Merkmalen (hierfur die ersten 9 Daten)

Beachte:

I Die quantitative Variable x wird nicht “kodiert”, sondern direkt inder Matrix verwendet

Y =

32141227201317

822

X =

1 201 131 151 391 51 61 121 01 35

I In der Matrix X wurde zusatzlich eine Spalte mit Einsen eingefugt

(der Grund wird spater klar). Y ist 9-dimensionaler Vektor; X ist9 x 2 Matrix.

12 / 113








Mehr uber Matrizen: die Position eines Elements

I Das Element in der Position (2,3) in der Matrix(2.1 1.2 6.1 3.41.2 −0.5 2.7 −1.9

)ist das Element in der 2-ten Zeile und 3-ten Spalte, also dieZahl 2.7

I Das Element in der Position (4,1) in der Matrix2 10 16 2−1 3

ist das Element in der 4-ten Zeile und 1-ten Spalte, also dieZahl −1

13 / 113








Die m × n Matrix (m Zeilen, n Spalten)

A =

a11 a12 a13 · · · a1n

a21 a22 a23 · · · a2n

a31 a32 a33 · · · a3n

......

.... . .

...am1 am2 am3 · · · amn

aij ist das Element in der Position (i, j), d.h. das Element in der i-tenZeile und j-ten Spalte der Matrix A.

Beispiel: Das Element in der Position (2, 3) (also in der 2-ten Zeileund 3-ten Spalte) der Matrix 7 6 3 −1

4 1 −5 21 3 −4 1

ist die Zahl -5.

14 / 113








Die Multiplikation von Matrizen mit einer Zahl:

I Jedes Element der Matrix wird mit einer Zahl multipliziert

I Beispiele:

1.2 ·(

2.1 1 3−1.3 2.2 −4.1

)=(

1.2 · 2.1 1.2 · 1 1.2 · 31.2 · (−1.3) 1.2 · 2.2 1.2 · (−4.1)

)

=(

2.32 1.2 3.6−1.56 2.64 −4.92

)

3 ·

(1−11.5

)=

(3 · 1

3 · (−1)3 · 1.5

)=

(3−34.5

)

15 / 113







3.6 Kovarianzanalyse3.2 Addition und Multiplikation von Matrizen

16 / 113








Rechnen mit Matrizen: Die Addition

I Matrizen mit gleicher Zeilen- und Spaltenanzahl konnen addiertwerden, in dem man die Elemente addiert, die an den entsprechen-den Positionen stehen:(

1.1 1.6−1.2 2.4

2.4 −3.1

)+

(−0.5 0.1

1.0 0−2.1 7.1

)=

(1.1 − 0.5 1.6 + 0.1

−1.2 + 1.0 2.4 + 02.4 − 2.1 −3.1 + 7.1

)

=

(0.6 1.7

−0.2 2.40.3 4.0

)

(4.5 −2.1 3.41.7 5.1 −8.2

)+(

0 2 31 −1 −5

)=(

4.5 −0.1 6.42.7 4.1 −13.2

)

17 / 113








Die Addition von zwei m × n Matrizen

a11 a12 · · · a1n

a21 a22 · · · a2n

......

. . ....

am1 am2 · · · amn

+

b11 b12 · · · b1n

b21 b22 · · · b2n

......

. . ....

bm1 bm2 · · · bmn

=

a11 + b11 a12 + b12 · · · a1n + b1n

a21 + b21 a22 + b22 · · · a2n + b2n

......

. . ....

am1 + bm1 am2 + bm2 · · · amn + bmn

Beachte: es konnen ausschließlich Matrizen addiert werden, diegleiche Zeilen- und Spaltenzahl haben!

18 / 113








Rechnen mit Matrizen: Die Multiplikation

I Das Produkt A · B der Matrizen A and B kann gebildet werden,falls die Anzahl der Spalten der Matrix A gleich der Anzahlder Zeilen der Matrix B ist. Die Berechnung wird hier nur anBeispielen erlautert

A =(

3 −2 61 4 2

)B =

(7 1 −1 21 3 1 0

−2 0 1 −1

)

A · B =(

3 · 7 − 1 · 2 − 2 · 6 −3 1 01 · 7 + 4 · 1 − 2 · 2 13 5 0

)=(

7 −3 1 07 13 5 0

)I Beachte:

A ist 2× 3 MatrixB ist 3× 4 Matrix

A · B ist 2× 4 Matrix

19 / 113








Multiplikation einer Matrix mit einem Vektor

A =

4 −1 2 10 2 1 31 3 −1 −2

Y =

1234

A · Y =

4 · 1− 1 · 2 + 2 · 3 + 1 · 40 · 1 + 2 · 2 + 1 · 3 + 3 · 41 · 1 + 3 · 2− 1 · 3− 2 · 4

=

1219−4

Beachte:

A ist 3× 4 MatrixY ist 4× 1 Matrix (4-dimensionaler Vektor)

A · Y ist 3× 1 Matrix

20 / 113








Auf die Reihenfolge kommt es an

Beachte: Bei der Multiplikation von Matrizen darf die Reihenfolgenicht vertauscht werden! Beispiel:

A =

(1 21 3

); B =

(1 10 1

)

A · B =

(1 31 4

)6= B · A =

(2 51 3

)

21 / 113








3.4 Beispiel: das Modell der linearen Regressionin Matrixschreibweise

Beispiel: Multiplikation mit Kodierungsmatrix bei linearerRegression (vgl. Beispiel 3.3):

1 201 131 151 391 51 61 121 01 35

(b0

b1

)=

b0 + 20b1

b0 + 13b1

b0 + 15b1

b0 + 39b1

b0 + 5b1

b0 + 6b1

b0 + 12b1

b0 + 0b1

b0 + 35b1

22 / 113








3.4 Beispiel: das Modell der linearen Regressionin Matrixschreibweise

Y =

Y1

Y2

...Yn

=

1 x1

1 x2

......

1 xn

︸︷︷︸

X

·(

b0

b1

)︸︷︷︸

b

+

ε1ε2...εn

︸︷︷︸

ε

Beachte:

I X hat n Zeilen und 2 Spalten

I Die i-te Zeile von Y = Xb + ε ergibt die Gleichung (der Fall i = 2in blau)

Yi = b0 + b1xi + εi i = 1, . . . , n

I Schreibweise: Y = Xb + ε

23 / 113








3.5 Beispiel Das Modell der einfaktoriellenVarianzanalyse in Matrixschreibweise (vgl.Beispiel 3.2)

Beispiel: Matrixmultiplikation mit einer Kodierungsmatrix(einfaktorielle Varianzanalyse)

1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 1

µ1

µ2

µ3

µ4

=

µ1

µ1

µ1

µ2

µ2

µ3

µ3

µ3

µ4

µ4

Beachte: Auf der rechten Seite steht der Vektor der Erwartungswerte

µ1 = 1 · µ1 + 0 · µ2 + 0 · µ3 + 0 · µ4

24 / 113








Fortsetzung Beispiel 3.5: MathematischesModell

I

Yij := µi + εij j = 1, . . . , ni ; i = 1, 2, 3

(n1 = 14, n2 = 8, n3 = 7)

Yij : Ergebnis der j-ten Versuchsperson in Gruppe i (Mathe-matik: i = 1, Psychologie: i = 2 Geisteswisenschaften:i = 3)

µi : unbekannter Erwartungswert in der Population i (Mathe-matik: i = 1, Psychologie: i = 2,Geisteswisenschaften:i = 3)

25 / 113








Matrixschreibweise in Beispiel 3.5: Y = Xb + ε

Y =

Y11

.

.

.Y14Y21

.

.

.Y28Y31

.

.

.Y37

=

1 0 0

.

.

.

.

.

.

.

.

.1 0 00 1 0

.

.

.

.

.

.

.

.

.0 1 00 0 1

.

.

.

.

.

.

.

.

.0 0 1

︸︷︷︸

X

· µ1

µ2µ3

︸︷︷︸

b

+

ε11

.

.

.ε14ε21

.

.

.ε28ε31

.

.

.ε37

︸︷︷︸

ε

Beachte: Liest man die Gleichung zeilenweise der Reihe nach, so gilt:

Y11 = µ1 + ε11

Y12 = µ1 + ε12

...

Y21 = µ2 + ε21

...

Y37 = µ3 + ε37

26 / 113








Matrixschreibweise Beispiel 3.5: Y = Xb + ε

Y =

Y11

.

.

.Y14Y21

.

.

.Y28Y31

.

.

.Y37

=

1 0 0

.

.

.

.

.

.

.

.

.1 0 00 1 0

.

.

.

.

.

.

.

.

.0 1 00 0 1

.

.

.

.

.

.

.

.

.0 0 1

︸︷︷︸

X

· µ1

µ2µ3

︸︷︷︸

b

+

ε11

.

.

.ε14ε21

.

.

.ε28ε31

.

.

.ε37

︸︷︷︸

ε

I Beachte: Liest man alle Gleichungen zeilenweise, so gilt:

Yij = µi + εij i = 1, 2, 3; j = 1, . . . , ni

I X hat 14 + 8 + 7 = 29 Zeilen und 3 Spalten. In der i-ten Spaltestehen genau ni Einsen (n1 = 14, n2 = 8, n3 = 7)

I Schreibweise: Y = Xb + ε

27 / 113








Das Modell der einfaktoriellen Varianzanalyse mitk Gruppen in Matrixschreibweise:

Y = Xb + ε

X =

1 0 · · · 0

.

.

.

.

.

.

...

.

.

.1 0 · · · 00 1 · · · 0

.

.

.

.

.

.

...

.

.

.0 1 · · · 0

.

.

.

.

.

.

...

.

.

.0 0 · · · 1

.

.

.

.

.

.

...

.

.

.0 0 · · · 1

b =

µ1µ2

.

.

.µk

ε =

ε11

.

.

.ε1n1ε21

.

.

.ε2n2

.

.

.εk1

.

.

.εknk

Beachte:

I n = n1 + · · ·+ nk GesamtstichprobenumfangI X hat n Zeilen und k SpaltenI die j-te Spalte von X enthalt nur in den Zeilen

n1 + n2 + . . . nj−1 + 1, . . . , n1 + n2 + · · ·+ nj

Einsen (fur die 1-te Spalte sind das die Zeilen 1, . . . , n1) 28 / 113








Beispiel 3.6: Das Modell der multiplen linearenRegression in Matrixschreibweise

Y =

Y1

Y2

Y3

...Yn

=

1 x11 x21 · · · xk1

1 x12 x22 · · · xk2

1 x13 x23 · · · xk3

......

.... . .

...1 x1n x2n · · · xkn

︸︷︷︸

X

·

b0

b1

...

...bk

︸︷︷︸

b

+

ε1ε2ε3...εn

︸︷︷︸

ε

Beachte: Y = Xb + ε

I X hat n Zeilen und k + 1 Spalten

I Die i-te Zeile von Y liefert die Gleichung (der Falle i = 3 in blau)

Yi = b0 + b1x1i + b2x2i + · · ·+ bkxki + εi i = 1, . . . , n

29 / 113








Mehr Matrizenrechnung: Transposition

I Mit AT wird diejenige Matrix bezeichnet, die man aus der MatrixA erhalt, wenn man die Zeilen als Spalten (bzw. die Spalten alsZeilen) schreibt. Beispiel:

1 2 3 4−1 2 1 0

3 7 1 −2

T

=

1 −1 32 2 73 1 14 0 −2

I Beachte: Ist A m × n-Matrix (m Zeilen, n Spalten), dann ist AT

n ×m-Matrix (n Zeilen, m Spalten). Beispiel:

A =

−1 −1

3 14 −21 −1

︸︷︷︸

4×2 Matrix

AT =

(−1 3 4 1−1 1 −2 −1

)︸︷︷︸

2×4 Matrix

30 / 113








Mehr Matrizenrechnung: Inversion einer MatrixI Die Matrix (nur auf der Diagonalen Einsen, sonst Nullen)

I =

1 0 0 · · · 00 1 0 · · · 00 0 1 · · · 0...

......

. . ....

0 0 0 · · · 1

heißt Identitatsmatrix oder Einheitsmatrix (das ist das Pendantzur Zahl 1 bei der Multiplikation von Zahlen)

I Ist A m ×m-Matrix, so ist die inverse Matrix A−1 diejenigeMatrix fur die gilt:

A · A−1 = A−1A = I

(das ist das Pendant des Kehrwerts bei Multiplikation von Zahlen:A = 3 ⇒ A−1 = 1/3)

I Beachte: A−1 existiert nicht immer (man kann nicht durch 0teilen)

31 / 113








Beispiel: Inversion einer 2× 2 MatrixDie Inverse der Matrix

A =

(2 12 4

)ist die Matrix

A−1 =

(23 − 1

6− 1

313

),

denn

A · A−1 =

(2 · 2

3 − 1 · 13 −2 · 1

6 + 1 · 13

2 · 23 − 4 · 1

3 −2 · 16 + 4 · 1

3

)=

(1 00 1

)

A−1 · A =

(23 · 2−

16 · 2 − 2

3 · 1− 1 16 · 4

− 13 · 2 + 1

3 · 2 − 13 · 1 + 1

3 · 4

)=

(1 00 1

)

Beachte: Gewohnlich muss die Bestimmung einer Inversen Matrixmit numerischen Methoden erfolgen

32 / 113







3.6 Kovarianzanalyse3.3 Das Allgemeine Lineare Modell, Methode derkleinsten Quadrate

33 / 113








Allgemeines lineares Modell (ALM):

Y = Xb + ε

I Y : Vektor von Zufallsvariablen

I b: Parametervektor

I ε: Vektor der zufaligen ”Fehler” (mit gleicher Varianz)

I X : Designmatrix (dadurch wird das betrachtete Modell spezifi-ziert). In den vorigen Beispielen erhalt man fur verschiedeneMatrizen X

I Lineares Regressionsmodell (vgl. Beispiel 3.4)I Einfaktorielle Varianzanalyse (vgl. Beispiel 3.5)I Multiples lineares Regressionsmodell (vgl. Beispiel 3.6)

I Es gibt viel mehr Modelle, die man durch das ALM beschreibenkann (z.B. zweifaktorielle Varianzanalyse, Kovarianzanalyse, etc. )

I Aus diesem Grund werden die Verfahren (Schatzen, Testen, etc. )im ALM entwickelt, und diese konnen in den Spezialfallen dannverwendet werden

34 / 113








3.7 Die Methode der kleinsten Quadrate im ALMI Sind Yi und (Xb)i die Elemente in der i-ten Zeile der

Vektoren Y und Xb, so wird die Schatzung fur b sobestimmt, dass die Summe der quadrierten Differenzen

n∑i=1

[Yi − (Xb)i ]2

zwischen beobachten Werten (Yi ) und durch das Modellvorhergesagten Werten ((Xb)i ) minimiert wird

I Mathematische Statistik: Der beste Schatzer fur b lautet:

b = (X T X )−1X T Y

I (XTX )−1 die inverse Matrix von XTXI XT die Transposition der Matrix X

I Wichtig ist nicht die Formel, sondern die Erkenntnis, dassman in jedem linearen Modell den Schatzer immerausrechnen kann (falls die inverse Matrix existiert)!

35 / 113








3.8 Beispiel: Arzneimittelstudie zur Behandlungeiner Depressiven Erkrankung

I Drei Behandlungsformen der Depression (Placebo, einfache Dosis,doppelte Dosis)

I Je 10 Patienten werden mit der jeweiligen Dosierung behandelt(insgesamt 30 Probanden)

I DatenFaktor A

Placebo einfache Dosis doppelte Dosis(1) (2) (3)22 16 1325 16 1222 16 1221 15 1322 15 1218 19 1619 20 1417 17 1621 16 1319 16 14

I Es gibt einen Faktor, der einen Einfluß auf das Ergebnis derTherapie hat. Faktor A: Behandlungsform;

36 / 113








Beispiel 3.8(a): Einfaktorielle Varianzanalyse imALM

I Untersuche den Einfluss eines Faktors (z.B. Behandlungsform) aufdie abhangige Variable (z.B. Depressivitat).

I Mathematisches Modell (n1 = n2 = n3 = 10):

Yij = µi + εij j = 1, . . . , n1 ; i = 1, 2, 3

I µi Einfluß der i-ten FaktorstufeI εij zufallige Fehler

I In der Schreibweise des ALM

Y = Xb + ε

(die Matrix X und der Datenvektor y werden auf der nachstenFolie gezeigt)

37 / 113








Die Matrix X und der Datenvektor y im Beispiel3.8(a)

y =

2225...

1916...

1613...

14

X =

1 0 0...

......

1 0 00 1 0...

......

0 1 00 0 1...

......

0 0 1

b =

(µ1

µ2

µ3

)

Beachte

I y ist 30-dimensionaler Vektor; b ist 3-dimensionaler Vektor;

I X ist 30× 3 Matrix

38 / 113








Schatzung von b mit der Methode der kleinstenQuadrate bei Modellierung 3.8(a)

I

X T X =

(10 0 00 10 00 0 10

)⇒ (X T X )−1 =

(1/10 0 0

0 1/10 00 0 1/10

)I

X T y =

∑10

j=1 y1j∑10j=1 y2j∑10j=1 y3j

= 10 ·

y1·y2·y3·

I

b = (X T X )−1X T y =

y1·y2·y3·

=

20.616.613.3

39 / 113








Beispiel 3.8(b): Alternatives ALM fur dieeinfaktorielle Varianzanalyse

I Untersuche den Einfluss eines Faktors (z.B. Behandlungsform) aufdie abhangige Variable (z.B. Depressivitat)

I Mathematisches Modell (n1 = n2 = n3 = 10):

Yij = µ+ αi + εij j = 1, . . . , n1 ; i = 1, 2, 3

I µ GesamtmittelwertI αi Einfluß der i-ten FaktorstufeI εij zufallige Fehler

I Beachte: α1 + α2 + α3 = 0; µi = µ+ αi (i = 1, 2, 3)

I In der Schreibweise des ALM

Y = Xb + ε

(die Matrix X und der Datenvektor y werden auf der nachstenFolie gezeigt)

40 / 113








Die Matrix X und der Datenvektor y im Beispiel3.8(b)

y =

2225...

1916...

1613...

14

X =

1 1 0 0...

......

...1 1 0 01 0 1 0...

......

...1 0 1 01 0 0 1...

......

...1 0 0 1

b =

µα1

α2

α3

Beachte

I y ist 30-dimensionaler Vektor; b ist 4-dimensionaler Vektor (mitder zusatzlichen Nebenbedingung α1 + α2 + α3 = 0)

I X ist 30× 4 Matrix

41 / 113








Schatzung von b mit der Methode der kleinstenQuadrate bei Modellierung 3.8(b)

I Mit einer “ahnlichen” Methode wie in 3.7 erhalt man

b =

µα1

α2

α3

=

y ··y1· − y ··y2· − y ··y3· − y ··

=

16.9

3.7−0.3−3.4

I Beachte: Hier schatzt man den Gesamtmittelwert (16.9) und die

Abweichungen der Gruppenmittelwerte vom Gesamtmittelwert

42 / 113








3.9 Die Genauigkeit der Schatzungen

I b = (b1, . . . , bn)T sei der kleinste Quadrateschatzer(vgl. Beispiel 3.7)

I Fur i = 1, . . . , n sei di das Element in der Position (i , i) derMatrix (X T X )−1 (man spricht vom iten Diagonalelement)

I Dann istsb =

√s2di =

√di s

der Standardfehler von b (in anderen Worten: s2b ist eine

Schatzung fur die Varianz von b), wobei

s2 =1

n − r

n∑i=1

[Yi − (Xb)i ]2

eine Schatzung fur die Varianz der zufalligen Fehler ist (r be-zeichnet die Anzahl der (unabhangigen) Parameter im ALM. InBeispiel 3.8(a) und 3.8(b) sind das 3!

43 / 113







3.6 Kovarianzanalyse3.4 Der F -test im ALM

44 / 113








Formulierung von Hypothesen im ALM

I Y = Xb + ε

I b t-dimensionaler Vektor

I K sei s × t Matrix

I NullhypotheseH0 : Kb = 0

I Beachte: Kb ist ein s-dimensionaler Vektor; 0 ist eins-dimensionaler Vektor (alle Eintrage 0)

45 / 113








Beispiel 3.10(a): Fortsetzung von Beispiel3.8(a) (Einfaktorielle Varianzanalyse)


I Mathematisches Modell

Y = Xb + ε

Designmatrix X , Daten- und Parametervektor Y und b findetman in Beispiel 3.8(a). Zeilenweise gelesen ergibt das(n1 = n2 = n3 = 10)

Yij = µi + εij j = 1, . . . , n1 ; i = 1, 2, 3

I µi Einfluß der i-ten FaktorstufeI εij Storgroßen

46 / 113








Formulierung der Hypothese in Beispiel 3.8(a)

I

b =

(µ1

µ2

µ3

)I Mit

K =

(1 −1 01 0 −1

)kann die Nullhypothese

H0 : µ1 = µ2 = µ3

geschrieben werden als

H0 : Kb =

(µ1 − µ2

µ1 − µ3

)=

(00

)

47 / 113








Beispiel 3.10 (b): Fortsetzung von Beispiel3.8(a) (Einfaktorielle Varianzanalyse)



Y = Xb + ε

Designmatrix X , Daten- und Parametervektor Y und b findetman in Beispiel 3.8(b). Zeilenweise gelesen ergibt das(n1 = n2 = n3 = 10)

Yij = µ+ αi + εij j = 1, . . . , n1 ; i = 1, 2, 3

I µ GesamtmittelwertI αi Einfluß der i-ten FaktorstufeI εij Storgroßen


48 / 113








Formulierung der Hypothese in Beispiel 3.8(b)I

b =

µα1

α2

α3

I Mit

K =

0 1 0 00 0 1 00 0 0 1

kann die Nullhypothese

H0 : αi = 0 i = 1, 2, 3

geschrieben werden als

H0 : Kb =

α1

α2

α3

=

000

49 / 113








Beispiel 3.11: Fortsetzung von Beispiel 3.6 (multiple lineareRegression)

Y =

Y1

Y2

Y3

...Yn

=

1 x11 x21 · · · xk1

1 x12 x22 · · · xk2

1 x13 x23 · · · xk3

......

.... . .

...1 x1n x2n · · · xkn

︸︷︷︸

X

·

b0

b1

...

...bk

︸︷︷︸

b

+

ε1ε2ε3...εn

︸︷︷︸

ε

Beachte: Y = Xb + ε

I X hat n Zeilen und k + 1 Spalten

I Die i-te Zeile von Y liefert die Gleichung (der Falle i = 3 in blau)

Yi = b0 + b1x1i + b2x2i + · · ·+ bkxki + εi i = 1, . . . , n

50 / 113








Formulierung der Nullhypothesen in Beispiel 3.6:Testen von allen Koeffizienten

I b =

b0

b1

...bk

I Mit der k × (k + 1)-Matrix

K =

0 1 0 0 · · · 0 00 0 1 0 · · · 0 0

.

.

.

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.0 0 0 0 · · · 0 1

kann man die Nullhypothese

H0 : bj = 0 fur alle j = 1, . . . , k

schreiben als

H0 : Kb =

b1

...bk

=

0...0

51 / 113








Formulierung der Nullhypothesen in Beispiel 3.6:Testen von einzelnen Koeffizienten

I

b =

b0

b1

...bk

I Mit der 1× (k + 1)-Matrix [beachte: die “1” steht an der Stelle

(1, j + 1)]K = (0, 0, . . . , 0, 1, 0, . . . , 0)

kann man die Hypothese

H0 : bj = 0

schreiben als

H0 : Kb = 0

52 / 113








3.12 F -Test fur lineare Hypothesesen im ALM

I Modell: Y = Xb + ε

I Nullhypothese: H0 : Kb = 0; H1 : Kb 6= 0

I Voraussetzungen (sind zu prufen): Die Komponenten des Vektorsε (zufallige Fehler) sind

I unabhangigI normalverteilt mit Erwartungswert 0 und derselben Varianzσ2 > 0

I Mathematische Statistik: Die Designmatrix X und dieHypothesenmatrix K definieren eine Statistik Fs,n−r (n:Stichprobenunfang)

I Die Nullhypothese H0 wird zu Gunsten der Alternative H1

abgelehnt, falls Fs,n−r großer als das entsprechende Quantil derF -Verteilung ist bzw. der p-Wert < α ist

53 / 113








Die Statistik Fs,n−r

I

Fs,n−r =1s (K b)T (K (X T X )−1KT )−1(K b)

1n−r yT (I − X (X T X )−1X T )y

I b = (X T X )−1X T Y ist der kleinste Quadratschatzer fur bI r ist die Anzahl der (unabhangigen) Parameter im ALMI Die Nullhypothese: H0 : Kb = 0 wird verworfen, falls

Fs,n−r > Fs,n−r ,1−α

gilt (bzw. der p-Wert < α ist). Dabei ist Fs,n−r ,1−α das(1− α)-Quantile der F -Verteilung mit (s, r) Freiheitsgraden

I Beachte: Die Statistik Fs,n−r kann man aus X (Designmatrix),K (Hypothesenmatrix) und y (Datenvektor) berechnen (mitSoftware wie z.B. SPSS).

s2 =1

n − ryT (I − X (X T X )−1X T )y =

1

n − r

n∑i=1

[Yi − (X b)i ]2

ist die Schatzung fur die Varianz der zufalligen Fehler im Modell

54 / 113








Eine ”anschauliche” Interpretation der StatistikFs,n−r

I

RSS = (n − r)s2 =n∑

i=1

[Yi − (X b)i ]2

ist die Summe der quadrierten Residiuen im ALM Y = Xb + ε.

I RSSH0 bezeichne die Summe der quadrierten Residiuen im ALMunter der zusatzlichen Annahme dass die NullhypotheseH0 : Kb = 0 gilt

I Es gilt

Fs,n−r =n − r

s

RSSH0 − RSS

RSS

I Beachte: Der F -Test vergleicht also die Summe der quadriertenResiduen unter Modellannahme des ALM mit der Summe derquadrierten Residuen unter der Modellannahme des ALM und derAnnahme, dass die Nullhypothese H0 : Kb = 0 gilt!

55 / 113








Beispiel 3.13(a): Fortsetzung von Beispiel3.8(a) (F -Test in einfaktorielle Varianzanalyse)



Y = Xb + ε

Designmatrix X , Daten- und Parametervektor Y und b findetman in Beispiel 3.8(a). Zeilenweise gelesen ergibt das(n1 = n2 = n3 = 10)

Yij = µi + εij j = 1, . . . , n1 ; i = 1, 2, 3

I µi Einfluß der i-ten FaktorstufeI εij Storgroßen

56 / 113








Formulierung der Hypothese in Beispiel 3.8(a)

I b = (µ1, µ2, µ3)T

I H0 : µ1 = µ2 = µ3

I Mit

K =

(1 −1 01 0 −1

)kann die Nullhypothese geschrieben werden als

H0 : Kb =

(µ1 − µ2

µ1 − µ3

)=

(00

)I Diese Designmatrix X Hypothesenmatrix K und der Datenvektor

y werden in die allgemeine Formel eingesetzt und man erhalt dieStatistik fur den F -Test (in Software implementiert)

57 / 113








SPSS-Output fur die Daten aus Beispiel 3.2:Oneway ANOVA (Modell 3.8(a))

SignifikanzFMittel der Quadratedf

Quadratsumme

Zwischen den Gruppen

Innerhalb der Gruppen

Gesamt 29348,700

3,5302795,300

,00035,896126,7002253,400

ONEWAY ANOVA

Beobachtung

58 / 113








Zerlegung der Summe der Quadrate (vgl. Beispiel1.14):

k∑i=1

ni∑j=1

(yij − y ··)2

︸︷︷︸Gesamtvarianz(RSSH0

)

=k∑

i=1

ni∑j=1

(yij − µi )2

︸︷︷︸Fehler(RSS)

+k∑

i=1

ni (y ·· − µi )2

︸︷︷︸Varianz zwischen Gruppen

Beachte:

I Gesamtstichprobenumfang: n =∑k

i=1 ni

I ”Gesamtmittelwerts”

y ·· =1

n

k∑i=1

ni∑j=1

yij

I µi = y i· = 1ni

∑ni

j=1 yij Mittelwerts der Gruppe i

59 / 113








Statistische Tests im Modell 3.8(a) (einfaktorielleVarianzanalyse)

I H0 : µi = 0 (i = 1, 2, 3) (der Faktor “Dosierung” hat keinenEinfluß)

Fµ =12253.412795.3

=126.7

3.53= 35.89 =⇒ p −Wert ≈ 0.000

D.h. die Nullhypothese wird zum Niveau 5% verworfen

I R2µ =

227 Fµ

1+ 227 Fµ

= 0.727

c.a. 72.7% der Variation in der Variablen “Depression” sind aufdem Faktor “Dosierung” zuruckfuhrbar

60 / 113








Beispiel 3.13(b): Fortsetzung von Beispiel3.8(b) (F -Test in einfaktorielle Varianzanalyse)



Y = Xb + ε

Designmatrix X , Daten- und Parametervektor Y und b findetman in Beispiel 3.8(b). Zeilenweise gelesen ergibt das(n1 = n2 = n3 = 10)

Yij = µ+ αi + εij j = 1, . . . , n1 ; i = 1, 2, 3

I µ GesamtmittelwertI αi Einfluß der i-ten FaktorstufeI εij Storgroßen


61 / 113








Formulierung der Hypothese in Beispiel 3.8(b)I b = (µ, α1, α2, α3)T

I H0 : αi = 0 i = 1, 2, 3

I Mit

K =

0 1 0 00 0 1 00 0 0 1

kann die Nullhypothese geschrieben werden als

H0 : Kb =

α1

α2

α3

=

000

I Weitere Hypothese H0 : µ = 0 ⇒ verwende die Hypothesenmatrix

K = (1, 0, 0, 0),

dann erhalt man: H0 : Kb = µ = 0

62 / 113








SPSS-Output fur die Daten aus Beispiel 3.2:Allgemeines lineares Modell, univariat (Modell3.8(b))


Quadratsummevom Typ III

Korrigiertes Modell

Konstanter Term

A

Fehler

Gesamt

KorrigierteGesamtvariation 29348,700

308917,000

3,5302795,300

,00035,896126,7002253,400

,0002427,5358568,30018568,300

,00035,896126,7002253,400a

QuelleQuelle

Tests der Zwischensubjekteffekte

Abhängige Variable:Beobachtung

a. R-Quadrat = ,727 (korrigiertes R-Quadrat = ,706)

63 / 113








Zerlegung der Summe der quadriertenBeobachtungen in Beispiel 3.8(b):

k∑i=1

ni∑j=1

y2ij︸︷︷︸

Gesamt

=k∑

i=1

ni∑j=1

(yij − y ··)2

︸︷︷︸(korrigierte) Gesamtvarianz(RSSH0

)

+ (n y ··)2︸︷︷︸

konstanterTerm

=k∑

i=1

ni∑j=1

(yij − µ− αi )2

︸︷︷︸Fehler(RSS)

+k∑

i=1

ni (y ·· − µ− αi )2

︸︷︷︸Varianz zwischen Gruppen

+ (n y ··)2︸︷︷︸

konstanterTerm

Beachte: µ = y ··, µ+ αi = µi

64 / 113








Statistische Tests im Modell 3.8(b) (einfaktorielleVarianzanalyse)

I H0 : µ = 0 (Gesamtmittelwert = 0)

Fµ =11 8568.3

127 95.3

=8568.3

3.53= 2427.535 =⇒ P-Wert ≈ 0.000

D.h. die Hypothese wird zum Niveau 5% verworfen

I H0 : αi = 0 (i = 1, 2, 3) (der Faktor “Dosierung” hat keinenEinfluß)

Fα =12253.412795.3

=126.7

3.53= 35.89 =⇒ p −Wert ≈ 0.000


I R2α =

227 Fα

1+ 227 Fα

= 0.727

c.a. 72.7% der Variation in der Variablen “Depression” sind aufdem Faktor “Dosierung” zuruckfuhrbar.

65 / 113







3.6 Kovarianzanalyse3.5 Zweifaktorielle Varianzanalyse

66 / 113








3.14 Beispiel Fortsetzung von Beispiel 3.8I Arzneimittelstudie zur Behandlung einer Depressiven Erkrankung

mit Unterscheidung des GeschlechtsI Drei Behandlungsformen der Depression (Placebo, einfache Dosis,

doppelte Dosis)I Je 5 weibliche und je 5 mannliche Patienten werden mit der

jeweiligen Dosierung behandelt (insgesamt 30 Probanden)

Faktor AFaktor B Placebo einfache Dosis doppelte Dosis

(1) (2) (3)mannlich 22 16 13(1) 25 16 12

22 16 1221 15 1322 15 12

weiblich 18 19 16(2) 19 20 14

17 17 1621 16 1319 16 14

I Es gibt zwei Faktoren, die einen Einfluß auf das Ergebnis derTherapie haben. Faktor A: Behandlungsform; Faktor: BGeschlecht

67 / 113








3.15 Modell der zweifaktoriellen Varianzanalyse

I Untersuche den Einfluß von zwei Faktoren (z.B. “Dosierung” und“Geschlecht”) auf die abhangige Variable (z.B. “Depression”)


Yij` = µij + εij`

(i = 1, . . . , kα; j = 1, . . . , kβ , ` = 1, . . . , nij)

I µij Einfluß der i-ten Stufe des Faktors A und der j-ten Stufe desFaktors B

I εij`: Storgroße (fur den `-ten Probanden und der i-ten Stufe desFaktors A und der j-ten Stufe des Faktors B).

I Modellannahmen: Unabhangigkeit, Normalverteilung mitderselben Varianz

I Beachte: In Beispiel 3.8 ist kα = 3 (Behandlungsform), kβ = 2(Geschlecht) and nij = 5 (je 5 Patienten pro Faktorkombination)

68 / 113








Alternative Modellierung der zweifaktorielle Varianzanalyse

Yij` = µ+ αi + βj + (αβ)ij + εij`

I µ: Gesamtmittelwert

I αi : Einfluß der i-ten Stufe des Faktors A (Haupteffekt)

I βj : Einfluß der j-ten Stufe des Faktors B (Haupteffekt)

I (αβ)ij : Wechselwirkung oder Interaktion der i-ten Stufe desFaktors A mit der j-ten Stufe des Faktors B

I εij`: Storgroße

I Nebenbedingungen:I∑kα

i=1 αi = 0

I∑kβ

j=1 βj = 0

I∑kα

i=1(αβ)ij = 0; j = 1, . . . , kβI∑kβ

j=1(αβ)ij = 0; i = 1, . . . , kα

69 / 113








Zusammenhang zwischen den beiden Modellen:

I Notation

µ = µ·· =1

kαkβ

kα∑i=1

kβ∑j=1

µij

µi· =1

kβ

kβ∑j=1

µij ; i = 1, . . . , kα

µ·j =1

kα

kα∑i=1

µij ; ; j = 1, . . . , kβ

I Es gilt:

µij = µ + (µi· − µ)︸︷︷︸αi

+ (µ·j − µ)︸︷︷︸βj

+ (µij − µi· − µ·j + µ)︸︷︷︸(αβ)ij

70 / 113








Mittelwerte fur die verschiedenen Faktorstufen inBeispiel 3.8 (Methode der kleinsten Quadrate)

a1 a2 a3

b1 22.4 15.6 12.4 16.8b2 18.8 17.6 14.6 17.0

20.6 16.6 13.5 16.9

Beispiele:I 22.4 ist der Mittelwert der Beobachtungen unter Stufe 1 des

Faktors A und Stufe 1 des Faktors B (Schatzung furµ11 = µ+ α1 + β1 + (αβ)11)

I 14.6 ist der Mittelwert der Beobachtungen unter Stufe 3 desFaktors A und Stufe 2 des Faktors B (Schatzung furµ32 = µ+ α3 + β2 + (αβ)32)

I 17.0 ist der Mittelwert der Beobachtungen unter Stufe 2 desFaktors B (Schatzung fur µ·2 = µ+ β2)

I 16.6 ist der Mittelwert der Beobachtungen unter Stufe 2 desFaktors A (Schatzung fur µ2· = µ+ α2)

I 16.9 ist der Mittelwert aller Beobachtungen (Schatzung fur µ)71 / 113








Kodierungsmatrix fur zweifaktorielle Varianzana-lyse am Beispiel der depressiven Erkrankung

Xb =

1 1 0 0 1 0 1 0 0 0 0 01 1 0 0 1 0 1 0 0 0 0 01 1 0 0 1 0 1 0 0 0 0 01 1 0 0 1 0 1 0 0 0 0 01 1 0 0 1 0 1 0 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 0 1 0 0 0 1 0 01 0 1 0 0 1 0 0 0 1 0 01 0 1 0 0 1 0 0 0 1 0 01 0 1 0 0 1 0 0 0 1 0 01 0 1 0 0 1 0 0 0 1 0 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 0 1 0 0 0 0 0 11 0 0 1 0 1 0 0 0 0 0 11 0 0 1 0 1 0 0 0 0 0 11 0 0 1 1 0 0 0 0 0 1 01 0 0 1 0 1 0 0 0 0 0 1

µα1α2α3β1β2

(αβ)11(αβ)12(αβ)21(αβ)22(αβ)31(αβ)32

72 / 113








Beispiel 3.16(a): Hypothesenmatrix fur Test desFaktors A in der zweifaktoriellen Varianzanalyse

I Vektor der Parameter

b = ( µ, α1, α2, α3, β1, β2, (αβ)11, (αβ)12, (αβ)21, (αβ)22, (αβ)31, (αβ)32 )T

I Mit der Matrix

Kα =

(0 1 0 0 0 0 0 0 0 0 0 00 0 1 0 0 0 0 0 0 0 0 00 0 0 1 0 0 0 0 0 0 0 0

)

kann man die Hypothese H0 : αi = 0; i = 1, 2, 3 schreiben als

H0 : Kαb =

α1

α2

α3

= 0

73 / 113








Beispiel 3.16(b): Hypothesenmatrix fur Test desFaktors B in der zweifaktoriellen Varianzanalyse



I Mit der Matrix

Kβ =(

0 0 0 0 1 0 0 0 0 0 0 00 0 0 0 0 1 0 0 0 0 0 0

)kann man die Hypothese H0 : βj = 0; j = 1, 2 schreiben als

H0 : Kβb =

(β1

β2

)= 0

74 / 113








Beispiel 3.16(c): Hypothesenmatrix fur Test aufWechselwirkungen in der zweifaktoriellenVarianzanalyse



I Mit der Matrix

Kαβ =

0 0 0 0 0 0 1 0 0 0 0 00 0 0 0 0 0 0 1 0 0 0 00 0 0 0 0 0 0 0 1 0 0 00 0 0 0 0 0 0 0 0 1 0 00 0 0 0 0 0 0 0 0 0 1 00 0 0 0 0 0 0 0 0 0 0 1

kann man die Hypothese

H0 : (αβ)ij = 0; i = 1, 2, 3; j = 1, 2 schreiben als

H0 : Kαβb =

(αβ)11

(αβ)12

(αβ)21

(αβ)22

(αβ)31

(αβ)32

= 0

75 / 113








SPSS-Output: Zweifaktorielle Varianzanalyse furdie Daten aus Beispiel 3.14



Korrigiertes Modell

Konstanter Term

A

B

A * B

Fehler

Gesamt


308917,000

1,7002440,800

,00015,94127,100254,200

,678,176,3001,300

,00074,529126,7002253,400

,0005040,1768568,30018568,300

,00036,22461,5805307,900a

QuelleQuelle




76 / 113








Beispiel 3.17: Hypothesentests fur das Beispielder Depressiven Erkrankung

I H0 : αi = 0 (i = 1, 2, 3) (“der Faktor Dosierung hat keinenEinfluß”)

Fα = 74.53 =⇒ p −Wert ≈ 0.000


I H0 : βj = 0 (i = 1, 2) (der Faktor “Geschlecht” hat keinenEinfluß)

Fβ = 0.176 =⇒ p −Wert ≈ 0.678

D.h. die Nullhypothese kann zum Niveau 5% nicht verworfenwerden

I H0 : (αβ)ij = 0 (i = 1, 2, 3; j = 1, 2)

Fαβ = 15.94 =⇒ p −Wert ≈ 0.000


77 / 113








Beispiel 3.18: Erklarung der Varianz durch dieFaktoren und Interaktion fur das Beispiel derDepressiven Erkrankung

Bilde den Quotienten aus der Quadratsumme des Faktors (bzw.Interaktion) mit der korrigierten Gesamtvariation (prufen)

I Faktor A:253.4

348.7= 0.727

d.h. 72.7% der Variation der variablen “Depression” konnen durchdie Variable “Behandlungsform” erklart werden

I Faktor B:0.30

348.7= 0.0009

der Faktor “Geschlecht” erklart nur 0.9% der Variation.I Interaktion AB:

54.2

348.7= 0.155

d.h. 15.5% der Variation konnen durch die Wechselwirkungerklart werden

78 / 113








SPSS-Output: Zweifaktorielle Varianzanalyse furdie Daten aus Beispiel 3.14



Korrigiertes Modell

Konstanter Term

A

B

A * B

Fehler

Gesamt


308917,000

1,7002440,800

,00015,94127,100254,200

,678,176,3001,300

,00074,529126,7002253,400

,0005040,1768568,30018568,300

,00036,22461,5805307,900a

QuelleQuelle




79 / 113








Die Zerlegung der Quadratsumme im Beispiel

8917.0︸︷︷︸gesamt

= 8568.3︸︷︷︸konstanterTerm

+ 348.7︸︷︷︸korrigiert

348.7︸︷︷︸korrigiert

= 253.4︸︷︷︸Faktor A

+ 0.3︸︷︷︸Faktor B

+ 54.2︸︷︷︸Interaktion

+ 40.8︸︷︷︸Fehler

80 / 113








Die Zerlegung der Quadratsumme bei gleichen Gruppengroßen

kα∑i=1

kβ∑j=1

m∑=1

Y 2ij`︸︷︷︸

gesamt

= n y2···︸︷︷︸

konst. Term

+kα∑i=1

kβ∑j=1

m∑=1

(yij`−y ···)2︸︷︷︸

korrigierteGesamtvariation

kα∑i=1

kβ∑j=1

m∑=1

(yij`−y ···)2︸︷︷︸

korrigierteGesamtvariation

=kα∑i=1

kβ∑j=1

m∑=1

(yij`−y ij·−y ·j·+y ···)2︸︷︷︸

Fehler

+ mkαkα∑i=1

(y i··−y ···)2︸︷︷︸

Faktor A

+ mkβ

kβ∑j=1

(y ·j·−y ···)2︸︷︷︸

Faktor B

+kα∑i=1

kβ∑j=1

m∑=1

m(yij`−y i··−y ·j·+y ···)2︸︷︷︸

Wechselwirkung

Bezeichnungen: m = nij (gleiche Gruppengroßen)

y ··· = 1n

kα∑i=1

kβ∑j=1

m∑=1

yij`; y i·· = 1mkα

kβ∑j=1

m∑=1

yij`; y ·j· = 1mkβ

kα∑i=1

m∑=1

yij`

y ij· = 1m

∑m`=1 yij`; n=kαkβm

81 / 113








Zur Interpretation der WechselwirkungI Die Wechselwirkung (αβ)ij beschreibt einen Effekt, der nur

auftritt, wenn die Faktorstufenkombination (i , j) vorliegt. Manbeachte:

(αβ)ij = µij − µi· − µ·j + µ

D.h. Wechselwirkungen sind Differenzen vonMittelwertdifferenzen (”Unterschiede von Unterschieden”)

I Interaktionsdiagramm (graphisches Hilfsmittel zur Interpretation)

I Auf der Abzisse wird der Faktor mit der großeren Stufenzahlabgetragen

I Die Ordinate bezeichnet die abhangige Variable (Mittelwerte derjeweiligen Stufenkombinationen)

a1 a2 a3

b1

b2

22.4

18.8

17.6

15.6

14.6

12.4 12

14

16

18

20

22

82 / 113








I Bei signifikanten Interaktionen ist die Interpretation derHaupteffekte zu relativieren

Beispiel (Depressive Erkrankung)

I Sinnvolle Interpretation: es existiert kein Unterschied zwischenmannlichen und weiblichen Patienten (Faktor B nicht signifikant)

I Aber: Signifikante Interaktion erfordert hier eine weitergehendeInterpretation

I Placebo-Behandlung ist bei weiblichen Patienten starkerdepressionsreduzierend als bei mannlichen

I Behandlung mit einfacher und doppelter Dosis wirkt beimannlichen Patienten starker

83 / 113








Klassifikation von Interaktionen

I Ziel: Identifikation der interpretierbaren Haupteffekte

I Ordinale Interaktion (die Rangfolge der Mittelwerte derA-Stufen ist fur b1 und b2 identisch, und die Rangfolge derMittelwerte der B-Stufen ist fur a1 und a2 identisch)

a1 a2

b1

b2

b1 b2

a2

a1

In diesem Fall sind beide Haupteffekte eindeutig interpretierbar

84 / 113








I Hybride Interaktion (die Rangfolge der Mittelwerte derB-Stufen gilt fur beide Stufen von A; aber die Rangfolge derMittelwerte der A-Stufen gilt nicht fur beide Stufen von B)

a1 a2

b1

b2

b1 b2

a1

a2

In diesem Fall ist nur der Faktor B eindeutig interpretierbar

85 / 113








I Disordinale Interaktion (die Rangfolge der Mittelwerte derB-Stufen gilt nicht fur beide Stufen von A; und die Rangfolgeder Mittelwerte der A-Stufen gilt nicht fur beide Stufen von B)

a1 a2

b1

b2

b1 b2

a1

a2

I In diesem Fall sind die Haupteffekte nicht interpretierbar

I Unterschiede zwischen a1 und a2 sind nur in Verbindung mit denStufen von B und Unterschiede zwischen den Stufen b1 und b2

sind nur in Verbindung mit den Stufen von A interpretierbar

86 / 113








Interpretation der Haupteffekte im Beispiel der“Depression”

a1 a2 a3

b1

b2

22.4

18.8

17.6

15.6

14.6

12.4 12

14

16

18

20

22

I Der Faktor B ist nicht interpretierbar

I Die Linienzuge fur die beiden Stufen von B weisen den gleichenTrend auf =⇒ Faktor A ist eindeutig interpretierbar

87 / 113








Interpretation der Haupteffekte im Beispiel der“Depression”

b1 b2

12

14

16

18

20

22

a1

a2

a3

12.4

15.6

22.7

18.8

17.6

14.6

I Der Faktor A ist eindeutig interpretierbar

I Die Linienzuge fur die drei Stufen weisen einen unterschiedlichenTrend auf =⇒ Faktor B ist nicht interpretierbar

88 / 113







3.6 Kovarianzanalyse3.6 Kovarianzanalyse

89 / 113








Beispiel 3.19: Therapieerfolg bei Verhaltens-storungen

I Wie wirkt sich eine psychotherapeutische Behandlung aufverschiedene Verhaltensstorungen aus

I Es werden 3 Gruppen untersucht

I Konzentrationsstorung (5 Patienten)I Schlafstorung (5 Patienten)I Hysterische Verhaltungsstorung (5 Patienten)

I Gemessen wird der Therapieerfolg y (durch Expertenteameingestuft)

90 / 113








Daten

I K: Konzentrationsstorung

I S: Schlafstorung

I H: Hysterische Verhaltsstorung

n K S H1 5 5 22 6 4 13 6 2 14 4 1 15 5 3 2

Beachte: es liegt hier das Modell der einfaktoriellen Varianzanalysevor.

Yij = µi + εij i = 1, 2, 3; j = 1, 2, . . . , 5

91 / 113








SPSS-Output (einfaktorielle Varianzanalyse, ohneBerucksichtigung von Kovariablen)

Sig.FMittel der Quadratedf


Korrigiertes Modell

Konstanter Term

GRUPPE

Fehler

Gesamt

KorrigierteGesamtvariation

1450,400

15204,000

1,1671214,000

,00015,60018,200236,400

,000131,657153,6001153,600

,00015,60018,200236,400a

QuelleQuelle


Abhängige Variable:Therapieerfolg


Man beachte:

I Die drei behandelten Gruppen unterscheiden sich signifikant

I Die Therapie fuhrt bei Konzentrationsstorungen zum großtenErfolg (y1· = 5.2; y2· = 3; y3· = 1.4)

92 / 113








Vermutung: Therapieerfolg hangt auch von der Verbalisations-fahigkeit (verbale Intelligenz) der Patienten ab. Diese Eigenschaft wirdaus diesem Grund mit gemessen

K S Hn x y x y x y1 7 5 11 5 12 22 9 6 12 4 10 13 8 6 8 2 9 14 5 4 7 1 10 14 5 5 9 3 13 2

Frage: Andert sich das Ergebnis der Varianzanalyse, falls die verbaleIntelligenz in die Untersuchungen mit einbezogen wird?

93 / 113








Streudiagramm und lineare Regressionsgeraden

Verbale Intelligenz

14,0012,0010,008,006,004,00

Th

erap

ieer

folg

6,00

5,00

4,00

3,00

2,00

1,00

Anpassungslinie für Gesamtsumme

Hysterische VerhaltsstörungSchlafstörungKonzentrationsstörung

Verhaltensstörung

R2 Linear = 0,078

Konzentrationsstörung: R 2 Linear = 0,754

Schlafstörung: R 2 Linear = 0,837Hysterische Verhaltsstörung: R 2

Linear = 0,892

94 / 113








3.20 Das Modell der einfaktoriellen Kovarianz-analyse

Yij = µi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni

I yij : Testergebnis des j-ten Patienten in der i-ten Gruppe

I Im Beispiel ist k = 3 ; n1 = n2 = n3 = 5

I µi : Einfluss der Verhaltensstorung auf Therapieerfolg

I xij : Verbalisationsfahigkeit des j-ten Patienten der Gruppe i

I γ bezeichnet einen Parameter; γxij ist der Einfluss derVerbalisationsfahigkeit xij auf den Therapieerfolg (γ = 0bedeutet: die Kovariable “Verbalisationsfahigkeit” hat keinenEinfluss auf den Therapieerfolg)

I Beachte: der Faktor γ ist fur jede Gruppe derselbe (d.h. er hangtnicht von dem Index ”i” ab!)

95 / 113








Beachte: Dieses Modell ist ein Spezialfall des ALM Y = Xb + ε.Im Beispiel (k = 3, n1 = n2 = n3 = 5) ist

b =

(µ1

µ2

µ3

γ

)ε =

ε11

.

.

.

.

.

.ε35

X =

1 0 0 71 0 0 91 0 0 81 0 0 51 0 0 50 1 0 110 1 0 120 1 0 80 1 0 70 1 0 90 0 1 120 0 1 100 0 1 90 0 1 100 0 1 13

Y =

566455421321112

96 / 113








3.21 Das Modell der einfaktoriellen Kovarianz-analyse im ALM

I Daten- und Fehlervektor

Y =

y11

.

.

.y1n1

.

.

.yk1

.

.

.yknk

; ε =

ε11

.

.

.ε1n1

.

.

.εk1

.

.

.εknk

I Parametervektor und Designmatrix

b =

µ1

.

.

.µkγ

X =

1 0 0 · · · 0 x11

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.1 0 0 · · · 0 x1n10 1 0 · · · 0 x21

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.0 1 0 · · · 0 x2n2

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.0 0 0 · · · 1 xk1

.

.

.

.

.

.

.

.

.

...

.

.

.

.

.

.0 0 0 · · · 1 xknk

97 / 113








3.22 Schatzer (Methode der kleinsten Quadrate)I

γ =

∑ki=1

∑ni

j=1(yij − y ··)(xij − x ··)∑ki=1

∑ni

j=1(xij − x ··)2

Beachte: das ist der Schatzer fur die Steigung der Geraden, wennman eine lineare Regression fur die Daten

{(xij , yij) | i = 1, . . . , k ; j = 1, . . . , ni}

berechnetI

µi = 1ni

∑nj=1 (yij − γxij)

Beachte: das ist der Schatzer fur den Gruppenmittelwert, wobeidie Daten um den Einfluss der Kovariablen korrigiert werden

I Schatzer fur die Varianz der zufalligen Fehler (Residualvarianz)

s2y |x =

1

n − k − 1

k∑i=1

ni∑j=1

(yij − µi − γxij)2

(dabei bezeichnet n = n1 + · · ·+ nk den Gesamtstichproben-umfang)

98 / 113








Mathematische Formulierung der Hypothesen(im Beispiel 3.19)

I Die Kovariablen haben keinen Einfluss auf den Therapieerfolg:

H0 : γ = 0

Mit der Matrix K = (0, 0, 0, 1) kann man diese Nullhypotheseschreiben als

H0 : Kb = (0,0,0,1) ·(

µ1µ2µ3γ

)= γ = 0

I Zwischen den verschiedenen Verhaltensstorungen besteht keinUnterschied hinsichtlich des Therapieerfolgs:

H0 : µ1 = µ2 = µ3

Mit der Matrix

K =(

1 −1 0 00 1 −1 0

)kann man diese Hypothese schreiben als

H0 : KT b =(

1 −1 0 00 1 −1 0

)·(

µ1µ2µ3γ

)=(

µ1 − µ2µ2 − µ3

)=(

00

)99 / 113








Man beachte: Diese Hypothesen konnen nun mit dem F -Test ausKapitel 3.3 (vgl. 3.12) getestet werden

I Die Hypothese H0 : γ = 0 (Kovariablen haben keinen Einfluss)wird zum Niveau α abgelehnt, falls

Fγ =11 γ

2 ns2xx

s2y |x

> F1,n−k−1,1−α

gilt (oder der p-Wert < α) ist. Dabei ist F1,n−k−1,1−α das (1−α)Quantil der F -Verteilung und

s2xx =

1

n

k∑i=1

ni∑j=1

(xij − x ··)2

die Summe der quadrierten Abweichungen der Kovariablen vonihrem Mittelwert

100 / 113








Alternative Interpretation der TeststatistikTrifft die Hypothese H0 : γ = 0 (die Kovariablen haben keinen Einflussauf den Therapieerfolg) zu, so liegt das Modell der einfaktoriellenVarianzanalyse vor:

yij = µi + εij ; i = 1, . . . , k ; j = 1, . . . , ni

Bezeichnetµi=

1n

∑nij=1 yij i=1,...,k

den Mittelwert in Gruppe i (nicht bzgl. der Kovariablen korrigiert) und

s2H0

= 1n−k

∑ki=1 (yij−µi )

2

die Residualvarianz unter der Nullhypothese, dann gilt

Fγ=(n−k) s2H0

−(n−k−1) s2y|x

s2y|x

Man vergleicht also die Summen der quadrierten Residuen in demModell der einfaktoriellen Varianzanalyse

((n − k)s2

H0

)und unter der

Einbeziehung der Kovariablen (s2y |x)

101 / 113








Beispiel: Test auf Einfluss der Kovariablen fur die Daten aus Beispiel3.19

I RSSγH0= (n − k) s2

H0= 14.0

I RSS = (n − k − 1) s2y |x = 3.6

I Fγ = 14.0−3.6111 3.6

= 10.40.327 = 31.78

Fur α = 5% ist F1,11,0.95 = 4.844, also wird die Nullhypothese

H0 : γ = 0

(kein Einfluss der Kovariablen) zum Niveau 5% verworfen

102 / 113








Die Hypothese H0 : µ1 = · · · = µk (die Art der Verhaltensstorung hatkeinen Einfluss auf den Therapieerfolg) wird zum Niveau α abgelehnt,falls

Fµ =1

k−1

∑ki=1 ni (y∗i· − y∗··)

2

1n−k−1

∑ki=1

∑ni

j=1 (y∗ij − y∗i·)2> Fk−1,n−k−1,1−α

gilt. Dabei ist

I Fk−1,n−k−1,1−α das (1− α)-Quantil der F -Verteilung mit(k − 1, n − k − 1) Freiheitsgraden

I y∗ij = yij − γxij (die um den Einfluss der Kovariablen bereinigtenDaten)

I

y∗i· = 1ni

∑nij=1 y∗ij

y∗·· = 1n

∑ki=1

∑n1j=1 y∗ij

Beachte: manes wird eine einfaktorielle Varianzanalyse mit den“korrigierten” Daten y∗ij = yij − γxij gerechnet

103 / 113








Bemerkung: Der Zahler der Teststatistik Fµ kann wieder als Differenzvon 2 Residuensummen geschrieben werden:

Fµ =1

k−1 (RSSµH0− RSS)

1n−k−1RSS

I Residuensumme unter H0 : µ1 = · · · = µk

RSSH0 =k∑

i=1

ni∑j=1

(y∗ij − y∗··)2

I Residensumme im Modell der Kovarianzanalyse(µi = 1

ni

∑ni

j=1(yij − γxij) = y∗i· beachten!)

RSS =k∑

i=1

ni∑j=1

(yij − µi − γxij)2 =

k∑i=1

ni∑j=1

(y∗ij − y∗i·)2

104 / 113








Beispiel: Test auf Gruppenunterschiede fur die Daten aus Beispiel3.19

I RSSµH0= 46.45

I RSS = 3.6

I Fµ =12 (46.45−3.6)

111 3.6

=12 42.85

111 3.6

= 65.48

Fur α = 5% ist F2,11,0.95 = 3.982, also wird die Nullhypothese (keineGruppenunterschiede)

H0 : µ1 = µ2 = µ3

zum Niveau 5% verworfen

105 / 113








SPSS-Output: einfaktorielle Kovarianzanalyse



Korrigiertes Modell

Konstanter Term

GRUPPE

VERBALE_INTELLIGENZ

Fehler

Gesamt


1450,400

15204,000

,327113,599

,00031,78910,401110,401

,00065,48321,425242,850

,1292,691,8801,880

,00047,68115,600346,801a

QuelleQuelle




106 / 113








3.23 Voraussetzungen der Kovarianzanalyse

I Modell der einfaktoriellen Kovarianzanalyse

yij = µi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni

I µi reprasentiert den Einfluss der Gruppe i auf die abhangigeVariable yij

I γxij reprasentiert den Einfluss der Kovariablen xij auf dieabhangige Variable yij

I Die zufalligen Fehler εij sind unabhangig und normalverteilt mitErwartungswert 0 und Varianz σ2

I Der Faktor γ is unabhangig von der Gruppe (d.h. hangt nicht voni ab): Homogenitat der Regressionskoeffizienten

107 / 113








3.24 Uberprufung der Homogenitat derRegressionskoeffizienten

Modell

yij = µi + γixij + εij ; i = 1, . . . , k ; j = 1, . . . , ni

Nullhypothese: Der Einfluss der Kovariablen andert sich nicht mit derGruppenzugehorigkeit

H0 : γ1 = γ2 = · · · = γk

Beachte: Wird diese Hypothese abgelehnt, ist eine Durchfuhrung derKovarianzanalyse nicht sinnvoll.

108 / 113








Design- und Hypothesenmatrix fur Beispiel 3.19

b =

µ1

µ2

µ3

γ1

γ2

γ3

X =

1 0 0 7 0 01 0 0 9 0 01 0 0 8 0 01 0 0 5 0 01 0 0 5 0 00 1 0 0 11 00 1 0 0 12 00 1 0 0 8 00 1 0 0 7 00 1 0 0 9 00 0 1 0 0 120 0 1 0 0 100 0 1 0 0 90 0 1 0 0 100 0 1 0 0 13

K =

(0 0 0 1 −1 10 0 0 0 1 −1

)

109 / 113








3.25 F -Test fur die Hypothese der Homogenitatder Regressionskoeffizienten

H0 : γ1 = · · · = γk wird zum Niveau α abgelehnt, falls

F γ =1

k−1 (RSSH0− RSS)

1n−2k RSS

> Fk−1,n−2k,1−α

gilt. Dabei ist

RSSH0=

k∑i=1

ni∑j=1

(yij − µi − γixij)2

die Summe der quadrierten Residuen (µi , γi ) sind die kleinstenQuadrate Schatzungen, unter der Annahme, dass keine Homogenitatvorliegt) und

RSS =k∑

i=1

ni∑j=1

(yij − µi − γxij)2

die Summe der quadrierten Residuen in der einfaktoriellenKovarianzanalyse (µi , γ sind die kleinsten Quadrate Schatzer unter derAnnahme der Homogenitat; vgl. Bemerkung 3.22)

110 / 113








Beispiel: F -Test fur die Hypothese der Homogenitat derRegressionskoeffizienten fur die Daten aus Beispiel 3.19

I RSSH0= 3.6

I RSS = 2.445

I F γ =12 (3.6−2.445)

115−6 2.445

= 0.57750.2717 = 2.125

Fur α = 5% ist F2,9,0.95 = 4.256, also wird die Nullhypothese derHomogenitat der Regressionskoeffizienten

H0 : γ1 = γ2 = γ3

zum Niveau 5% nicht verworfen

111 / 113








SPSS Output: Einfaktorielle Kovarianzanalyseohne die Annahme der Varianzhomogenitat



Korrigiertes Modell

Konstanter Term

GRUPPE

VERBALE_INTELLIGENZ

GRUPPE * VERBALE_INTELLIGENZ

Fehler

Gesamt


1450,400

15204,000

,27292,445

,1762,124,57721,154

,00032,3748,79518,795

,0117,7542,10724,213

,2151,779,4831,483

,00035,3049,591547,955a

QuelleQuelle




112 / 113








3.26 Bemerkungen zur Kovarianzanalyse

I Mit der Kovarianzanalyse uberpruft man, wie “bedeutsam” derEinfluss der Kovariablen ist

I Der Einfluss der Kovariablen wird durch die Kovarianzanalyseneutralisiert

I Eine Kovarianzanalyse ist eine Varianzanalyse derRegressionsresiduen y∗ij = yij − γxij

I Durch die Beachtung der Kovariablen wird im Modell derVarianzanalyse die Residualvarianz reduziert. Eine “effektive”Reduktion setzt voraus, dass die abhangige Variablen yij mit demunabhangigen Variablen xij signifikant korreliert ist (das sollteman prufen!)

113 / 113

Documents

3. Das allgemeine lineare Modell - ruhr-uni-bochum.de · (ALM), Methode der kleinsten Quadrate 3.4 Der F-test im ALM 3.5 Zweifaktorielle Varianzanalyse 3.6 Kovarianzanalyse Eine grunds