View
2
Download
0
Category
Preview:
Citation preview
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3. Das allgemeine lineare Modell
3.1 Matrizen und Vektoren, Kodierung
3.2 Addition und Multiplikation von Matrizen
3.3 Das allgemeine lineare Modell (ALM), Methode der kleinstenQuadrate
3.4 Der F -test im ALM
3.5 Zweifaktorielle Varianzanalyse
3.6 Kovarianzanalyse
3.7 Modelle mit Messwiederholungen
1 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Eine grundsatzliche Bemerkung zu Beginn
I Es bestehen viele “Ahnlichkeiten” zwischen den bisher betrachte-ten Beispielen (Zwei-Stichproben t-Test, einfaktorielle Varianz-analyse, lineare und multiple Regression)
- Zerlegung der Varianz
- F -Verteilung (das Quadrat der t-Verteilung mit k Freiheits-graden ist eine F -Verteilung mit (1, k) Freiheitsgraden)
- R2 (welcher Teil der Variation ist durch das Modell erklarbar)
I Ziel: ein Modell, in dem alle bisher behandelten SituationenSpezialfalle sind!
−→ Das allgemeine lineare Modell (ALM)
Y = Xb + ε
I Hilfsmittel: Matrizenrechnung
2 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse3.1 Matrizen und Vektoren, Kodierung
3 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
I Vektoren und Matrizen sind nutzliche mathematische Hilfsmittelfur die
- Beschreibung von der Position eines Objektes- Beschreibung von Bewegungen und Kraften- Etc.- In unserem Fall: Zusammenfassung und die ”Kodierung” der
beobachteten Variablen
I Beispiele fur Vektoren
(13
);
2.11
3.2
;
1234
I Die Anzahl der Zeilen in einem Vektor heißt Dimension des
Vektors
4 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Vektoren und Matrizen
I In Matrizen fasst man mehrere Vektoren gleicher Dimensionzusammen
I Beispiele fur Matrizen
(1 03 1
);
2.1 0 3.41 1 1
3.2 0 −3
;
1 0 2 −72 1 1.1 13 −1 3 −24 0 1 3
I Eine Matrix mit Variablen x1 x2 x3 x4 x5
y1 y2 y3 y4 y5
z1 z2 z3 z4 z5
;
(cos ρ sin ρ− sin ρ cos ρ
)
5 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Mehr uber Matrizen: “Zeilen vor Spalten (ZVS)”
I Matrix mit 2 Zeilen und 4 Spalten (2 x 4 Matrix)(2.1 1.2 6.1 3.41.2 −0.5 2.7 −1.9
)I Matrix mit 4 Zeilen und 2 Spalten (4 x 2 Matrix)
2 10 16 2−1 3
I Matrix mit einer Spalte = Vektor
I Matrix mit einer Zeile und 6 Spalten (1 x 6 Matrix)(Zeilen-Vektor);(
3 1 1.2 −3.4 0 −2.7)
6 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.1: Erkennen von Zahlenreihen (Fort-setzung von Beispiel 1.10)
I Studierende der Fachrichtungen Mathematik und Psychologiemachen einen Zahlengedachtnistest
– Wie viele Ziffern konnen sich maximal gemerkt werden
– Wiedergabe in Original und umgekehrter Reihenfolge
I Daten
M 14 14 15 12 13 19 17 13P 13 14 13 12 16 16 10 16
M 14 17 15 13 16 13 - -P - - - - - - - -
I Frage: Haben Studierende der Psychologie ein besseresZahlengedachtnis als Studierende der Mathematik?
7 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Kodierung des Merkmals Mathematik (1,0) undPsychologie (0,1)
I Betrachte in jeder der beiden Gruppen nur die ersten 5 Daten(aus Platzgrunden)
Y =
14141512131314131216
X =
1 01 01 01 01 00 10 10 10 10 1
I Alle Daten der abhangigen Variablen werden in einem Vektor
zusammengefasst (Dimension 10)I Alle Daten der unabhangigen Variablen (Studienfach) werden in
einer Matrix zusammenfasst (10 Zeilen, 2 Spalten)I Die Matrix enthalt nur Nullen und Einsen, wobei die Kodierung
(1,0) in einer Zeile fur das Fach Mathematik und (0,1) fur dasFach Psychologie verwendet wird. Man spricht auch von einerDummy-Kodierung
I Beispiel: in der dritten Zeile von X steht (1, 0), d.h. der Eintragin der dritten Zeile von Y gehort zu einem Mathematikstudenten
8 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.2 (Fortsetzung von Beispiel 1.10)
I An dem Zahlengedachtnistest (vgl. Beispiel 1.10) nehmen auchnoch 6 Studierende der Geisteswissenschaften teil.
I Daten:
M 14 14 15 12 13 19 17 13P 13 14 13 12 16 16 10 16G 11 13 13 10 13 12 13 -
M 14 17 15 13 16 13 - -P - - - - - - - -G - - - - - - - -
I Frage: Existieren Unterschiede hinsichtlich des Zahlenge-dachtnisses zwischen den Studierenden der Psychologie,Mathematik und Geisteswissenschaften?
9 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Kodierung der Merkmale Mathematik (1,0,0),Psychologie (0,1,0), Geisteswissenschaften(0,0,1)
I Betrachte in jeder Gruppe die ersten 5 Daten (aus Platzgrunden)
Y =
141415121313141312161113131013
X =
1 0 01 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 10 0 1
I Y ist 15-dimensionaler Vektor, X ist 15 x 3 Matrix
I Beispiel: in der zwolften Zeile von X steht (0, 0, 1), d.h. derEintrag in der zwolften Zeile von Y (13) gehort zu einemStudierenden der Geisteswissenschaften
10 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.3: Arbeitsmotivation (Fortsetzung vonBeispiel 2.1)
I Untersuchung zur Motivation am Arbeitsplatz in einemChemie-Konzern
I 25 Personen werden durch Arbeitsplatz zufallig ausgewahlt undverschiedene Variablen gemessen.
I y : Motivation (Einschatzung durch Experten)x : Leistungsstreben (Fragebogen)
I Frage: besteht ein Zusammenhang zwischen der Variablen“Motivation” und der Pradiktorvariablen “Leistungsstreben”
I Daten
x 20 30 15 39 5 6 12 0 35y 32 14 12 27 20 13 17 8 22x 8 34 26 32 26 12 36 27 26y 19 25 23 17 22 19 27 26 20x 13 19 25 30 18 21 11 - -y 11 24 19 19 22 24 17 - -
11 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
“Kodierung” von quantitativen Merkmalen (hierfur die ersten 9 Daten)
Beachte:
I Die quantitative Variable x wird nicht “kodiert”, sondern direkt inder Matrix verwendet
Y =
32141227201317
822
X =
1 201 131 151 391 51 61 121 01 35
I In der Matrix X wurde zusatzlich eine Spalte mit Einsen eingefugt
(der Grund wird spater klar). Y ist 9-dimensionaler Vektor; X ist9 x 2 Matrix.
12 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Mehr uber Matrizen: die Position eines Elements
I Das Element in der Position (2,3) in der Matrix(2.1 1.2 6.1 3.41.2 −0.5 2.7 −1.9
)ist das Element in der 2-ten Zeile und 3-ten Spalte, also dieZahl 2.7
I Das Element in der Position (4,1) in der Matrix2 10 16 2−1 3
ist das Element in der 4-ten Zeile und 1-ten Spalte, also dieZahl −1
13 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die m × n Matrix (m Zeilen, n Spalten)
A =
a11 a12 a13 · · · a1n
a21 a22 a23 · · · a2n
a31 a32 a33 · · · a3n
......
.... . .
...am1 am2 am3 · · · amn
aij ist das Element in der Position (i, j), d.h. das Element in der i-tenZeile und j-ten Spalte der Matrix A.
Beispiel: Das Element in der Position (2, 3) (also in der 2-ten Zeileund 3-ten Spalte) der Matrix 7 6 3 −1
4 1 −5 21 3 −4 1
ist die Zahl -5.
14 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die Multiplikation von Matrizen mit einer Zahl:
I Jedes Element der Matrix wird mit einer Zahl multipliziert
I Beispiele:
1.2 ·(
2.1 1 3−1.3 2.2 −4.1
)=(
1.2 · 2.1 1.2 · 1 1.2 · 31.2 · (−1.3) 1.2 · 2.2 1.2 · (−4.1)
)
=(
2.32 1.2 3.6−1.56 2.64 −4.92
)
3 ·
(1−11.5
)=
(3 · 1
3 · (−1)3 · 1.5
)=
(3−34.5
)
15 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse3.2 Addition und Multiplikation von Matrizen
16 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Rechnen mit Matrizen: Die Addition
I Matrizen mit gleicher Zeilen- und Spaltenanzahl konnen addiertwerden, in dem man die Elemente addiert, die an den entsprechen-den Positionen stehen:(
1.1 1.6−1.2 2.4
2.4 −3.1
)+
(−0.5 0.1
1.0 0−2.1 7.1
)=
(1.1 − 0.5 1.6 + 0.1
−1.2 + 1.0 2.4 + 02.4 − 2.1 −3.1 + 7.1
)
=
(0.6 1.7
−0.2 2.40.3 4.0
)
(4.5 −2.1 3.41.7 5.1 −8.2
)+(
0 2 31 −1 −5
)=(
4.5 −0.1 6.42.7 4.1 −13.2
)
17 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die Addition von zwei m × n Matrizen
a11 a12 · · · a1n
a21 a22 · · · a2n
......
. . ....
am1 am2 · · · amn
+
b11 b12 · · · b1n
b21 b22 · · · b2n
......
. . ....
bm1 bm2 · · · bmn
=
a11 + b11 a12 + b12 · · · a1n + b1n
a21 + b21 a22 + b22 · · · a2n + b2n
......
. . ....
am1 + bm1 am2 + bm2 · · · amn + bmn
Beachte: es konnen ausschließlich Matrizen addiert werden, diegleiche Zeilen- und Spaltenzahl haben!
18 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Rechnen mit Matrizen: Die Multiplikation
I Das Produkt A · B der Matrizen A and B kann gebildet werden,falls die Anzahl der Spalten der Matrix A gleich der Anzahlder Zeilen der Matrix B ist. Die Berechnung wird hier nur anBeispielen erlautert
A =(
3 −2 61 4 2
)B =
(7 1 −1 21 3 1 0
−2 0 1 −1
)
A · B =(
3 · 7 − 1 · 2 − 2 · 6 −3 1 01 · 7 + 4 · 1 − 2 · 2 13 5 0
)=(
7 −3 1 07 13 5 0
)I Beachte:
A ist 2× 3 MatrixB ist 3× 4 Matrix
A · B ist 2× 4 Matrix
19 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Multiplikation einer Matrix mit einem Vektor
A =
4 −1 2 10 2 1 31 3 −1 −2
Y =
1234
A · Y =
4 · 1− 1 · 2 + 2 · 3 + 1 · 40 · 1 + 2 · 2 + 1 · 3 + 3 · 41 · 1 + 3 · 2− 1 · 3− 2 · 4
=
1219−4
Beachte:
A ist 3× 4 MatrixY ist 4× 1 Matrix (4-dimensionaler Vektor)
A · Y ist 3× 1 Matrix
20 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Auf die Reihenfolge kommt es an
Beachte: Bei der Multiplikation von Matrizen darf die Reihenfolgenicht vertauscht werden! Beispiel:
A =
(1 21 3
); B =
(1 10 1
)
A · B =
(1 31 4
)6= B · A =
(2 51 3
)
21 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.4 Beispiel: das Modell der linearen Regressionin Matrixschreibweise
Beispiel: Multiplikation mit Kodierungsmatrix bei linearerRegression (vgl. Beispiel 3.3):
1 201 131 151 391 51 61 121 01 35
(b0
b1
)=
b0 + 20b1
b0 + 13b1
b0 + 15b1
b0 + 39b1
b0 + 5b1
b0 + 6b1
b0 + 12b1
b0 + 0b1
b0 + 35b1
22 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.4 Beispiel: das Modell der linearen Regressionin Matrixschreibweise
Y =
Y1
Y2
...Yn
=
1 x1
1 x2
......
1 xn
︸ ︷︷ ︸
X
·(
b0
b1
)︸ ︷︷ ︸
b
+
ε1ε2...εn
︸ ︷︷ ︸
ε
Beachte:
I X hat n Zeilen und 2 Spalten
I Die i-te Zeile von Y = Xb + ε ergibt die Gleichung (der Fall i = 2in blau)
Yi = b0 + b1xi + εi i = 1, . . . , n
I Schreibweise: Y = Xb + ε
23 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.5 Beispiel Das Modell der einfaktoriellenVarianzanalyse in Matrixschreibweise (vgl.Beispiel 3.2)
Beispiel: Matrixmultiplikation mit einer Kodierungsmatrix(einfaktorielle Varianzanalyse)
1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 1
µ1
µ2
µ3
µ4
=
µ1
µ1
µ1
µ2
µ2
µ3
µ3
µ3
µ4
µ4
Beachte: Auf der rechten Seite steht der Vektor der Erwartungswerte
µ1 = 1 · µ1 + 0 · µ2 + 0 · µ3 + 0 · µ4
24 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Fortsetzung Beispiel 3.5: MathematischesModell
I
Yij := µi + εij j = 1, . . . , ni ; i = 1, 2, 3
(n1 = 14, n2 = 8, n3 = 7)
Yij : Ergebnis der j-ten Versuchsperson in Gruppe i (Mathe-matik: i = 1, Psychologie: i = 2 Geisteswisenschaften:i = 3)
µi : unbekannter Erwartungswert in der Population i (Mathe-matik: i = 1, Psychologie: i = 2,Geisteswisenschaften:i = 3)
25 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Matrixschreibweise in Beispiel 3.5: Y = Xb + ε
Y =
Y11
.
.
.Y14Y21
.
.
.Y28Y31
.
.
.Y37
=
1 0 0
.
.
.
.
.
.
.
.
.1 0 00 1 0
.
.
.
.
.
.
.
.
.0 1 00 0 1
.
.
.
.
.
.
.
.
.0 0 1
︸ ︷︷ ︸
X
· µ1
µ2µ3
︸ ︷︷ ︸
b
+
ε11
.
.
.ε14ε21
.
.
.ε28ε31
.
.
.ε37
︸ ︷︷ ︸
ε
Beachte: Liest man die Gleichung zeilenweise der Reihe nach, so gilt:
Y11 = µ1 + ε11
Y12 = µ1 + ε12
...
Y21 = µ2 + ε21
...
Y37 = µ3 + ε37
26 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Matrixschreibweise Beispiel 3.5: Y = Xb + ε
Y =
Y11
.
.
.Y14Y21
.
.
.Y28Y31
.
.
.Y37
=
1 0 0
.
.
.
.
.
.
.
.
.1 0 00 1 0
.
.
.
.
.
.
.
.
.0 1 00 0 1
.
.
.
.
.
.
.
.
.0 0 1
︸ ︷︷ ︸
X
· µ1
µ2µ3
︸ ︷︷ ︸
b
+
ε11
.
.
.ε14ε21
.
.
.ε28ε31
.
.
.ε37
︸ ︷︷ ︸
ε
I Beachte: Liest man alle Gleichungen zeilenweise, so gilt:
Yij = µi + εij i = 1, 2, 3; j = 1, . . . , ni
I X hat 14 + 8 + 7 = 29 Zeilen und 3 Spalten. In der i-ten Spaltestehen genau ni Einsen (n1 = 14, n2 = 8, n3 = 7)
I Schreibweise: Y = Xb + ε
27 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Das Modell der einfaktoriellen Varianzanalyse mitk Gruppen in Matrixschreibweise:
Y = Xb + ε
X =
1 0 · · · 0
.
.
.
.
.
.
...
.
.
.1 0 · · · 00 1 · · · 0
.
.
.
.
.
.
...
.
.
.0 1 · · · 0
.
.
.
.
.
.
...
.
.
.0 0 · · · 1
.
.
.
.
.
.
...
.
.
.0 0 · · · 1
b =
µ1µ2
.
.
.µk
ε =
ε11
.
.
.ε1n1ε21
.
.
.ε2n2
.
.
.εk1
.
.
.εknk
Beachte:
I n = n1 + · · ·+ nk GesamtstichprobenumfangI X hat n Zeilen und k SpaltenI die j-te Spalte von X enthalt nur in den Zeilen
n1 + n2 + . . . nj−1 + 1, . . . , n1 + n2 + · · ·+ nj
Einsen (fur die 1-te Spalte sind das die Zeilen 1, . . . , n1) 28 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.6: Das Modell der multiplen linearenRegression in Matrixschreibweise
Y =
Y1
Y2
Y3
...Yn
=
1 x11 x21 · · · xk1
1 x12 x22 · · · xk2
1 x13 x23 · · · xk3
......
.... . .
...1 x1n x2n · · · xkn
︸ ︷︷ ︸
X
·
b0
b1
...
...bk
︸ ︷︷ ︸
b
+
ε1ε2ε3...εn
︸ ︷︷ ︸
ε
Beachte: Y = Xb + ε
I X hat n Zeilen und k + 1 Spalten
I Die i-te Zeile von Y liefert die Gleichung (der Falle i = 3 in blau)
Yi = b0 + b1x1i + b2x2i + · · ·+ bkxki + εi i = 1, . . . , n
29 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Mehr Matrizenrechnung: Transposition
I Mit AT wird diejenige Matrix bezeichnet, die man aus der MatrixA erhalt, wenn man die Zeilen als Spalten (bzw. die Spalten alsZeilen) schreibt. Beispiel:
1 2 3 4−1 2 1 0
3 7 1 −2
T
=
1 −1 32 2 73 1 14 0 −2
I Beachte: Ist A m × n-Matrix (m Zeilen, n Spalten), dann ist AT
n ×m-Matrix (n Zeilen, m Spalten). Beispiel:
A =
−1 −1
3 14 −21 −1
︸ ︷︷ ︸
4×2 Matrix
AT =
(−1 3 4 1−1 1 −2 −1
)︸ ︷︷ ︸
2×4 Matrix
30 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Mehr Matrizenrechnung: Inversion einer MatrixI Die Matrix (nur auf der Diagonalen Einsen, sonst Nullen)
I =
1 0 0 · · · 00 1 0 · · · 00 0 1 · · · 0...
......
. . ....
0 0 0 · · · 1
heißt Identitatsmatrix oder Einheitsmatrix (das ist das Pendantzur Zahl 1 bei der Multiplikation von Zahlen)
I Ist A m ×m-Matrix, so ist die inverse Matrix A−1 diejenigeMatrix fur die gilt:
A · A−1 = A−1A = I
(das ist das Pendant des Kehrwerts bei Multiplikation von Zahlen:A = 3 ⇒ A−1 = 1/3)
I Beachte: A−1 existiert nicht immer (man kann nicht durch 0teilen)
31 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel: Inversion einer 2× 2 MatrixDie Inverse der Matrix
A =
(2 12 4
)ist die Matrix
A−1 =
(23 − 1
6− 1
313
),
denn
A · A−1 =
(2 · 2
3 − 1 · 13 −2 · 1
6 + 1 · 13
2 · 23 − 4 · 1
3 −2 · 16 + 4 · 1
3
)=
(1 00 1
)
A−1 · A =
(23 · 2−
16 · 2 − 2
3 · 1− 1 16 · 4
− 13 · 2 + 1
3 · 2 − 13 · 1 + 1
3 · 4
)=
(1 00 1
)
Beachte: Gewohnlich muss die Bestimmung einer Inversen Matrixmit numerischen Methoden erfolgen
32 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse3.3 Das Allgemeine Lineare Modell, Methode derkleinsten Quadrate
33 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Allgemeines lineares Modell (ALM):
Y = Xb + ε
I Y : Vektor von Zufallsvariablen
I b: Parametervektor
I ε: Vektor der zufaligen ”Fehler” (mit gleicher Varianz)
I X : Designmatrix (dadurch wird das betrachtete Modell spezifi-ziert). In den vorigen Beispielen erhalt man fur verschiedeneMatrizen X
I Lineares Regressionsmodell (vgl. Beispiel 3.4)I Einfaktorielle Varianzanalyse (vgl. Beispiel 3.5)I Multiples lineares Regressionsmodell (vgl. Beispiel 3.6)
I Es gibt viel mehr Modelle, die man durch das ALM beschreibenkann (z.B. zweifaktorielle Varianzanalyse, Kovarianzanalyse, etc. )
I Aus diesem Grund werden die Verfahren (Schatzen, Testen, etc. )im ALM entwickelt, und diese konnen in den Spezialfallen dannverwendet werden
34 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.7 Die Methode der kleinsten Quadrate im ALMI Sind Yi und (Xb)i die Elemente in der i-ten Zeile der
Vektoren Y und Xb, so wird die Schatzung fur b sobestimmt, dass die Summe der quadrierten Differenzen
n∑i=1
[Yi − (Xb)i ]2
zwischen beobachten Werten (Yi ) und durch das Modellvorhergesagten Werten ((Xb)i ) minimiert wird
I Mathematische Statistik: Der beste Schatzer fur b lautet:
b = (X T X )−1X T Y
I (XTX )−1 die inverse Matrix von XTXI XT die Transposition der Matrix X
I Wichtig ist nicht die Formel, sondern die Erkenntnis, dassman in jedem linearen Modell den Schatzer immerausrechnen kann (falls die inverse Matrix existiert)!
35 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.8 Beispiel: Arzneimittelstudie zur Behandlungeiner Depressiven Erkrankung
I Drei Behandlungsformen der Depression (Placebo, einfache Dosis,doppelte Dosis)
I Je 10 Patienten werden mit der jeweiligen Dosierung behandelt(insgesamt 30 Probanden)
I DatenFaktor A
Placebo einfache Dosis doppelte Dosis(1) (2) (3)22 16 1325 16 1222 16 1221 15 1322 15 1218 19 1619 20 1417 17 1621 16 1319 16 14
I Es gibt einen Faktor, der einen Einfluß auf das Ergebnis derTherapie hat. Faktor A: Behandlungsform;
36 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.8(a): Einfaktorielle Varianzanalyse imALM
I Untersuche den Einfluss eines Faktors (z.B. Behandlungsform) aufdie abhangige Variable (z.B. Depressivitat).
I Mathematisches Modell (n1 = n2 = n3 = 10):
Yij = µi + εij j = 1, . . . , n1 ; i = 1, 2, 3
I µi Einfluß der i-ten FaktorstufeI εij zufallige Fehler
I In der Schreibweise des ALM
Y = Xb + ε
(die Matrix X und der Datenvektor y werden auf der nachstenFolie gezeigt)
37 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die Matrix X und der Datenvektor y im Beispiel3.8(a)
y =
2225...
1916...
1613...
14
X =
1 0 0...
......
1 0 00 1 0...
......
0 1 00 0 1...
......
0 0 1
b =
(µ1
µ2
µ3
)
Beachte
I y ist 30-dimensionaler Vektor; b ist 3-dimensionaler Vektor;
I X ist 30× 3 Matrix
38 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Schatzung von b mit der Methode der kleinstenQuadrate bei Modellierung 3.8(a)
I
X T X =
(10 0 00 10 00 0 10
)⇒ (X T X )−1 =
(1/10 0 0
0 1/10 00 0 1/10
)I
X T y =
∑10
j=1 y1j∑10j=1 y2j∑10j=1 y3j
= 10 ·
y1·y2·y3·
I
b = (X T X )−1X T y =
y1·y2·y3·
=
20.616.613.3
39 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.8(b): Alternatives ALM fur dieeinfaktorielle Varianzanalyse
I Untersuche den Einfluss eines Faktors (z.B. Behandlungsform) aufdie abhangige Variable (z.B. Depressivitat)
I Mathematisches Modell (n1 = n2 = n3 = 10):
Yij = µ+ αi + εij j = 1, . . . , n1 ; i = 1, 2, 3
I µ GesamtmittelwertI αi Einfluß der i-ten FaktorstufeI εij zufallige Fehler
I Beachte: α1 + α2 + α3 = 0; µi = µ+ αi (i = 1, 2, 3)
I In der Schreibweise des ALM
Y = Xb + ε
(die Matrix X und der Datenvektor y werden auf der nachstenFolie gezeigt)
40 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die Matrix X und der Datenvektor y im Beispiel3.8(b)
y =
2225...
1916...
1613...
14
X =
1 1 0 0...
......
...1 1 0 01 0 1 0...
......
...1 0 1 01 0 0 1...
......
...1 0 0 1
b =
µα1
α2
α3
Beachte
I y ist 30-dimensionaler Vektor; b ist 4-dimensionaler Vektor (mitder zusatzlichen Nebenbedingung α1 + α2 + α3 = 0)
I X ist 30× 4 Matrix
41 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Schatzung von b mit der Methode der kleinstenQuadrate bei Modellierung 3.8(b)
I Mit einer “ahnlichen” Methode wie in 3.7 erhalt man
b =
µα1
α2
α3
=
y ··y1· − y ··y2· − y ··y3· − y ··
=
16.9
3.7−0.3−3.4
I Beachte: Hier schatzt man den Gesamtmittelwert (16.9) und die
Abweichungen der Gruppenmittelwerte vom Gesamtmittelwert
42 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.9 Die Genauigkeit der Schatzungen
I b = (b1, . . . , bn)T sei der kleinste Quadrateschatzer(vgl. Beispiel 3.7)
I Fur i = 1, . . . , n sei di das Element in der Position (i , i) derMatrix (X T X )−1 (man spricht vom iten Diagonalelement)
I Dann istsb =
√s2di =
√di s
der Standardfehler von b (in anderen Worten: s2b ist eine
Schatzung fur die Varianz von b), wobei
s2 =1
n − r
n∑i=1
[Yi − (Xb)i ]2
eine Schatzung fur die Varianz der zufalligen Fehler ist (r be-zeichnet die Anzahl der (unabhangigen) Parameter im ALM. InBeispiel 3.8(a) und 3.8(b) sind das 3!
43 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse3.4 Der F -test im ALM
44 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Formulierung von Hypothesen im ALM
I Y = Xb + ε
I b t-dimensionaler Vektor
I K sei s × t Matrix
I NullhypotheseH0 : Kb = 0
I Beachte: Kb ist ein s-dimensionaler Vektor; 0 ist eins-dimensionaler Vektor (alle Eintrage 0)
45 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.10(a): Fortsetzung von Beispiel3.8(a) (Einfaktorielle Varianzanalyse)
I Untersuche den Einfluss eines Faktors (z.B. Behandlungsform) aufdie abhangige Variable (z.B. Depressivitat).
I Mathematisches Modell
Y = Xb + ε
Designmatrix X , Daten- und Parametervektor Y und b findetman in Beispiel 3.8(a). Zeilenweise gelesen ergibt das(n1 = n2 = n3 = 10)
Yij = µi + εij j = 1, . . . , n1 ; i = 1, 2, 3
I µi Einfluß der i-ten FaktorstufeI εij Storgroßen
46 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Formulierung der Hypothese in Beispiel 3.8(a)
I
b =
(µ1
µ2
µ3
)I Mit
K =
(1 −1 01 0 −1
)kann die Nullhypothese
H0 : µ1 = µ2 = µ3
geschrieben werden als
H0 : Kb =
(µ1 − µ2
µ1 − µ3
)=
(00
)
47 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.10 (b): Fortsetzung von Beispiel3.8(a) (Einfaktorielle Varianzanalyse)
I Untersuche den Einfluss eines Faktors (z.B. Behandlungsform) aufdie abhangige Variable (z.B. Depressivitat)
I Mathematisches Modell
Y = Xb + ε
Designmatrix X , Daten- und Parametervektor Y und b findetman in Beispiel 3.8(b). Zeilenweise gelesen ergibt das(n1 = n2 = n3 = 10)
Yij = µ+ αi + εij j = 1, . . . , n1 ; i = 1, 2, 3
I µ GesamtmittelwertI αi Einfluß der i-ten FaktorstufeI εij Storgroßen
I Beachte: α1 + α2 + α3 = 0; µi = µ+ αi (i = 1, 2, 3)
48 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Formulierung der Hypothese in Beispiel 3.8(b)I
b =
µα1
α2
α3
I Mit
K =
0 1 0 00 0 1 00 0 0 1
kann die Nullhypothese
H0 : αi = 0 i = 1, 2, 3
geschrieben werden als
H0 : Kb =
α1
α2
α3
=
000
49 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.11: Fortsetzung von Beispiel 3.6 (multiple lineareRegression)
Y =
Y1
Y2
Y3
...Yn
=
1 x11 x21 · · · xk1
1 x12 x22 · · · xk2
1 x13 x23 · · · xk3
......
.... . .
...1 x1n x2n · · · xkn
︸ ︷︷ ︸
X
·
b0
b1
...
...bk
︸ ︷︷ ︸
b
+
ε1ε2ε3...εn
︸ ︷︷ ︸
ε
Beachte: Y = Xb + ε
I X hat n Zeilen und k + 1 Spalten
I Die i-te Zeile von Y liefert die Gleichung (der Falle i = 3 in blau)
Yi = b0 + b1x1i + b2x2i + · · ·+ bkxki + εi i = 1, . . . , n
50 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Formulierung der Nullhypothesen in Beispiel 3.6:Testen von allen Koeffizienten
I b =
b0
b1
...bk
I Mit der k × (k + 1)-Matrix
K =
0 1 0 0 · · · 0 00 0 1 0 · · · 0 0
.
.
.
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.0 0 0 0 · · · 0 1
kann man die Nullhypothese
H0 : bj = 0 fur alle j = 1, . . . , k
schreiben als
H0 : Kb =
b1
...bk
=
0...0
51 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Formulierung der Nullhypothesen in Beispiel 3.6:Testen von einzelnen Koeffizienten
I
b =
b0
b1
...bk
I Mit der 1× (k + 1)-Matrix [beachte: die “1” steht an der Stelle
(1, j + 1)]K = (0, 0, . . . , 0, 1, 0, . . . , 0)
kann man die Hypothese
H0 : bj = 0
schreiben als
H0 : Kb = 0
52 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.12 F -Test fur lineare Hypothesesen im ALM
I Modell: Y = Xb + ε
I Nullhypothese: H0 : Kb = 0; H1 : Kb 6= 0
I Voraussetzungen (sind zu prufen): Die Komponenten des Vektorsε (zufallige Fehler) sind
I unabhangigI normalverteilt mit Erwartungswert 0 und derselben Varianzσ2 > 0
I Mathematische Statistik: Die Designmatrix X und dieHypothesenmatrix K definieren eine Statistik Fs,n−r (n:Stichprobenunfang)
I Die Nullhypothese H0 wird zu Gunsten der Alternative H1
abgelehnt, falls Fs,n−r großer als das entsprechende Quantil derF -Verteilung ist bzw. der p-Wert < α ist
53 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die Statistik Fs,n−r
I
Fs,n−r =1s (K b)T (K (X T X )−1KT )−1(K b)
1n−r yT (I − X (X T X )−1X T )y
I b = (X T X )−1X T Y ist der kleinste Quadratschatzer fur bI r ist die Anzahl der (unabhangigen) Parameter im ALMI Die Nullhypothese: H0 : Kb = 0 wird verworfen, falls
Fs,n−r > Fs,n−r ,1−α
gilt (bzw. der p-Wert < α ist). Dabei ist Fs,n−r ,1−α das(1− α)-Quantile der F -Verteilung mit (s, r) Freiheitsgraden
I Beachte: Die Statistik Fs,n−r kann man aus X (Designmatrix),K (Hypothesenmatrix) und y (Datenvektor) berechnen (mitSoftware wie z.B. SPSS).
s2 =1
n − ryT (I − X (X T X )−1X T )y =
1
n − r
n∑i=1
[Yi − (X b)i ]2
ist die Schatzung fur die Varianz der zufalligen Fehler im Modell
54 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Eine ”anschauliche” Interpretation der StatistikFs,n−r
I
RSS = (n − r)s2 =n∑
i=1
[Yi − (X b)i ]2
ist die Summe der quadrierten Residiuen im ALM Y = Xb + ε.
I RSSH0 bezeichne die Summe der quadrierten Residiuen im ALMunter der zusatzlichen Annahme dass die NullhypotheseH0 : Kb = 0 gilt
I Es gilt
Fs,n−r =n − r
s
RSSH0 − RSS
RSS
I Beachte: Der F -Test vergleicht also die Summe der quadriertenResiduen unter Modellannahme des ALM mit der Summe derquadrierten Residuen unter der Modellannahme des ALM und derAnnahme, dass die Nullhypothese H0 : Kb = 0 gilt!
55 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.13(a): Fortsetzung von Beispiel3.8(a) (F -Test in einfaktorielle Varianzanalyse)
I Untersuche den Einfluss eines Faktors (z.B. Behandlungsform) aufdie abhangige Variable (z.B. Depressivitat).
I Mathematisches Modell
Y = Xb + ε
Designmatrix X , Daten- und Parametervektor Y und b findetman in Beispiel 3.8(a). Zeilenweise gelesen ergibt das(n1 = n2 = n3 = 10)
Yij = µi + εij j = 1, . . . , n1 ; i = 1, 2, 3
I µi Einfluß der i-ten FaktorstufeI εij Storgroßen
56 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Formulierung der Hypothese in Beispiel 3.8(a)
I b = (µ1, µ2, µ3)T
I H0 : µ1 = µ2 = µ3
I Mit
K =
(1 −1 01 0 −1
)kann die Nullhypothese geschrieben werden als
H0 : Kb =
(µ1 − µ2
µ1 − µ3
)=
(00
)I Diese Designmatrix X Hypothesenmatrix K und der Datenvektor
y werden in die allgemeine Formel eingesetzt und man erhalt dieStatistik fur den F -Test (in Software implementiert)
57 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
SPSS-Output fur die Daten aus Beispiel 3.2:Oneway ANOVA (Modell 3.8(a))
SignifikanzFMittel der Quadratedf
Quadratsumme
Zwischen den Gruppen
Innerhalb der Gruppen
Gesamt 29348,700
3,5302795,300
,00035,896126,7002253,400
ONEWAY ANOVA
Beobachtung
58 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Zerlegung der Summe der Quadrate (vgl. Beispiel1.14):
k∑i=1
ni∑j=1
(yij − y ··)2
︸ ︷︷ ︸Gesamtvarianz(RSSH0
)
=k∑
i=1
ni∑j=1
(yij − µi )2
︸ ︷︷ ︸Fehler(RSS)
+k∑
i=1
ni (y ·· − µi )2
︸ ︷︷ ︸Varianz zwischen Gruppen
Beachte:
I Gesamtstichprobenumfang: n =∑k
i=1 ni
I ”Gesamtmittelwerts”
y ·· =1
n
k∑i=1
ni∑j=1
yij
I µi = y i· = 1ni
∑ni
j=1 yij Mittelwerts der Gruppe i
59 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Statistische Tests im Modell 3.8(a) (einfaktorielleVarianzanalyse)
I H0 : µi = 0 (i = 1, 2, 3) (der Faktor “Dosierung” hat keinenEinfluß)
Fµ =12253.412795.3
=126.7
3.53= 35.89 =⇒ p −Wert ≈ 0.000
D.h. die Nullhypothese wird zum Niveau 5% verworfen
I R2µ =
227 Fµ
1+ 227 Fµ
= 0.727
c.a. 72.7% der Variation in der Variablen “Depression” sind aufdem Faktor “Dosierung” zuruckfuhrbar
60 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.13(b): Fortsetzung von Beispiel3.8(b) (F -Test in einfaktorielle Varianzanalyse)
I Untersuche den Einfluss eines Faktors (z.B. Behandlungsform) aufdie abhangige Variable (z.B. Depressivitat)
I Mathematisches Modell
Y = Xb + ε
Designmatrix X , Daten- und Parametervektor Y und b findetman in Beispiel 3.8(b). Zeilenweise gelesen ergibt das(n1 = n2 = n3 = 10)
Yij = µ+ αi + εij j = 1, . . . , n1 ; i = 1, 2, 3
I µ GesamtmittelwertI αi Einfluß der i-ten FaktorstufeI εij Storgroßen
I Beachte: α1 + α2 + α3 = 0; µi = µ+ αi (i = 1, 2, 3)
61 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Formulierung der Hypothese in Beispiel 3.8(b)I b = (µ, α1, α2, α3)T
I H0 : αi = 0 i = 1, 2, 3
I Mit
K =
0 1 0 00 0 1 00 0 0 1
kann die Nullhypothese geschrieben werden als
H0 : Kb =
α1
α2
α3
=
000
I Weitere Hypothese H0 : µ = 0 ⇒ verwende die Hypothesenmatrix
K = (1, 0, 0, 0),
dann erhalt man: H0 : Kb = µ = 0
62 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
SPSS-Output fur die Daten aus Beispiel 3.2:Allgemeines lineares Modell, univariat (Modell3.8(b))
SignifikanzFMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
A
Fehler
Gesamt
KorrigierteGesamtvariation 29348,700
308917,000
3,5302795,300
,00035,896126,7002253,400
,0002427,5358568,30018568,300
,00035,896126,7002253,400a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Beobachtung
a. R-Quadrat = ,727 (korrigiertes R-Quadrat = ,706)
63 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Zerlegung der Summe der quadriertenBeobachtungen in Beispiel 3.8(b):
k∑i=1
ni∑j=1
y2ij︸ ︷︷ ︸
Gesamt
=k∑
i=1
ni∑j=1
(yij − y ··)2
︸ ︷︷ ︸(korrigierte) Gesamtvarianz(RSSH0
)
+ (n y ··)2︸ ︷︷ ︸
konstanterTerm
=k∑
i=1
ni∑j=1
(yij − µ− αi )2
︸ ︷︷ ︸Fehler(RSS)
+k∑
i=1
ni (y ·· − µ− αi )2
︸ ︷︷ ︸Varianz zwischen Gruppen
+ (n y ··)2︸ ︷︷ ︸
konstanterTerm
Beachte: µ = y ··, µ+ αi = µi
64 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Statistische Tests im Modell 3.8(b) (einfaktorielleVarianzanalyse)
I H0 : µ = 0 (Gesamtmittelwert = 0)
Fµ =11 8568.3
127 95.3
=8568.3
3.53= 2427.535 =⇒ P-Wert ≈ 0.000
D.h. die Hypothese wird zum Niveau 5% verworfen
I H0 : αi = 0 (i = 1, 2, 3) (der Faktor “Dosierung” hat keinenEinfluß)
Fα =12253.412795.3
=126.7
3.53= 35.89 =⇒ p −Wert ≈ 0.000
D.h. die Nullhypothese wird zum Niveau 5% verworfen
I R2α =
227 Fα
1+ 227 Fα
= 0.727
c.a. 72.7% der Variation in der Variablen “Depression” sind aufdem Faktor “Dosierung” zuruckfuhrbar.
65 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse3.5 Zweifaktorielle Varianzanalyse
66 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.14 Beispiel Fortsetzung von Beispiel 3.8I Arzneimittelstudie zur Behandlung einer Depressiven Erkrankung
mit Unterscheidung des GeschlechtsI Drei Behandlungsformen der Depression (Placebo, einfache Dosis,
doppelte Dosis)I Je 5 weibliche und je 5 mannliche Patienten werden mit der
jeweiligen Dosierung behandelt (insgesamt 30 Probanden)
Faktor AFaktor B Placebo einfache Dosis doppelte Dosis
(1) (2) (3)mannlich 22 16 13(1) 25 16 12
22 16 1221 15 1322 15 12
weiblich 18 19 16(2) 19 20 14
17 17 1621 16 1319 16 14
I Es gibt zwei Faktoren, die einen Einfluß auf das Ergebnis derTherapie haben. Faktor A: Behandlungsform; Faktor: BGeschlecht
67 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.15 Modell der zweifaktoriellen Varianzanalyse
I Untersuche den Einfluß von zwei Faktoren (z.B. “Dosierung” und“Geschlecht”) auf die abhangige Variable (z.B. “Depression”)
I Mathematisches Modell
Yij` = µij + εij`
(i = 1, . . . , kα; j = 1, . . . , kβ , ` = 1, . . . , nij)
I µij Einfluß der i-ten Stufe des Faktors A und der j-ten Stufe desFaktors B
I εij`: Storgroße (fur den `-ten Probanden und der i-ten Stufe desFaktors A und der j-ten Stufe des Faktors B).
I Modellannahmen: Unabhangigkeit, Normalverteilung mitderselben Varianz
I Beachte: In Beispiel 3.8 ist kα = 3 (Behandlungsform), kβ = 2(Geschlecht) and nij = 5 (je 5 Patienten pro Faktorkombination)
68 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Alternative Modellierung der zweifaktorielle Varianzanalyse
Yij` = µ+ αi + βj + (αβ)ij + εij`
I µ: Gesamtmittelwert
I αi : Einfluß der i-ten Stufe des Faktors A (Haupteffekt)
I βj : Einfluß der j-ten Stufe des Faktors B (Haupteffekt)
I (αβ)ij : Wechselwirkung oder Interaktion der i-ten Stufe desFaktors A mit der j-ten Stufe des Faktors B
I εij`: Storgroße
I Nebenbedingungen:I∑kα
i=1 αi = 0
I∑kβ
j=1 βj = 0
I∑kα
i=1(αβ)ij = 0; j = 1, . . . , kβI∑kβ
j=1(αβ)ij = 0; i = 1, . . . , kα
69 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Zusammenhang zwischen den beiden Modellen:
I Notation
µ = µ·· =1
kαkβ
kα∑i=1
kβ∑j=1
µij
µi· =1
kβ
kβ∑j=1
µij ; i = 1, . . . , kα
µ·j =1
kα
kα∑i=1
µij ; ; j = 1, . . . , kβ
I Es gilt:
µij = µ + (µi· − µ)︸ ︷︷ ︸αi
+ (µ·j − µ)︸ ︷︷ ︸βj
+ (µij − µi· − µ·j + µ)︸ ︷︷ ︸(αβ)ij
70 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Mittelwerte fur die verschiedenen Faktorstufen inBeispiel 3.8 (Methode der kleinsten Quadrate)
a1 a2 a3
b1 22.4 15.6 12.4 16.8b2 18.8 17.6 14.6 17.0
20.6 16.6 13.5 16.9
Beispiele:I 22.4 ist der Mittelwert der Beobachtungen unter Stufe 1 des
Faktors A und Stufe 1 des Faktors B (Schatzung furµ11 = µ+ α1 + β1 + (αβ)11)
I 14.6 ist der Mittelwert der Beobachtungen unter Stufe 3 desFaktors A und Stufe 2 des Faktors B (Schatzung furµ32 = µ+ α3 + β2 + (αβ)32)
I 17.0 ist der Mittelwert der Beobachtungen unter Stufe 2 desFaktors B (Schatzung fur µ·2 = µ+ β2)
I 16.6 ist der Mittelwert der Beobachtungen unter Stufe 2 desFaktors A (Schatzung fur µ2· = µ+ α2)
I 16.9 ist der Mittelwert aller Beobachtungen (Schatzung fur µ)71 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Kodierungsmatrix fur zweifaktorielle Varianzana-lyse am Beispiel der depressiven Erkrankung
Xb =
1 1 0 0 1 0 1 0 0 0 0 01 1 0 0 1 0 1 0 0 0 0 01 1 0 0 1 0 1 0 0 0 0 01 1 0 0 1 0 1 0 0 0 0 01 1 0 0 1 0 1 0 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 1 0 0 0 1 0 1 0 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 1 0 0 0 1 0 0 01 0 1 0 0 1 0 0 0 1 0 01 0 1 0 0 1 0 0 0 1 0 01 0 1 0 0 1 0 0 0 1 0 01 0 1 0 0 1 0 0 0 1 0 01 0 1 0 0 1 0 0 0 1 0 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 1 0 0 0 0 0 1 01 0 0 1 0 1 0 0 0 0 0 11 0 0 1 0 1 0 0 0 0 0 11 0 0 1 0 1 0 0 0 0 0 11 0 0 1 1 0 0 0 0 0 1 01 0 0 1 0 1 0 0 0 0 0 1
µα1α2α3β1β2
(αβ)11(αβ)12(αβ)21(αβ)22(αβ)31(αβ)32
72 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.16(a): Hypothesenmatrix fur Test desFaktors A in der zweifaktoriellen Varianzanalyse
I Vektor der Parameter
b = ( µ, α1, α2, α3, β1, β2, (αβ)11, (αβ)12, (αβ)21, (αβ)22, (αβ)31, (αβ)32 )T
I Mit der Matrix
Kα =
(0 1 0 0 0 0 0 0 0 0 0 00 0 1 0 0 0 0 0 0 0 0 00 0 0 1 0 0 0 0 0 0 0 0
)
kann man die Hypothese H0 : αi = 0; i = 1, 2, 3 schreiben als
H0 : Kαb =
α1
α2
α3
= 0
73 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.16(b): Hypothesenmatrix fur Test desFaktors B in der zweifaktoriellen Varianzanalyse
I Vektor der Parameter
b = ( µ, α1, α2, α3, β1, β2, (αβ)11, (αβ)12, (αβ)21, (αβ)22, (αβ)31, (αβ)32 )T
I Mit der Matrix
Kβ =(
0 0 0 0 1 0 0 0 0 0 0 00 0 0 0 0 1 0 0 0 0 0 0
)kann man die Hypothese H0 : βj = 0; j = 1, 2 schreiben als
H0 : Kβb =
(β1
β2
)= 0
74 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.16(c): Hypothesenmatrix fur Test aufWechselwirkungen in der zweifaktoriellenVarianzanalyse
I Vektor der Parameter
b = ( µ, α1, α2, α3, β1, β2, (αβ)11, (αβ)12, (αβ)21, (αβ)22, (αβ)31, (αβ)32 )T
I Mit der Matrix
Kαβ =
0 0 0 0 0 0 1 0 0 0 0 00 0 0 0 0 0 0 1 0 0 0 00 0 0 0 0 0 0 0 1 0 0 00 0 0 0 0 0 0 0 0 1 0 00 0 0 0 0 0 0 0 0 0 1 00 0 0 0 0 0 0 0 0 0 0 1
kann man die Hypothese
H0 : (αβ)ij = 0; i = 1, 2, 3; j = 1, 2 schreiben als
H0 : Kαβb =
(αβ)11
(αβ)12
(αβ)21
(αβ)22
(αβ)31
(αβ)32
= 0
75 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
SPSS-Output: Zweifaktorielle Varianzanalyse furdie Daten aus Beispiel 3.14
SignifikanzFMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
A
B
A * B
Fehler
Gesamt
KorrigierteGesamtvariation 29348,700
308917,000
1,7002440,800
,00015,94127,100254,200
,678,176,3001,300
,00074,529126,7002253,400
,0005040,1768568,30018568,300
,00036,22461,5805307,900a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Beobachtung
a. R-Quadrat = ,883 (korrigiertes R-Quadrat = ,859)
76 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.17: Hypothesentests fur das Beispielder Depressiven Erkrankung
I H0 : αi = 0 (i = 1, 2, 3) (“der Faktor Dosierung hat keinenEinfluß”)
Fα = 74.53 =⇒ p −Wert ≈ 0.000
D.h. die Nullhypothese wird zum Niveau 5% verworfen
I H0 : βj = 0 (i = 1, 2) (der Faktor “Geschlecht” hat keinenEinfluß)
Fβ = 0.176 =⇒ p −Wert ≈ 0.678
D.h. die Nullhypothese kann zum Niveau 5% nicht verworfenwerden
I H0 : (αβ)ij = 0 (i = 1, 2, 3; j = 1, 2)
Fαβ = 15.94 =⇒ p −Wert ≈ 0.000
D.h. die Nullhypothese wird zum Niveau 5% verworfen
77 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.18: Erklarung der Varianz durch dieFaktoren und Interaktion fur das Beispiel derDepressiven Erkrankung
Bilde den Quotienten aus der Quadratsumme des Faktors (bzw.Interaktion) mit der korrigierten Gesamtvariation (prufen)
I Faktor A:253.4
348.7= 0.727
d.h. 72.7% der Variation der variablen “Depression” konnen durchdie Variable “Behandlungsform” erklart werden
I Faktor B:0.30
348.7= 0.0009
der Faktor “Geschlecht” erklart nur 0.9% der Variation.I Interaktion AB:
54.2
348.7= 0.155
d.h. 15.5% der Variation konnen durch die Wechselwirkungerklart werden
78 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
SPSS-Output: Zweifaktorielle Varianzanalyse furdie Daten aus Beispiel 3.14
SignifikanzFMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
A
B
A * B
Fehler
Gesamt
KorrigierteGesamtvariation 29348,700
308917,000
1,7002440,800
,00015,94127,100254,200
,678,176,3001,300
,00074,529126,7002253,400
,0005040,1768568,30018568,300
,00036,22461,5805307,900a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Beobachtung
a. R-Quadrat = ,883 (korrigiertes R-Quadrat = ,859)
79 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die Zerlegung der Quadratsumme im Beispiel
8917.0︸ ︷︷ ︸gesamt
= 8568.3︸ ︷︷ ︸konstanterTerm
+ 348.7︸ ︷︷ ︸korrigiert
348.7︸ ︷︷ ︸korrigiert
= 253.4︸ ︷︷ ︸Faktor A
+ 0.3︸︷︷︸Faktor B
+ 54.2︸︷︷︸Interaktion
+ 40.8︸︷︷︸Fehler
80 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die Zerlegung der Quadratsumme bei gleichen Gruppengroßen
kα∑i=1
kβ∑j=1
m∑=1
Y 2ij`︸ ︷︷ ︸
gesamt
= n y2···︸︷︷︸
konst. Term
+kα∑i=1
kβ∑j=1
m∑=1
(yij`−y ···)2︸ ︷︷ ︸
korrigierteGesamtvariation
kα∑i=1
kβ∑j=1
m∑=1
(yij`−y ···)2︸ ︷︷ ︸
korrigierteGesamtvariation
=kα∑i=1
kβ∑j=1
m∑=1
(yij`−y ij·−y ·j·+y ···)2︸ ︷︷ ︸
Fehler
+ mkαkα∑i=1
(y i··−y ···)2︸ ︷︷ ︸
Faktor A
+ mkβ
kβ∑j=1
(y ·j·−y ···)2︸ ︷︷ ︸
Faktor B
+kα∑i=1
kβ∑j=1
m∑=1
m(yij`−y i··−y ·j·+y ···)2︸ ︷︷ ︸
Wechselwirkung
Bezeichnungen: m = nij (gleiche Gruppengroßen)
y ··· = 1n
kα∑i=1
kβ∑j=1
m∑=1
yij`; y i·· = 1mkα
kβ∑j=1
m∑=1
yij`; y ·j· = 1mkβ
kα∑i=1
m∑=1
yij`
y ij· = 1m
∑m`=1 yij`; n=kαkβm
81 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Zur Interpretation der WechselwirkungI Die Wechselwirkung (αβ)ij beschreibt einen Effekt, der nur
auftritt, wenn die Faktorstufenkombination (i , j) vorliegt. Manbeachte:
(αβ)ij = µij − µi· − µ·j + µ
D.h. Wechselwirkungen sind Differenzen vonMittelwertdifferenzen (”Unterschiede von Unterschieden”)
I Interaktionsdiagramm (graphisches Hilfsmittel zur Interpretation)
I Auf der Abzisse wird der Faktor mit der großeren Stufenzahlabgetragen
I Die Ordinate bezeichnet die abhangige Variable (Mittelwerte derjeweiligen Stufenkombinationen)
a1 a2 a3
b1
b2
22.4
18.8
17.6
15.6
14.6
12.4 12
14
16
18
20
22
82 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
I Bei signifikanten Interaktionen ist die Interpretation derHaupteffekte zu relativieren
Beispiel (Depressive Erkrankung)
I Sinnvolle Interpretation: es existiert kein Unterschied zwischenmannlichen und weiblichen Patienten (Faktor B nicht signifikant)
I Aber: Signifikante Interaktion erfordert hier eine weitergehendeInterpretation
I Placebo-Behandlung ist bei weiblichen Patienten starkerdepressionsreduzierend als bei mannlichen
I Behandlung mit einfacher und doppelter Dosis wirkt beimannlichen Patienten starker
83 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Klassifikation von Interaktionen
I Ziel: Identifikation der interpretierbaren Haupteffekte
I Ordinale Interaktion (die Rangfolge der Mittelwerte derA-Stufen ist fur b1 und b2 identisch, und die Rangfolge derMittelwerte der B-Stufen ist fur a1 und a2 identisch)
a1 a2
b1
b2
b1 b2
a2
a1
In diesem Fall sind beide Haupteffekte eindeutig interpretierbar
84 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
I Hybride Interaktion (die Rangfolge der Mittelwerte derB-Stufen gilt fur beide Stufen von A; aber die Rangfolge derMittelwerte der A-Stufen gilt nicht fur beide Stufen von B)
a1 a2
b1
b2
b1 b2
a1
a2
In diesem Fall ist nur der Faktor B eindeutig interpretierbar
85 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
I Disordinale Interaktion (die Rangfolge der Mittelwerte derB-Stufen gilt nicht fur beide Stufen von A; und die Rangfolgeder Mittelwerte der A-Stufen gilt nicht fur beide Stufen von B)
a1 a2
b1
b2
b1 b2
a1
a2
I In diesem Fall sind die Haupteffekte nicht interpretierbar
I Unterschiede zwischen a1 und a2 sind nur in Verbindung mit denStufen von B und Unterschiede zwischen den Stufen b1 und b2
sind nur in Verbindung mit den Stufen von A interpretierbar
86 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Interpretation der Haupteffekte im Beispiel der“Depression”
a1 a2 a3
b1
b2
22.4
18.8
17.6
15.6
14.6
12.4 12
14
16
18
20
22
I Der Faktor B ist nicht interpretierbar
I Die Linienzuge fur die beiden Stufen von B weisen den gleichenTrend auf =⇒ Faktor A ist eindeutig interpretierbar
87 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Interpretation der Haupteffekte im Beispiel der“Depression”
b1 b2
12
14
16
18
20
22
a1
a2
a3
12.4
15.6
22.7
18.8
17.6
14.6
I Der Faktor A ist eindeutig interpretierbar
I Die Linienzuge fur die drei Stufen weisen einen unterschiedlichenTrend auf =⇒ Faktor B ist nicht interpretierbar
88 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse3.6 Kovarianzanalyse
89 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel 3.19: Therapieerfolg bei Verhaltens-storungen
I Wie wirkt sich eine psychotherapeutische Behandlung aufverschiedene Verhaltensstorungen aus
I Es werden 3 Gruppen untersucht
I Konzentrationsstorung (5 Patienten)I Schlafstorung (5 Patienten)I Hysterische Verhaltungsstorung (5 Patienten)
I Gemessen wird der Therapieerfolg y (durch Expertenteameingestuft)
90 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Daten
I K: Konzentrationsstorung
I S: Schlafstorung
I H: Hysterische Verhaltsstorung
n K S H1 5 5 22 6 4 13 6 2 14 4 1 15 5 3 2
Beachte: es liegt hier das Modell der einfaktoriellen Varianzanalysevor.
Yij = µi + εij i = 1, 2, 3; j = 1, 2, . . . , 5
91 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
SPSS-Output (einfaktorielle Varianzanalyse, ohneBerucksichtigung von Kovariablen)
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
GRUPPE
Fehler
Gesamt
KorrigierteGesamtvariation
1450,400
15204,000
1,1671214,000
,00015,60018,200236,400
,000131,657153,6001153,600
,00015,60018,200236,400a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Therapieerfolg
a. R-Quadrat = ,722 (korrigiertes R-Quadrat = ,676)
Man beachte:
I Die drei behandelten Gruppen unterscheiden sich signifikant
I Die Therapie fuhrt bei Konzentrationsstorungen zum großtenErfolg (y1· = 5.2; y2· = 3; y3· = 1.4)
92 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Vermutung: Therapieerfolg hangt auch von der Verbalisations-fahigkeit (verbale Intelligenz) der Patienten ab. Diese Eigenschaft wirdaus diesem Grund mit gemessen
K S Hn x y x y x y1 7 5 11 5 12 22 9 6 12 4 10 13 8 6 8 2 9 14 5 4 7 1 10 14 5 5 9 3 13 2
Frage: Andert sich das Ergebnis der Varianzanalyse, falls die verbaleIntelligenz in die Untersuchungen mit einbezogen wird?
93 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Streudiagramm und lineare Regressionsgeraden
Verbale Intelligenz
14,0012,0010,008,006,004,00
Th
erap
ieer
folg
6,00
5,00
4,00
3,00
2,00
1,00
Anpassungslinie für Gesamtsumme
Hysterische VerhaltsstörungSchlafstörungKonzentrationsstörung
Verhaltensstörung
R2 Linear = 0,078
Konzentrationsstörung: R 2 Linear = 0,754
Schlafstörung: R 2 Linear = 0,837Hysterische Verhaltsstörung: R 2
Linear = 0,892
94 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.20 Das Modell der einfaktoriellen Kovarianz-analyse
Yij = µi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni
I yij : Testergebnis des j-ten Patienten in der i-ten Gruppe
I Im Beispiel ist k = 3 ; n1 = n2 = n3 = 5
I µi : Einfluss der Verhaltensstorung auf Therapieerfolg
I xij : Verbalisationsfahigkeit des j-ten Patienten der Gruppe i
I γ bezeichnet einen Parameter; γxij ist der Einfluss derVerbalisationsfahigkeit xij auf den Therapieerfolg (γ = 0bedeutet: die Kovariable “Verbalisationsfahigkeit” hat keinenEinfluss auf den Therapieerfolg)
I Beachte: der Faktor γ ist fur jede Gruppe derselbe (d.h. er hangtnicht von dem Index ”i” ab!)
95 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beachte: Dieses Modell ist ein Spezialfall des ALM Y = Xb + ε.Im Beispiel (k = 3, n1 = n2 = n3 = 5) ist
b =
(µ1
µ2
µ3
γ
)ε =
ε11
.
.
.
.
.
.ε35
X =
1 0 0 71 0 0 91 0 0 81 0 0 51 0 0 50 1 0 110 1 0 120 1 0 80 1 0 70 1 0 90 0 1 120 0 1 100 0 1 90 0 1 100 0 1 13
Y =
566455421321112
96 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.21 Das Modell der einfaktoriellen Kovarianz-analyse im ALM
I Daten- und Fehlervektor
Y =
y11
.
.
.y1n1
.
.
.yk1
.
.
.yknk
; ε =
ε11
.
.
.ε1n1
.
.
.εk1
.
.
.εknk
I Parametervektor und Designmatrix
b =
µ1
.
.
.µkγ
X =
1 0 0 · · · 0 x11
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.1 0 0 · · · 0 x1n10 1 0 · · · 0 x21
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.0 1 0 · · · 0 x2n2
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.0 0 0 · · · 1 xk1
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.0 0 0 · · · 1 xknk
97 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.22 Schatzer (Methode der kleinsten Quadrate)I
γ =
∑ki=1
∑ni
j=1(yij − y ··)(xij − x ··)∑ki=1
∑ni
j=1(xij − x ··)2
Beachte: das ist der Schatzer fur die Steigung der Geraden, wennman eine lineare Regression fur die Daten
{(xij , yij) | i = 1, . . . , k ; j = 1, . . . , ni}
berechnetI
µi = 1ni
∑nj=1 (yij − γxij)
Beachte: das ist der Schatzer fur den Gruppenmittelwert, wobeidie Daten um den Einfluss der Kovariablen korrigiert werden
I Schatzer fur die Varianz der zufalligen Fehler (Residualvarianz)
s2y |x =
1
n − k − 1
k∑i=1
ni∑j=1
(yij − µi − γxij)2
(dabei bezeichnet n = n1 + · · ·+ nk den Gesamtstichproben-umfang)
98 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Mathematische Formulierung der Hypothesen(im Beispiel 3.19)
I Die Kovariablen haben keinen Einfluss auf den Therapieerfolg:
H0 : γ = 0
Mit der Matrix K = (0, 0, 0, 1) kann man diese Nullhypotheseschreiben als
H0 : Kb = (0,0,0,1) ·(
µ1µ2µ3γ
)= γ = 0
I Zwischen den verschiedenen Verhaltensstorungen besteht keinUnterschied hinsichtlich des Therapieerfolgs:
H0 : µ1 = µ2 = µ3
Mit der Matrix
K =(
1 −1 0 00 1 −1 0
)kann man diese Hypothese schreiben als
H0 : KT b =(
1 −1 0 00 1 −1 0
)·(
µ1µ2µ3γ
)=(
µ1 − µ2µ2 − µ3
)=(
00
)99 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Man beachte: Diese Hypothesen konnen nun mit dem F -Test ausKapitel 3.3 (vgl. 3.12) getestet werden
I Die Hypothese H0 : γ = 0 (Kovariablen haben keinen Einfluss)wird zum Niveau α abgelehnt, falls
Fγ =11 γ
2 ns2xx
s2y |x
> F1,n−k−1,1−α
gilt (oder der p-Wert < α) ist. Dabei ist F1,n−k−1,1−α das (1−α)Quantil der F -Verteilung und
s2xx =
1
n
k∑i=1
ni∑j=1
(xij − x ··)2
die Summe der quadrierten Abweichungen der Kovariablen vonihrem Mittelwert
100 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Alternative Interpretation der TeststatistikTrifft die Hypothese H0 : γ = 0 (die Kovariablen haben keinen Einflussauf den Therapieerfolg) zu, so liegt das Modell der einfaktoriellenVarianzanalyse vor:
yij = µi + εij ; i = 1, . . . , k ; j = 1, . . . , ni
Bezeichnetµi=
1n
∑nij=1 yij i=1,...,k
den Mittelwert in Gruppe i (nicht bzgl. der Kovariablen korrigiert) und
s2H0
= 1n−k
∑ki=1 (yij−µi )
2
die Residualvarianz unter der Nullhypothese, dann gilt
Fγ=(n−k) s2H0
−(n−k−1) s2y|x
s2y|x
Man vergleicht also die Summen der quadrierten Residuen in demModell der einfaktoriellen Varianzanalyse
((n − k)s2
H0
)und unter der
Einbeziehung der Kovariablen (s2y |x)
101 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel: Test auf Einfluss der Kovariablen fur die Daten aus Beispiel3.19
I RSSγH0= (n − k) s2
H0= 14.0
I RSS = (n − k − 1) s2y |x = 3.6
I Fγ = 14.0−3.6111 3.6
= 10.40.327 = 31.78
Fur α = 5% ist F1,11,0.95 = 4.844, also wird die Nullhypothese
H0 : γ = 0
(kein Einfluss der Kovariablen) zum Niveau 5% verworfen
102 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Die Hypothese H0 : µ1 = · · · = µk (die Art der Verhaltensstorung hatkeinen Einfluss auf den Therapieerfolg) wird zum Niveau α abgelehnt,falls
Fµ =1
k−1
∑ki=1 ni (y∗i· − y∗··)
2
1n−k−1
∑ki=1
∑ni
j=1 (y∗ij − y∗i·)2> Fk−1,n−k−1,1−α
gilt. Dabei ist
I Fk−1,n−k−1,1−α das (1− α)-Quantil der F -Verteilung mit(k − 1, n − k − 1) Freiheitsgraden
I y∗ij = yij − γxij (die um den Einfluss der Kovariablen bereinigtenDaten)
I
y∗i· = 1ni
∑nij=1 y∗ij
y∗·· = 1n
∑ki=1
∑n1j=1 y∗ij
Beachte: manes wird eine einfaktorielle Varianzanalyse mit den“korrigierten” Daten y∗ij = yij − γxij gerechnet
103 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Bemerkung: Der Zahler der Teststatistik Fµ kann wieder als Differenzvon 2 Residuensummen geschrieben werden:
Fµ =1
k−1 (RSSµH0− RSS)
1n−k−1RSS
I Residuensumme unter H0 : µ1 = · · · = µk
RSSH0 =k∑
i=1
ni∑j=1
(y∗ij − y∗··)2
I Residensumme im Modell der Kovarianzanalyse(µi = 1
ni
∑ni
j=1(yij − γxij) = y∗i· beachten!)
RSS =k∑
i=1
ni∑j=1
(yij − µi − γxij)2 =
k∑i=1
ni∑j=1
(y∗ij − y∗i·)2
104 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel: Test auf Gruppenunterschiede fur die Daten aus Beispiel3.19
I RSSµH0= 46.45
I RSS = 3.6
I Fµ =12 (46.45−3.6)
111 3.6
=12 42.85
111 3.6
= 65.48
Fur α = 5% ist F2,11,0.95 = 3.982, also wird die Nullhypothese (keineGruppenunterschiede)
H0 : µ1 = µ2 = µ3
zum Niveau 5% verworfen
105 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
SPSS-Output: einfaktorielle Kovarianzanalyse
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
GRUPPE
VERBALE_INTELLIGENZ
Fehler
Gesamt
KorrigierteGesamtvariation
1450,400
15204,000
,327113,599
,00031,78910,401110,401
,00065,48321,425242,850
,1292,691,8801,880
,00047,68115,600346,801a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Therapieerfolg
a. R-Quadrat = ,929 (korrigiertes R-Quadrat = ,909)
106 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.23 Voraussetzungen der Kovarianzanalyse
I Modell der einfaktoriellen Kovarianzanalyse
yij = µi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni
I µi reprasentiert den Einfluss der Gruppe i auf die abhangigeVariable yij
I γxij reprasentiert den Einfluss der Kovariablen xij auf dieabhangige Variable yij
I Die zufalligen Fehler εij sind unabhangig und normalverteilt mitErwartungswert 0 und Varianz σ2
I Der Faktor γ is unabhangig von der Gruppe (d.h. hangt nicht voni ab): Homogenitat der Regressionskoeffizienten
107 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.24 Uberprufung der Homogenitat derRegressionskoeffizienten
Modell
yij = µi + γixij + εij ; i = 1, . . . , k ; j = 1, . . . , ni
Nullhypothese: Der Einfluss der Kovariablen andert sich nicht mit derGruppenzugehorigkeit
H0 : γ1 = γ2 = · · · = γk
Beachte: Wird diese Hypothese abgelehnt, ist eine Durchfuhrung derKovarianzanalyse nicht sinnvoll.
108 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Design- und Hypothesenmatrix fur Beispiel 3.19
b =
µ1
µ2
µ3
γ1
γ2
γ3
X =
1 0 0 7 0 01 0 0 9 0 01 0 0 8 0 01 0 0 5 0 01 0 0 5 0 00 1 0 0 11 00 1 0 0 12 00 1 0 0 8 00 1 0 0 7 00 1 0 0 9 00 0 1 0 0 120 0 1 0 0 100 0 1 0 0 90 0 1 0 0 100 0 1 0 0 13
K =
(0 0 0 1 −1 10 0 0 0 1 −1
)
109 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.25 F -Test fur die Hypothese der Homogenitatder Regressionskoeffizienten
H0 : γ1 = · · · = γk wird zum Niveau α abgelehnt, falls
F γ =1
k−1 (RSSH0− RSS)
1n−2k RSS
> Fk−1,n−2k,1−α
gilt. Dabei ist
RSSH0=
k∑i=1
ni∑j=1
(yij − µi − γixij)2
die Summe der quadrierten Residuen (µi , γi ) sind die kleinstenQuadrate Schatzungen, unter der Annahme, dass keine Homogenitatvorliegt) und
RSS =k∑
i=1
ni∑j=1
(yij − µi − γxij)2
die Summe der quadrierten Residuen in der einfaktoriellenKovarianzanalyse (µi , γ sind die kleinsten Quadrate Schatzer unter derAnnahme der Homogenitat; vgl. Bemerkung 3.22)
110 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
Beispiel: F -Test fur die Hypothese der Homogenitat derRegressionskoeffizienten fur die Daten aus Beispiel 3.19
I RSSH0= 3.6
I RSS = 2.445
I F γ =12 (3.6−2.445)
115−6 2.445
= 0.57750.2717 = 2.125
Fur α = 5% ist F2,9,0.95 = 4.256, also wird die Nullhypothese derHomogenitat der Regressionskoeffizienten
H0 : γ1 = γ2 = γ3
zum Niveau 5% nicht verworfen
111 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
SPSS Output: Einfaktorielle Kovarianzanalyseohne die Annahme der Varianzhomogenitat
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
GRUPPE
VERBALE_INTELLIGENZ
GRUPPE * VERBALE_INTELLIGENZ
Fehler
Gesamt
KorrigierteGesamtvariation
1450,400
15204,000
,27292,445
,1762,124,57721,154
,00032,3748,79518,795
,0117,7542,10724,213
,2151,779,4831,483
,00035,3049,591547,955a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Therapieerfolg
a. R-Quadrat = ,951 (korrigiertes R-Quadrat = ,925)
112 / 113
3. Das allgemeinelineare Modell
3.1 Matrizen undVektoren, Kodierung
3.2 Addition undMultiplikation vonMatrizen
3.3 Das AllgemeineLineare Modell(ALM), Methode derkleinsten Quadrate
3.4 Der F -test imALM
3.5 ZweifaktorielleVarianzanalyse
3.6 Kovarianzanalyse
3.26 Bemerkungen zur Kovarianzanalyse
I Mit der Kovarianzanalyse uberpruft man, wie “bedeutsam” derEinfluss der Kovariablen ist
I Der Einfluss der Kovariablen wird durch die Kovarianzanalyseneutralisiert
I Eine Kovarianzanalyse ist eine Varianzanalyse derRegressionsresiduen y∗ij = yij − γxij
I Durch die Beachtung der Kovariablen wird im Modell derVarianzanalyse die Residualvarianz reduziert. Eine “effektive”Reduktion setzt voraus, dass die abhangige Variablen yij mit demunabhangigen Variablen xij signifikant korreliert ist (das sollteman prufen!)
113 / 113
Recommended