Methodenlehre III, WS 2010/2011 · Igor Ivanov: [email protected] GAFO 04/271, Fr (wtl.) 12.00–14.00 Uhr (ab 29.10.) I Koordination Tutorium Lars Kuchinke: [email protected]

Methodenlehre III, WS2010/2011

Prof. Dr. HolgerDette

1. Matrizenrechnung

2. Faktorenanalyse

3. MultivariateMittelwertvergleiche

4. Diskriminanzanalyse

5. Clusteranalyse

6. LogistischeRegression

Methodenlehre III, WS 2010/2011

Prof. Dr. Holger Dette

Ruhr-Universitat Bochum

17. Januar 2011

1 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Methodenlehre III

I Prof. Dr. Holger DetteI NA 3/73I Telefon: 0234 322 8284I Email: [email protected] Internet: www.ruhr-uni-bochum.de/mathematik3/index.htmlI Vorlesung: Montag, 8.30–10.00 Uhr, HGA 20I Thema: Modelle der Faktorenanalyse, Clusteranalyse, logistische

Regression und ihre Anwendungen in der Psychologie

2 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Statistik-Team

I Ubung: Freitag, 8.30–10.00 Uhr, HGA 30 (ab 22.10.)Tobias Kley: [email protected] 3/76, Tel. 0234 32 23310

I Tutorium: SPSS

Nathalie Fritsch: [email protected] 04/615, Mo. (wtl.) 10.00–12.00 Uhr (ab 25.10.)

Max Willenberg: [email protected] 1/128 (CiP-Insel), Di (3-wtl.) 10.00–16.00 Uhr (ab 26.10.)

Igor Ivanov: [email protected] 04/271, Fr (wtl.) 12.00–14.00 Uhr (ab 29.10.)

I Koordination Tutorium

Lars Kuchinke: [email protected] 02/278, Tel. 0234 32 22677

3 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Ubungsaufgaben

I Zwei Kommentare aus der Evaluation zu Methodenlehre II:

I Falls es gewunscht wird, konnen in Erganzung zu denUbungsaufgaben in Blackboard

I (sehr einfache) Fragen zur Vorlesung gestellt undI Eckpunkte der Losung zu den Ubungaufgaben abgefragt

und die Antworten automatisiert bewertet werden.

4 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Ubungsaufgaben

I Die Aufgaben waren in einem begrenzten Zeitraum (ein bis zweiWochen) zu bearbeiten.

I Wer sich jede Woche mit dem Stoff auseinander setzt und dieFragen (richtig) beantwortet kann hierfur bis zu funfBonusprozent in der Semesterabschlussklausur bekommen.

I Beispiel: 63 von 93 Punkten (67.7%) bei denBlackboardaufgaben, entsprechen +4% fur die Klausur 52% statt 48% oder 100% statt 100%.

I Beispiel: 0 von 93 Punkten (0%) bei den Blackboardaufgaben,entsprechen 0% fur die Klausur 48% statt 48% oder 100% statt 100%.

Die Aufgaben waren also weiterhin optional.Aber: Wer sie bearbeitet, profitiert doppelt.

? Wird diese Losung von der Mehrheit gewunscht?

5 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse

6. LogistischeRegression1. Einige (sehr kurze) Vorbemerkungen zur

Matrizenrechnung

6 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Abbildungen von Vektoren

Beispiel:

I Es seien

x1 =

(12

); x2 =

(−13

); x3 =

(1−2

)Vektoren und

A =1√2

(1 −11 1

)eine (quadratische) Matrix

I Durch Multiplikation der Vektoren x1, x2, x3 mit der Matrix Aergeben sich ”neue“ Vektoren.

7 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Abbildungen von Vektoren

I Durch Multiplikation der Vektoren x1, x2, x3 mit der Matrix Aergeben sich ”neue“ Vektoren:

x1 =

(12

)→ y1 = Ax1 = 1√

2

(−13

)x2 =

(12

)→ y2 = Ax3 = 1√

2

(−43

)x3 =

(12

)→ y3 = Ax3 =

(3−1

)I Die Punkte y1, y2, y3 erhalt man aus x1, x2, x3 durch eine

Drehung um 45% gegen den Uhrzeigersinn.I Die obige Matrix beschreibt also eine Drehung.

8 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


X3

X1

X2

Y1

Y3

Y2

9 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beachte:

I Bei der obigen Drehung andern alle Vektoren ihre Richtung.I Betrachtet man eine andere Matrix, z. B.

B =

(1 22 1

)so erhalt man durch Multiplikation der Vektoren x1, x2, x3 mitder Matrix B die neuen Vektoren:

y1 = Bx1 =

(54

); y2 = Bx2 =

(51

); y3 = Bx3 =

(−30

)I In diesem Fall andert sich auch die Lange der Vektoren!I

”Jede“ Matrix beschreibt eine Abbildung, die den Punkten derEbene neue Punkte zuordnet.

10 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


X3

X1

X2

Y1

Y3

Y2

11 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Frage: Gibt es Vektoren, die bei Multiplikationmit einer Matrix ihre Richtung nicht andern?

I Fur die Matrix A gibt es solche Vektoren nicht!I Fur den Vektor

x∗1 =

(11

)gilt:

Bx∗1 =

(1 22 1

)·(

11

)=

(33

)= 3

(11

)= 3x∗

1

I Fur den Vektorx∗

2 =

(1−1

)gilt:

Bx∗2 =

(1 22 1

)·(

1−1

)=

(−11

)= (−1)

(1−1

)= (−1)x∗

2

D. h. Fur die Matrix B existieren solche Vektoren (man beachte: wiridentifizieren die Richtung von Bx∗

2 und x∗2 als dieselbe)!

12 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


X1

X2

Y1

Y2

13 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


1.1 DefinitionIst A eine n × n Matrix und x ein n-dimensionaler Vektor, dann heißtx Eigenvektor der Matrix A zum Eigenwert λ, falls die Gleichung

Ax = λx

erfullt ist.

Beachte:I Mit x ist auch jedes Vielfache von x Eigenvektor.

I Die Matrix A hat immer n Eigenwerte λ1, . . . , λn (diese sindnicht notwendig reelle Zahlen).

I Symmetrische Matrizen (A = AT ) haben reelle Eigenwerte. Z. B.ist die Matrix aller Korrelationen von beobachteten Variablensymmetrisch!

I Die Berechnung von Eigenwerten und Eigenvektoren ist nichteinfach und wird in dieser Vorlesung nicht besprochen.

14 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


1.2 Determinante einer quadratischen Matrix

I Bezeichnung: Ist A eine n × n Matrix und sind λ1, . . . , λn dieEigenwerte von A, dann heißt die Große

| A |= λ1 · λ2 · . . . · λn =n∏

j=1λj

Determinante der Matrix A

I Beachte: Eigenwerte und Determinanten werden nur furquadratische Matrizen definiert (Zeilenzahl = Spaltenzahl)

15 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse

6. LogistischeRegression2. Faktorenanalyse

16 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.1 Grundlegende/einleitende Bemerkungen zurFaktorenanalyse

I Die Faktorenanalyse ist ein Sammelbegriff fur eine Reihe vonexplorativen Verfahren, um fur wechselseitige Beziehungen

”vieler“ Variablen ein ”einfaches Erklarungsmodell“ zubestimmen

I Typisches Beispiel: Schulnoten (≥ 10 inklusive Kopfnoten)

”Erklarung“ durch ”Intelligenz“ und ”Disziplin“.Man Beachte: Die Großen ”Intelligenz“ und ”Disziplin“ sindnicht direkt beobachtbar

I Ziel: Aus der Korrelationsmatrix der beobachtbaren Variablensollen ”moglichst wenige“, ”wechselseitig voneinanderunkorrelierte“ Faktoren extrahiert werden, sodass

I moglichst wenig Information uber die beobachteten Variablenverloren geht

I sich eine ”interpretierbare“ Struktur ergibt, durch die dieFaktoren bezuglich der gemeinsamen Anteile derAusgangsvariablen benannt werden konnen

17 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Das Ergebnis der Faktorenanalyse sind ”wechselseitigvoneinander unkorrelierte“ Faktoren, die die Zusammenhangezwischen den beobachtbaren Variablen erklaren

I In dieser Vorlesung betrachten wir ”nur“ ein Verfahren derFaktorenanalyse:

Hauptkomponentenanalyse (PCA: principal componentanalysis)

I Es gibt viele andere Verfahren der Faktorenanalyse, die sich vorallem aus anderen Modellannahmen ableiten. Z. B.

I Explorative FaktorenanalyseI Image AnalyseI Kanonische Faktorenanalyse

18 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Heuristisches Prinzip:

I Schritt 1:I Aus den Korrelationen der gemessenen Variablen wird eine

”synthetische“ Variable (Faktor) konstruiert, die mit allengemessenen Variablen ”moglichst hoch korreliert“ ist.

I Dieser Faktor ist also eine theoretische (nicht beobachtbare)Variable.

I Die Partialkorrelationen bzgl. dieses Faktors erfassen diejenigenZusammenhange, die durch den Faktor nicht erklart werdenkonnen.

I Schritt 2:I Aus den Restkorrelationen wird dann mit derselben Methode ein

weiterer Faktor bestimmt, derI mit dem ersten Faktor unkorreliert ist.I die verbleibenden Zusammenhange moglichst gut erklart.

Dieses Verfahren wird dann fortgesetzt.

Wie wird das gemacht?

19 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.2 Das Grundprinzip des Faktormodells in einemBeispiel

I Klausurergebnisse in 5 Fachern (Mechanik, Vektorrechnung,Algebra, Analysis, Statistik)

I In den Klausuren zur Algebra (x3), Analysis (x4) und Statistik(x5) konnten wahrend der Klausur Bucher verwendet werden,(O: open book); in den Klausuren zur Mechanik (x1) undVektorrechnung (x2) nicht (C: closed book).

I Daten (Ergebnisse in Punkten)C O

x1 x2 x3 x4 x577 82 67 67 8163 78 80 70 8175 73 71 66 8155 72 63 70 68...

......

......

I Datensatz unterwww.rub.de/mathematik3/lehre/ws1011/methodenlehre3.htmlverfugbar

20 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Korrelationsmatrix fur das Beispiel derKlausurergebnisse

1 0553 0.547 0.410 0.389

1 0.610 0.485 0.4371 0.711 0.665

1 0.6071

Beachte: Es bestehen Korrelationen zwischen allen Variablen!

I”kleinste“ Korrelation besteht zwischen den Ergebnissen derKlausuren in Mechanik und Statistik (x1 und x5)

I”großte“ Korrelation besteht zwischen den Ergebnissen derKlausuren in Algebra und Analysis (x3 und x4)

21 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beachte:

I xmi bezeichne das Ergebnis des m-ten Studenten in Klausur i(i = 1, . . . , 5 m = 1, 2, . . . , 87)

I Es ist zu erwarten:

(1) dass eine Korrelation zwischen den verschiedenen Klausurenbesteht. Die Ergebnisse konnten z. B. von der ”Intelligenz“ odereiner anderen nicht beobachtbaren Eigenschaft der Kandidatenabhangen. Diese Eigenschaft der Person m wird mit fmbezeichnet.

(2) dass das Ausmaß dieser Eigenschaft fur die Bearbeitung derverschiedenen Klausuren unterschiedlich ist. Das Ausmaß, indem diese Eigenschaft fur die Bearbeitung der Klausur ierforderlich ist, wird mit ai bezeichnet.

22 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Mathematische Annahme: Faktormodell

xm1 = fma1xm2 = fma2xm3 = fma3xm4 = fma4xm5 = fma5

+ Rest

D. h. das Klausurergebnis xmi (des m-ten Studenten im Fach i) setzt

sich als Produkt zusammen aus

I der Eigenschaft (z. B. der allgemeinen Intelligenz) der m-tenPerson (fm) (man spricht von einem Faktor)

undI dem Ausmaß einer Eigenschaft (z. B. der allgemeinen

Intelligenz), das fur die Bearbeitung der Klausur i in diesemFach erforderlich ist (ai ).

I Beachte: Der Faktor wird ”mathematisch“ konstruiert und seineInterpretation (z. B. als allgemeine Intelligenz) erfolgt erst spater.

23 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beachte: Es kann weitere Faktoren geben!

Beispiel:

I Mit einer Eigenschaft (z. B. der allgemeinen Intelligenz) sind dieKlausurergebnisse nicht eindeutig bestimmt und es bleibt oft einnicht erklarbarer ”Rest“ (man beachte, dass der Rest fur jedeKlausur ein anderer ist).

I Zum Beispiel konnten Klausuren mit Buchbenutzung andereEigenschaften erfordern als Klausuren ohne Buchbenutzung,z. B. ”Disziplin“ (um etwas auswendig zu lernen).

I Es ist daher in vielen Fallen sinnvoll einen weiteren (und evtl.auch mehrere) Faktor(en) einzufuhren. In der Regel sucht mannach moglichst wenigen Faktoren.

24 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Ein zweiter Faktor:I Bezeichnet man

I die Auspragung des ersten Faktors (z. B. der allgemeinenIntelligenz) der Person m mit fm1

I das Ausmaß, in dem die Klausur i den ersten Faktor (z. B.allgemeine Intelligenz) erfordert mit ai1

I die Auspragung des zweiten Faktors (z. B. der ”Disziplin“) derPerson m mit fm2

I das Ausmaß, in dem die Klausur i den zweiten Faktors (z. B. die

”Disziplin“) erfordert mit ai2

so erhalt man das folgende Modellxm1 = fm1 · a11 + fm2 · a12xm2 = fm1 · a21 + fm2 · a22xm3 = fm1 · a31 + fm2 · a32xm4 = fm1 · a41 + fm2 · a42xm5 = fm1 · a51 + fm2 · a52

+ Rest

I Die Fahigkeit, die Klausur zu bearbeiten, stellt sich alsgewichtete Summe aus den Komponenten Intelligenz undDisziplin dar.

I Diese beiden Großen bezeichnen wir als Faktoren25 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.3 Das allgemeine Faktormodellxmi = fm1 · ai1 + . . .+ fmq · aiq + Rest =

∑qj=1 fmj · aij + Rest

(m = 1, . . . , n i = 1, . . . , p)

Interpretation:I n ist die Anzahl der Versuchsperson; p bezeichnet die Anzahl der

Variablen/Merkmale, die bei jeder Versuchsperson gemessenwerden.

I xmi reprasentiert die i-te Komponente der Messung fur dieVersuchsperson m (im Beispiel: Klausurergebnis fur Klausuri = 1, . . . , p = 5)

I fmj Auspragung der Person m mit dem Faktor j (j = 1, . . . , q)I q bezeichnet die Anzahl der Faktoren (im Beispiel ist - bis jetzt -

q = 2)I Beachte: Im mathematischen Modell sind

f1 = (f11, . . . , f1q), f2 = (f21, . . . , f2q), . . . , fn = (fn1, . . . , fnq)

Zufallsvariable (genauer Zufallsvektoren), deren KomponentenVarianz 1 haben. Außerdem wird angenommen, dass dieseZufallsvariablen unabhangig sind.

26 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.3 Das allgemeine Faktormodell

xmi = fm1 · ai1 + . . .+ fmq · aiq + Rest =∑q

j=1 fmj · aij + Rest

(m = 1, . . . , n i = 1, . . . , p)

Interpretation:I aij ”Bedeutung“ des j-ten Faktors fur die Variable xi (im Beispiel

die Bedeutung von Intelligenz (j = 1) bzw. Disziplin (j = 2) furdas Klausurergebnis in den 5 Fachern, d. h. i = 1, . . . , 5).

I Die Großen aij bezeichnet man auch als FaktorladungenI In der Regel ist q wesentlich kleiner als p

(→ Dimensionsreduktion) und aus diesem Grund steht in derobigen Gleichung ”immer“ ein ”Rest“.

Wie bestimmt man die Faktoren und die Faktorladungen?

27 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Matrixschreibweise des allgemeinenFaktormodells

X =

x11 . . . x1p...

. . ....

xn1 . . . xnp

; F =

f11 . . . f1q...

. . ....

fn1 . . . fnq

A =

a11 . . . a1q...

. . ....

ap1 . . . apq

; AT =

a11 . . . ap1...

. . ....

a1q . . . apq

Matrixschreibweise des allgemeinen Faktormodells

X = F · AT

Beachte:I X ist n × p Matrix (die Datenmatrix)I F ist n × q MatrixI AT ist q × p Matrix

28 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Matrixschreibweise des allgemeinenFaktormodells

X = F · AT

Beachte:I X ist n × p MatrixI F ist n × q MatrixI AT ist q × p MatrixI Die Darstellung ist nicht eindeutig: ist V eine invertierbare

q × q Matrix mit V · V−1 = Iq, so gilt

X = F · AT = F · Iq · AT = F · V · V−1 · AT = F · AT

mit F = F · V ; AT = V−1AT .I Oft interessiert man sich fur solche Matrizen, fur die V−1 = V T

gilt (solche Matrizen, genauer die durch sie beschriebenenAbbildungen bezeichnet man als orthogonale Rotation)

29 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.4 Bestimmung der Faktoren fur das Beispielvon 2 Variablen

I 3 Daten

P1 =

(x11x12

)=

(12

); P2 =

(x21x22

)=

(01

); P3 =

(x31x32

)=

(−1−3

)

X1

P2

X2

P1

P3

30 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Kenngroßen der Daten

x ·1 =13

3∑j=1

xj1 = 0 ; x ·2 =13

3∑j=1

xj2 = 0

s2x1

=13

3∑j=1

(xj1 − x ·1)2 =23

s2x2

=13

3∑j=1

(xj2 − x ·2)2 =143

s2x1

+ s2x2

=163

s2x1,x2

=13

3∑j=1

(xj1 − x ·1)(xj2 − x ·2) =53

31 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Gesucht: ”Neues“ Koordinatensystem mit der folgenden Eigenschaft:

I In dem neuen Koordinatensystem hat die erste Koordinate derDatenpunkte moglichst große und die zweite Koordinatemoglichst kleine Varianz

I Beispiel 1: Drehung der Achsen um 90◦

X1

P2

X2

P1

P3

32 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel 1: Drehung der Achsen um 90◦ (nicht optimal)Beachte:

I In dem neuen Koordinatensystem haben die Punkte dieKoordinaten

P1 =

(y11y12

)=

(−21

); P2 =

(y21y22

)=

(−10

);

P3 =

(y31y32

)=

(3−1

)I Die Varianz der ersten Koordinate wird deutlich vergroßert

y ·1 =13

3∑j=1

yj1 = 0 ; y ·2 =13

3∑j=1

yj2 = 0

s2y1

=13

3∑j=1

(yj1 − y ·1)2 =143

s2y2

=13

3∑j=1

(yj2 − y ·2)2 =23 ; s2

y1+ s2

y2=

163

s2y1,y2

=13

3∑j=1

(yj1 − y ·1)(yj2 − y ·2) = −53

33 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel 2: Drehung um 45◦ (besser als am Anfang - aber nichtoptimal!)

X1

P2

X2

P1

P3

34 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel 2: Drehung der Achsen um 45◦ (besser - aber nichtoptimal!)

I In dem neuen Koordinatensystem haben die 3 Punkte dieKoordinaten

P1 =

(y11y12

)=

(3√2

1√2

); P2 =

(y21y22

)=

(1√2

1√2

);

P3 =

(y31y32

)=

(−2√

2−√

2

)I Beachte: In diesem Fall wird die Varianz der ersten Koordinate

nicht weiter vergroßerty ·1 = 0 ; y 20 = 0

s2y1

=13

3∑j=1

(yj1 − y ·1)2 =133

s2y2

= 1 ; s2y1

+ s2y2

=163

s2y1,y2

=13

3∑j=1

(yj1 − y ·1)(yj2 − y ·2) = 2

35 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel 3: Drehung um 70.0972◦ (optimal!)

X1

P2

X2

P1

P3

36 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel 3: Drehung um 70.0972◦ (optimal!)I In diesem Koordinatensystem haben die 3 Punkte die

Koordinaten

P1 =

(y11y12

)=

(2.22−0.26

); P2 =

(y21y22

)=

(0.940.34

);

P3 =

(y31y32

)=

(−3.16−0.08

)I In diesem Fall ist die Varianz der ersten Koordinate maximal und

die der zweiten Koordinate minimal

y 1· = 0 ; y 2· = 0 ; s2y1

= 5.27009 ; s2y2

= 0.06324

s2y1

+ s2y2

=163 , s2

y1,y2= 0

I Die beiden neuen Achsen nennt man Faktoren. Offensichtlichkann der großte Teil der Varianz der beiden Variablen durch nureinen Faktor erklart werden!

I Durch die orthogonale Rotation wurden Koordinaten eingefuhrt,in denen die Daten unkorreliert sind.

37 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.5 Das Prinzip der Faktor- (Hauptkomponenten)analyse im allgemeinen FallMethode:

I In der Regel wird die Faktorenanalyse mit der Korrelationsmatrixdurchgefuhrt d. h. die Daten werden zunachst z-standardisiert

I Mit der Hauptkomponentenanalyse bestimmt man fur diep Variablen durch Drehungen ein neues Koordinatensystem:

I Schritt 1: Die erste Achse (Faktor) wird so gewahlt, dass dieProjektionen der Daten auf diese Achse maximale Varianz haben

I Dadurch wird ein Teil der Gesamtvarianz durch den erstenFaktor erklart

I Schritt 2: Die zweite Achse wird orthogonal (senkrecht) zu derersten Achse so gewahlt, dass von der Restvarianz ein moglichstgroßer Anteil erklart wird (man beachte, dass im Beispiel 3.4p = 2 ist und dadurch die zweite Achse festgelegt ist)

I Schritt 3, 4, . . . : Das Verfahren wird in dieser Weise fortgesetzt.

38 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beachte:I Die neuen Achsen erklaren sukzessive maximale Varianz.I Mathematisch bestimmt man dafur die Eigenwerte und

Eigenvektoren der Korrelationsmatrix der Daten.I Die neuen (optimalen) Achsen bezeichnet man als Faktoren.

Die neuen Koordinaten ymi werden noch durch einez-Transformation standardisiert. D. h. man ersetzt

ymi durch zmi =ymi − y ·i

syi

,

und die transformierten Werte heißen Faktorwerte. Diese Wertesind die Koordinaten der Daten bzgl. der neuen Achsen undgeben Auskunft, wie stark die Merkmale in dem jeweiligenFaktor ausgepragt sind.

I Die Faktorladungen aij sind die Korrelationen zwischen denFaktorwerten fur den j-ten Faktor und den Messungen derVariablen xi . D. h. a2

ij ist der Anteil der Varianz, der Variablen xi ,der durch j-ten Faktor erklart werden kann!

39 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Weitere BezeichnungenI Die Große

λj =

p∑i=1

a2ij (j = 1, . . . , q)

ergibt diejenige Varianz, die durch den j-ten Faktor aufgeklartwerden kann.λj heißt Eigenwert des j-ten Faktors. Sind die Variablen – wieublich – z-standardisiert, dann ist die Summe der Varianzen allerVariablen gleich p,

p∑j=1

λj = p

und es gilt

0 ≤ λj ≤ p (j = 1, . . . , q)

D. h. der Eigenwert λj gibt an, wie viel von der Gesamtvarianzaller Variablen durch den j-ten Faktor erklart werden kann.

I Man kann zeigen: λ1 ≥ λ2 ≥ . . . ≥ λq sind die q großtenEigenwerte der Korrelationsmatrix der Daten.

40 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Kommunalitaten

I Die Große

h2i =

q∑j=1

a2ij (i = 1, . . . , p)

gibt an, welcher Anteil der Varianz der Variablen xi durch dieq Faktoren erklart werden kann. h2

i heißt Kommunalitat und es

gilt (da man – wie ublich – von z-standardisierten Variablenausgeht)

0 ≤ h2i ≤ 1

I Beachte: Bei der Verwendung von q = p Faktoren sind alleKommunalitaten gleich 1.

41 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.6 Eine Methode zur Wahl von qDie Frage, wie viele Faktoren man verwendet, ist nicht eindeutigbeantwortbar. In der Regel sollte q im Verhaltnis zu p klein sein!

I Kaiser-Guttmann Kriterium:

I Benutze nur Faktoren fur die der zugehorige Eigenwert λj großerals 1 ist!

I Beachte: Die Varianz der standardisierten Eingangsvariablen istgleich 1! Damit betrachtet man nur Faktoren, fur die die Varianzder transformierten Große großer ist als die ursprunglichenVarianzen.

I Ein Screeplot betrachtet das Eigenwertdiagramm inAbhangigkeit von den Faktoren und man sucht in diesem einen

”Knick“, der die ”wesentlichen“ Eigenwerte von den

”unwesentlichen“ unterscheidet.

In anderen Worten: Man reduziert Schritt fur Schritt dieDimensionalitat, bis ”plotzlich“ im nachsten Schritt die Kostender Reduktion (gemessen in Form des Verlusts an erklarterVarianz) ”deutlich“ großer sind als in den vorigen Schritten.

42 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel fur ein Eigenwertdiagramm bzw.Screeplot

Faktor

121110987654321

Eig

enw

ert

5

4

3

2

1

0

Screeplot

I Auf Basis des Diagramms entscheidet man fur 3 FaktorenI Aus Basis des Kaiser-Guttmann Kriteriums entscheidet man fur

2 Faktoren43 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.7 Faktorenanalyse im Beispiel 2.2

Korrelationsmatrix in SPSS

StatistikAnalysisAlgebraVektorrechnungMechanikMechanik

Vektorrechnung

Algebra

Analysis

Statistik

Korrelation

1,000,610,666,437,390

,6101,000,710,492,408

,666,7101,000,615,546

,437,492,6151,000,558

,390,408,546,5581,000

Korrelationsmatrix

Als Eigenwerte erhalt man fur diese Matrix

λ1 = 3.1816 λ2 = 0.7388 λ3 = 0.4449

λ4 = 0.3884 λ5 = 0.2463

Beachte: λ1 + λ2 + λ3 + λ4 + λ5 = 5

44 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Screeplot fur die Daten aus Beispiel 2.2

Faktor

54321

Eig

enw

ert

4

3

2

1

0

Screeplot

Auf Basis des Screeplot arbeitet man entweder mit 1 oder 2Faktoren. Wir entscheiden uns hier fur 2 Faktoren! Damit erklartman ca. 78% der Gesamtvarianz aller Variablen.

45 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Erklarte Gesamtvarianz

Kumulierte %% der VarianzGesamt Kumulierte %% der VarianzGesamt

Summen von quadrierten Faktorladungen für ExtraktionAnfängliche Eigenwerte

1

2

3

4

5 100,0004,935,247

95,0657,624,381

87,4428,868,443

78,57414,805,74078,57414,805,740

63,76963,7693,18863,76963,7693,188KomponenteKomponente

Erklärte Gesamtvarianz

Extraktionsmethode: Hauptkomponentenanalyse.

46 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Kommunalitaten

ExtraktionAnfänglichMechanik

Vektorrechnung

Algebra

Analysis

Statistik ,7771,000

,7761,000

,8181,000

,7391,000

,8191,000

Kommunalitäten

Extraktionsmethode:Hauptkomponentenanalyse.

Beachte:I Durch die beiden Faktoren kann man fur alle Variablen ca. 78%

der Varianz erklaren!I 81.9% der Varianz der Klausurergebnisse in Mechanik konnen

durch die ersten beiden Faktoren erklart werden (die Werte furdie Faktorladungen findet man auf der folgenden Folie)

0.819 ≈ 0.7132 + 0.5582

47 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Komponentenmatrix

21

Komponente

Mechanik

Vektorrechnung

Algebra

Analysis

Statistik -,407,782

-,332,816

-,110,898

,375,773

,558,713

Komponentenmatrixa


a. 2 Komponenten extrahiert

Beachte:I Die Komponentenmatrix enthalt die Faktorladungen

{aij |i = 1, . . . , 5; j = 1, 2},

also die Korrelationen zwischen den Variablen und denextrahierten Faktoren. D. h. der erste Faktor erklart(0.713)2 ≈ 50.8% der Varianz der Ergebnisse in derMechanikklausur.

48 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Komponentenmatrix

21

Komponente

Mechanik

Vektorrechnung

Algebra

Analysis

Statistik -,407,782

-,332,816

-,110,898

,375,773

,558,713

Komponentenmatrixa



Beachte:I Die erste Komponente kann man als ”Mittelwert“ auffassen. Ein

hoher Faktorwert fur eine Versuchsperson zeigt an, dass diesebei allen Klausuren gute Leistung erzielt hat.

I Die zweite Komponente beschreibt den Unterschied zwischenden Klausuren mit und ohne Buch.

49 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Komponentendiagramm

Komponente 1

1,00,50,0-0,5-1,0

Ko

mp

on

ente

2

1,0

0,5

0,0

-0,5

-1,0

Statistik

Analysis

Algebra

Vektorrechnung

Mechanik

Komponentendiagramm

50 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Komponentenwerte

21

Komponente

Mechanik

Vektorrechnung

Algebra

Analysis

Statistik -,550,245

-,449,256

-,149,282

,507,243

,754,223

Koeffizientenmatrix der Komponentenwerte


I Die Faktorwerte sind Linearkombination der standardisiertenMerkmalswerte.

I Die obige Matrix enthalt die Gewichte in diesenLinearkombinationen.

51 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Verwendung der Komponentenwerte zurBerechnung der Faktorwerte 1/2

I Die Matrix auf der letzten Folie enthalt die

”Transformationsvektoren“v1√λ1

und v2√λ2,

mit denen die funf Merkmale in die zwei Faktorwertetransformiert werden konnen. Es sind λ1 ≥ λ2 die beidengroßten Eigenwerte und v1, v2 die zugehorigen Eigenvektorender Korrelationsmatrix.

52 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Verwendung der Komponentenwerte zurBerechnung der Faktorwerte 2/2

I Zur Veranschaulichung betrachten wir die Daten aus Beispiel 3.2und berechnen den Faktorwert fur das erste Datum mit obigerMatrix.

I z-Standardisierung von x = (77, 82, 67, 67, 81) z = (2.17, 2.37, 1.54, 1.37, 2.23).

I Fur den ersten Faktorwert verwende zum einen den Eigenvektorv1 = (0.399, 0.433, 0.503, 0.457, 0.438)T zum großten Eigenwertλ1 = 3.189. Das ergibt:

v1√λ1

= (0.223, 0.234, 0.282, 0.256, 0.245)T

I Der Faktorwert ist damit:

z v1√λ1

= (2.17 · 0.233 + . . .+ 2.23 · 0.245) = 2.391

53 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.7 Rotation der Faktoren ”Varimax“

Noch einige grundsatzliche Bemerkungen zurHauptkomponentenanalyse (PCA)

I PCA liefert eine Datenreduktion der p-dimensionalenursprunglichen Daten auf q-dimensionale Daten (in dem durchdie Faktoren bestimmten Koordinatensystem).

I PCA ist ein mathematisches Verfahren, das nicht dieInterpretierbarkeit der resultierenden Faktoren gewahrleistet (esist damit zu rechnen, dass die Faktoren zu viele Variablen

”hochladen“)

54 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel (Fortsetzung von Beispiel 2.2)

I Die ursprunglichen Daten haben die Dimension 5 (das entsprichtder Anzahl der Variablen/Merkmale).

I Die PCA liefert eine Reduktion auf Dimension 2 (mit denprojezierten Daten kann 78.41% der Varianz der ursprunglichenDaten erklart werden).

I In vielen Fallen sind die neuen Faktoren nur schwerinterpretierbar.

I Ziel: Da die Faktoren nicht eindeutig bestimmt sind, versuchtman eine weitere Rotation dieser 2 Faktoren zu finden, um einebessere Interpretierbarkeit der neuen Faktoren zu erhalten. Indieser Vorlesung wird nur das Varimax Rotationsverfahrenbesprochen.

55 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel (Fortsetzung von Beispiel 2.2)Streudiagramm der ersten beiden (nicht rotierten) Faktoren

REGR factor score 1 for analysis 1

3,000002,000001,00000,00000-1,00000-2,00000-3,00000

RE

GR

fac

tor

sco

re

2 fo

r an

alys

is 1 2,00000

,00000

-2,00000

-4,00000

56 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Varimax Rotation

I Anschauliche Beschreibung: Die Rotation der q Achsen (diedurch die Hauptkomponentenanaylse ermittelt wurden) erfolgtso, dass quadrierte Ladungen ”mittlerer“ Große entweder”unbedeutender“ oder ”extremer“ werden.

Quadrierte Ladung ungefahr 1 Ladung ungefahr ±1 Ausgangsvariable kann als Indikatorvariable fur den Faktor

interpretiert werden.

Quadrierte Ladung ungefahr 0 Ladung ungefahr 0 Ausgangsvariable ist keine Indikatorvariable.

57 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Mathematische Beschreibung der VarimaxRotation

I Die q Achsen (die durch die Hauptkomponentenanaylse ermitteltwurden) werden so rotiert, dass die Summe der Varianzen derquadrierten Ladungen der verschiedenen Faktoren maximalwird:

I

s2j =

1p

p∑i=1

(a2ij )

2 − (1p

p∑i=1

a2ij )

2

ist die Varianz der quadrierten Ladungen fur Faktor j(j = 1, . . . , q).

I Die Rotation der Achsen wird so bestimmt, dass die Summe derVarianzen

q∑j=1

s2j

maximal wird.

58 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.8 Beispiel: Varimax Rotation fur die Daten ausBeispiel 2.2

Kumulierte%

% der VarianzGesamt

Kumulierte%

% der VarianzGesamt

Summen von quadrierten Faktorladungen für ExtraktionAnfängliche Eigenwerte

1

2

3

4

5 100,0004,935,247

95,0657,624,381

87,4428,868,443

78,57414,805,74078,57414,805,740

63,76963,7693,18863,76963,7693,188KomponenteKomponente



Kumulierte%

% der VarianzGesamt

Rotierte Summe der quadrierten Ladungen

1

2 78,57434,7891,739

43,78443,7842,189KomponenteKomponente



59 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Komponentenmatrix nachVarimax Rotation

21

Komponente

Mechanik

Vektorrechnung

Algebra

Analysis

Statistik ,186,861

,266,840

,489,761

,783,355

,885,192

Rotierte Komponentenmatrixa

Extraktionsmethode:Hauptkomponentenanalyse. Rotationsmethode: Varimax mit Kaiser-Normalisierung.

a. Die Rotation ist in 3 Iterationen konvergiert.

Beachte:I Der erste Faktor hat einen starkeren Einfluss auf die

Klausurergebnisse mit Buch (”Intelligenz“)I Der zweite Faktor hat einen starkeren Einfluss auf die

Klausurergebnisse ohne Buch (”Disziplin“)60 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output:Komponententransformationsmatrix

211

2 ,769-,639

,639,769KomponenteKomponente

Komponententransformationsmatrix


Beachte: Diese Matrix beschreibt die Rotation (in unserem Fall istdas eine Drehung, da nur 2 Faktoren betrachtet werden). Z. B.

(0.192 0.885

)=(0.713 0.558

)( 0.769 0.639−0.639 0.769

)

61 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel (Fortsetzung von Beispiel 0.0)Das Streudiagramm der ersten beiden rotierten Faktoren


3,000002,000001,00000,00000-1,00000-2,00000-3,00000

RE

GR

fac

tor

sco

re

2 fo

r an

alys

is 2 2,00000

,00000

-2,00000

-4,00000

62 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel (Fortsetzung von Beispiel 2.2)Das Streudiagramm der ersten beiden (nicht rotierten) Faktoren


3,000002,000001,00000,00000-1,00000-2,00000-3,00000

RE

GR

fac

tor

sco

re

2 fo

r an

alys

is 1 2,00000

,00000

-2,00000

-4,00000

63 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Komponentendiagramm nachVarimax Rotation

Komponente 1

1,00,50,0-0,5-1,0

Ko

mp

on

ente

2

1,0

0,5

0,0

-0,5

-1,0

Statistik

Analysis

Algebra

Vektorrechnung

Mechanik

Komponentendiagramm im rotierten Raum

64 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Komponentendiagramm vorVarimax Rotation

Komponente 1

1,00,50,0-0,5-1,0

Ko

mp

on

ente

2

1,0

0,5

0,0

-0,5

-1,0

Statistik

Analysis

Algebra

Vektorrechnung

Mechanik

Komponentendiagramm

65 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Koeffizientenmatrix nach VarimaxRotation

21

Komponente

Mechanik

Vektorrechnung

Algebra

Analysis

Statistik -,266,540

-,182,483

,066,312

,545-,137

,723-,310



Interpretation: Wie auf Folie 52 und 53 (Berechnung derFaktorwerte aus den z-standardisierten Originaldaten)

66 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Bemerkung: Weitere Rotationsverfahren

Beachte:I Die Varimax Rotation ist eine orthogonale Rotation, bei der die

Unkorreliertheit der Faktoren erhalten bleibt. Die Varianz der qFaktoren wird auf die ”neuen“ (rotierten) Faktoren umverteilt,um eine ”bessere“ Interpretierbarkeit der Faktoren zu erhalten.Es gibt auch alternative orthogonale Rotationen.

I Bei orthogonalen Rotationen andern sich die Kommunalitatennicht.

I Es gibt Rotationsvarianten, bei denen die die neuen Faktorennicht unkorreliert sind (oblique Rotationen):

I ObliminI PromaxI QuartiminI Tandem

...

67 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


2.9 Beispiel (Personlichkeitspsychologie)

I Ziel: Aus einer (großen) Menge von Adjektiven sollen einzelneGruppen von inhaltlich zusammenhangenden Adjektivenidentifiziert werden (beschreiben hochkorrelierte Adjektive einegemeinsame Eigenschaft?)

I Probanden schatzen eine Person dahingehend ein, inwieweit diejeweiligen Adjektive auf diese Person zutreffen (1 trifftuberhaupt nicht zu; 9 trifft voll zu)

I 12 Adjektive (p = 12 Variable/Merkmale)

Variablen Adjektive Variablen Adjektivex1 angriffslustig x7 akkuratx2 penibel x8 gewissenhaftx3 streitbar x9 kleinlichx4 kampferisch x10 ubergenaux5 grimmig x11 herausforderndx6 grundlich x12 hitzig

68 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Daten (n = 30)

x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x121 4 6 3 4 5 5 5 1 5 6 4 52 9 3 8 6 4 2 2 2 1 1 1 43 5 1 4 2 3 2 1 3 1 1 2 34 8 1 6 8 4 2 1 2 1 1 8 45 7 3 6 7 4 3 3 4 3 3 7 46 2 4 3 3 5 4 4 3 1 4 3 57 4 3 3 4 5 5 4 6 2 3 4 68 3 5 3 4 4 5 5 4 1 5 4 49 1 4 1 5 3 4 4 4 2 4 1 3

10 4 7 3 6 4 6 6 5 3 7 1 411 2 6 2 5 2 6 6 6 6 6 2 212 6 4 4 7 3 5 5 2 1 1 3 313 4 8 3 5 5 6 7 5 1 1 5 514 8 7 7 8 7 6 5 4 7 7 7 715 7 8 7 8 6 7 5 4 8 8 6 616 5 9 5 7 5 8 7 3 7 7 7 617 6 8 6 7 5 7 6 4 8 8 7 518 8 9 7 6 7 8 8 3 9 9 5 519 4 8 5 5 3 7 7 3 8 8 5 720 3 7 4 4 5 8 7 3 7 7 4 321 2 8 3 5 5 8 8 5 7 9 5 522 4 7 4 4 3 8 7 8 7 7 4 323 6 6 5 6 5 7 7 8 6 6 6 524 9 4 8 8 7 6 5 7 4 4 8 725 9 2 8 8 8 3 3 4 2 2 8 826 2 1 1 3 3 2 3 4 1 1 3 327 4 3 3 5 3 3 3 3 3 3 5 328 6 2 5 7 5 3 3 4 2 2 7 529 4 1 3 5 3 2 2 3 1 1 5 330 9 2 8 8 7 3 2 3 2 2 8 7

69 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Mit der Faktoranalyse sollen nun die Adjektive zu moglichst wenigGruppen (Faktoren) zusammengefasst werden, sodass

I moglichst wenig Information bei dieser Datenreduktion verlorengeht

I die extrahierten Faktoren moglichst gut interpretierbar sind

70 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Korrelationsmatrix fur die Daten aus Beispiel 2.91/2

akkuratgründ-

lichgrim-mig

kämpfer-isch

streit-barpenibel

angriffs-lustig

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig

Korrelation

,128,208,812,537,641,214,541

,005,109,641,737,622,056,607

,795,867,215,042,077,856-,152

,753,844,236,187,226,829,033

,388,397,049-,016-,063,194-,101

1,000,951,135-,053-,109,917-,271

,9511,000,224,056,039,931-,147

,135,2241,000,555,693,199,624

-,053,056,5551,000,757,070,770

-,109,039,693,7571,000,052,945

,917,931,199,070,0521,000-,135

-,271-,147,624,770,945-,1351,000

Korrelationsmatrix

hitzigheraus-fordernd

über-genaukleinlich

gewiss-enhaft

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig

Korrelation

1,000,659,220,239,062

,6591,000,111,224,109

,220,1111,000,935,227

,239,224,9351,000,234

,062,109,227,2341,000

,128,005,795,753,388

,208,109,867,844,397

,812,641,215,236,049

,537,737,042,187-,016

,641,622,077,226-,063

,214,056,856,829,194

,541,607-,152,033-,101

KorrelationsmatrixBeobachtung:

I Die Variablen ”angriffslustig“ und ”streitbar“ haben vielgemeinsame Varianz (r1,3 ≈ 95%)

I Die Variablen ”angriffslustig“ und ”penibel“ hangen nur wenigzusammen (r1,2 ≈ −14%)

71 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Korrelationsmatrix fur die Daten aus Beispiel 2.92/2

akkuratgründ-

lichgrim-mig

kämpfer-isch

streit-barpenibel

angriffs-lustig

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig

Korrelation

,128,208,812,537,641,214,541

,005,109,641,737,622,056,607

,795,867,215,042,077,856-,152

,753,844,236,187,226,829,033

,388,397,049-,016-,063,194-,101

1,000,951,135-,053-,109,917-,271

,9511,000,224,056,039,931-,147

,135,2241,000,555,693,199,624

-,053,056,5551,000,757,070,770

-,109,039,693,7571,000,052,945

,917,931,199,070,0521,000-,135

-,271-,147,624,770,945-,1351,000

Korrelationsmatrix

hitzigheraus-fordernd

über-genaukleinlich

gewiss-enhaft

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig

Korrelation

1,000,659,220,239,062

,6591,000,111,224,109

,220,1111,000,935,227

,239,224,9351,000,234

,062,109,227,2341,000

,128,005,795,753,388

,208,109,867,844,397

,812,641,215,236,049

,537,737,042,187-,016

,641,622,077,226-,063

,214,056,856,829,194

,541,607-,152,033-,101

Korrelationsmatrix

I Die Variablen ”streitbar“ und ”gewissenhaft“ hangen nur wenigzusammen (r3,8 ≈ −6%)

I Die Variablen ”ubergenau“ und ”kleinlich“ haben vielgemeinsame Varianz (r10,9 ≈ 94%)

72 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Screeplot fur die Daten aus Beispiel 2.9

Faktor

121110987654321

Eig

enw

ert

5

4

3

2

1

0

Screeplot

=⇒ Wir entscheiden uns mit 3 Faktoren zu arbeiten!73 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Erklarte Gesamtvarianz fur dieDaten aus Beispiel 2.9 1/2

Kumulierte %% der VarianzGesamt

Anfängliche Eigenwerte

1

2

3

4

5

6

7

8

9

10

11

12 100,000,158,019

99,842,242,029

99,601,355,043

99,246,401,048

98,8451,266,152

97,5791,575,189

96,0032,675,321

93,3293,813,458

89,5155,546,666

7,985,958

34,3884,127

41,5964,991KomponenteKomponente



Kumulierte % Kumulierte %% der VarianzGesamt

Summen von quadrierten Faktorladungen für Extraktion

AnfänglicheEigenwerte

1

2

3 83,9697,985,95883,969

75,98434,3884,12775,984

41,59641,5964,99141,596KomponenteKomponente





1

2

3 83,9699,1641,100

74,80536,8724,425




I Die drei gewahlten Faktoren erklaren zusammen83.969% = 41.596% + 34.388% + 7.985% der Gesamtvarianz.

74 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Erklarte Gesamtvarianz fur dieDaten aus Beispiel 2.9 2/2


Anfängliche Eigenwerte

1

2

3

4

5

6

7

8

9

10

11

12 100,000,158,019

99,842,242,029

99,601,355,043

99,246,401,048

98,8451,266,152

97,5791,575,189

96,0032,675,321

93,3293,813,458

89,5155,546,666

7,985,958

34,3884,127

41,5964,991KomponenteKomponente



Kumulierte % Kumulierte %% der VarianzGesamt

Summen von quadrierten Faktorladungen für Extraktion

AnfänglicheEigenwerte

1

2

3 83,9697,985,95883,969

75,98434,3884,12775,984

41,59641,5964,99141,596KomponenteKomponente





1

2

3 83,9699,1641,100

74,80536,8724,425




I Beachte: Nach der Rotation der Faktoren andern sich dieVarianzanteile, der Gesamtanteil fur die drei Faktoren bleibtgleich.

75 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output Kommunalitaten fur die Daten ausBeispiel 2.9

ExtraktionAnfänglichangriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig ,6801,000

,7211,000

,8981,000

,8681,000

,9481,000

,9111,000

,9561,000

,7211,000

,7291,000

,8621,000

,9291,000

,8531,000

Kommunalitäten


Beachte: Durch die drei Faktoren kann man fur alle Variablen ca.75% der Varianz erklaren (in vielen Fallen sogar deutlich mehr)!

76 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Komponentenmatrix fur die Datenaus Beispiel 2.9

321

Komponente

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig ,080,526,630

,191,618,550

-,168-,499,788

-,169-,373,837

,894-,248,296

,053-,629,716

,031-,540,815

,051,555,641

-,015,686,508

-,118,748,536

-,185-,522,789

-,071,848,358

Komponentenmatrixa



I Beachte: Die Kommunalitat der Variablen ”angriffslustig“ ergibtsich zu h2 = 0.3582 + 0.8482 + (−0.071)2 ≈ 0.852 (vgl. vorigeFolie )

77 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Komponentendiagramm

Komponente 31,00,5

0,0-0,5 -1,0

Ko

mp

on

ente

21,0

0,5

0,0

-0,5

-1,0

Komponente 11,0

0,5

0,0

-0,5

-1,0

x11

x5x12

x4x3

x8

x1

x6

x9

x7

y10

x2

Komponentendiagramm

I Es ist relativ gut zu erkennen, dass drei Gruppen vorliegen.

78 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Komponentenwerte fur die Datenaus Beispiel 2.9

321

Komponente

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig ,081,180,011

,189,193-,037

-,133-,010,229

-,136,020,220

,931,019-,101

,096-,036,191

,073-,008,198

,051,186,014

-,025,194-,011

-,132,205,005

-,149-,015,236

-,092,206-,046



Interpretation: wie auf Folie 52 und 53 (Berechnung derFaktorwerte aus den z-standardisierten Originaldaten)

79 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Komponentendiagramm

Komponente 31,00,5

0,0 -0,5 -1,0

Ko

mp

on

ente

21,0

0,5

0,0

-0,5

-1,0

Komponente 11,0

0,5

0,0

-0,5

-1,0

x6

x7

x2

y10

x9

x8

x12 x5

x11 x4

x3x1


I Es ist relativ gut zu erkennen, dass drei Gruppen vorliegen.

80 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Varimax Rotation fur die Datenaus Beispiel 2.9

321

Komponente

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig ,090,799,183

,174,830,045

,015,058,946

,003,188,912

,952,006,203

,241-,083,920

,220,048,951

,059,828,181

-,043,853,013

-,149,916,020

,002,038,963

-,141,893-,188




81 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Eine mogliche Interpretation der Faktoren

I Die Variablen ”penibel“, ”grundlich“, ”akkurat“, ”kleinlich“ und

”ubergenau“ korrelieren hoch mit Faktor 1.I Faktor 1 kann als Perfektionismus bezeichnet werden. Hohe

Auspragungen eines Probanden in diesem Faktor bewirken hoheWerte in den zugehorigen Variablen.

I Die Variablen ”angriffslustig“, ”streitbar“, ”kampferisch“,

”grimmig“, ”herausfordernd“ und ”hitzig“ korrelieren hoch mitFaktor 2.

I Der Faktor 2 kann als Aggressivitat beschrieben werden.I Der Faktor 3 beschreibt nur die Eigenschaft gewissenhaft, die

man auch Faktor 1 zuordnen kann (das mathematischeVerfahren hat evtl. zu viele Faktoren ermittelt).

82 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Faktorenanalyse fur die Daten aus Beispiel 2.9mit 2 Faktoren

21

Komponente

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig ,526,630

,618,550

-,499,788

-,373,837

-,248,296

-,629,716

-,540,815

,555,641

,686,508

,748,536

-,522,789

,848,358

Komponentenmatrixa


a. 2 Komponenten extrahiert83 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Komponentendiagramm

Komponente 1

1,00,50,0-0,5-1,0

Ko

mp

on

ente

2

1,0

0,5

0,0

-0,5

-1,0

x12

x11

y10

x9

x8

x7

x6

x5

x4x3

x2

x1

Komponentendiagramm

84 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Komponentenmatrix nach Varimax Rotation

21

Komponente

angriffslustig

penibel

streitbar

kämpferisch

grimmig

gründlich

akkurat

gewissenhaft

kleinlich

übergenau

herausfordernd

hitzig ,799,189

,824,070

,073,930

,202,893

-,022,386

-,075,950

,056,976

,828,181

,854-,004

,920-,019

,054,945

,894-,221




85 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Komponentendiagramm nach Varimax Rotation

Komponente 1

1,00,50,0-0,5-1,0

Ko

mp

on

ente

2

1,0

0,5

0,0

-0,5

-1,0

x12x11

y10

x9

x8x7

x6

x5x4

x3

x2

x1


86 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Eine mogliche Interpretation der zwei Faktoren

I Die Variablen ”penibel“, ”grundlich“, ”akkurat“, ”kleinlich“,

”ubergenau“ und (mit Einschrankungen) ”gewissenhaft“korrelieren hoch mit Faktor 1.

I Faktor 1 kann als Perfektionismus bezeichnet werden. HoheAuspragungen eines Probanden in diesem Faktor bewirken hoheWerte in den zugehorigen Variablen.

I Die Variablen ”angriffslustig“, ”streitbar“, ”kampferisch“,

”grimmig“, ”herausfordernd“ und ”hitzig“ korrelieren hoch mitFaktor 2.

I Der Faktor 2 kann als Aggressivitat beschrieben werden.

87 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Einige abschließende Bemerkungen

I Auch nach der Varimax Rotation sind die Faktoren manchmalnur schwer interpretierbar.

I Faktorenanalyse ist ein mathematisches Verfahren, das keineInterpretierbarkeit der ermittelten Faktoren garantiert.

I Faktoren, die nicht interpretiert werden konnen, sind in derRegel praktisch unbrauchbar.

I Faktorenanalyse ist ein mathematisches Verfahren zum Findenvon Hypothesen.

88 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse

6. LogistischeRegression3. Multivariate Mittelwertvergleiche

89 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.1 Beispiel: Vergleich von verschiedenenUnterrichtsmethoden

I Zwei ”Zufallsstichproben“ (A und B) mit je 10 Schulern und 8Schulern

I Gruppe A wird nach Unterrichtsmethode A unterrichtet undGruppe B nach Unterrichtsmethode B

I Fur jeden Schuler werden zwei Variable gemessen

I Leistung (x1)

I Zufriedenheit (x2)

I Frage: Besteht zwischen den beiden Unterrichtsmethoden einUnterschied?

90 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Daten zu Beispiel 3.1

Methode Ax1 x2

11 59 3

10 410 411 314 410 512 713 38 6

Methode Bx1 x2

10 48 49 49 7

10 513 38 3

12 6

Beachte: Im Prinzip konnte man beide Variablen getrenntuntersuchen. (z. B. Hypothesen bzgl. der Variablen x1 mit t-Test furzwei unabhangige Stichproben). Die Anwendung von multiplen Testsfuhrt aber zu Schwierigkeiten bei der Wahl des Niveaus (vgl.Methodenlehre II, 1.16). 91 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.2 Mathematisches ModellI g Gruppen von Probanden

I In jeder Gruppe gibt es nj Probanden, fur die Daten erhobenwerden

I x(j)1 , . . . , x(j)

nj (j = 1, . . . , g)

I Jedes Datum (d. h. Messung an einem Probanden) hat pVariablen/Merkmale.

x(j)m = (x (j)

m1, . . . , x(j)mp) (m = 1, . . . , nj )

bezeichnet die Messwerte fur Proband m in Gruppe j (manbeachte, dass der obere Index j die Gruppe bezeichnet).

I Alle Daten sind Realisierungen einer normalverteiltenZufallsvariable.

I Die Daten entstammen aus ”unabhangigen“ Gruppen.

Ziel: Vergleich der Erwartungswertvektoren (d. h. den Vektoren ausden komponentenweise gebildeten Erwartungswerten).

92 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.3 Hypothesentest fur den Erwartungswert(Vektor) der Population (g = 1)

I Frage: Ist der Erwartungswertvektor µ der Grundgesamtheitgleich einem gegebenen Vektor µ0?

I Idee: Lehne die Nullhypothese

H0 : µ = µ0

ab, falls der ”Vektor“ x(1)· − µ0 ”groß“ ist. Dabei bezeichnet

x(1)· =

1n1

n1∑m=1

x(1)m

den Mittelwertvektor der beobachteten Daten.I Beachte: Der Mittelwertvektor x(1)

· ist der Vektor gebildet ausden Mittelwerten fur die einzelnen Variablen x(1)

m· .

93 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.4 Beispiel (Fortsetzung von 3.2)I Ein Wissenschaftler behauptet, dass der Erwartungswertvektor

der Population derjenigen Schuler, die nach Methode A

unterrichtet werden, durch den Vektor µ0 =

(105

)gegeben ist.

In diesem Fall ist p = 2, n1 = 10.I Man berechnet den Mittelwertvektor

x(1)· =

1n1

n1∑m=1

x(1)m =

110

{(115

)+

(93

)+

(104

)+ . . .

}=

(10.84.4

)und erhalt

x(1)· − µ0 =

(0.8−0.6

)I Beachte: Wenn die Nullhypothese gilt, sollten die beiden

Komponenten in diesem Vektor ”ungefahr“ gleich 0 sein,andernfalls sollte mindestens eine der Komponenten weit von 0entfernt sein.

94 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.5 Hotellings T 2-Test fur eine StichprobeI Modellannahmen: die beobachteten Daten sind Realisationen

von unabhangigen multivariat normalverteilten Zufallsvariablen.I Testgroße

T 21 = n1(x(1)

· − µ0)T D−11 (x(1)

· − µ0)

wobei

D1 =1

n1 − 1

n1∑m=1

(x(1)m − x(1)

· )(x(1)m − x(1)

· )T

eine Schatzung fur die Kovarianzmatrix der Population ist.Diese Matrix dient hier der Standardisierung, da nicht davonausgegangen werden kann, dass verschiedene Variablen dieselbeGroßenordnung haben.

I Die Nullhypothese H0 : µ = µ0 wird verworfen, fallsn1 − p

(n1 − 1)p T 21 > Fp,n1−p,1−α

ist. Dabei ist Fp,n1−p,1−α das (1− α)-Quantil der F -Verteilungmit (p, n1 − p) Freiheitsgraden.

95 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel (Berechnung der Kovarianzmatrix)

Beachte: In Beispiel 3.1 erhalt man fur Gruppe A alsKovarianzmatrix

D1 =19

[{(115

)−(

10.84.4

)}{(115

)−(

10.84.4

)}T

+

{(93

)−(

10.84.4

)}{(93

)−(

10.84.4

)}T+ . . .

]

=19

[(0.20.6

)(0.2 0.6

)+

(−1.8−1.4

)(−1.8 −1.4

)+ . . .

]=

19

[(0.04 0.120.12 0.36

)+

(3.24 2.522.52 1.96

)+ . . .

]=

(3.29 −0.36−0.36 1.82

)

96 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beachte:I Berechnet man fur das erste und das zweite Merkmal der Daten

fur Unterrichtsmethode A die Varianz, so ergibt sich

s2x1

=19{

(11− 10.8)2 + (9− 10.8)2 + (10− 10.8)2 + . . .}

= 3.29

s2x2

=19{

(5− 4.4)2 + (3− 4.4)2 + (4− 4.4)2 + . . .}

= 1.82

I D. h. in der Diagonalen der Kovarianzmatrix stehen die(empirischen) Varianzen der Merkmale.

I Berechnet man fur das erste und zweite Merkmal die Kovarianz,so ergibt sich

s2x1x2

=19 {(11− 10.8)(5− 4.4) + (9− 10.8)(3− 4.4) + . . .}

= −0.36

I D. h. in den Eintragen neben der Diagonalen stehen die(empirischen) Kovarianzen zwischen den Merkmalen.

97 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Eine Bemerkung zur KovarianzmatrixBeispiel: 500 simulierte Daten (zweidimensional)

●

●

●

●

●

●

●

●

●●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●●

●

●●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●●

●

●

●

●●

●

●

●●

●

●●

●

●

●

●

●

● ●

●

●

●●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

−10 −5 0 5 10

−10

−5

05

10

X1

X2

Beachte: Die Kovarianzmatrix D1 wird zur ”Standardisierung“verwendet. Ziel ist es, die Daten so zu transformieren, dass

I die einzelnen Komponenten dieselbe Großenordnung habenI die beiden Komponenten unkorreliert sind

98 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: Bei den 500 Daten wurde jede Komponente getrenntz-standardisiert

●

●

●●

●

●

●

●

● ●

●

●

●

●

● ●

●●

●

●

●

●

●

●

●

●●

●

●

●●

●

●●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●●

●

●●

●●●●

●

●●

●

●

●●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●●

● ●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●

●

●

●●

●

● ●

●

●

●

●

●●●● ●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

● ●

●

●

●

● ●●

●● ●

●

● ●

●

●

●

●

●● ●

●

●● ●

●

● ●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●

● ●●

●

●

● ●

●

●

●

●●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●●

●●

●●

●

●

●●●

●

●

●

●

●●●

●●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●●

●●●

●

●

●

●

●

●

●

●●

●

● ●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

−10 −5 0 5 10

−10

−5

05

10

X1

X2

Beachte:I Die einzelnen Komponenten haben dieselbe Großenordnung.I Die beiden Komponenten sind aber nicht unkorreliert.

99 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: Die 500 simulierten Daten werden wie folgt transformiert.I Es gibt eine Matrix A mit A · A = D1 .I Transformiere die Daten durch

z i = A−1(x(1)i − x(1)

· )

●

●

● ●●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●● ●

●

●●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●●

●

●●

●

●●●

●

●

●●

●

●

●

●

●

● ●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●●

●

●

●

●

●●

●

●

●

●

●

●●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●●

● ●

●

●

●

●

●●

●

●●

●

●●

●

●

●

●

●

●●

●●

●●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●

●●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●●

●

●

●

●●●

●

●

●

●

●

●● ●

●

●●●

●

●

●

●

●●●

● ●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●● ●

●

●

●

●

●●

●● ●

●

●

●●

●

●

●

●●

●

● ●

●

●

● ●

●

●

●

●

●

●●

●

●

●

●

−10 −5 0 5 10

−10

−5

05

10

X1

X2

Beachte:I Die einzelnen Komponenten haben dieselbe Großenordnung.I Die beiden Komponenten sind unkorreliert.

100 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: Hotellings T 2-Test fur Beispiel 3.1

Fur die Daten aus Gruppe A im Beispiel 3.1 ergibt sich fur dieStatistik T1 der Wert

T 21 = 10 ·

(0.8 −0.6

)( 3.29 −0.36−0.36 1.82

)−1( 0.8−0.6

)= 10 ·

(0.8 −0.6

)(0.31 0.060.06 0.56

)(0.8−0.6

)= 10 ·

(0.8 −0.6

)( 0.21−0.29

)= 3.42

Da F2,8,0.95 = 4.46 und 10−22·9 T 2

1 = 1.52, kann die Nullhypothese

H0 : µ =

(105

)zum Niveau 5% nicht verworfen werden (p-Wert: 0.275)

101 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Anschauliche Interpretation von HotellingsT 2-Test fur die Daten aus Beispiel 3.1

●

●

●●

●

●

●

●

●

●

−15 −10 −5 0 5 10 15

−15

−10

−5

05

1015

X1

X2 ●

●

●●

●

●●

●

●

●

−15 −10 −5 0 5 10 15

−15

−10

−5

05

1015

Y1

Y2

I Links: Original DatenI Rechts: Daten nach der Transformation z = A−1(x − µ0)I Beachte: Die Nullhypothese wird abgelehnt, falls der

”durchschnittliche“ Abstand der transformierten Daten zumNullpunkt des Koordinatensystems zu groß ist.

102 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output fur die Daten aus Beispiel 3.1

Sig.Fehler

dfHypothese

dfFWertPillai-Spur

Wilks-Lambda

Hotelling-Spur

Größte charakteristische Wurzel nach Roy

Konstanter Term

,2758,0002,0001,522a

,380

,2758,0002,0001,522a

,380

,2758,0002,0001,522a

,724

,2758,0002,0001,522a

,276EffektEffekt

Multivariate Testsb

a. Exakte Statistik

b. Design: Konstanter Term

Beachte:

I Mit SPSS wurde die Nullhypothese H : µ = 0 mit den um denVektor µ0 =

(10 5

)T verschobenen Daten uberpruft.I Der Wert von Hotellings T 2 berechnet sich, indem man den

Wert der Hotelling-Spur mit (n − 1) multipliziert:

T 21 = (10− 1) · 0.380 = 3.42

I SPSS liefert noch die Ergebnisse fur drei weitere Tests fur dieNullhypothese H : µ = 0 (Pillai-Spur, Wilk’s-Lambda, Roy’sgroßter Eigenwert), die am Ende des Kapitels erklart werden.

103 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.6 Wichtigste Anwendung des EinstichprobenT 2-Tests: Vergleich von zwei abhangigenStichproben

I Beispiel: 5 Probanden machen ein Konzentrationstraining. Vorund nach dem Training wird ein Konzentrationstest gemacht,indem 2 Variablen gemessen werden. Das ergibt die Daten:

vorherx1 x2

140 90140 100160 100140 80120 80

nachherx1 x2

150 80160 70160 90140 90140 70

nachher - vorherx1 x210 -1020 -30

0 -100 10

20 -10

I Frage: Bewirkt das Training einen Unterschied in derKonzentrationsfahigkeit?

I Idee: Falls kein Unterschied zwischen den Ergebnissen vor undnach dem Test besteht, sollten die Differenzen (nachher -vorher) ”klein“ sein.

104 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


T 2-Tests: fur zwei abhangige Stichproben

I Idee: Man wendet Hotelling’s Einstichproben T 2-Test auf diekomponentenweise gebildeten Differenzen der Daten an, um dieHypothese

H0 : µ = 0zu testen. Im Beispiel ergibt sich (n = 5, p = 2):

I Mittelwertvektor der Differenzen:(10−10

)I

T 21 = 5 ⇒ F =

5− 24 · 2 · 5 = 1.87

I Das 95%-Quantil der F -Verteilung mit (2, 3) Freiheitsgraden istF2,3,0.95 = 9.55. Damit kann die Nullhypothese (”vor und nachdem Training besteht kein Unterschied“) nicht zum Niveau 5%verworfen werden.

105 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Anschauliche Interpretation von HotellingsT 2-Test fur die Daten aus Beispiel 3.6

●

●

●

●

●

−30 −20 −10 0 10 20 30

−30

−20

−10

010

2030

X1

X2 ●

●●

●●

−30 −20 −10 0 10 20 30−

30−

20−

100

1020

30

Y1

Y2

I Links: Original Daten (Differenzen vorher - nachher)I Rechts: Daten nach der Transformation z = A−1(x − 0)

I Beachte: Die Nullhypothese wird abgelehnt, falls der

”durchschnittliche“ Abstand der transformierten Daten zumNullpunkt des Koordinatensystems zu groß ist. Hier isty (1)

· ≈ 0.894 und y (2)· ≈ −0.447.

106 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.7 Vergleich von zwei unabhangigen Stichproben

I Frage: Sind die Erwartungswertvektoren µ1 und µ2 der beidenPopulationen (vgl. Beispiel 3.1) gleich?

H0 : µ1 = µ2

I Idee: Die Nullhypothese wird abgelehnt, falls der Vektor derDifferenzen

x(1)· − x(2)

·

”groß“ ist (d. h. sich mindestens eine der Komponenten deutlichvon 0 unterscheidet). Dabei bezeichnet

x(j)· =

1nj

nj∑m=1

x(j)m j = 1, 2

den Mittelwert (Vektor) der Gruppe j (j = 1: Lernmethode A,j = 2 Lernmethode B)

107 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.8 Beispiel (Fortsetzung von 3.1)Ein Wissenschaftler behauptet, dass zwischen denUnterrichtsmethoden ein Unterschied besteht.

I Mathematische Formulierung der Nullhypothese

H0 : µ1 − µ2 = 0 ⇐⇒ H0 : µ1 = µ2

I µj bezeichnet den Erwartungswert (Vektor) der Population jI Als Schatzung fur die Mittelwertdifferenz berechnet man

zunachst den Mittelwertvektor der beiden Populationen(x(1)

· wurde bereits in Beispiel 4.4 berechnet)

x(2)· =

1n2

n2∑m=1

x(j)m =

18

{+

(104

)+

(84

)+

(94

)+ . . .

}=

(9.875

4.5

)Damit erhalt man

x(1)· − x(2)

· =

(10.84.4

)−(

9.8754.5

)=

(0.925−0.1

)108 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.9 Hotelling’s T 2-Test fur den Vergleich vonzwei Stichproben aus unabhangigen Populationen

Modellannahmen:I Zwei unabhangige Stichproben{

x(1)m = (x (1)

m1 , . . . , x(1)mp )| m = 1, . . . , n1

}{

x(2)m = (x (2)

m1 , . . . , x(2)mp )| m = 1, . . . , n2

}I Die beobachteten Daten sind Realisationen von normalverteilten

Zufallsvariablen.

I (x(1)1 , . . . , x(1)

n1 ) und (x(2)1 , . . . , x(2)

n2 ) sind Realisationenunabhangiger Zufallsvariablen (d. h. es liegen unabhangigeStichproben vor).

I Varianzhomogenitat und Kovarianzhomogenitat

109 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.9 Hotelling’s T 2-Test fur den Vergleich vonzwei Stichproben aus unabhangigen Populationen

I Testgroße

T 22 =

n1n2(n1 + n2 − 2)

n1 + n2(x(1)

· − x(2)· )T W−1(x(1)

· − x(2)· ),

wobei die Matrix

W =2∑

j=1

nj∑m=1

(x(j)m − x(j)

· )(x(j)m − x(j)

· )T

die (gewichteten) Summen der Varianzen und Kovarianzeninnerhalb der beiden Gruppen enthalt.

I Die Nullhypothese H0 : µ1 = µ2 wird zum Niveau α verworfen,falls

n1 + n2 − p − 1(n1 + n2 − 2)p T 2

2 > Fp,n1+n2−p−1,1−α

gilt. Dabei bezeichnet Fp,n1+n2−p−1,1−α das (1− α)-Quantil derF -Verteilung mit (p, n1 + n2 − p − 1) Freiheitsgraden.

110 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Bemerkung zu der Matrix WI Kovarianzmatrix fur Gruppe 1

D1 =1

n1 − 1

n1∑m=1

(x(1)m − x(1)

· )(x(1)m − x(1)

· )T

I Kovarianzmatrix fur Gruppe 2

D2 =1

n2 − 1

n2∑m=1

(x(1)m − x(1)

· )(x(1)m − x(1)

· )T

I Die Matrix ergibt sich als gewichtete Summe von D1 und D2:

W = (n1 − 1) D1 + (n2 − 1) D2

I Im Beispiel 3.1 ist

W = 9·(

3.29 −0.36−0.36 1.82

)+7·(

3.27 0.070.07 2.0

)=

(52.5 −2.75−2.75 30.38

)

111 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel (Fortsetzung von 3.1)Fur die Matrix W erhalt man im Beispiel 3.1

W =

(52.5 −2.75−2.75 30.38

)⇒W−1 =

(0.0191 0.00170.0017 0.0330

)Das ergibt

T 22 =

10 · 8 · 1610 + 8

(0.925 −0.1

)(0.0191 0.00170.0017 0.0330

)(0.925−0.1

)= 71.11

(0.925 −0.1

)( 0.0175−0.0017

)= 1.16

Wegen10 + 8− 2− 1(10 + 8− 2) · 2 T 2

3 = 0.54

und F2,15,0.95 = 3.68 kann die Nullhypothese H0 : µ1 = µ2 (”zwischenden Unterrichtsmethoden besteht kein Unterschied“) zum Niveau 5%nicht verworfen werden (p-Wert: 0.593).

112 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output: Vergleich von zwei unabhangigenStichproben

Sig.Fehler

dfHypothese

dfFWertPillai-Spur

Wilks-Lambda

Hotelling-Spur


Pillai-Spur

Wilks-Lambda

Hotelling-Spur


Konstanter Term

GRUPPE

,59015,0002,000,547a

,073

,59015,0002,000,547a

,073

,59015,0002,000,547a

,932

,59015,0002,000,547a

,068

,00015,0002,000380,886a

50,785

,00015,0002,000380,886a

50,785

,00015,0002,000380,886a

,019

,00015,0002,000380,886a

,981EffektEffekt

Multivariate Testsb

a. Exakte Statistik

b. Design: Konstanter Term + GRUPPE

I Der Wert von Hotellings T 2 berechnet sich durch Multiplikationdes Werts der Hotelling-Spur mit (n1 + n2 − 2):

T 22 = (10 + 8− 2) · 0.073 = 1.168

I SPSS liefert noch die Ergebnisse fur drei weitere Tests fur dieNullhypothese H0 : µ1 = µ2 (Pillai-Spur, Wilk’s-Lambda, Roy´sgroßter Eigenwert), die am Ende des Kapitels erklart werden.

113 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.10 Einfaktorielle multivariate Varianzanalyse(MANOVA)Modellannahmen:

I g ≥ 2 unabhangige Stichproben

{x(1)m = (x (1)

m1 , . . . , x (1)mp ) | m = 1, . . . , n1}

...

{x(g)m = (x (g)

m1 , . . . , x (g)mp ) | m = 1, . . . , ng}

I Die beobachteten Daten sind Realisationen von normalverteiltenZufallsvariablen.

I (x(1)1 , . . . , x(1)

n1 ), . . . , (x(g)1 , . . . , x(g)

n2 ) sind Realisationenunabhangiger Zufallsvariablen (d. h. es liegen g unabhangigeStichproben vor).

I Varianzhomogenitat und Kovarianzhomogenitat.114 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.10 MANOVAI Es bezeichne µj den Erwartungswert (-vektor) der j-ten

Population (j = 1, . . . , g).I Nullhypothese: H0 : µ1 = . . . = µg

I Die Nullhypothese wird zu Gunsten der Alternative furH1 : µi 6= µj fur mindestens ein Paar i , j (i 6= j) verworfen fallsfur Wilk’s gilt:

Λ = |W (W + B)−1| ≤ Λp,n−g,n−1,α

Dabei bezeichnetI Λp,n−g,n−1,α das (1− α)-Quantil der Wilk’s-Λ-Verteilung mit

(p, n − g , n − 1) FreiheitsgradenI n =

∑gj=1 nj die Anzahl aller Beobachtungen

I Die Matrix

B =

g∑j=1

nj (x(j)· − x(·)

· )(x(j)· − x(·)

· )T

dient als Maß fur die Unterschiede zwischen den Gruppen(Streuung zwischen den Gruppen). D. h. man vergleicht jedenGruppenmittelwertvektor mit dem Mittelwertvektor von allenDaten.

115 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Vergleich mit dem eindimensionalen FallI Im Fall p = 1 ergibt sich

Λ−1 =W + B

W = 1 +BW

= 1 +

∑gj=1 nj(x (j)

· − x (·)· )2∑g

j=1∑nj

m=1(x (j)m − x (j)

· )2

I H0 wird verworfen, falls Λ ”kleine“ Werte annimmt, d. h. falls

BW =

∑gj=1 nj(x (j)

· − x (·)· )2∑g

j=1∑nj

m=1(x (j)m − x (j)

· )2

”große“ Werte annimmt. D. h. der Test von Wilk ist eineVerallgemeinerung des F -Tests fur multivariate Daten (vgl.Beispiel Methodenlehre II, 1.17)

I Fur große Stichprobenumfange kann man zeigen, dass der Test

−(n − 1− g + p2 ) log Λ ≥ χ2

p(g−1),1−α

naherungsweise das Niveau α hat. Dabei bezeichnet χ2p(g−1),1−α

das Quantil der χ2-Verteilung mit p(g − 1) Freiheitsgraden.116 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS und Wilk’s ΛI In SPSS wird statt der χ2-Approximation (Bartlett, 1947) eine

F -Approximation verwendet (Rao, 1952). Man kann zeigen, dass

Ff1,f2 =f2f1· 1− Λ1/s

Λ1/s

”naherungsweise“ F -verteilt ist mit (f1, f2) Freiheitsgraden, wobei

f1 = p(g − 1) , f2 = m · s − 12 p(g − 1) + 1

m = n − 1− p + g2

s =

√p2(g − 1)2 − 4

p2 + (g − 1)2 − 5I Als Approximation fur das α-Quantil der Wilk’s Λ-Verteilung

erhalt man

Λp,n−g,n−1,α ≈

(1

1 + f1f2· Ff1,f2,α

)s

I Ist n im Vergleich zu g und p klein, dann liefert dieF -Approximation die genaueren Werte. 117 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.10 Abschließende BemerkungenI Wilk’s Test setzt die Normalverteilungsannahme und

Varianz- und Kovarianzhomogenitat voraus.I Sind λ1, . . . , λg die Eigenwerte der Matrix W−1B, dann gilt

Λ =

g∏i=1

11 + λi

=1

1 + λ1· 1

1 + λ2· . . . · 1

1 + λg

I Neben der Determinante werden noch andere Kriterien fur dieKonstruktion von Teststatistiken verwendet:

I Hotelling’s Spurkriterium

H = Spur (B−1W ) =

g∑i=1

1λi

I Pillai’s Spurkriterium

P = Spur (W (W + B)−1) =

g∑i=1

11 + λi

I Roy’s großter Eigenwert (der Matrix (W (W + B)−1):

R =g

maxi=1

11 + λi

118 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


3.11 Beispiel: MANOVAI Anhand von Aufsatzen wird bei 6 Unter-, 4 Mittel- und 5

OberschichtenkindernI ein Index fur die Satzlange (x1),I ein Index fur die Vielfalt der Wortwahl (x2) undI ein Index fur die Komplexitat der Satzkonstruktionen (x3)

erhoben.I Stimmen die drei sozialen Schichten hinsichtlich dieser

linguistischen Variablen uberein?I Daten (p = 3, n1 = 6, n2 = 4, n3 = 5)

Unterschicht Mittelschicht Oberschichtx1 x2 x3 x1 x2 x3 x1 x2 x33 3 4 3 4 4 4 5 74 4 3 2 5 5 4 6 44 4 6 4 3 6 3 6 62 5 5 5 5 6 4 7 62 4 5 6 5 63 4 6

119 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Man berechnet die Gruppenmittelwerte

x(1)· =

16

3

34

+

443

+ . . .

=

36

9.67

,

x(2)· =

4.675.67

7

, x(3)· =

79.679.67

,

den Gesamtmittelwert

x (·)· =

115

3

34

+

443

+ . . .

=

3.534.675.27

und erhalt fur die Streuung zwischen den Gruppen

120 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


B = 6

3

69.67

−3.53

4.675.27

3

69.67

−3.53

4.675.27

T

+ 4

4.67

5.677

−3.53

4.675.27

4.67

5.677

−3.53

4.675.27

T

+ . . .

= 6

−0.531.334.4

(−0.53 1.33 4.4)

+ 4

1.141.0

1.73

(1.14 1.0 1.73)

=

3.93 5.97 3.175.97 9.78 4.783.17 4.78 2.55

121 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Fur die Matrix W erhalt man mit einer ahnlichen Rechnung wie inBeispiel 3.5

W =

13.8 −3.3 3.7−3.3 7.55 −0.451.7 −0.45 14.38

und damit fur Wilk’s Λ (die Berechnung der Determinante wird hiernicht dargestellt)

Λ = |W (W + B)−1| = 0.297

Es ist p = 3, n1 = 6, n2 = 4, n3 = 5 und man erhalt (Tabelle)

0.297 = Λ ≤ Λ3,12,14,0.95 = 0.315247

mit der F -Approximation (Rao) erzielt man die gleicheTestentscheidung (n = 15, s = 2, f1 = 6, f2 = 20)

f2f1· 1− Λ1/s

Λ1/s = 2.783 ≥ 2.599 = F6,20,0.95

Damit wird die Nullhypothese (”die Erwartungswerte derPopulationen sind gleich“) zum Niveau 5% verworfen.

122 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output fur Beispiel 3.11:

Sig.Fehler

dfHypothese

dfFWertPillai-Spur

Wilks-Lambda

Hotelling-Spur


Pillai-Spur

Wilks-Lambda

Hotelling-Spur


Konstanter Term

Schicht

,00311,0003,0008,435b

2,300

,01818,0006,0003,4812,321

,03920,0006,0002,784a

,297

,10222,0006,0002,049,717

,00010,0003,000347,487a

104,246

,00010,0003,000347,487a

104,246

,00010,0003,000347,487a

,010

,00010,0003,000347,487a

,990EffektEffekt

Multivariate Testsc

a. Exakte Statistik

b. Die Statistik ist eine Obergrenze auf F, die eine Untergrenze auf dem Signifikanzniveau ergibt.

c. Design: Konstanter Term + Schicht

123 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse

6. LogistischeRegression4. Diskriminanzanalyse

124 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.1 Beispiel

I 20 Versuchspersonen werden gebeten einen Text abzuschreiben.Dabei werden

I der beim Schreiben gezeigte durchschnittliche Schreibdruck (x1)registriert

I die durchschnittliche Unterlange der Buchstaben (x2) ermittelt

I Außerdem werden die Personen mit dem Rosenzweig PF(Picture Frustration) Test klassifiziert. Folgende Kategorienkommen hierbei in Betracht:

I extrapunitiv: Aggresivitat ist gegen die Umwelt gerichtetI intrapunitiv: Aggresivitat ist gegen das eigene Ich gerichtetI impunitiv: Aggresivitat wird uberhaupt umgangen

125 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Daten zu Beispiel 4.1

extrapunitiv intropunitiv impunitivx1 x2 x1 x2 x1 x213 3 16 5 11 815 5 16 8 13 714 4 18 8 13 715 4 17 4 12 613 4 17 8 15 916 4 12 515 5 12 7

14 8

126 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Streudiagramm zu Beispiel 4.1

Schreibdruck

18161412

Du

rch

sch

nit

tlic

he

Un

terl

äng

e d

er B

uch

stab

en

9

8

7

6

5

4

3

impunitiv: die Aggresivität wird überhaupt umgangen

intropunitiv: Aggresivität ist gegen das eigene Ich gerichtet

extrapunitiv: Aggresivität ist gegen die Umwelt gerichtet

Aggresivität

127 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Mathematisches Modell der Diskriminanzanalyse

I g Gruppen von ProbandenI in jeder Gruppe nj Probanden, jeweils gemessen in p Variablen

I x(j)1 , . . . , x(j)

nj (j = 1, . . . , g)

I x(j)m = (x (j)

m1, . . . , x(j)mp) (m = 1, . . . , nj )

I p ist die Anzahl der gemessenen Variablen

Beachte: Das Modell entspricht der einfaktoriellen multivariatenVarianzanalyse (wobei hier keine Normalverteilungsannahme gemachtwird)

Ziel der Diskriminanzanalyse ist die Bildung ”optimaler“Linearkombinationen

y (j)ms = v1s x (j)

m1 + . . .+ vps x (j)mp (s = 1, 2, . . .),

um die gegebenen Probandengruppen moglichst gut separieren zukonnen.

128 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiele fur Linearkombination fur die Daten in4.1 (g = 3, p = 2)

I Mittelwert aus beiden Merkmalen: v1 = (v11, v21) = ( 12 ,

12 )

y (1)11 =

12 13 +

12 3 = 8, y (1)

21 =12 15 +

12 5 = 10,

y (3)11 =

12 11 +

12 8 = 9.5

I Kontrast (Differenz aus den Merkmalen) (v21, v22) = ( 12 ,−

12 )

y (1)12 =

12 13− 1

2 3 = 5, y (1)22 =

12 15− 1

2 5 = 5,

y (3)12 =

12 11− 1

2 8 = 1.5

129 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Daten fur die beiden Linearkombinationen

ext int impy1 y2 y1 y2 y1 y28 5 10.5 5.5 9.5 1.5

10 5 12 4 10 39 5 13 5 10 3

9.5 5.5 10.5 6.5 9 38.5 8.5 12.5 4.5 2 310 6 13.5 3.510 5 9.5 2.5

11 3

Frage: was sind ”optimale“ Linearkombinationen?

130 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.2 Das Grundprinzip der Diskriminanzanalyse

Schritt 1: Wir bestimmen zunachst eine Linearkombination

y (j)m1 = v11 x (j)

m1 + . . .+ vp1 x (j)mp

I Beachte: die ”neuen“ Daten hangen von den Gewichtenv11, . . . , vp1 ab

I Das ergibt g Gruppen mit je nj (eindimensionalen) Daten

Gruppe 1 : y (1)11 , . . . , y

(1)n11

...

Gruppe g : y (g)11 , . . . , y

(g)ng 1

Man versucht jetzt die Gewichte v11, . . . , vp1 so zu wahlen,dass man die Gruppen moglichst gut unterscheiden kann.

131 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Eine (naheliegende) Moglichkeit: Wahle v11, . . . , vp1 so, dass(a) die Gruppenmittelwerte y (j)

·1 = 1nj

∑njm=1 y (j)

m1 moglichst starkstreuen.

(b) die transformierten Daten innerhalb einer Gruppe moglichstwenig streuen.

I Betrachtet man als Maß fur die Streuung die Varianz, dannfuhrt (a) auf die Maximierung von

F (v11, . . . , vp1) =

g∑j=1

nj (y (j)·1 − y ··1)2.

Dabei ist y (·)·1 = 1

n∑g

j=1∑nj

m=1 y (j)m1 der Mittelwert der

transformierten Daten der Gesamtstichprobe undn = n1 + . . .+ ng die Anzahl aller Probanden. (b) fuhrt auf dieMinimierung von

G(v11, . . . , vp1) =

g∑j=1

nj∑m=1

(y (j)m1 − y (j)

·1 )2

I Eine simultane Maxi- und Minimierung der Großen F und G istnicht moglich!

132 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Man maximiert daher den Ausdruck

H(1)(v11, . . . , vp1) =F (v11, . . . , vp1)

G(v11, . . . , vp1)

=

∑gj=1 nj (y (j)

·1 − y ··1)2∑gj=1∑nj

m=1(y (j)m1 − y (j)

·1 )2

Den Maximalwert bezeichnen wir mit λ1. Man spricht auch vondem großten Eigenwert.

I Man beachte: die Große H(1)(v11, . . . , vp1) ist (bis auf einenFaktor der Freiheitsgrade) die Statistik des F -Tests in dereinfaktoriellen Varianzanalyse (vgl. Methodenlehre II, 1.17)

I D. h. die Gewichte v11, . . . , vp1 fur die erste Linearkombinationwerden so bestimmt, dass die Statistik des F -Tests fur denVergleich der Gruppenmittelwerte der transformierten Datenmaximal wird.

133 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiele fur die erste Linearkombination fur dieDaten in 4.1 (g = 3, p = 2)

I (v11, v21) ≈ (0.8348,−0.5506)

y (1)11 = 0.8348 · 13− 0.5506 · 3 = 9.2003,

y (1)21 = 0.8348 · 15− 0.5506 · 5 = 9.7687,

y (3)31 = 0.8348 · 11− 0.5506 · 8 = 4.7778

134 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Transformierte Daten fur die erste optimaleLinearkombination

y (1)m1 y (2)

m1 y (3)m1

ext int imp9.2003 10.6034 4.77789.7687 8.9517 6.99799.4845 10.6212 6.9979

10.3192 11.9888 6.71378.6497 9.7864 7.5663

11.1540 7.26439.7687 6.1631

7.2821

135 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Schritt 2 (und Folgende): Man bestimmt nun eine weitereLinearkombinationen

y (j)m2 = v12 x (j)

m1 + . . .+ vp2 x (j)mp

sodass

(1) die Große

H(2)(v12, . . . , vp2) =F (v12, . . . , vp2)

G(v12, . . . , vp2)=

∑gj=1 nj (y (j)

·2 − y ··2)2∑gj=1∑nj

m=1(y (j)m2 − y (j)

·2 )2

maximal wird und(2) die transformierten Daten {y (j)

m1 | m = 1, . . . , nj ; j = 1, . . . , g}und {y (j)

m2 | m = 1, . . . , nj ; j = 1, . . . , g} unkorreliert sind.

Den Maximalwert aus Schritt 2 bezeichnen wir mit λ2 (zweitgroßterEigenwert). Die aus den weiteren Schritten erhaltenen Großenwerden mit λ3 ≥ λ4 ≥ . . . bezeichnet.

136 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiele fur die beiden Linearkombination fur dieDaten in 4.1 (g = 3, p = 2)

I (v11, v21) ≈ (0.8348,−0.5506)

y (1)11 = 0.8348 · 13− 0.5506 · 3 = 9.2003,

y (1)21 = 0.8348 · 15− 0.5506 · 5 = 9.7687,

y (3)31 = 0.8348 · 11− 0.5506 · 8 = 4.7778

I (v11, v21) ≈ (0.4969, 0.8678)

y (1)12 = 0.4969 · 13 + 0.8678 · 3 = 9.0636,

y (1)21 = 0.4969 · 15 + 0.8678 · 5 = 11.7930,

y (3)31 = 0.4969 · 11 + 0.8678 · 8 = 12.4086

137 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Transformierte Daten fur die ersten beidenoptimalen Linearkombinationen

ext int impy1 y2 y1 y2 y1 y2

9.2003 9.0636 10.6034 12.2900 4.7778 12.40869.7687 11.7930 8.9517 14.8933 6.9979 12.53479.4845 10.4283 10.6212 15.8872 6.9979 12.5347

10.3192 10.9253 11.9888 11.9192 6.7137 11.17008.6497 9.9314 9.7864 15.3903 7.5663 15.2642

11.1540 11.4222 7.2643 10.30229.7687 11.7930 6.1631 12.0378

7.2821 13.8994

Frage: Wie findet man die Transformationen?

138 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Deskriptive Statistiken vor und nach derTransformation

SdMean SdMean

DurchschnittlicheUnterlänge der

BuchstabenSchreibdruck




Gesamt

Aggresivität

1,835,692,1213,96

1,257,131,2812,75

1,956,60,8416,80

,694,141,1314,43

SdMean SdMean

Y2Y1




Gesamt

Aggresivität

1,9012,291,898,70

1,5312,52,896,72

1,8414,081,1310,39

1,0210,76,809,76

139 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Streudiagramm zu Beispiel 4.1 mit Eigenvektoren

Schreibdruck

18,0016,0014,0012,0010,00

Du

rch

sch

nit

tlic

he

Un

terl

äng

e d

er B

uch

stab

en

9,00

8,00

7,00

6,00

5,00

4,00

3,00

Gruppenmittelwert




Aggresivität

140 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Altes und neues Koordinatensystem

Schreibdruck

18161412

Du

rch

sch

nit

tlic

he

Un

terl

äng

e d

er B

uch

stab

en

9

8

7

6

5

4

3




Aggresivität

Y2

16,0014,0012,0010,00

Y1

12,00

10,00

8,00

6,00

4,00




Aggresivität

141 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.3 BemerkungenI Ist x(j)

m der Vektor der p-Variablen des m-ten Probanden inStichprobe j (= 1, . . . , g), dann ist

x(j)· =

1nj

nj∑m=1

x(j)m

der Mittelwertvektor in Gruppe j und

x =1N

g∑j=1

nj x(j)· =

1n

g∑j=1

nj∑m=1

x(j)m

der Mittelwertvektor aller Beobachtungen. Die Matrix p × p

B =

g∑j=1

nj(x(j)· − x)(x(j)

· − x)T

ist ein multivariates Maß fur die Streuung zwischen denGruppen (vgl. 3.10)

142 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Die Matrix

W =

g∑j=1

nj∑m=1

(x(j)m − x(j)

· )(x(j)m − x(j)

· )T

ist ein multivariates Maß fur die Streuung innerhalb derGruppen (vgl. 3.8).

I Man kann zeigen, dass die Vektoren vs = (v1s , . . . , vps)(sukzessive unter der Nebenbedingung der Unkorreliertheit) dieGroßen

H(s)(vs) =vT

s B v svT

s W v smaximieren.

I Man kann zeigen, dass die Vektoren v1, v2, . . . dieEigenvektoren der Matrix

W−1 B

sind und die zugehorigen Maximalwerte λ1, λ2, . . . dieEigenwerte dieser Matrix sind, d. h. es gilt

(W−1 B)v j = λjv j j = 1, 2, . . .

143 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Zahlenbeispiel fur die Berechnung derEigenvektoren

I SPSS liefert Schatzungen fur Mittelwerte undKovarianzmatrizen (innerhalb der Gruppen und in der gesamtenStichprobe); daraus berechnen sich:

B =

(50.537 −8.155−8.155 36.184

)und

W =

(22.017 10.42510.425 28.952

)I Damit ergibt sich:

W−1B =

(2.928 −1.160−1.336 1.667

)mit

λ1 = 3.693, v1 =

(0.8348−0.5506

)und λ2 = 0.902, v2 =

(0.49690.8678

)als Eigenwerten und zugehorigen Eigenvektoren

144 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Zahlenbeispiel: SPSS-Ausgaben


BuchstabenSchreibdruckSchreibdruck

DurchschnittlicheUnterlänge der Buchstaben

Schreibdruck


Kovarianz

Korrelation

1,000,413

,4131,000

1,702,613

,6131,295

Gemeinsam Matrizen innerhalb der Gruppena

a. Die Kovarianzmatrix hat einen Freiheitsgrad von 17.

W = (20− 3) ·(

1.295 0.6130.613 1.702

)=

(22.017 10.42510.425 28.952

)

145 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse




BuchstabenSchreibdruckSchreibdruck


Schreibdruck


Schreibdruck


Schreibdruck





Gesamt

3,418,124

,1243,818

1,554,893

,8931,643

3,800,400

,400,700

,476,429

,4291,286AggresivitätAggresivität

Kovarianz-Matrizena

a. Die Kovarianzmatrix für alle Fälle hat einen Freiheitsgrad von 19.

W = (7− 1) ·(

1.286 0.4290.429 0.476

)+ (5− 1) ·

(0.700 0.4000.400 3.800

)+ (8− 1) ·

(1.643 0.8930.893 1.554

)=

(22.017 10.42510.425 28.952

)146 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse



KanonischeKorrelationKumulierte %% der VarianzEigenwert

1

2 ,689100,019,7,901a

,88780,380,33,685a

FunktionFunktion

Eigenwerte

a. Die ersten 2 kanonischen Diskriminanzfunktionen werden in dieser Analyse verwendet.

147 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.4 Bemerkungen

I Die Vektoren v s = (v1s , . . . , vps) in den Linearkombinationenheißen Diskriminanzfaktoren (man beachte die Analogie zurFaktorenanalyse). Allerdings sind die Diskriminanzfaktoren nichtnotwendig orthogonal.

I Bei g Gruppen und p Variablen gibt es

r = min {p, g − 1}

Faktoren. Wir erhalten also insgesamt r Maximalwerte

λ1 ≥ λ2 ≥ . . . ≥ λr ,

die Eigenwerte genannt werden. Die Große

ρs =λs

λ1 + λ2 + . . .+ λr; s = 1, . . . , r

bezeichnet den Diskriminanzanteil des Diskriminanzfaktors s

148 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.5 Bemerkungen

I Die Große

ωs =λ1 + λ2 + . . .+ λsλ1 + λ2 + . . .+ λr

; s = 1, . . . , r

bezeichnet das Diskriminanzpotenzial derDiskriminanzfaktoren 1, . . . , s. In vielen Fallen verwendetman nicht alle Diskriminanzfaktoren sondern nur diejenigen, furdie das Diskriminanzpotenzial ”groß“ ist. Damit erhalt man wiebei der Faktorenanalyse eine Dimensionsreduktion.

I Durch die Diskriminanzanalyse werden r neueKoordinatenachsen bestimmt mit dem Ziel der sukzessivenmaximalen Separierbarkeit der verglichenen Stichproben. Dieneuen Achsen sind nicht notwendig orthogonal.

149 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beachte:

I Wichtige Kennwerte der Diskriminanzanalyse

I Die z-standardisierten Positionen der Probanden auf denKoordinatenachsen heißen wie bei der FaktorenanalyseFaktorwerte.

I Die Korrelation zwischen den ursprunglichen Messwerten undden Faktorwerten heißen Faktorladungen und werden wie beider Faktorenanalyse fur die Interpretation derDiskriminanzfaktoren verwendet. Eine sehr hohe positive odersehr niedrige negative Faktorladung besagt, dass dieentsprechende Variable besonders charakteristisch fur denDiskriminanzfaktor ist.

I Außerdem untersucht man die Mittelwerte der verglichenenGruppen auf dem Diskriminanzfaktor. Dadurch kann manfeststellen, wie gut die Gruppen durch den Diskriminanzfaktorgetrennt werden.

I Oft werden die Diskriminanzfaktoren noch mit demVarimax-Kriterium (vgl. 2.7) rotiert, um eine bessereInterpretation der Diskriminanzfaktoren zu erhalten.

150 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.6 Wieviele Diskriminanzfaktoren?I Ist der Test fur die Hypothese gleicher Erwartungswerte in den

Gruppen aus 3.10 signifikant, so bedeutet das, dass man dieStichproben auf Grund aller Diskriminanzfaktoren signifikantvoneinander trennen kann. Dieser Test verwirft

H0 : µ1 = µ2 = . . . = µg ,

falls fur Wilk’s Λ die Ungleichung

V1 = −(n − g + p2 − 1) log Λ

= (n − g + p2 − 1) log

r∏j=1

(1 + λj)

= (n − g + p2 − 1)

r∑j=1

log(1 + λj) > χ2p(g−1),1−α

gilt.I In einem solchen Fall uberpruft man sukzessiv, ob bei Weglassen

von Diskriminanzfaktoren die Gruppen immer noch signifikantunterschieden werden konnen.

151 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Im zweiten Schritt untersucht man die Ungleichung

V2 = −(n − g + p2 − 1)

r∑j=2

log(1 + λj) > χ2(p−1)(g−2),1−α

Gilt diese nicht (keine Signifikanz), so ist ”nur“ der ersteDiskriminanzfaktor signifikant und das Verfahren wirdabgebrochen. Sonst (Signifikanz) wird das Verfahren fortgesetzt.

I Im dritten Schritt untersucht man die Ungleichung

V3 = −(n − g + p2 − 1)

r∑j=3

log(1 + λj) > χ2(p−2)(g−3),1−α

Gilt diese nicht (keine Signifikanz), so sind ”nur“ der erste undzweite Diskriminanzfaktor signifikant und das Verfahren wirdabgebrochen. Sonst (Signifikanz) wird das Verfahren fortgesetzt.

I Man beachte:I Dieses Verfahren setzt die Normalverteilung voraus.I Der α-Fehler des Gesamtverfahrens wird nicht kontrolliert.

152 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Wieviele Diskriminanzfaktoren im Beispiel 4.1I Beachte: g = 3 p = 2I Zwei Faktoren genugen, denn

V1 = (n − g + p2 − 1)

2∑j=1

log(1 + λj)

= (20− 3 + 22 − 1) [log(1 + 3.693) + log(1 + 0.902)]

= 16.401 > 9.487 = χ24,0.95

I Ein Faktor genugt auch schon, denn

V2 = (n − g + p2 − 1)

2∑j=2

log(1 + λj)

= (20− 3 + 22 − 1) log(1 + 0.902)

= 10.608 > 5.991 = χ22,0.95

153 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.7 Klassifikation

I Eng mit der Diskriminanzanalyse verbunden ist das Problem derZuordnung von weiteren Probanden zu den g Gruppen

”Zu welcher der g Gruppen passt ein Individuum auf Grundseines individuellen Merkmalprofils am besten“

I Beispiel: Eine Person, bei der Schreibdruck x1 = 13 und einedurchschnittliche Unterlange der Buchstaben x2 = 8 gemessenwurde, soll ohne Anwendung des Rosenzweig PF-Testshinsichtlich der Aggresivitat klassifiziert werden.

I Hier: zwei Klassifikationsverfahren, die auf Abstanden basieren

I lineare KlassifikationI quadratische Klassifikation

154 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.8 Lineare KlassifikationI Modellannahmen:

I unabhangige GruppenI Varianz-Kovarianzhomogenitat

I Varianz-Kovarianzmatrix in Gruppe j

Wj =1

nj − 1

nj∑m=1

(x(j)m − x(j)

· )(x(j)m − x(j)

· )T (j = 1, . . . , g)

I Schatzung der Varianz-Kovarianzmatrix der Gesamtstichprobeerfolgt durch ein gewichtetes Mittel derVarianz-Kovarianzmatrizen der einzelnen Gruppen(n = n1 + . . .+ ng ist der Gesamtstichprobenumfang)

W =1

n − g {(n1 − 1)W1 + (n2 − 1)W2 + . . .+ (ng − 1)Wg}

=1

n − g

g∑j=1

nj∑m=1

(x(j)m − x(j)

· )(x(j)m − x(j)

· )T

155 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.8 Lineare Klassifikation

I Der Mahalanobis-Abstand der ”neuen“ Datenx = (x1, . . . , xp)T zu der Population j ist:

d linj (x) = (x − x(j)

· )T W−1(x − x(j)· ) (j = 1, . . . , g)

wobei x(j)· = (x (j)

1· , . . . , x(j)p· )T der Vektor der durchschnittlichen

Auspragungen der Merkmale in Gruppe j bezeichnet, d. h.

x(j)i· =

1nj

nj∑m=1

x(j)mi

I Man ordnet das neue Datum x derjenigen Gruppe zu, fur die derzugehorige Abstand d lin

j (x) minimal wird.

156 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: Lineare Klassifikation fur die Daten aus Beispiel 4.1

x(1)· =

(14.434.14

), x(2)

· =

(16.806.60

), x(3)

· =

(12.757.13

)

W =1

17

(22.017 10.42510.425 28.952

)Damit erhalt man fur x = (13, 8)T die Abstande

I d lin1 (x) = 16.15

I d lin2 (x) = 18.39

I d lin3 (x) = 0.49

x ist also der Kategorie ”impunitiv“ zuzuordnen!

157 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.9 Quadratische Klassifikation

I Varianz-Kovarianzmatrix in Gruppe j

Wj =1

nj − 1

nj∑m=1

(x(j)m − x(j)

· )(x(j)m − x(j)

· )T (j = 1, . . . , g)

I Als Abstand der ”neuen“ Daten x = (x1, . . . , xp)T zu derPopulation j verwendet man

dquadj (x) = (x − x(j)

· )T W−1j (x − x(j)

· ) + log |Wj |

I Man ordnet x derjenigen Gruppe zu, fur die der zugehorigeAbstand dquad

j (x) minimal wird.

I Beachte: diese Prozedur setzt keineVarianz-Kovarianzhomogenitat voraus

158 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: Quadratische Klassifikation fur die Daten aus Beispiel4.1

x(1)· =

(14.434.14

), x(2)

· =

(16.806.60

), x(3)

· =

(12.757.13

),

W =1

17

(22.017 10.42510.425 28.952

), W1 =

(1.286 0.4290.429 0.476

),

W2 =

(0.700 0.4000.400 3.800

), W3 =

(1.643 0.8930.893 1.554

)Damit erhalt man fur x = (13, 8)T die Abstande

I dquad1 (x) = 56.7510

I dquad2 (x) = 25.1163

I dquad3 (x) = 1.1053

x ist also der Kategorie ”impunitiv“ zuzuordnen.

159 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


4.10 Ein Test auf Varianz-Kovarianzhomogenitat(Box-Test)

I Modellannahmen:I unabhangige PopulationenI Normalverteilungsannahme

I Die Nullhypothese der Varianz-Kovarianzhomogenitat in den gGruppen wird verworfen, falls

(1− C)

[n log |W | −

g∑j=1

nj log |Wj |]> χ2

p(p+1)(k−1)/2,1−α

gilt. Hier bezeichnet

C =

[2p2 + 3p − 1

6(p + 1)(k − 1)

][ g∑j=1

1nj− 1

n

]eine Konstante und χ2

p(p+1)(g−1)/2,1−α das (1− α)-Quantil derχ2 Verteilung mit p(p + 1)(g − 1)/2 Freiheitsgraden.

I Beachte: Dieser Test ist die Verallgemeinerung desBartlett-Tests (vgl. Methodenlehre II, 1.19) auf denmultivariaten Fall. 160 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: Test auf Varianz-Kovarianzhomogenitat fur die Daten ausBeispiel 4.1

C =2 · 22 + 3 · 2− 16(2 + 1)(3− 1)

(17 + frac15 +

18 −

120

)≈ 0.1509

(1− C)

[n log |W | −

g∑j=1

log |Wj |]≈ 7.534 < χ2

2(2+1)(3−1)/2,1−α

= χ26,0.95 ≈ 12.591

Die Nullhypothese der Varianz-Kovarianzhomogenitat kann nicht

verworfen werden.

161 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: SPSS-Test auf Varianz-Kovarianzhomogenitat fur dieDaten aus Beispiel 4.1

Box-M

Näherungswert

df1

df2

Signifikanz

F

,389

2622,761

6

1,053

7,736

Textergebnisse

Testet die Null-Hypothese der Kovarianz-Matrizen gleicher Grundgesamtheit.

Beachte: SPSS verwendet eine etwas andere Box-M-Statistik:

(n − g) log |W | −g∑

j=1(nj − 1) log |Wj | ≈ 7.701,

die (mit einer anderen Konstante normiert) approximativ F -verteiltist.

162 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse

6. LogistischeRegression5. Clusteranalyse

163 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Einleitende Bemerkung:

Die Clusteranalyse ist ein exploratives Verfahren mit dem Ziel:

I der Aufteilung von n Probanden, an denen Variablen erhobenwurden, in verschiedene Gruppen (Cluster).

I Die Anzahl der Gruppen ist in der Regel nicht bekanntI Die Probanden innerhalb der Gruppen sollen sich moglichst

wenig ”unterscheiden“ (Homogenitat)I Zwischen den Gruppen sollen moglichst große Unterschiede

bestehen (Heterogenitat)

164 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.1 Beispiel: Weiterbildung fur Flugtlotsen

I Ein Weiterbildungsprogramm fur 20 Fluglotsen soll auf dieindividuellen Fahigkeiten der Lotsen abgestimmt werden.

I Dazu sollen die Fluglotsen in Gruppen eingeteilt werden, diejeweils getrennt weitergebildet werden (insbesondere sollen dieFahigkeiten trainiert werden, in denen die GruppenmitgliederDefizite aufweisen).

I Jedes Datum enthalt 5 Merkmale.

Variablen Label Bemerkungenx1 Technik Technisches Verstandnisx2 Englisch Englischkenntnissex3 Entscheidung Entscheidungsverhalten in komplexen, dynamischen

Situationenx4 Kapazitat Mehrfacharbeitskapazitatx5 Konzentration Konzentrationsfahigkeit unter Belastungs-

bedingungen

165 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Daten

Pb Technik Englisch Entscheidung Kapazitat Konzentration1 4 3 1 1 112 2 8 8 2 163 4 2 5 5 194 1 1 2 5 205 8 8 1 3 146 8 9 1 4 167 8 9 3 3 158 7 3 3 1 119 6 5 3 3 15

10 6 8 3 4 1511 9 2 1 6 2012 8 1 2 7 2013 5 1 6 6 1914 8 4 1 1 1115 2 8 7 4 1416 7 9 3 2 1617 7 8 4 2 1518 2 9 9 3 1819 7 8 4 2 1620 4 3 1 5 18

166 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Grundprinzip der Clusteranalyse:

Fur die Bildung der Gruppen verwendet man Abstandsmaße(Metriken) bzw. Ahnlichkeitsmaße

I x i = (xi1, . . . , xip) Datum fur den i-ten Probanden (im Beispielist p = 5)

I man definiert ein Abstandsmaß d , durch das die Abstandezwischen den Probanden gemessen werden

I ein Abstandsmaß d hat (in der Regel) die folgendenEigenschaften. Es bezeichne d(x1, x2) den Abstand zwischenDatum x1 und x2, dann soll gelten:

d(x1, x2) ≥ 0d(x1, x2) = d(x2, x1)

d(x1, x2) = 0 genau dann wenn x1 = x2

d(x1, x2) ≤ d(x1, x3) + d(x3, x2)

167 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.2 Abstandsmaße fur dichotome Merkmale

I Es werden zwei Probanden

x1 = (x11, . . . , x1p) und x2 = (x21, . . . , x2p)

anhand von p dichotomen Merkmalen verglichen, d. h. dieMerkmalsauspragungen x1i bzw. x2i (i = 1, . . . , p) konnen nurdie Werte 0 oder 1 annehmen.

I Der Vergleich der beiden Probanden hinsichtlich eines Merkmalserlaubt jeweils nur eine von vier Konstellationen (zwei Formenvon Ubereinstimmung und zwei Formen der Abweichung)

I Wie haufig welche Konstellationen vorliegt, ist genugendInformation um ein Abstandsmaß zu definieren

I Es bezeichne aij die Anzahl der Merkmale in den Datenx1 = (x11, . . . , x1p) und x2 = (x21, . . . , x2p), bei denen x1` = iund x2` = j ist.

168 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse



I In Tabellendarstellung (aij die Anzahl der Merkmale, bei denenx1` = i und x2` = j ist):

x2` = 1 x2` = 0x1` = 1 a11 a10x1` = 0 a01 a00

I In der weiteren Diskussion wird folgendes Beispiel verwendet:

x1 = (0, 1, 0, 1, 1, 0)

x2 = (1, 0, 1, 1, 0, 0)

damit: a11 = 1, a10 = 2, a01 = 2 und a00 = 1

169 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse



Allgemeines Prinzip: Gangige Abstandsmaße setzen die Anzahl derUbereinstimmungen ins Verhaltnis. Wir betrachten 3 Beispiele:

I S-Koeffizientds(x1, x2) = a10+a01

a11+a10+a01

I Im Beispiel:ds(x1, x2) =

45

170 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse



I SMC-Koeffizient: berucksichtigt auch die Ubereinstimmung aufNichtvorhandensein (a00) eines Merkmals

dSMC(x1, x2) = a10+a01p

wobei p die Anzahl der erhobenen Merkmale ist.

I Im Beispiel istdSMC(x1, x2) =

23

171 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Weitere Moglichkeit: Fasse x1 und x2 als Merkmale auf undquantifiziere ihre Abhangigkeit. Basierend auf demΦ-Koeffizienten ergibt sich beispielsweise

Φ(x1, x2) =a11 · a00 − a10 · a01√

(a11 + a10) · (a11 + a01) · (a00 + a10) · (a00 + a01)

dΦ(x1, x2) = 1− Φ(x1, x2)

Im Beispiel ist

Φ(x1, x2) =−4√

3 · 3 · 2 · 2= −2

3

alsodΦ(x1, x2) =

53

I Man beachte Φ(x1, x2) ist ein Maß fur den Zusammenhangvon zwei dichotomen Variablen.

172 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.3 Abstandsmaße fur nominale Merkmale mit kStufen

I Man benutzt eine Dummy-Codierung und dann eines derAbstandsmaße fur dichotome Variablen

I Beispiel (k = 3)

x1 = (A,B,C ,A,B,B)

x2 = (A,A,B,B,C ,C)

173 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel

Mit der Codierung

A→ (1, 0), B → (0, 1), C → (0, 0)

erhalt man

x1 = (1, 0, 0, 1, 0, 0, 1, 0, 0, 1, 0, 1)

x2 = (1, 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0)

Fur die Berechnung des SMC -Koeffizienten bestimmt mana11 = 1, a00 = 4, a10 = 4, a01 = 3 und es ergibt sich

dSMC(x1, x2) =7

12

174 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.4 Abstandsmaße fur ordinale Merkmale mit kStufen

I Man benutzt wieder eine Dummy-Codierung und dann eines derAbstandsmaße fur dichotome Variablen

I Beispiel A ≺ B ≺ C ≺ D

x1 = (A,B,A,B)

x2 = (B,A,B,A)

x3 = (D,C ,D,D)

175 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel

Mit der Codierung

A→ (0, 0, 0), B → (1, 0, 0), C → (1, 1, 0), D → (1, 1, 1)

erhalt man

x1 = (0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0)

x2 = (1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0)

x3 = (1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1)

Die Berechnung des SMC -Koeffizienten zeigt, dass erwartungsgemaß

dSMC(x1, x2) =4

12 =13 <

34 = dSMC(x2, x3)

176 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.5 Abstandsmaße fur metrische Skalen (Langen,Gewichte, Temperatur etc.)

x1 = (x11, . . . , x1p)

x2 = (x21, . . . , x2p)

I Euklidische Metrik

dE(x1, x2) =

√√√√ p∑i=1

(x1i − x2i )2

I City-Block Abstand

dCB(x1, x2) =

p∑i=1|x1i − x2i |

177 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: p = 3 x1 = (−1.1,−0.5, 1.2); x2 = (2.1, 0.7, 1.1)

dE(x1, x2) =√

(−1.1− 2.1)2 + (−0.5− 0.7)2 + (1.2− 1.1)2

=√

(−3.2)2 + (−1.2)2 + (0.1)2 =√

11.69 ≈ 3.419

dCB(x1, x2) = | − 1.1− 2.1|+ | − 0.5− 0.7|+ |1.2− 1.1|= | − 3.2|+ | − 1.2|+ |0.1| = 4.5

178 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Graphisches Beispiel: City-Block Abstand

X1

X3

P2

P1

X2

179 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Graphisches Beispiel: Euklidischer Abstand

X1

X3

P2

P1

X2

180 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.6 Abstandsmaße fur gemischt skalierte Daten

I Beobachtungen in der Praxis werden haufig mit nominal, ordinalund metrisch skalierten Merkmalen beschrieben.

I Losung 1: Bildung von Klassen, die als Kategorien desniedrigsten Skalenniveaus (nominal bzw. ordinal) aufgefasstwerden. Vorsicht: Informationsverlust!

I Losung 2: Fuhre drei Clusteranalysen mit den fur die dreiMerkmalsgruppen ermittelten Distanzen dn, do und dm undvergleiche die Ergebnisse. Wie verfahren, wenn die Ergebnisse deutlich voneinanderabweichen?

I Losung 3: Aggregiere die drei Distanzen zu einer neuen Distanzd mit

d = αdn + βdo + γdm

mit α, β, γ > 0.

181 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel

I Versuchspersonen sollen aufgrund von folgenden Merkmalen inGruppen eingeteilt werden:

Variablen Label Bemerkungenx1 Geschlecht zwei Auspragungen: M - mannlich und W - weiblichx2 Augenfarbe Augenfarbex3 Bildung Auspragungen: ohne ≺ ABI ≺ BSc ≺ MScx4 Gewicht in kgx5 Große in cm

Geschlecht Augenfarbe Bildung Gewicht GroßeM blau — 85 182M braun ABI 96 185M blau ABI 102 180W braun BSc 61 168W blau MSc 55 165W braun MSc 65 172

182 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


BeispielI Verwende Variante 3 mit α = β = 1 und γ = 1

25I Exemplarisch: Abstand von Person 1 zu Person 4I Hierfur zuerst Kodierung der kategoriellen Merkmale

Geschlecht Augenfarbe Bildung Gewicht Große0 0 000 85 1820 1 100 96 1850 0 100 102 1801 1 110 61 1681 0 111 55 1651 1 111 65 172

I Fur die nominalen Merkmale gilt:a11 = 0, a10 = 0, a01 = 2, a00 = 0 S-Koeffizient dn = 2

2 = 1I Fur das ordinale Merkmal gilt:

a11 = 0, a10 = 0, a01 = 2, a00 = 1 S-Koeffizient d0 = 2

3I Fur die metrischen Merkmale ist der euklidische Abstand:

dm =√

(85− 61)2 + (182− 168)2 ≈ 27.8I Damit gilt dann: d ≈ 2.779

183 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Verfahren der Clusteranalyse:Es werden hierarchische und partitionierende Verfahren unterschieden.(A) Hierarchisch-Agglomerative Verfahren

I Beginne mit der feinsten Aufteilung (fur jedes Probanden eineigenes Cluster)

I Berechne alle paarweisen Abstande und fusioniere die beidenProbanden mit dem geringsten Abstand (bzw. der großtenAhnlichkeit)

I Die Anzahl der Cluster reduziert sich um 1 und das Verfahrenwird mit den neuen Clustern fortgesetzt.

I In jedem Schritt wird die Anzahl der Cluster um 1 reduziert bisnur noch 1 Cluster vorhanden ist.

I Das duale Vorgehen, mit der grobsten Aufteilung zu beginnenund diese schrittweise zu verfeinern (hierarchisch-divisiveClusterverfahren, z. B. MacNaughton/Smith (1964)) wird indieser Vorlesung nicht thematisiert.

184 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Fur das Fortschreiben der Abstande des sich bei der Fusionergebenden Cluster gibt es verschiedene Strategien

I average linkage (wird in dieser Vorlesung besprochen)I complete linkage (auch furthest neighbour)I single linkage (auch closest neighbour)

usw.

I Abschließend wird die Clusterzahl festgelegt. Dafur verwendetman oft eine graphische Darstellung, das Dendrogramm.

185 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.7 Clusteranalyse fur die ersten 5 Probanden ausBeispiel 5.1 (eukl. Abstand und average linkage)Schritt 1:

I Berechne fur die Probanden die paarweisen Abstande anhandder standardisierten Merkmale x3 und x4 und betrachte dieAbstands- oder Distanzmatrix

PB1 PB2 PB3 PB4 PB5PB1 .00PB2 2.36 .00PB3 2.59 1.94 .00PB4 2.26 2.59 .98 .00PB5 1.12 2.36 1.72 1.17 .00

Beispiel:

dE(PB1,PB2) =√(1− 3.4

3.05 − 8− 3.43.05

)2+

(1− 3.21.789 −

2− 3.21.789

)2≈ 2.362

I Da PB3 und PB4 den kleinsten Abstand zueinander haben,werden diese zu einem neuen Cluster zusammengefasst.

186 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Schritt 2:

I Der Abstand dieses neues Clusters (PB3,PB4) zu sich selbst istder Abstand von PB3 zu PB4.

I Der Abstand von den alten Clustern zu dem neuen Cluster(PB3,PB4) ergibt sich als Durchschnitt (average) der Abstandezu den Clustern PB3 und PB4. Z. B.

I Abstand von PB1 zu (PB3,PB4): 2.59+2.262 = 2.425


I Damit erhalt man eine ”neue“ Abstandsmatrix

PB1 PB2 (PB3, PB4) PB5PB1 .00PB2 2.36 .00

(PB3, PB4) 2.43 2.27 .98PB5 1.12 2.36 1.45 .00

in der PB1 und PB5 den kleinsten Abstand haben und zu einemneuen Cluster zusammengefasst werden.

187 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Schritt 3:

I Abstand von (PB3,PB4) zu (PB1,PB5): 2.43+1.452 = 1.94


I Damit erhalt man eine ”neue“ Abstandsmatrix

(PB1, PB5) PB2 (PB3, PB4)(PB1, PB5) 1.12

PB2 2.36 .00(PB3, PB4) 1.94 2.27 .98

in der die Cluster (PB1,PB5) und (PB2,PB3) den geringstenAbstand haben.

188 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Schritt 4: Euklidische Abstande nach dem dritten (Fusions-) Schritt

PB2 (PB1, PB3, PB4, PB5)PB2 .00

(PB1, PB3, PB4, PB5) 2.31 1.64

Schritt 5: Der letzte (Fusions-) Schritt – 1 Cluster

(PB1, PB2, PB3, PB4, PB5)(PB1, PB2, PB3, PB4, PB5) 1.91

189 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output fur Beispiel 5.7

Distanzmatrix

5:Proband 5 4:Proband 4 3:Proband 3 2:Proband 2 1:Proband 1

Euklidisches Distanzmaß

1:Proband 1

2:Proband 2

3:Proband 3

4:Proband 4

5:Proband 5 ,0001,1651,7232,3621,118

1,165,000,9842,5852,260

1,723,984,0001,9442,592

2,3622,5851,944,0002,362

1,1182,2602,5922,362,000FallFall

Näherungsmatrix

Dies ist eine Unähnlichkeitsmatrix

190 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Zuordnungsubersicht

Cluster2

Cluster1 Koeffizienten

Cluster2

Cluster1

NächsterSchritt

Erstes Vorkommen des Clusters

Zusammengeführte Cluster

1

2

3

4 0032,31421

4121,93531

3001,11851

300,98443SchrittSchritt

Zuordnungsübersicht

I Die Werte aus der Spalte ”Koeffizienten“ werden auchHomogenitaten genannt.

I Sie entsprechen dem Abstand der zusammengefugten Cluster.I Die Homogenitaten konnen auch im Dendrogramm abgelesen

werden.

191 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Clusterzugehorigkeit

2 Cluster3 Cluster4 Cluster1:Proband 1

2:Proband 2

3:Proband 3

4:Proband 4

5:Proband 5 114

133

133

222

111FallFall

Cluster-Zugehörigkeit

192 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.8 Graphische Darstellung der hierarchischenClusteranalyse: das Dendogramm

1

5

3

4

2

0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2

Height

I Abstand zwischen PB3 und PB4 ist 0.98I Abstand zwischen (PB1,PB5) and (PB3,PB4) ist 1.94

193 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beachte: In SPSS wird im Dendrogramm die Achse derAbstandsmaße neu skaliert, um die Distanzschritte deutlicher zumachen

I min bezeichnet den minimalen Abstand vor dem ersten Schritt(im Beispiel 0.98)

I max bezeichnet den maximalen Abstand vor dem ersten Schritt(im Beispiel 2.31)

I die Abstande im Dendrogramm werden durch die Transformation

d −→ 25 · d −minmax −min = 25 · d − 0.98

2.31− 0.98 = 25 · d − 0.981.33

skaliert.Beispiele:

I Abstand zwischen PB3 und PB4: 0.98→ 0I Abstand zwischen (PB1,PB5) und (PB3,PB4): 1.94→ 18.05I Abstand zwischen (PB1,PB3,PB4,PB5)

und PB2: 2.31→ 25

194 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output

Dendogramm fur die Daten aus Beispiel 5.7 (die ersten 5 Probanden)

Dendrogram using Average Linkage (Between Groups) Rescaled Distance Cluster Combine C A S E 0 5 10 15 20 25 Label Num +---------+---------+---------+---------+---------+ Proband 3 3 -+---------------------------------+ Proband 4 4 -+ +-------------+ Proband 1 1 -----+-----------------------------+ | Proband 5 5 -----+ | Proband 2 2 -------------------------------------------------+

195 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.9 Clusteranalyse (Hierarchisch-Agglomerativ)fur die Daten aus Beispiel 5.1

Cluster2

Cluster1 Koeffizienten

Cluster2

Cluster1

NächsterSchritt

Erstes Vorkommen des Clusters

Zusammengeführte Cluster

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19 016183,70931

1912173,43821

1811132,61751

194152,575113

161452,03143

15001,581204

17701,55281

18081,547152

171061,42875

11931,29397

10001,095109

12001,024182

1300,961148

1100,93965

1500,859133

1600,8591211

1020,852167

310,5661716

200,3441917SchrittSchritt

Zuordnungsübersicht

196 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Dendogramm fur die Daten aus Beispiel 5.1

Dendrogram using Average Linkage (Between Groups)

Rescaled Distance Cluster Combine

C A S E 0 5 10 15 20 25 Label Num +---------+---------+---------+---------+---------+

Proband 17 17 -+-+ Proband 19 19 -+ +---+ Proband 16 16 ---+ +-------+ Proband 7 7 -------+ +-+ Proband 9 9 -----------+---+ +---------------+ Proband 10 10 -----------+ | | Proband 5 5 ---------+-------+ +-----------+ Proband 6 6 ---------+ | | Proband 8 8 ---------+-------+ | | Proband 14 14 ---------+ +---------------+ +---+ Proband 1 1 -----------------+ | | Proband 2 2 -----------+-----+ | | Proband 18 18 -----------+ +---------------------------+ | Proband 15 15 -----------------+ | Proband 11 11 -------+-------------------------+ | Proband 12 12 -------+ +---------------+ Proband 3 3 -------+-----------------+ | Proband 13 13 -------+ +-------+ Proband 4 4 -------------------+-----+ Proband 20 20 -------------------+

197 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Clusterzugehorigkeit

2 Cluster3 Cluster4 Cluster5 Cluster1:Proband 1

2:Proband 2

3:Proband 3

4:Proband 4

5:Proband 5

6:Proband 6

7:Proband 7

8:Proband 8

9:Proband 9

10:Proband 10

11:Proband 11

12:Proband 12

13:Proband 13

14:Proband 14

15:Proband 15

16:Proband 16

17:Proband 17

18:Proband 18

19:Proband 19

20:Proband 20 2333

1144

1222

1144

1144

1222

1111

2333

2335

2335

1144

1144

1111

1144

1144

1144

2333

2333

1222

1111FallFall

Cluster-Zugehörigkeit

198 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Bemerkungen zur Interpretation

I Clusteranalyse ist ein exploratives Verfahren.I Es werden Hypothesen generiert.I Die mit den Abstandmaßen verechnete Aufteilung muss nicht

immer interpretierbar sein!I es ist daher sinnvoll mehrere Clusterlosungen inhaltlich zu

untersuchen!

199 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


(B) Nichthierarchische Verfahren (partionierende Clusteranalysen)

I Man beginnt mit einer Startgruppierung von g Clustern unddefiniert ein Zielkriterium

I Durch Verschieben einzelner Probanden von einem Cluster zumanderen wird versucht, das Zielkriterium zu verbessern

Beachte:I diese Strategie bestimmt fur eine vorgegebene Menge von

Clustern die ”beste“ AufteilungI Bei einer mittleren Anzahl von Probanden ist das Verfahren sehr

rechenintensiv und man schrankt den Suchprozess ”oft“ auf einegeeignet erscheinende Teilklasse von Partitionen ein. Es istwichtig sich eine inhaltlich plausible Anfangspartitionvorzugeben!

200 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Bemerkungen:

I Die Anfangscluster werden oft mit einem hierarchischenVerfahren bestimmt

I Als Zielkriterium besprechen wir das Varianzkriterium und dasDeterminantenkriterium. Es bezeichne fur jedes Cluster Widie Kovarianzmatrix der Probanden, die in dieses Cluster fallen.D. h fallen z. B. die ersten 3 Probanden

x1 = (x11, . . . , x1p)

x2 = (x21, . . . , x2p)

x3 = (x31, . . . , x3p)

in das Cluster 1, dann ist x ·j = 13∑3

i=1 xij der Mittelwert fur dasMerkmal j , (j = 1, . . . , p) und

wjk =13

3∑i=1

(xij − x ·j)(xik − x ·k)

die Kovarianz zwischen den Merkmalen j und k im Cluster 1.

201 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Die Matrix

W1 =

w11 c12 · · · w1pw21 c22 · · · w2p

......

. . ....

wp1 cp2 · · · wpp

enthalt dann in der Position (j , k) die Kovarianz zwischen denMerkmalen j und k im Cluster 1.

I Die Matrix W2 enthalt dann in der Position (j , k) die Kovarianzzwischen den Merkmalen j und k im Cluster 2, usw.

202 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


I Insgesamt ergibt sich fur jedes der Cluster eine entsprechendeKovarianzmatrix

W1 : Cluster 1 mit n1 ProbandenW2 : Cluster 2 mit n2 Probanden

......

...Wg : Cluster g mit ng Probanden

Aus diesen Matrizen wird dann die Matrix

W =

g∑j=1

(nj − 1)Wj

gebildet, und Kenngroßen dieser Matrix dienen als Zielkriterium.

203 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


5.10 Zielkriterien

I Mit Hilfe des Varianzkriteriums werden die Daten so auf dieCluster verteilt, dass die Große

Spur (W )

minimal wird. Dabei bezeichnet Spur (W ) die Spur (= Summeder Diagonalelemente) der Matrix W

I Mit Hilfe des Determinantenkriteriums werden die Daten soauf die Cluster verteilt, dass

det (W )

minimal wird. Dabei bezeichnet det (W ) die Determinante derMatrix W

204 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse

6. LogistischeRegression6. Logistische Regression

205 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel 6.1: Untersuchung zu Alkoholkonsum inder Kinder- und Jugendpsychatrie

I 30 hinsichtlich Alkoholmissbrauch diagnostizierte Jugendliche

I 30 hinsichtlich Alkoholmissbrauch ”unauffallige“ Jugendliche

I Gemessene Variablen

a) Abhangige VariableI y : Alkoholmissbrauch (0 – kein Missbrauch; 1 – Missbrauch)

b) Pradiktoren, die zur Vorhersage von Alkoholmissbrauchbeitragen konnten:

I x1: erbliche Vorbelastung (0 – nein; 1 – ja)I x2: Bedeutung des Alkoholkonsums im sozialen Umfeld

(0 – gering; 1 – mittel; 2 – hoch)I x3: AlterI x4: Reizhunger (Fragebogen zum ”sensations seeking“)

206 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Unterschiedliche Datentypen

Beachte: es liegen unterschiedliche Datentypen vor

I Kriterium (Alkoholmissbrauch): nominalskaliert (0/1)

I Nominalskalierte Pradiktoren

I erbliche Vorbelastung (0/1)I soziales Umfeld (0/1/2)

I Intervallskalierte Pradiktoren

I Alter (intervallskaliert: 12 - 22 Jahre)I Reizhunger (intervallskaliert)

207 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Daten:

Pb y x1 x2 x3 x41 0 0 0 14 222 0 0 0 17 203 0 0 0 14 26...

......

......

...30 0 1 1 17 1831 1 0 0 16 2732 1 0 0 18 22...

......

......

...59 1 1 2 17 2360 1 1 2 15 27

y : Alkoholmissbrauch

x1: Erbe ; x2: Umfeldx3: Alter ; x4: Reizhunger

208 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Haufigkeiten und bedingte Wahrscheinlichkeitenfur die Daten aus Beispiel 6.1Beispiel: Haufigkeiten (Erbe x Alkohol)

nicht vorbelastet vorbelastet(e = 0) (e = 1)

kein Alkoholmissbrauch (k = 0) 20 10

Alkoholmissbrauch (k = 1) 10 20

Summe 30 30

=⇒ Aus den Daten ermittelt man ”Schatzungen“ fur dieWahrscheinlichkeiten.Z.B. erhalt man fur die Wahrscheinlichkeit einesAlkoholmissbrauchs und einer erblichen Vorbelastung

P(k = 0, e = 1) ≈ 1060 =

16

209 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS Output fur Haufigkeiten (Erbe x Alkohol)

vorbelastetnicht

vorbelastet Gesamt

Erbe

Anzahl

% innerhalb von Erbe

Anzahl


kein Missbrauch

Missbrauch

Anzahl


Gesamt

Alkohol

100,0%100,0%100,0%

603030

50,0%66,7%33,3%

302010

50,0%33,3%66,7%

301020

Alkohol * Erbe Kreuztabelle

Man beachte: diese Tabelle zeigt die Haufigkeiten innerhalb derGruppen!Die Wahrscheinlichkeit von Alkoholmissbrauch innerhalb der Gruppeder vorbelasteten ist

2030 ≈ 66.7%

210 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: bedingte Wahrscheinlichkeiten

nicht vorbelastet vorbelastet(e = 0) (e = 1)

kein Alkoholmissbrauch (k = 0) 23

13

Alkoholmissbrauch (k = 1) 13

23

Die Wahrscheinlichkeit, dass ein Jugendlicher zum Alkoholmissbrauchneigt, unter der Bedingung, dass eine erbliche Vorbelastung vorliegt,wird geschatzt als

P(k = 1 | e = 0) =P(k = 1, e = 0)

P(e = 0)=

10603060

=13

Dabei erhalt man den Nenner (30/60) aus der Tabelle auf dervorigen Folie

211 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: (weitere) bedingte Wahrscheinlichkeiten

Die Wahrscheinlichkeit, dass ein Jugendlicher nicht zum Alkohol-missbrauch neigt, unter der Bedingung, dass keine erblicheVorbelastung vorliegt wird geschatzt als

P(k = 0 | e = 0) =P(k = 0, e = 0)

P(e = 0)=

20603060

=23

Die Wahrscheinlichkeit, dass ein Jugendlicher nicht zum Alkohol-missbrauch neigt, unter der Bedingung, dass eine erblicheVorbelastung vorliegt wird geschatzt als

P(k = 0 | e = 1) =P(k = 0, e = 1)

P(e = 0)=

10603060

=13

212 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Odds:Der Odds beschreibt eine Chance. Z.B.

I Die Wahrscheinlichkeit zu keinem Alkoholmissbrauch, wenn manerblich nicht vorbelastet ist, betragt

P00 = P(k = 0 | e = 0) =23

I Die Wahrscheinlichkeit zu Alkoholmissbrauch, wenn man erblichvorbelastet ist, betragt

1− P00 = P(k = 1 | e = 0) =13

I Der Odds der Wahrscheinlichkeit zu keinem Alkoholmissbrauch,wenn man nicht erblich vorbelastet ist, betragt

odds (P00) =P00

1− P00=

2313

= 2

D.h. Die Chance, dass ein nicht vorbelasteter Jugendlicherkeinen Alkoholmissbrauch aufweist, ist 2 zu 1

213 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: Tabelle der Odds fur die Daten inBeispiel 6.1

nicht vorbelastet vorbelastetodd(Pke) (e = 0) (e = 1)

kein Alkoholmissbrauch 2 = 2 : 1 0.5 = 1 : 2(k = 0)

Alkoholmissbrauch 0.5 = 1 : 2 2 = 2 : 1(k = 1)

odd (P01) =P01

1− P01=

13

1− 13

=12 = 0.5

D.h. die Chance, dass ein vorbelasteter Jugendlicher keinen

Alkoholmissbrauch aufweist, betragt 0.5 = 1 : 2

214 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Odds ratio

Der Odds ratio (OR) beschreibt ein Chancenverhaltnis. Z.B.

OR =odds (P11)

odds (P10)=

P111−P11

p101−P10

=odds (P(k = 1 | e = 1)

odds (P(k = 1 | e = 0)=

212

= 4

D.h. die Chance eines Alkoholmissbrauchs ist bei einem erblichvorbelasteten Jugendlichen viermal so groß wie bei einem erblichnicht vorbelasteten Jugendlichen.

215 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


6.2 Das Modell der logistischen Regression

Yi : Wert der (dichotomen) abhangigen Variablen des itenProbanden (i = 1, . . . , n)

x1i : Wert des Merkmals ”1“ des iten Probandenx2i Wert des Merkmals ”2“ des iten Probanden...xpi : Wert des Merkmals ”p“ des iten Probanden

(1) ln( P(Yi = 1)

1− P(Yi = 1)

)= b0 + b1x1i + . . .+ bpxpi i = 1, . . . , n

Beachte:(a) In Gleichung (1) bezeichnet man mit ln den naturlichen

Logarithmus und b0, . . . , bp sind (unbekannte) Modellparameter.(b) Im Beispiel 6.1 ist p = 4 und n = 60.

216 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Logit

Beachte:I auf der rechten Seite der Gleichung (1) steht ein multiples

lineares Regressionsmodell

I auf der linken Seite der Gleichung (1) steht der Logarithmus derChance, dass die Kriteriumsvariable den Wert 1 annimmt. Manspricht vom Logit der Wahrscheinlichkeit P(Yi = 1):

ln( P(Yi = 1)

1− P(Yi = 1)

)

217 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Das Modell der logistischen Regression(aquivalente Darstellung)

Yi : Wert der (dichotomen) abhangigen Variablen des itenProbanden (i = 1, . . . , n)

x1i : Wert des Merkmals “1” des iten Probandenx2i : Wert des Merkmals “2” des iten Probanden...xpi : Wert des Merkmals “p” des iten Probanden

(2) P(Yi = 1) =1

1 + exp(−(b0 + b1x1i + . . .+ bpxpi )), i = 1, . . . , n

Beachte:

(a) In Gleichung (1) bezeichnet man mit exp(z) = ez dieExponentialfunktion und b0, . . . , bp sind (unbekannte)Modellparameter.

(b) Im Beispiel 6.1 ist p = 4 und n = 60.218 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Die logistische Funktion

Beachte: Mitzi = b0 + b1x1i + . . .+ bpxpi

kann man die Gleichung (2) schreiben als

P(Yi = 1) =1

1 + e−zi

I Fur zi → 0 gilt: P(Yi = 1)→ 0.5I Fur zi → −∞ gilt: P(Yi = 1)→ 0I Fur zi → +∞ gilt: P(Yi = 1)→ 1

219 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Grafik der logistischen Funktion

−10 −5 0 5 10

0.0

0.2

0.4

0.6

0.8

1.0

P(yi = 1)

zi = b0 + b1xi1 + b2xi2 + … + bkxki

Man beachte:I Fur zi → 0 gilt: P(Yi = 1)→ 0.5I Fur zi → −∞ gilt: P(Yi = 1)→ 0I Fur zi → +∞ gilt: P(Yi = 1)→ 1

220 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Anwendung des logistischen Regressionsmodells

I Aus den Daten erhalt man Schatzungen b0, . . . , bp fur dieParameter b0, . . . , bp des logistischen Regressionsmodells.

I Fur einen neuen Probanden werden die Pradiktoren x1, . . . , xpgemessen

I Aus diesen Pradiktoren berechnet man den entsprechenden“z-Wert”

z = b0 + b1x1i + . . .+ bpxp

I die Wahrscheinklichkeit, dass der neue Proband alsKriteriumsvariable den Wert Y = 1 hat (im Beispiel zuAlkoholmissbrauch neigen wird) wird mit

P(Y = 1) =1

1 + exp(−z)

vorhergesagt.

221 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


6.3 Schatzung der Parameter im logistischenRegressionsmodell

Voraussetzungen:

I y1, . . . , yn sind Realisierungen von unabhangigen Zufallsvariablen

I dichotome Merkmale (Binomialverteilung)

I Gultigkeit des logistischen Regressionsmodells (1) bzw. (2)

I Fur alle Signifikanztests und Konfidenzbereiche muss derStichprobenumfang “hinreichend” groß sein! Es gibtverschiedene Empfehlungen in der Literatur (z.B. fur beideGruppen y = 0 und y = 1 mussen mindestens 25 Datenvorliegen).

222 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Parameterschatzung mit derMaximum-Likelihood Methode

I bestimme fur jedes Datum den erwarteten Wert

`i (b0, . . . , bp) = P(Yi = 1) =1

1 + exp(−(b0 + b1x1i + . . .+ bpxpi )

falls yi = 1, bzw. den erwarteten Wert

`i (b0, . . . , bp) = 1− P(Yi = 1) = P(Yi = 0)

=exp(−(b0 + b1x1i + . . .+ bpxpi )

1 + exp(−(b0 + b1x1i + . . .+ bpxpi ))

falls yi = 0 ist.I Maximiere die Funktion

`1(b0, . . . , bp) · `2(b0, . . . , bp) · . . . · `n(b0, . . . , bp)

bzgl. der Wahl von b0, . . . , bp

223 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel: Maximum-Likelihood Methode fur dieDaten aus Beispiel 6.1 (p = 4, n = 60)

Proband 1: y1 = 0; x11 = 0; x21 = 0; x31 = 14; x41 = 22

`1(b0, . . . , b4) =exp(−(b0 + 14b3 + 22b4)

1 + exp(−(b0 + 14b3 + 22b4)

Proband 30: y30 = 0; x1,30 = 1; x2,30 = 1; x3,30 = 17; x4,30 = 18

`30(b0, . . . , b4) =exp(−(b0 + b1 + b2 + 17b3 + 18b4))

1 + exp(−(b0 + b1 + b2 + 17be + 18b4)

Proband 60: y60 = 1; x1,30 = 1; x2,30 = 2; x3,30 = 15; x4,30 = 27

`60(b0, . . . , b4) =1

1 + exp(−(b0 + b1 + 2b2 + 15b3 + 27b4))

Die Werte fur die anderen Probanden`2(b0, . . . , b4), . . . , `29(b0, . . . , b4), `31(b0, . . . , b4), . . . , `59(b0, . . . , b4)werden analog berechnet.

224 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Behandlung nominal skalierter Merkmale mitk > 2 Auspragungen (im Beispiel: Umfeld)

I Anteil im Modell in Originalskalierung: b2x2

I man verwendet eine Dummy Codierung

x2 = 0 (gering) → x2(1) = 0; x2(2) = 0x2 = 1 (mittel) → x2(1) = 1; x2(2) = 0x2 = 2 (hoch) → x2(1) = 0; x2(2) = 1

I Anteil im Modell mit Dummy Codierung:

b2(1) · x2(1) + b2(2) · x2(2)

(d.h. es wird ein weiterer Parameter eingefuhrt!)

I Beachte: die Pradiktoren x2(1) und x2(2) nehmen nur dieWerte 0 oder 1 an!

225 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


SPSS-Output fur die Daten aus Beispiel 6.1

Exp(B)Sig.Regressionsk

oeffizientBObererWert

UntererWert

95%Konfidenzintervall für

EXP(B)

x1(1)

x2

x2(1)

x2(2)

x3

x4

Konstante

Schritt 1a

,000,001-13,987

1,4791,0731,260,005,231

2,322,9911,517,055,417

50,0031,3238,132,0242,096

5,902,2261,155,862,144

,056

21,3711,2275,122,0251,633

Variablen in der Gleichung

a. In Schritt 1 eingegebene Variablen: x1, x2, x3, x4.

226 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Interpretation der ErgebnisseI SPSS liefert Schatzungen b0, b1, . . . , bp fur die

Regressionskoeffizienten im Modell

P(Yi = 1) =1

1 + exp(−(b0 + b1x1i + . . .+ bpxpi ))i = 1, . . . , n

Dabei werden nominal skalierte Merkmale mit k > 2 in k − 1Dummy Variablen kodiert.

I In diesem Fall ist exp(bi ) der Odds ratio (OR) fur dieentsprechende Wahrscheinlichkeit.Beispiele:

I der OR der Stufe mittel gegenuber gering (des MerkmalsUmfeld) ist 1.16.

I der OR der Stufe hoch gegenuber gering (des Merkmals Umfeld)ist 8.12.

D.h. die Chance, dass ein Jugendlicher mit hohem (mittlerem)Wert im sozialen Umfeld Alkoholmissbrauch aufweist, ist um das8.12 (1.16)-fache großer als bei einem Jugendlichen mitgeringem Wert im sozialen Umfeld.

227 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel fur Vorhersagen

I Fur weitere Probanden konnen Vorhersagen getroffen werden!I In dem Datenbeispiel erhalt man fur die Schatzungen der

Parameter

b0 = −13.987, b1 = 1.633, b2(1) = 0.144, b2(2) = 2.096,

b3 = 0.417, b4 = 0.231I Ein neuer Proband hat die Pradiktoren

x1 = 1, x2 = 2, x3 = 15, x4 = 28

I Das ergibt

z = −13.987 + 1.633 + 2.096 + 15 · 0.417 + 28 · 0.231 = 2.465

228 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Beispiel fur Vorhersagen

I Damit erhalt man als Vorhersage fur die Wahrscheinlichkeiteines Alkoholmissbrauchs fur diesen Probanden

P(Y = 1) =1

1 + exp(−(b0 + b1x1 + b2x2 + b3x3 + b4x − 4))

=1

1 + exp(−z)= 0.922

229 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Test auf Signifikanz der Regressionskoeffizienten(Likelihood Quotiententest)

I die NullhypotheseH0 : bi = 0

(d.h. die Variable xi hat keinen Einfluss) wird zum Niveau αverworfen, falls ( bi

sbi

)2> χ2

1,1−α

ist (oder der entsprechende p-Wert kleiner als α ist). Dabeibezeichnet sb die Standardabweichung von bi und χ2

1,1−α das(1− α)-Quantil der χ2-Verteilung mit 1 Freiheitsgrad.

I Beachte: dieser Test halt nur fur großen Stichprobenumfangdas Niveau α. Manche Autoren empfehlen Signifikanztests erst,wenn fur beide Auspragungen (y = 1 und y = 0) mindestens je25 Probanden vorliegen.

230 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Signifikanztests fur die Daten aus Beispiel 6.1

I die Hypothese H0 : b0 = 0 wird zum Niveau 5% verworfenI die Hypothese H0 : b1 = 0 wird zum Niveau 5% verworfenI die Hypothese H0 : b2(1) = 0 wird zum Niveau 5% nicht

verworfenI die Hypothese H0 : b2(2) = 0 wird zum Niveau 5% verworfenI die Hypothese H0 : b3 = 0 wird zum Niveau 5% nicht verworfenI die Hypothese H0 : b4 = 0 wird zum Niveau 5% verworfen

231 / 232



1. Matrizenrechnung

2. Faktorenanalyse



5. Clusteranalyse


Konfidenzbereiche fur den Odds ratio

I Der Odds ratio von “ohne erbliche Vorbelastung” und “miterblicher Vorbelastung” betragt 5.122(= exp(b1)). D.h. dieChance, dass bei einem Jugendlichen mit erblicher VorbelastungAlkoholmissbraucht auftritt, ist 5.12 mal großer als bei einemJugendlichen ohne erbliche Vorbelastung.

I Ein 95% Konfidenzintervall fur diesen OR ist [1.227, 21.371].

Beachte: diese Aussage ist nur bei ”großem”Stichprobenumfang zuverlassig.

232 / 232

Documents

Methodenlehre III, WS 2010/2011 · Igor Ivanov: [email protected] GAFO 04/271, Fr (wtl.) 12.00–14.00 Uhr (ab 29.10.) I Koordination Tutorium Lars Kuchinke: [email protected]