Dr. rer.nat. Matthias Rudolf - tu-dresden.de · Dr. Matthias Rudolf: M3 – Multivariate Statistik...

Folie Nr. 1Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Dr. rer.nat. Matthias RudolfDiplom-Mathematiker

Professur Methoden der Psychologie

Folie Nr. 2Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Dr. rer.nat. Matthias Rudolf

Büro BZW A 317

Telefon: 463 36166

Matthias.Rudolf@TU-Dresden.de

https://tu-dresden.de/mn/psychologie/methpsy/die-

professur/beschaeftigte/matthias-rudolf/index

Allgemeine Sprechstunde: Jeden Montag 12.30 – 13.00 Uhr

Folie Nr. 3Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Spezielle M3-Sprechstunde im Wintersemester:

jeden Montag 11.45-12.30 Uhr

(Raum BZW A317, ohne Voranmeldung)

• Klärung offener Fragen aus Vorlesung bzw.

Computerseminar, Hilfe bei PVL-Aufgaben

• Diskussion von PVL-Aufgaben bzw. -Lösungen

sowie von Aufgaben zur Prüfungsvorbereitung

• Besprechung sonstiger Probleme im Zusammenhang mit M3

Folie Nr. 4Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Vorlesungen (ASB 28): Donnerstag, 3. DS

Computerseminare (SE2 / 101):

Gruppe 1: Montag, 2. DS

Gruppe 2: Montag, 5. DS

Gruppe 3: Montag, 6. DS

Gruppe 4: Dienstag, 2. DS

Gruppe 5: Mittwoch, 2. DS

Individuelles Tauschen von Terminen in Gruppen ist

problemlos möglich – Tauschpartner erforderlich!

Folie Nr. 5Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Folie Nr. 6Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Folie Nr. 7Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Ablaufplan

Inhaltsübersicht

Literaturangaben

Probeklausur

Prüfungsrelevanz

Folien der Vorlesung

Aufgaben, Lösungshilfen, Daten der Computerseminare

PVL-Aufgaben

Aufgaben zur Prüfungs-vorbereitung

Kennwort:

https://tu-dresden.de/mn/psychologie/methpsy/studium/struktur-und-module/modul-m3/index

Folie Nr. 8Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Verbindliche Prüfungsliteratur :

Rudolf, M. & Buse, J. (2019). Multivariate

Verfahren. Eine praxisorientierte Einführung mit

Anwendungsbeispielen in SPSS (3. Aufl.).

Göttingen: Hogrefe.

oder

Rudolf, M. & Müller, J. (2012). Multivariate

Verfahren. Eine praxisorientierte Einführung mit

Anwendungsbeispielen in SPSS (2. Aufl.).

Göttingen: Hogrefe.

Folie Nr. 9Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Was wollen wir im Modul M3 erreichen?

Sie sollen …

… die Prinzipien und Vorgehensweisen der behandelten

Verfahren verstanden haben

… die Methoden zur Lösung fachlicher Fragestellungen

sachgerecht auswählen und anwenden können

… die Ergebnisse der Verfahren (Outputs) interpretieren und

auf fachwissenschaftliche Fragen übertragen können

… fit sein im Umgang mit SPSS (für Ihr Bachelorstudium und

als sehr wichtige Grundlage für Ihr späteres Masterstudium)

Folie Nr. 10Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Prüfungsleistung (PL)

Theoretische Fragen zu den Methoden

Anwendung der Verfahren

Interpretation von SPSS-Outputs

Prüfungsvorleistung (PVL)

Praktischer Umgang mit SPSS

Interpretation der Ergebnisse

Aufgaben zur langfristigen Prüfungsvorbereitung

Langfristige Vorbereitung auf die PL

Folie Nr. 11Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Prüfungsleistung (PL): Klausur

Dauer: 90 Minuten

Benutzbare Unterlagen:

Geschriebenes oder gedrucktes Material

(z.B. Mitschriften, Bücher)

Nicht benutzbar:

Rechner, jegliche „Außenverbindungen“ (z.B. Internet)

Mitzubringen:

leere A4-Blätter, Stifte

Personalausweis + Studentenausweis

Folie Nr. 12Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Prüfungsleistung (PL): Klausur

Inhalte der Klausur:

Inhalte der Vorlesung

Inhalte der Computerseminare

Prüfungsliteratur (wird zu jedem Kapitel angegeben)

Kompetenzen aus den Modulen M1 und M2 werden

vorausgesetzt!

Folie Nr. 13Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Im Internet: Klausur aus dem Wintersemester 2011/12

Aufgaben dieser Klausur und deren Lösungen werden z.B. im

Rahmen der Aufgaben zur Prüfungsvorbereitung besprochen.

Folie Nr. 14Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Prüfungsvorleistung (PVL): Lösungen von SPSS-Aufgaben

(individuelle Lösungen auf Basis der Matrikelnummer)

Erreichbare Punkte: 40

Notwendige Punktzahl: 20

Anzahl der Aufgabenblätter: 2 (je 20 Punkte)

Angebot der Aufgabenblätter: Internet Abgabe der Auswertungsblätter (keine Abgabe per mail möglich!): vor der Vorlesung am 28.11. bzw. 16.01.

Punktekontrolle: im Internet ab 22.01.

Nachfragen und jederzeit Hilfe: in der M3-Sprechstunde

Folie Nr. 15Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Folie Nr. 16Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

15.11.

Folie Nr. 17Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Aufgaben zur langfristigenPrüfungsvorbereitung:

inhaltliche Fragen zur selbständigen (!) Bearbeitung

Folie Nr. 18Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Prüfungsleistung (PL)

Theoretische Fragen zu den Methoden

Anwendung der Verfahren

Interpretation von SPSS-Outputs

Prüfungsvorleistung (PVL)

Praktischer Umgang mit SPSS

Interpretation der Ergebnisse

Unterstützung in der M3-Sprechstunde

Aufgaben zur langfristigen Prüfungsvorbereitung

Langfristige Vorbereitung auf die PL

Unterstützung in der M3-Sprechstunde

Folie Nr. 19Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

I Programmpakete•SPSS (incl. AMOS)•SAS•BMDP•STATISTICA•.....

II Spezielle Software•HLM•Mplus•StatXact•STATA•EquivTest•.....

III freie Software im Internet•R•Stichprobenumfangsplanung•......

Statistik-Software

Folie Nr. 20Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Folie Nr. 21Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

SPSS – in der Psychologie mit Abstand am weitesten verbreitet

Folie Nr. 22Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Nutzungsmöglichkeiten von SPSS:

Campuslizenz – Rechenzentrum der TUD

In vielen PC-Pools der TU installiert

Test-Version für Abschlussarbeiten (über SPSS)

Studenten-Version (Buchhandel)

Demo-Versionen

In der Fachrichtung Psychologie:

Voll-Versionen in den PC-Pools

Voll-Versionen in den Instituten

Folie Nr. 23Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

1 Korrelations- und Regressionsanalyse

1.1 Grundlagen und allgemeiner Überblick

1.2 Einfache lineare Regression

1.2.1 Modell

1.2.2 Methode der kleinsten Quadrate

1.2.3 Voraussetzungen

1.2.4 Varianzzerlegung und Bestimmtheitsmaß

1.2.5 Tests und Vorhersage

1.3 Partielle Korrelation

1.4 Multiple lineare Regression

1.4.1 Modell

1.4.2 Prinzipielle Vorgehensweise

1.4.3 Multikollinearität

1.4.4 Merkmalsselektionsverfahren

1.4.5 Hierarchische Regression

1.5. Moderation und Mediation

1.5.1 Analyse von Moderatoreffekten

1.5.2 Analyse von Mediatoreffekten

1.6. Nichtlineare Regression

Prüfungsliteratur: Rudolf & Müller S. 37-94, 342

Folie Nr. 24Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Korrelationsanalyse: Untersuchung von Existenz und Stärke des Zusammenhanges von (zwei oder mehr) Variablen

Regressionsanalyse: Untersuchung der Art des Zusammenhanges von (zwei oder mehr) Variablen; Beurteilung der Vorhersagemöglichkeiten der Kriteriumsvariablen aus der (den) Prädiktorvariablen; Anpassung einer Regressionsfunktion

Folie Nr. 25Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Verfahren der Korrelationsanalyse

• Bivariate Korrelationsanalyse bei unterschiedlichen Datenniveaus; Modul M2

• Multiple Korrelation Abschnitt 1.4

• Kanonische Korrelation (Zusammenhangsanalyse von 2 Merkmalsmengen (X1,X2,...,Xp) und (Y1,Y2,...,Yq) Spezialliteratur

• Partielle Korrelation Abschnitt 1.3

•

Verfahren der Regressionsanalyse

• Einfache lineare Regression, z.B. y=b1·x + b0 Abschnitt 1.2

• Multiple lineare Regression, z.B. y=b2 · x2 + b1·x1 + b0 Abschnitt 1.4

• Nichtlineare Regression, z.B. y=b1·x2 + b0 Abschnitt 1.6

• (Binäre) logistische Regression (Kriterium dichotom) Abschnitt 2

• Multinomiale logistische Regression; Probitanalyse; Regression mit gewichteten Daten, .... Spezialliteratur

Folie Nr. 26Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Beispiel: Untersuchung der Abhängigkeit des Lernerfolgs von Schülern,

gemessen als Punktzahl in einer Klausur (Kriterium Y) von der Zahl der in

der Vorbereitung aufgewendeten Übungsstunden (Prädiktor X).

Erhobene Daten:

Schüler X: Aufwand Y: Erfolg Schüler X: Aufwand Y: Erfolg

1 12 72 6 30 50

2 14 41 7 32 55

3 20 68 8 38 78

4 24 66 9 38 72

5 28 53 10 54 66

Folie Nr. 27Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Folie Nr. 28Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Modellgleichung:

yi: Wert der Kriteriumsvariablen Y des i-ten Probanden

xi: Wert der Prädiktorvariablen X des i-ten Probanden

ei: Residuum (Realisierung des Modellfehlers E) des i-ten Pb

b0, b1: Regressionskoeffizienten

n: Anzahl der Probanden

),...,1(10 niexbby iii

Folie Nr. 29Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Folie Nr. 30Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Pb 8

Pb 2

88 yy

8y

22 yy

2y

2y

8y

66 yy

Pb 6

6y

6y

yi: gemessener

Wert

ŷi: Schätzwert

auf der Gerade

ei = yi – ŷi:

Residuum

Folie Nr. 31Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Warum Methode der kleinsten Quadrate (MkQ)?

Folie Nr. 32Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Warum Methode der kleinsten Quadrate (MkQ)?

Folie Nr. 33Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Warum Methode der kleinsten Quadrate (MkQ)?

Folie Nr. 34Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Parameterschätzungen: Methode der kleinsten Quadrate

QSRest: Fehler-Quadratsumme

yi: Wert der Kriteriumsvariablen Y des i-ten Pb

ŷi: Schätzwert für den Wert der Variablen Y (i-ter Pb)

xi: Wert der Prädiktorvariablen X des i-ten Pb

ei: Residuum des i-ten Pb

b0, b1: Regressionskoeffizienten

n: Anzahl der Pb (Probanden)

Minimum))bxb(y()yy(eQS10

2

b,b

20i1

i

i

i

2ii

i

iRest

Folie Nr. 35Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

• Herleitung der Regressionskoeffizienten (1):

2

001

22

101

2

2

001

22

101

2

2

0101

2

2

01

222

)222(

))()(2(

))((

bnxbbxbybxyby

bbxbxbbyxbyy

bxbbxbyy

bxby

i i i

iii

i

ii

i

i

iiiii

i

i

iii

i

i

i

i

i

Folie Nr. 36Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

• Herleitung der Regressionskoeffizienten (2):

0222

222

0

2

1

2

001

22

101

2

1

i

i

i

i

i

ii

i i i

iii

i

ii

i

i

xbxbxy

bnxbbxbybxybydb

d

0222

222

01

2

001

22

101

2

0

bnxby

bnxbbxbybxybydb

d

i

i

i

i

i i i

iii

i

ii

i

i

Folie Nr. 37Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

• Herleitung der Regressionskoeffizienten (3):

xbyn

xby

b

bnxby

i

i

i

i

i

i

i

i

1

1

0

01

2

22

0222

Folie Nr. 38Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

• Herleitung der Regressionskoeffizienten (4):

i i

ii

i i

ii

i

ii

i i

ii

i

i

i

ii

i

i

ii

i

ii

i

i

ii

i

ii

i

i

i

i

ii

i

i

i

i

i

i

ii

i

i

i

i

i

ii

i

i

i

i

i

ii

xxn

xyxyn

xn

x

x

xn

y

xy

b

xn

y

xyxn

x

bxb

xn

x

bn

y

xbxy

xxbyxbxyxbxbxy

22

2

1

1

2

1

1

2

1

1

2

10

2

1

)(

22

22

2222

0222

0)(2220222

Folie Nr. 39Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Parameterschätzungen der einfachen linearen Regression:

xbyb 10

2i

2i

iiii1

)x(xn

yxyxnb

Folie Nr. 40Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Parameterschätzungen (MkQ) im Beispiel:

00841)(

9828

18390

621

290

1.62

29

2

2

i

i

ii

i

i

x

x

yx

y

x

y

x

269.ˆ

308.54ˆ

1

0

b

b

Regressionsgleichung (MkQ):

y = 54.308 + .269 · x

bzw.

Erfolg = 54.308 + .269 · Aufwand

Folie Nr. 41Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Erfolg = 54.308 + 0.269 · Aufwand

Hinweis: Interpretierbarkeit der

Regressionskonstante z.B. durch

Zentrieren des Prädiktors möglich.

Folie Nr. 42Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

1. Festlegen von Prädiktor und Kriterium (metrisch)

2. Gültigkeit der Modellgleichung (lineares Modell)

3. Statistische Unabhängigkeit der Modellfehler (Residuen)

4. Modellfehler N(0,σ2) verteilt

• Voraussetzungen 1 – 3 für Parameterschätzungen

• Tests relativ robust gegen geringfügige Verletzungen der Voraussetzung 4

Folie Nr. 43Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Vorüberlegungen zur Varianzzerlegung:

1.62y

yy 2

22 yy

Pb 2

yy 2ˆ

Folie Nr. 44Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Varianzzerlegung (1):

Messwerte:

Totale Quadratsumme:

)()ˆ()ˆ()ˆ()()( 222eQSyQSyyyyyyyQS iiii

Totale Quadratsumme =

erklärte Quadratsumme + nicht erklärte Quadratsumme

90.1238)1.6266(...)1.6241()1.6272(

)1.62()(

222

2

iyyQS

66,.....,41 ,27 1021 yyy 1.62y

Folie Nr. 45Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Varianzzerlegung (2):

Schätzwerte:

Erklärte Quadratsumme:

)()ˆ()ˆ()ˆ()()( 222eQSyQSyyyyyyyQS iiii

Totale Quadratsumme =

erklärte Quadratsumme + nicht erklärte Quadratsumme

37.102)1.626.68(...)1.621.58()1.625.57(

)ˆ()ˆ(

222

2

yyyQS i

68.654 · .269 54.308ˆ,57.5,..... 12 · .269 54.308ˆ101 yy 1.62y

Folie Nr. 46Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Varianzzerlegung (3):

Schätzwerte:

Messwerte:

Nicht erklärte Quadratsumme:

)()ˆ()ˆ()ˆ()()( 222eQSyQSyyyyyyyQS iiii

Totale Quadratsumme =

erklärte Quadratsumme + nicht erklärte Quadratsumme

68.6ˆ57.5,..., ˆ101 yy

53.1136)8.6866(...)1.5841()5.5772(

)ˆ()(

222

2

ii yyeQS

66..., ,27 101 yy

Folie Nr. 47Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Varianzzerlegung (4):

)()ˆ()ˆ()ˆ()()( 222eQSyQSyyyyyyyQS iiii

Totale Quadratsumme =

erklärte Quadratsumme + nicht erklärte Quadratsumme

)()ˆ(53.113637.10290.1238)( eQSyQSyQS

Folie Nr. 48Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

Bestimmtheitsmaß: Anteil der Varianz des Kriteriums, der

mit Hilfe der Regression, d.h. durch den Prädiktor aufgeklärt werden

kann

2

2

2

)(

)ˆ(

)(

)ˆ(

anzGesamtvari

Varianz erklärte

yy

yy

yQS

yQSrb

i

i

Im Beispiel:

d.h. 8.3% der Varianz des Kriteriums Lernerfolg kann durch den Prädiktor

Lernaufwand erklärt werden.

083.09.1238

37.102

)(

)ˆ(

anzGesamtvari

Varianz erklärte2 yQS

yQSrb

Folie Nr. 49Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

A) Beurteilung der globalen Güte der Regression: Prüfung des Bestimmtheitsmaßes

H1: b = r2 > 0 H0: b = r2 = 0

F-Test:

Im Beispiel:

2)(

)ˆ(

Varianz erklärtenicht

Varianz erklärte

2

1

neQS

yQS

df

dfF

)05.042.0(72.08/53.1136

37.102

2)(

)ˆ(

p

neQS

yQSF

Folie Nr. 50Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

B) Prüfung der Regressionskoeffizienten:

H1: b1 ≠ 0 H1: b1 = 0

(allgemein: H1: b1 ≠ b* H1: b1 = b* )

t-Test:

Beispiele in den Computerseminaren;

Einzelheiten siehe Rudolf & Müller, S. 39-41

hlerStandardfe

Schätzwert

1

1 bs

bt

Folie Nr. 51Dr. Matthias Rudolf: M3 – Multivariate Statistik – Vorlesung ERA

C) Vorhersage aus bekanntem Prädiktorwerte x0:

Vorhersage- und

Konfidenzintervalle berechenbar ],[ˆˆˆ

maxmin00100 xxxxbby