Multiple Regression

Multiple Regression

02_multiple_regression 1

Gliederung• Strukturgleichung• Regressionskoeffizienten• Der F-Test

– Quadratsummen– Determinationskoeffizient

• Selektion der Prädiktoren• Voraussetzungen der Multiplen Regressionsanalyse• Die Multiple Regression in SPSS• Mediator- und Moderatoranalysen mit der Multiplen Regression

Ziel der Multiplen Korrelation


Ziel der Multiplen Regression• Vorhersage eines Merkmals (Kriterium)• durch mehrere andere Merkmale (Prädiktoren)

Beispiel• Vorhersage der Klausurnote durch mathematischen Fähigkeiten Anzahl der

Vorlesungs- und Tutoratsbesuche, Anzahl der Arbeitsstunden zu Hause, Motivation, Interesse, …

• Vorhersage der Psychischen Gesundheit durch Optimismus, Qualität des „sozialen Netzes“, Stressoren, …

Beispiel


Beispiel: Vorhersage der Psychischen Gesundheit durch Optimismus, Qualität des „sozialen Netzes“, Stressoren

Frage: Wie kann die psychische Gesundheit durch die drei Prädiktoren vorhergesagt werden?

Vp Optimismus (x1) Soz. Netz (x2) Stressoren (x3) Psy. Gesund. (y)

1 18 8 45 562 18 4 57 363 13 4 44 414 23 1 47 365 25 8 52 63

Graphische Darstellung der multiplen Regression


Psychische Gesundheit

Optimismus

soziales Netz

Stressoren

…

β1

β2

β3

Die Strukturgleichung


Die Vorhersage erfolgt, wie bei der binären Regression, durch eine einfache Strukturgleichung:• Die bivariate Regression:

• Die multivariate (multiple) Regression:

axby ii ˆ

axbxbxby iiii ,33,22,11ˆ

astrbsnboptbpg iiii

321

b-Gewichte


• Ziel der Regressionsanalyse ist also die Bestimmung der Parameter der Regressionsgleichung:– b1, b2, b3, a

• Interpretation der b-Gewichte:– Das Vorzeichen gibt die Richtung des Effekts an.– Der Betrag gibt an, wie stark ein Prädiktor gewichtet wird.– Aber: Das Gewicht häng von der Skalierung (dem Wertebereich)

von x und y ab.– Einfacher zu interpretieren sind die standardisierten Gewichte (β).– Die β-Gewichte haben einen Wertebereich von -1 bis +1– Sie entsprechen den b-Gewichten wenn alle Variablen vor der Analyse

z-standardisiert werden.– b-Gewichte (und β) sind abhängig von der Auswahl der Prädiktoren!

Methode der kleinsten Quadrate


Bestimmung der Parameter• Die Parameter (b1, … , bk, a) werden so bestimmt, dass der

Vorhersagefehler minimal ist:–

• Dazu wird die „Methode der kleinsten Quadrate“ verwendet:– – Vorteile:

(a) das Vorzeichen der Differenz fällt weg(b) große Abweichungen werden stärker berücksichtigt als kleine

Abweichungen.

yy ˆ

minˆ 2 ii yy





Signifikanztests


Signifikanztests der multiplen Regression(1) Wird ein statistisch bedeutsamer Anteil der Varianz des Kriteriums durch alle

Prädiktoren gemeinsam aufgeklärt? F-Test

(2) Leisten die einzelnen Prädiktoren einen bedeutsamen Beitrag? t-Tests für alle Prädiktoren

Quadratsummen


• Der F-Test beruht auf einer Zerlegung der Varianz des Kriteriums in einen erklärten und einen nicht erklärten Teil.

• Als Maß für die Varianz werden die sogenannten „Quadratsummen“ verwendet.

• „Quadratsumme“ = „Sum of Squares“ = SS• Die Quadratsumme ist ein unstandardisiertes Maß für die Varianz• Es gilt:

resregtotal SSSSSS

nicht-erklärbare Varianz

Aufgeklärte Varianz

1

KNSSMS

KSS

MS

resres

regreg

Quadratsummen


n

iiires

n

iireg

n

iitotal

yySS

yySS

yySS

1

1

1

)²ˆ(

)²ˆ(

)²(

unstandardisiert:„Sums of Squares“

standardisiert:„Mean Sums of Squares“

K: Anzahl der Prädiktoren

N: Anzahl der Probanden

df1

df2

Der F-Test der Multiplen Regression


Berechnung des empirischen F-Wertes:

• Um dem empirische F-Wert zu interpretieren, wird dieser mit einem kritischen F-Wert verglichen.

• Der kritische F-Wert wird aus einer Tabelle abgelesen(berücksichtigt werden df1, df2, α)

• Femp > Fkrit bedeutet:– Ein bedeutsamer Teil der Kriteriumsvarianz wird aufgeklärt– Die Prädiktoren sind geeignet, um das Kriterium vorherzusagen

1 und mit ;//

212

1 kNdfkdfMSMS

dfSSdfSS

Fres

reg

res

regemp




Berechnung des empirischen F-Wertes aus R²

Auflösen nach SSreg:Auflösen nach SSres:

total

reg

res

regemp

SSSS

R

dfSSdfSS

F

2

2

1

//

totalreg SSRSS 2

totalres

totaltotalres

regtotalres

resregtotal

SSRSS

SSRSSSS

SSSSSS

SSSSSS

2

2

1



Berechnung des empirischen F-Wertes aus R²

Eine Multiple Regression / Korrelation kann auf Signifikanz geprüft werden, wenn man R² kennt.

22

12

22

12

2

1

/)1(/

/)1(/

//

dfRdfR

dfSSRdfSSRF

dfSSdfSS

F

total

totalemp

res

regemp



Beispiel 1: Gewichtsverlust• Kann der Gewichtsverlust durch Training und

Kalorienaufnahme vorhergesagt werden?

• Berechnung der Multiplen Korrelation

y x1 x2

y 1.0 .43 -.51

x1 1.0 .41

x2 1.0

86.83.62.

17.151.43.41.226.18.

12

2

22

.21

212121

21

xx

yxyxxxyxyxxxy r

rrrrrR

7586. 22. 21

xxyR



Der F-Test (für N=18)

Weil Femp > Fkrit gilt:• Ein bedeutsamer Teil der Varianz von y wird aufgeklärt• x1 und x2 können y vorhersagen

y x1 x2

y 1.0 .43 -.51

x1 1.0 .41

x2 1.0

50.2215/25.2/75.

/1/

22

12

dfR

dfRFemp

68.315,2 kritF



Beispiel 2: Psychische Gesundheit• Kann die psychische Gesundheit Optimismus, Qualität des

„sozialen Netzes“ und der Stressbelastung vorhergesagt werden?

• Berechnung der Multiplen Korrelation– R = .73– R² = .54– N = 60

• Weil Femp > Fkrit gilt:– Ein bedeutsamer Teil der Varianz von y wird aufgeklärt– x1 und x2 können y vorhersagen

05.2156/47.3/53.

empF

77.256,3 kritF

t-Tests für die Parameter


t-Tests für die Parameter• Wenn die Regressionsanalyse insgesamt einen statistisch

bedeutsamen Zusammenhang aufdeckt ist noch nichts darüber bekannt, welche Prädiktoren wichtig für die Varianzaufklärung sind.

• Dazu werden die einzelnen b-Gewichte separat auf Signifikanz geprüft.

• Dies geschiet mit t-Tests für alle Parameter (zur Berechnung: vgl. Bortz, S. 450)– Es wird jeweils die Nullhypothese geprüft, dass sich das jeweilige

b-Gewicht nicht von 0 unterscheidet.– Bei einem nicht-Signifikanten Ergebnis kann der entsprechende Prädiktor

also weggelassen werden.– Auch für die additive Konstante ird ein t-Test durchgeführt

• Diese Tests gelten nur im Kontext der verendeten Prädiktoren!

Korrigiertes R²


R² überschätzt Populationszusammenhang• Die Vorhersage in einer Stichprobe überschätzt Vorhersage in

anderen Stichproben bzw. in der Population• Je kleiner die Stichprobe und je größer die Anzahl der Prädiktoren

desto größer die Überschätzung von R²• Bei einem Nullzusammenhang in Population ergibt sich

ein Erwartungswert für R² von E(R²) = (k-1)/(N-1)– Beispiel: k=3; N=10: E(R²) = 2/9 = .22

• Empfehlung: Verhältnis N/K von mind. 20, besser 30• Beispiel: k=2, N=40: E(R²) = 1/39 = .03

k=2, N=60: E(R²) = 1/59 = .02

Korrigiertes R²


Lösung: Korrigiertes R²

• Schrumpfungskorrektur nach Olkin & Pratt:

• Beispiel: k=3; N=20; R² = .50

22 ²)1(2²)1(2

31ˆ RKN

RKN

NR

40.)50(.172)50(.

15171ˆ 22

R

Auswahl der Prädiktoren


• In der Praxis stellt sich das Problem, welche und wie viele Prädiktoren für die Vorhersage ausgewählt werden sollten.

• Dabei sollte immer ein „sparsames“ Vorgehen gewählt werden, weil eine große Prädiktormenge eine Überschätzung von R² fördert.

• Mögliche Strategien– Hypothesengeleitetes Vorgehen:

• „Einschluss“– Hierarchische Regressionsanalysen:

• Vorwärts Selektion• Rückwärts Eliminierung• Schrittweises Vorgehen



Einschluss - Strategie• A priori Auswahl der aufzunehmenden Prädiktoren (aufgrund von

Vorwissen oder Theorie)

• Vorteile:– Hypothesengeleitetes Vorgehen

• Nachteile:– Möglicherweise Aufnahme von mehr Prädiktoren als erforderlich

(Prädiktoren, die keinen signifikanten Beitrag leisten)– Dies kann zu einer Verringerung des F-Wertes führen (wegen der größeren

Anzahl der Zähler-Freiheitsgrade), und damit die Teststärke verringern.– Möglicherweise werden wichtige Prädiktoren „vergessen“



Hierarchisches Regressionsanalysen• Die am besten passenden Prädiktoren werden post-hoc

(empirisch) bestimmt.

• Vorteile:– Minimum an Prädiktoren– Exploratives Vorgehen möglich

• Nachteile:– „Capitalization of Chance“ wegen der Bevorzugung hoch korrelierender

Prädiktoren– Kein hypothesengeleitetes Vorgehen



Vorwärts - Selektion• Aus einer Menge möglicher Prädiktoren wird der Prädiktor mit

der höchsten Validität zuerst aufgenommen.• Unter den verbleibenden Prädiktoren wird immer derjenige

ausgewählt, der den größten Teil der verbleibenden Varianz aufklärt (=höchste inkrementelle Validität).

• Wenn kein Prädiktor die aufgeklärte Varianz signifikant erhöht,ist die endgültige Auswahl gefunden.



Rückwärts - Eliminierung• Zunächst werden alle Prädiktoren eingeschlossen.• Dann wird immer der Prädiktor weglassen, der am wenigsten zur

Vorhersage beiträgt.• Wenn der Ausschluss eines Prädiktors zu einer signifikanten

Reduktion der aufgeklärten Varianz führen würde, wird der Selektionsprozess abgebrochen.



Schrittweise Selektion:• Es wird abwechseln ein Vorwärts- und ein Rückwärtsschritt

durchgeführt.• Dadurch werden Variablen, die im Kontext neu aufgenommener

Prädiktoren keine Varianz mehr aufklären, im Nachhinein wieder entfernt.

• Diese Schritte werden so lange wiederholt, bis keine weiteren Variablen ein- oder ausgeschlossen werden können.

Voraussetzungen


Voraussetzungen der Multiplen Regression• Multivariate Normalverteilung aller Variablen

(schwer zu überprüfen)• Aber: bei großen Stichproben (mindestens 20 Probanden pro

Prädiktor) ist die Regressionsanalyse robust gegenüber Verletzungen dieser Annahme.

• Weitere Einschränkung:Es werden nur lineare Zusammenhänge gefunden.

Die Multiple Regressionsanalyse in SPSS


regression /dependent pg /method enter opt, sn, str

SPSS


ANOVAb

Modell Quadratsumme dfMittel der Quadrate F Signifikanz

1 Regression 7521,869 3 2507,290 21,238 ,000a

Residuen 6611,329 56 118,059Gesamt 14133,198 59

a. Einflußvariablen : (Konstante), str, opt, snb. Abhängige Variable: pg

Modellzusammenfassung

Modell R R-QuadratKorrigiertesR-Quadrat

Standardfehler des Schätzers

1 ,730a ,532 ,507 10,866a. Einflußvariablen : (Konstante), str, opt, sn

SPSS


Koeffizientena

Modell

Nicht standardisierte Koeffizienten

Standard.Koeffizienten

T Sig.BStandard-

fehler Beta1 (Konstante) 61,327 9,815 6,248 ,000

opt 1,156 ,318 ,343 3,635 ,001sn 2,424 ,684 ,336 3,542 ,001str -,851 ,145 -,540 -5,883 ,000

a. Abhängige Variable: pg

33.6185.042.216.1 iii

istrsnoptpg

Weitere Regressionsanalysen


Weitere Regressionsanalysen

• Mediatoranalyse– Wird der Zusammenhang von X und Y durch M vermittelt?

• Moderatoranalyse– Wird der Zusammenhang von X und Y durch M beeinflusst?

Mediatoranalyse


Mediatoranalyse• Fragestellung: „Wird der Zusammenhang von X und Y durch M

vermittelt?“• Beispiel: „Wird der Zusammenhang von Motivation und Note

durch Lernaufwand vermittelt?“• Es wird also eine Annahme zur Kausalität gemacht• Es wird untersucht, wie die Motivation wirkt.• Literatur:

– Baron, R. M., & Kenny, D. A. (1986). The moderator-mediator distinction in social psychological research: Conceptual, strategic, and statistical considerations. Journal of Personality and Social Psychology, 51(6), 1173-1182.

Mediatoranalyse


Motivation Note

Lerndauer

Prädiktor Kriterium

Mediator

Mediatoranalyse


Schritt 1• Regression von Y auf X.

(Regression der Note auf die Motivation)Y = b X + a

• Nur wenn sich ein signifikanter Zusammenhang zwischen Y und X zeigt (b ≠ 0), kann eine Mediation vorliegen.

Motivation Note

Lerndauer

bY,X≠0

Mediatoranalyse


Schritt 2• Regression von M auf X.

(Regression der Lerndauer auf die Motivation)M = b X + a

• Nur wenn sich ein signifikanter Zusammenhang zwischen M und X zeigt (b ≠ 0), kann eine Mediation vorliegen.

Motivation Note

LerndauerbM,X≠0

Mediatoranalyse


Schritt 3• Regression von Y auf M.

(Regression der Note auf die Lerndauer)Y = b M + a

• Nur wenn sich ein signifikanter Zusammenhang zwischen Y und M zeigt (b ≠ 0), kann eine Mediation vorliegen.

Motivation Note

LerndauerbY,M≠0

Mediatoranalyse


Schritt 4• Regression von Y auf X und M.

(Regression der Note auf die Lerndauer und die Motivation)Y = b1 X + b2 M + a

• Ergebnis:– bX,M = 0: „Vollständige Mediation“– |bX,M|> 0 ,aber kleiner als in Schritt 1: „partielle Mediation“– bX,M gleich wie in Schritt 1: Keine Mediation

Motivation Note

LerndauerbY,M≠0

bX,M=0

Mediatoranalyse in SPSS


*** step 1.reg /dependent note /method enter mot.

*** step 2.reg /dependent lern /method enter mot.

*** step 3.reg /dependent note /method enter lern.

*** step 4.reg /dependent note /method enter mot

lern.

Koeffizientena

5.816 1.047 5.554 .000-.059 .021 -.448 -2.875 .007

(Konstante)mot

Modell1

BStandardf

ehler

Nicht standardisierteKoeffizienten

Beta

Standardisierte

Koeffizienten

T Signifikanz

Abhängige Variable: notea.

• b≠0, (sig.) d.h. Die Note kann durch die Motivation vorhergesagt werden.

• Hinweis: Das b-Gewicht ist negativ, da es bei hoher Motivation zu geringen (guten) Noten kommt.







lern.

Koeffizientena

-4.632 9.205 -.503 .618.728 .181 .574 4.024 .000

(Konstante)mot

Modell1

BStandardf

ehler


Beta

Standardisierte

Koeffizienten

T Signifikanz

Abhängige Variable: lerna.

• b≠0, (sig.) d.h. die Lerndauer kann durch die Motivation vorhergesagt werden.







lern.

Koeffizientena

5.018 .466 10.760 .000-.068 .014 -.653 -4.951 .000

(Konstante)lern

Modell1

BStandardf

ehler


Beta

Standardisierte

Koeffizienten

T Signifikanz


• b≠0, (sig.) d.h. die Note kann durch die Lerndauer vorhergesagt werden.






*** step 4.reg /dependent note /method enter mot lern.

Koeffizientena

5.531 .898 6.159 .000-.014 .021 -.109 -.670 .508-.062 .017 -.590 -3.637 .001

(Konstante)motlern

Modell1

BStandardf

ehler


Beta

Standardisierte

Koeffizienten

T Signifikanz


• b≈0, (n.s.), d.h. die Motivation leistet über die Lerndauer hinaus keinen Beitrag mehr zur Vorhersage der Note

„Vollständige Mediation“

Moderatoranalyse


Moderatoranalyse• Fragestellung: „Wird der Zusammenhang von X und Y durch M

beeinflusst?“• Beispiel: „Wird der Zusammenhang von Lerndauer und Note

durch mathematische Intelligenz beeinflusst?“– Hypothese: Die gleiche Lernzeit wirkt sich bei Probanden mit hoher

mathematischer Fähigkeit stärker aus als bei Probanden mit geringer mathematischer Fähigkeit.

– Im Gegensatz zur Mediatiorvariablen (M) wird nicht angenommen, dass die Moderatorvariable durch die UV (X) beeinflusst wird.

Moderatoranalyse


Lerndauer Note

math. IQ

Prädiktor Kriterium

Moderator

Die Moderatorvariable wirkt nicht direkt auf die Note, sondern auf den Zusammenhang, d.h. auf das b-Gewicht der Regression

Moderatoranalyse


Note

Lerndauer

math. IQ -

math. IQ +

Hinweise:• Für jede Ausprägung von M

müsste eine eigene Regres-sionsgerade gezeigt werden

• Oft erden nur 2 Geraden gezeigt, z.B. für Probanden die eine Standardabeichung über bzw. unter dem Mittelwert liegen.

Moderatoranalyse


Grundüberlegung:• Wie wird die Regressionsgerade der Regression von Y auf X durch M

beeinflusst?– Y = b1 X + a1 (1)

• Es wird angenommen, dass b1 und a1 von M abhängen, d.h. dass beide Koeffizienten durch eine Regression auf M vorhergesagt werden können: – b1 = b2 M + a2 (2)– a1 = b3 M + a3 (3)

• Jetzt werden die Gleichungen (2) und (3) in (1) eingesetzt…

Moderatoranalyse


331

221

11

aMbaaMbbaXbY

3322

3322 )()(aMbXaMXbaMbXaMbY

''3

'2

'1 aMbXbMXbY

Prädiktoren(UV‘s)

Regressions-Koeffizienten

• Es wird nun eine Regression mit den drei Prädiktoren X, M und MX berechnet.

• Das Regressionsgewicht von MX (b1‘ = b2) gibt an, ob und wie stark die Steigung der ursprünglichen Regression von M abhängt!

Moderatoranalyse


• 1. Schritt: z-Transformation von X und M (dies ist aus mathe-matischen Gründen empfehlenswert, auf die hier nicht weiter eingegangen wird).

• 2. Schritt: Berechnung eines neuen Prädiktors: P = z(X) z(M).∙• 3. Schritt: Berechnung einer Regression von Y auf z(X), z(Y) und P

• Interpretation des Regressionsgewichts von P:– b > 0 (sig): Je größer M, desto höher (positiver) die Steigung der

ursprünglichen Regressionsgeraden– b < 0 (sig) : Je größer M, desto geringer (negativer) die Steigung der

ursprünglichen Regressionsgeraden– b≈0 (n.s.): Keine Moderation des Zusammenhangs von X und Y durch M.

Moderatoranalyse in SPSS


*** step 1.desc lern, mIQ /save.

*** step 2.compute P = Zlern*ZmIQ.

*** step 3.reg /dependent note /method enter Zlern ZmIQ P.

• Mit dem Befehl „descriptives /save“ werden Variablen z-transformiert.

• Es entstehen neue Spalten im Datenfenster, bei denen ein „Z“ vor den ursprünglichen Variablennamen gehängt wurde.

• Mit „compute“ wird eine neue Variable P als Produkt von Zlern und ZmIQ berechnet.





*** step 1.desc lern, mIQ /save.

*** step 2.compute P = Zlern*ZmIQ.

*** step 3.reg /dependent note /method enter Zlern ZmIQ P.

• neg. Koeffizient für lern: je mehr Lern-aufwand, desto kleiner (besser) die Note.

• neg. Koeffizient für mIQ: je höher die math. Fertigkeiten, desto kleiner (besser) die Note

• neg. Koeffizient für P: je höher mIQ, desto negativer (also stärker) der Zusammenhang von Lernaufwand und Note.

Koeffizientena

3.551 .222 15.971 .000-1.295 .227 -.694 -5.703 .000

-.535 .234 -.287 -2.287 .029-.478 .223 -.269 -2.148 .040

(Konstante)Z-Wert(lern)Z-Wert(mIQ)P

Modell1

BStandardf

ehler


Beta

Standardisierte

Koeffizienten

T Signifikanz


Zusammenfassung

• Die multiple Regression dient der Vorhersage eines Kriteriums durch mehrere Prädiktoren.

• Mit einem F-Test wird überprüft, ob die Prädiktoren geeignet sind, das Kriterium vorherzusagen.

• Mit t-Tests wird geprüft, ob die einzelnen Prädiktoren einen bedeutsamen Anteil leisten.

• Es sollten nicht zu viele Prädiktoren ausgewählt werden, da sonst die Gefahr besteht, dass Zusammenhänge überschätzt werden.

• Mediatoranalyse untersuchen, ob der Zusammenhang von X und Y durch M vermittelt wird.

• Moderatoranalyse untersuchen, ob der Zusammenhang von X und Y durch M beeinflusst wird?


Documents

Multiple Regression