Regression und Korrelation
Ziel: Vorhersage
• Unabhängige Variable X (quantitativ)• Abhängige Variable Y• Wie genau erlaubt die Kenntnis von X,
den Wert von Y vorherzusagen, und welcher Wert wäre das?Vorhergesagter Wert Y ' = F (X)(wieso Vorhersage? Wir kennen Y doch!)
• Vereinfachung: Existiert ein linearer Zusammenhang?
Y ' = a + b X
Linearität
• Fast jeder Zusammenhang ist– lokal linear– global nichtlinear
Das lineare Modell
• y'i = a + b · xi
• yi = y'i + ei = a + b · xi + ei
• ei = yi – y'i Y
X
Y' = a +
b X
ei• Ziel: <e²> minimieren.
• <y> = a + b · <x>
• a = <y> – b · <x>
• b = Vxy / Vxx
Varianz und Kovarianz
• Vxx = < (x – <x>) ² >= < x² – 2 x <x> + <x>² >= <x²> – 2 <x> <x> + <x>²= <x²> – <x>²
• Sx = Vxx
• Vyy= <y²> – <y>²
• Vxy = < (x – <x>) (y – <y>) >= <xy> – <x> <y>
• Vyx =Vxy
Kovarianz
• Vxy = < (x – <x>) (y – <y>) >= <xy> – <x> <y>
• Vxy ist positiv, wenn positive Abweichungen in X mit positiven Abweichungen in Y einhergehen, und negative mit negativen.
• Vxy ist negativ, wenn positive Abweichungen in X mit negativen Abweichungen in Y einhergehen, und negative mit positiven.
• Vxy ist Null, wenn positive Abweichungen in X gleich häufig mit positiven wie mit negativen Abweichungen in Y einhergehen (und dasselbe für negative Abweichungen in X).
z-transformierte Daten
• Ziel: <e²> minimieren.
• <y> = a + b · <x>
• a = <y> – b · <x>
• b = Vxy / Vxx
• <x> = <y> = 0,Vxx = Vyy = 1.
a = 0 b = Vxy = <xy> – <x> <y> = <xy>
Vertauschung von X und Y
Y
X
Y' = b X
ei
Y
X
X' =
(1/b
) Y
ei
• Ziel: <e²> minimieren.
• b = <xy> [–1,1]
ei
X' = b Y
Steigung und Korrelationskoeffizient
• by·x = Vxy / Vxx
• bx·y = Vxy / Vyy 1 / by·x = Vxx / Vxy
• rxy = Vxy / (Vxx Vyy)
• by·x = rxy (Vyy/Vxx) = rxy Sy/Sx
• bx·y = rxy (Vxx/Vyy) = rxy Sx/Sy
• rxy² = Vxy² / (Vxx Vyy)
• <ei²> = Vyy ( 1 – rxy² )= ( 1 – rxy² ) für z-transformierte Daten
• rxy² = Vxy² / (Vxx Vyy)
• <ei²> = Vyy ( 1 – rxy² )= der Anteil von Vyy, der nicht durch X erklärt wird
• Vyy rxy² = der Anteil von Vyy, der durch X erklärt wird
yi = a + b · xi + ei
Varianz und Korrelationskoeffizient
Vyy
(1–rxy²) ·Vyyrxy²·Vyy
Vxx
rxy²·Vxx(1–rxy²) ·Vyy
• Bei Schulkindern korreliert Lesefähigkeit X mit Sprungweite Y.
• Verdacht: Beides korreliert mit Alter Z.
• „Scheinkorrelation“... (echte Korrelation, Verdacht: nicht kausal)
• Test: Alter konstant halten...
• oder: Lesefähigkeit und/oder Sprungweite vom Alter bereinigen.
• bereinigte Variablen: X* = X – bx.z · Z, Y* = Y – by.z · Z.
• Partialkorrelation:rx*y* = rxy.z = (rxy– rxz·ryz) / ((1 – rxz²) · (1 – ryz²)).
• Semipartialkorrelation:rxy* = rx(y.z) = (rxy– rxz·ryz) / (1 – ryz²).
Frage: Wie korrelieren X und Y bei konstantem Z?
Frage: Wieviel trägt Y zu X bei über das hinaus, was Z beiträgt?
Partial- und Semipartialkorrelation
Z Y X
rx(y.z)²·Vxx
• Partialkorrelation:rxy.z² = (rxy– rxz·ryz)² / ((1 – rxz²) · (1 – ryz²)).
• Semipartialkorrelation:rx(y.z)² = (rxy– rxz·ryz)² / (1 – ryz²).
SemiPartialkorrelation und Varianz
Vxx(1–rxz²) ·Vxxrxz²·Vxx
Multiple Regression• yi = a + b · xi + ei , y'i = a + b · xi
• yi = a + b1 · x1i + b2 · x2i + b3 · x3i + … + ei
• y'i = a + b1 · x1i + b2 · x2i + b3 · x3i + …
• standardisierte (z-transformierte) Variablen:n: „Standardpartialregressionskoeffizienten“n ryxn
, z.B. 2 Prädikatoren: 1 = (ry1–ry2·r12) / (1–r12²)
ry(1.2) = (ry1–ry2·r12) / (1–r12²)
• nicht standardisierte Variablen: bn = n· Sy / Sxn
• Multiple Korrelation: Ry,123... = ryy'
• R² = Anteil der insgesamt erklärten VarianzR²y,1234... = r²y1 + r²y(2.1) + r²y(3.21) + r²y(4.321) + ...
• bivariat: Ry,x = ryy' = |rxy|
Schrittweise Regression• Y wird vorhergesagt aus k Prädiktoren Xn.
• Die Prädiktoren sind unterschiedlich „nützlich“: zur Erhöhung von R². Uj = R²mit j – R²ohne j (hängt von den anderen eingeschlossenen Prädikatoren ab).
• Vorwärts-Technik: Beginne mit 0 Prädikatoren, nimm denjenigen hinzu, der R² am meisten erhöht,bis Beitrag von Xj unterhalb eines Kriteriums.
• Rückwärts-Technik: Beginne mit k Prädikatoren, laß denjenigen weg, der R² am wenigsten schadet,solange Beitrag von Xj unterhalb eines Kriteriums.
• Kombinierte Vorwärts/Rückwärts-Technik.
• Abhängig von der Abfolge....
kontraintuitiv: Suppression
• X1 korreliert mäßig mit Y...
• X2 korreliert gar nicht mit Y.
• Trotzdem verbessert sich R², wenn X2 hinzugenommen wird.
• Y wird durch Merkmal A bestimmt,X1 zu 30% durch Merkmal A, zu 70% durch Merkmal B, (und korreliert daher auch nur mäßig mit Y)X2 wird durch Merkmal B bestimmt.
• Es gibt eine Linearkombination von X1 und X2, die allein durch Merkmal A bestimmt wird.