54
Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

  • Upload
    others

  • View
    9

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

UnivariateLineare Regression

(eine unabhängige Variable)

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Page 2: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare Regressiony=a+bx

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Präzise lineare Beziehung

a.. Interceptb..Anstiegy..abhängige Variablex..unabhängige Variable

Page 3: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare Regressiony=a+bx+e

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

unpräzise lineare Beziehung

a..Intercept: unbekanntb..Anstieg: unbekannty..abhängige Variable: bekanntx..unabhängige Variable: bekannte.. Residuen:unbekannt

Gesucht werden die Koeffizienten a und b, die zu einer Regressions-geraden führen, die den Punkteschwarm am besten repräsentieren.

Page 4: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionMethode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Vp1--Vp5……. beobachtete Datenpaare (x,y)

y1 - y2…….. y-Werte der beobachteten Datenpaare

y51 ˆ..ˆ yy geschätzten y-Werte auf Basis der Geraden

111 yye −=

555 yye −=...

Residuen

Page 5: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionMethode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Die Regressionsgerade ist jene Gerade, die Summe derquadrierten Residuen minimiert.

(1)

Page 6: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionParameterschätzer a, b:

Methode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Intercept

Anstieg

�=

=n

iix

nx

1

1

�=

=n

iiy

ny

1

1(2)

(3)

n.. Anzahl der Beobachtungen

Page 7: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionHerleitung Parameterschätzer a,b: Methode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

1.

2.

Soll in Abhängigkeit von a und b minimiert werdenpartielle differenzierung nach a und b

(3)

(4)

(5)

Page 8: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionHerleitung Parameterschätzer a,b: Methode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

3. ausrechnen

(6)

Page 9: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionHerleitung Parameterschätzer a,b: Methode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

4. (6) umformen

(7)

Page 10: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionHerleitung Parameterschätzer a,b: Methode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

5. Gleichung (7) nach a ableiten und 0 setzen

(8)

6. Gleichung (8) nach a auflösen

(2)

Page 11: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionHerleitung Parameterschätzer a,b: Methode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

5. Gleichung (7) nach b ableiten und 0 setzen

(9)

6. Setze Gleichung (2) in (9) ein

(10)(2)

Page 12: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionHerleitung Parameterschätzer a,b: Methode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

7. Gleichung (10) umformulieren sodass alle b links stehen

8. Gleichung (11) ausrechnen

(11)

(3)

Page 13: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

EXCELParameterschätzer a, b:

Methode der kleinsten Quadrate

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Intercept

Anstieg

�=

=n

iix

nx

1

1

�=

=n

iiy

ny

1

1(2)

(3)

n.. Anzahl der Beobachtungen

Page 14: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare Regression

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ebyax ++=

ist nicht

ebxay ++=

Page 15: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionOutliers

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Methode der kleinsten Quadrate ist besonders sensitiv für Outlier !

Page 16: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

LineareRegression:Gesamt-abweichung,erklärte undunerklärteAbweichung

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Page 17: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionErklärte und unerklärte Abweichung:

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Geamtabweichung (vom Mittel):total deviation

yy −Erklärte Abweichung:explained deviation

yy −ˆ

Unerklärte Abweichung:unexplained deviation

yy ˆ−

�=

=n

iiy

ny

1

1

Beobachtung-Mittelwert

Geschätzter Wert-Mittelwert

Beobachtung-geschätzter Wert

Page 18: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionErklärte und unerklärte Abweichung:

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Geamtabweichung = Erklärte Abweichung + unerklärte Abweichungtotal deviation explained deviation unexplained deviation

( )� − 2yy ( )2ˆ� − yy( )2

ˆ� − yy

( )( )2

2

2

ˆ�

�−

−=

yy

yyR

Güteanpassung der Regression: R2

Gesamtabweichung-----------------------Erklärte Abweichung

Page 19: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionGüteanpassung R2:

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Wertebereich: 0 <= R2 <=1 schlechte Anpassung perfekte Anpassung

Interpretation R2=0.70: 70 % der gesamten Variation in den Daten werden durch die Regressionsgerade erklärt. Daraus folgt, dass 30% der Variation in den Daten durch das Modell nicht erklärt ist.

Page 20: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionStandardfehler der geschätzten Werte

“Standardschätzfehler”

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Streuung der y-Werte um die Regressionsgerade. Die Genauigkeitder Regressionsvorhersage steigt mit kleiner werdendem Standard-schätzfehler.

( )� −= 22 /1 yynsyVarianz der y Werte

( )� −= 22 /1 xxnsxVarianz der x-Werte

Page 21: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Lineare RegressionSPSS OUTPUT

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Page 22: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

SPSS Output - ScatterplotGeburtsgewicht, Geburtslänge

Lineare Regressionsgerade

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Geburtsgewicht in g

Geburtslänge in cm

706050403020

6000

5000

4000

3000

2000

1000

0

-1000

Observed

Linear

Page 23: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

SPSS OutputLineare Regression

Geburtsgewicht=a+b*Geburtslänge+e

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Model Summary

.795a .631 .631 320.054Model1

R R SquareAdjustedR Square

Std. Error ofthe Estimate

Predictors: (Constant), Geburtslänge in cma.

R2 Standardschätzfehler

Page 24: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

SPSS Output

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ANOVAb

944830556.935 1 944830556.9 9223.725 .000a

551611496.573 5385 102434.818

1496442053.508 5386

Regression

Residual

Total

Model1

Sum of Squares df Mean Square F Sig.

Predictors: (Constant), Geburtslänge in cma.

Dependent Variable: Geburtsgewicht in gb.

GesamtabweichungErklärte Abweichung

Page 25: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Coefficientsa

-4276.310 79.791 -53.594 .000

149.145 1.553 .795 96.040 .000

(Constant)

Geburtslänge in cm

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Geburtsgewicht in ga.

SPSS Output

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Geschätzte Parameterwerte

T-test:H0: Parameterwert=0H1:Parameterwert<>0t: t..WertSig.: Signifikanzniveau

Standardfehler der geschätzten Parameter;wie genau ist der geschätzte Parameter

A B =A/B C

Page 26: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

SPSS OutputT-test

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

T-test:H0: Parameterwert=0H1:Parameterwert<>0t: t..WertSig.. SignifikanzniveauBeispiel: für t=1.96 Parameterwert unterscheidet sich signifikantvon Null bei einem Signifikanzniveau von 5%

Coefficientsa

-4276.310 79.791 -53.594 .000

149.145 1.553 .795 96.040 .000

(Constant)

Geburtslänge in cm

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Geburtsgewicht in ga.

Page 27: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

UnivariateLineare Regression

in SPSS

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Page 28: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Lineare Regression

1. Häufigkeitsverteilung der einzelnen Variablen2. Scatterplots abhängige und unabhängige Variablen3. Berechnung des Linearen Regressionsmodells4. Analyse der Residuen

a) Normalverteilungsannahme P-P Plotb) Mittelwert 0c) Varianz d) Outliers

Page 29: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Daten GeburtsgewichtPerinatalfragebogen

1% Sample Deutschland

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Page 30: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

S

5444 5385 5443 5406 5388

0 59 1 38 56

Valid

Missing

NBundesland Grösse Mutter

GeschlechtKind

Geburtsgewicht in g

Geburtslängein cm

5371 4520 5440 4514 5333 5348

73 924 4 930 111 96

Kopfumfangin cm

Geburtsdatum

Schwangerschaftswoche

Alter derMutter

Bodymaßindex (Mutter)

Bodymaßindex (Kind)

Daten Geburtsgewicht1% Sample Deutschland 1992

Page 31: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Häufigkeitsverteilung

FREQUENCIES VARIABLES=vname1 vname2 vname3 /ORDER= ANALYSIS .

FREQUENCIES VARIABLES=land groesse geschl ggewicht glaenge ku gebdat ssw alter bmim kmi pre_1 /ORDER= ANALYSIS .

Beispiel: Geburtsgewichtsdaten

Page 32: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Scatterplot

Beispiel: Geburtsgewichtsdaten

GRAPH /SCATTERPLOT(BIVAR)=vname1 WITH vname2 /MISSING=LISTWISE .

GRAPH /SCATTERPLOT(BIVAR)=glaenge WITH ggewicht /MISSING=LISTWISE .

Page 33: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Lineare Regression

REGRESSION /MISSING LISTWISE /STATISTICS COEFF OUTS R /NOORIGIN /DEPENDENT ggewicht /METHOD=ENTER glaenge .

Beispiel Geburtsgewicht

Page 34: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ResiduenanalyseNormalverteilungsannahme der ResiduenResiduen sind Normalverteilt mit Mittelwert 0 und Varianz σ2

Mittelwert: 0Varianz: 152

+-einer Standardabweichung σ : 68% der Fälle+- zwei Standardabweichungen σ :95% der Fälle

Formel Normalverteilung

0

0,005

0,01

0,015

0,02

0,025

0,03

-50-45-40-35-30-25-20-15-10-5 0 5 10 15 20 25 30 35 40 45 50

σσ2 σ 2 σ

68%

95%

Page 35: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ResiduenanalyseNormalverteilungsannahme der

ResiduenP-P Plot: Normal Probability Plot

REGRESSION /MISSING LISTWISE /STATISTICS COEFF OUTS R /NOORIGIN /DEPENDENT ggewicht /METHOD=ENTER glaenge /RESIDUALS NORM(ZRESID) .

Page 36: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Normal P-P Plot Std. Residual

Abhängige Variable: Geburtsgewich

Observed Cum Prob

1.00.75.50.250.00

Exp

ecte

d C

um P

rob

1.00

.75

.50

.25

0.00

Page 37: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ResiduenanalyseStandardisierung

zx x

s=

( )2

1

1xx

ns −

−=

�= ixn

x1

Standardisierte Varibale z(standardised score)

s ist der Schätzer für σ

Mittelwert der Variable x

Page 38: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ResiduenanalyseStandardisierung

Aussergewöhliche Werte z “Outliers”:

jene mit Werten <2 und >2

0

0,005

0,01

0,015

0,02

0,025

0,03

-50-45-40-35-30-25-20-15-10-5 0 5 10 15 20 25 30 35 40 45 50

σσ2 σ 2 σ

68%

95%

Page 39: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ResiduenanalyseResiduen sind Normalverteilt mit Mittelwert 0 und Varianz σ2

Standardisierte Residuen sind Normalverteilt mit Mittelwert 0und Varianz 1.

1. Residuenstatistik SPSS

Residuals Statisticsa

-100.26 4672.36 3375.39 418.836 5387

-1479.21 1232.50 .00 320.025 5387

-8.298 3.097 .000 1.000 5387

-4.622 3.851 .000 1.000 5387

Predicted Value

Residual

Std. Predicted Value

Std. Residual

Minimum Maximum Mean Std. Deviation N

Dependent Variable: Geburtsgewicht in ga.

Page 40: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ResiduenanalyseMittelwert 0 und Varianz σ2

Speichern der vorhergesagten Werte und der standardisiertenResiduen

REGRESSION /MISSING LISTWISE /STATISTICS COEFF OUTS R /NOORIGIN /DEPENDENT ggewicht /METHOD=ENTER glaenge /RESIDUALS NORM(ZRESID) /SAVE PRED ZRESID .

Page 41: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ResiduenanalyseScatterplot standardisierte Residuen x unstandardisiertePrognosewerte

GRAPH /SCATTERPLOT(BIVAR) =pre_1 WITH zre_1 /MISSING=LISTWISE .

Unstandardized Predicted Value

500040003000200010000-1000

Sta

ndar

dize

d R

esid

ual

4

2

0

-2

-4

Page 42: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Scatterplot

Prognostizierte Werte x beobachtete abhängige Variable

GRAPH /SCATTERPLOT(BIVAR) =ggewicht WITH pre_1 /MISSING=LISTWISE .

Geburtsgewicht in g

6000500040003000200010000

Uns

tand

ardi

zed

Pre

dict

ed V

alue

5000

4000

3000

2000

1000

0

Page 43: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

MultipleLineare Regression

in SPSS(mehrere erklärende Variablen)

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Page 44: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Geburtsgew icht in g

Grösse Mutter

Schw angerschaftsw och

Bodymaßindex (Mutter

Alter der Mutter

Geburtslänge in cm

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

ScatterplotGRAPH /SCATTERPLOT(MATRIX)=ggewicht groesse ssw bmim alter glaenge /MISSING=LISTWISE .

Page 45: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Adjusted R2

( )( )[ ] ( )22 1

1

11 R

kn

nRAdjusted −

+−−−=

n.. Anzahl der Beobachtungenk..Anzahl der unabhängigen Variablen

n k R2 adj R210.00 1.00 0.70 0.66320.00 1.00 0.70 0.68330.00 1.00 0.70 0.68940.00 1.00 0.70 0.69250.00 1.00 0.70 0.69460.00 1.00 0.70 0.69570.00 1.00 0.70 0.69680.00 1.00 0.70 0.69690.00 1.00 0.70 0.697

100.00 1.00 0.70 0.697

n k R2 adj R2100.00 1.00 0.70 0.697100.00 2.00 0.70 0.694100.00 3.00 0.70 0.691100.00 4.00 0.70 0.687100.00 5.00 0.70 0.684100.00 6.00 0.70 0.681100.00 7.00 0.70 0.677100.00 8.00 0.70 0.674100.00 9.00 0.70 0.670100.00 10.00 0.70 0.666

Page 46: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Multiple Lineare Regression

Beispiel Geburtsgewicht

REGRESSION /MISSING LISTWISE /STATISTICS COEFF OUTS R /CRITERIA=PIN(.05) POUT(.10) /NOORIGIN /DEPENDENT ggewicht /METHOD=ENTER groesse ssw bmim alter.

Page 47: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Standardisierte Beta-Koeffizienten

Unabhängige Variablen werden standardisiert, sodass Sie mit Mittelwert 0 und Standardabweichung 1 vergleichbar werden.

Standardisierte Beta-Koeffizienten sind unabhängig von der Skalierung der unabhängigen Variable

Beta-Koeffizienten geben die Wichtigkeit der unabhängigen Variable für die Vorhersage wieder

zx x

s=

Page 48: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Multiple Lineare Regression

Beispiel Geburtsgewicht=Grösse der Mutter, Schwangerschafts-woche, BMI der Mutter, Alter der Mutter

REGRESSION /MISSING LISTWISE /STATISTICS COEFF OUTS R /CRITERIA=PIN(.05) POUT(.10) /NOORIGIN /DEPENDENT ggewicht /METHOD=ENTER groesse ssw bmim alter.

Page 49: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Coefficientsa

-6050.829 224.281 -26.979 .000

13.065 1.057 .148 12.360 .000

171.856 3.603 .570 47.699 .000

14.249 1.605 .106 8.880 .000

6.801 1.357 .060 5.012 .000

(Constant)

Grösse Mutter

Schwangerschaftswoche

Bodymaßindex (Mutter)

Alter der Mutter

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Geburtsgewicht in ga.

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Multiple Lineare RegressionBeispiel Geburtsgewicht=Grösse der Mutter, Schwangerschafts-woche, BMI der Mutter, Alter der Mutter

Model Summary

.615a .378 .378 421.416Model1

R R SquareAdjustedR Square

Std. Error ofthe Estimate

Predictors: (Constant), Alter der Mutter, Grösse Mutter,Schwangerschaftswoche, Bodymaßindex (Mutter)

a.

Page 50: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Korrelierte PrädiktorenUnabhängige Variablen sind miteinander korreliert

Eine unabhängige Variable kann als lineare Funktionder restlichen unabhängigen Variablen geschriebenwerden -> Regression wird instabil

Linearer Korrelationskoeffizient (Pearson Korrelationskoeffizient)misst, ob ein paarweiser linearer Zusammenhang zwischen den Variablen x und y besteht.

( )( )( ) ( ) ( ) ( )

rn xy x y

n x x n y y=

− −

� ��

� � � �2 2 2 2

Page 51: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Model Summary

.817a .668 .668 303.981Model1

R R SquareAdjustedR Square

Std. Error ofthe Estimate

Predictors: (Constant), Geburtslänge in cm, Alter derMutter, Bodymaßindex (Mutter), Grösse Mutter,Schwangerschaftswoche

a.

Coefficientsa

-6643.578 163.792 -40.561 .000

5.224 .775 .060 6.743 .000

63.226 3.170 .206 19.943 .000

8.303 1.163 .063 7.140 .000

1.069 .985 .010 1.086 .278

125.880 1.981 .668 63.559 .000

(Constant)

Grösse Mutter

Schwangerschaftswoche

Bodymaßindex (Mutter)

Alter der Mutter

Geburtslänge in cm

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Geburtsgewicht in ga.

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Korrelierte PräditorenBeispiel Geburtsgewicht=Grösse der Mutter, Schwangerschafts-woche, BMI der Mutter, Alter der Mutter, Länge bei Geburt

Verdoppelt !!

Page 52: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Geburtsgew icht in g

Grösse Mutter

Schw angerschaftsw och

Bodymaßindex (Mutter

Alter der Mutter

Geburtslänge in cm

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Korrelierte PrädiktorenGRAPH /SCATTERPLOT(MATRIX)=ggewicht groesse ssw bmim alter glaenge /MISSING=LISTWISE .

Page 53: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Correlations

1 .528** .061** -.002 .055**

. .000 .000 .900 .000

5440 5384 5381 4510 5331

.528** 1 .175** .081** .093**

.000 . .000 .000 .000

5384 5388 5331 4469 5284

.061** .175** 1 .002 -.060**

.000 .000 . .918 .000

5381 5331 5385 4465 5333

-.002 .081** .002 1 .071**

.900 .000 .918 . .000

4510 4469 4465 4514 4421

.055** .093** -.060** .071** 1

.000 .000 .000 .000 .

5331 5284 5333 4421 5333

Pearson Correlation

Sig. (2-tailed)

N

Pearson Correlation

Sig. (2-tailed)N

Pearson Correlation

Sig. (2-tailed)

N

Pearson Correlation

Sig. (2-tailed)

N

Pearson CorrelationSig. (2-tailed)

N

Schwangerschaftswoche

Geburtslänge in cm

Grösse Mutter

Alter der Mutter

Bodymaßindex (Mutter)

Schwangerschaftswoche

Geburtslängein cm Grösse Mutter

Alter derMutter

Bodymaßindex (Mutter)

Correlation is significant at the 0.01 level (2-tailed).**.

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

CORRELATIONS /VARIABLES=ssw glaenge groesse alter bmim /PRINT=TWOTAIL NOSIG /MISSING=PAIRWISE .

Korrelierte Prädiktoren

Page 54: Univariate Lineare Regression (eine unabhängige Variable)user.demogr.mpg.de/doblhammer/unlinreg.pdf · Univariate Lineare Regression (eine unabhängige Variable) Gabriele Doblhammer,

Coefficientsa

-6145.267 221.144 -27.789 .000

12.989 1.042 .147 12.471 .000

172.801 3.551 .573 48.662 .000

14.395 1.581 .107 9.105 .000

6.539 1.337 .057 4.890 .000

144.381 12.541 .135 11.512 .000

(Constant)

Grösse Mutter

Schwangerschaftswoche

Bodymaßindex (Mutter)

Alter der Mutter

SEX

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Geburtsgewicht in ga.

Gabriele Doblhammer, Fortgeschrittene Methoden der empirischen Sozialforschung, SS2004

Kategorielle unabhängige Variablen

Geschlecht, Bundesland: erzeugen von dichotomen “Dummy”Variablen mit Ausprägung 0,1

compute sex=0.if geschl=1 sex=1.execute.

0.. Mädchen1.. Buben

Buben haben einum 144g höheresGeburtsgwicht alsMädchen