4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen sämtlicher Störgrößen als auch alle Kovarianzen zwischen den Störgrößen

4. Das multiple lineare Regressionsmodell

Bisher:

• 1 endogene Variable y wurde zuruckgefuhrt auf 1 exogeneVariable x (einfaches lineares Regressionsmodell)

Jetzt:

• Endogenes y wird regressiert auf mehrere exogene Variablenx1, . . . , xK (multiples lineares Regressionsmodell)

Es zeigt sich:

• Viele Ergebnisse und Intuitionen der einfachen Regressionubertragen sich auf das multiple Modell

130

Wichtige Hilfsmittel:

• Matrixalgebra

• Erwartungswertvektor

• Kovarianzmatrix

• multivariate Normalverteilung

131

Inhaltlicher Aufbau:

• Modellspezifikation(A-, B-, C-Annahmen)

• Punktschatzung(KQ-, ML-Schatzung, Bestimmtheitsmaß)

• Hypothesentests(t-Test, F -Test)

• Prognose

132

4.1 Spezifikation

Beispiel: (I)

• Schatzung einer Produktionsfunktion fur Gerste

• Exogene Variablen (Dungemitteleinsatze):

Phosphat p (in kg/ha)Stickstoff n (in kg/ha)

• Endogene Variable (Output):

Gerste g (in 100kg/ha)

133

Beispiel: (II)

• Stichprobenumfang:

30 Beobachtungen (Parzellen)

• Okonomisches Modell:

g = f(p, n)

(grundlegender Wirkungszusammenhang)

Nachster Schritt:

• Funktionale Spezifikation

134

Erhobener Datensatz

i pi ni gi i pi ni gi1 22.00 40.00 38.36 16 25.00 110.00 59.552 22.00 60.00 49.03 17 26.00 50.00 55.243 22.00 90.00 59.87 18 26.00 70.00 54.134 22.00 120.00 59.35 19 26.00 90.00 66.575 23.00 50.00 45.45 20 26.00 110.00 61.746 23.00 80.00 53.23 21 27.00 40.00 48.997 23.0 100.00 56.55 22 27.00 60.00 54.388 23.00 120.00 50.91 23 27.00 80.00 58.289 24.00 40.00 44.87 24 27.00 100.00 62.8110 24.00 60.00 54.06 25 28.00 50.00 50.7611 24.00 90.00 60.34 26 28.00 70.00 51.5412 24.00 120.00 58.21 27 28.00 100.00 59.3913 25.00 50.00 51.52 28 28.00 110.00 68.1714 25.00 80.00 58.58 29 29.00 60.00 59.2515 25.00 100.00 57.27 30 29.00 100.00 64.39

135

1. Funktionale Form (A-Annahmen)

Spezifikation in 3 Schritten:

• 1. Schritt: (I)

Moglicher Wirkungszusammenhang:

g = α + β1p + β2n

(α, β1, β2 unbekannte Parameter)

Nachteil: keine abnehmenden Grenzertrage

136

• 1. Schritt: (II)

Realistischer:

g = Apβ1nβ2

mit Parametern A, β1, β2(Cobb-Douglas-Produktionsfunktion)

Nachteil: Zusammenhang ist nicht linear

Ausweg: Logarithmieren

ln(g) = ln(A) + β1 ln(p) + β2 ln(n)

Definiere

y ≡ ln(g), x1 ≡ ln(p), x2 ≡ ln(n), α ≡ ln(A)

−→ Lineares Modell

y = α + β1x1 + β2x2

137

Logarithmierter Datensatz

i x1i x2i yi i x1i x2i yi[ln(pi)] [ln(ni)] [ln(gi)] [ln(pi)] [ln(ni)] [ln(gi)]

1 3.0910 3.6889 3.6470 16 3.2189 4.7005 4.08682 3.0910 4.0943 3.8924 17 3.2581 3.9120 4.01173 3.0910 4.4998 4.0922 18 3.2581 4.2485 3.99144 3.0910 4.7875 4.0835 19 3.2581 4.4998 4.19835 3.1355 3.9120 3.8166 20 3.2581 4.7005 4.12296 3.1355 4.3820 3.9746 21 3.2958 3.6889 3.89167 3.1355 4.6052 4.0351 22 3.2958 4.0943 3.99608 3.1355 4.7875 3.9301 23 3.2958 4.3820 4.06539 3.1781 3.6889 3.8038 24 3.2958 4.6052 4.140110 3.1781 4.0943 3.9901 25 3.3322 3.9120 3.927111 3.1781 4.4998 4.1000 26 3.3322 4.2485 3.942412 3.1781 4.7875 4.0641 27 3.3322 4.6052 4.084113 3.2189 3.9120 3.9420 28 3.3322 4.7005 4.222014 3.2189 4.3820 4.0704 29 3.3673 4.0943 4.081815 3.2189 4.6052 4.0478 30 3.3673 4.6052 4.1650

138

• 2. und 3. Schritt:Das okonometrische Modell lautet fur i = 1, . . . ,30:

yi = α + β1x1i + β2x2i + ui

Jetzt:

• Allgemeine Formulierung des multiplen linearen Regressions-modells mit K exogenen Variablen

yi = α + β1x1i + β2x2i + . . . + βKxKi + ui

fur i = 1, . . . , N , bzw. ausgeschrieben

y1 = α + β1x11 + β2x21 + . . . + βKxK1 + u1y2 = α + β1x12 + β2x22 + . . . + βKxK2 + u2

...yN = α + β1x1N + β2x2N + . . . + βKxKN + uN

139

Bemerkungen:

• Die (K + 1) Parameter α, β1, . . . , βK heißen Regressionspa-rameter oder Regressionskoeffizienten

• Die Zufallsvariable ui ist eine Storgroße

Jetzt:

• Formulierung der klassischen A-, B-, C-Annahmen fur dasmultiple Regressionsmodell

140


• Annahme A1:Im multiplen Regressionsmodell (Folie 139) fehlen keine rele-vanten exogenen Variablen und die benutzten exogenen Vari-ablen x1, x2, . . . , xK sind nicht irrelevant

• Annahme A2:Der wahre Zusammenhang zwischen x1i, x2i, . . . , xKi und yiist linear

• Annahme A3:Die Parameter α, β1, . . . , βK sind fur alle N Beobachtungen(x1i, x2i, . . . , xKi, yi) konstant

141

Bemerkung:

• Die Annahmen A1 bis A3 postulieren, dass das okonometrischeModell funktional nicht fehlspezifiziert ist

2. Storgroßenspezifikation (B-Annahmen) (I):

• Annahme B1:Die Storgroße ui hat fur alle Beobachtungen i = 1, . . . , Neinen Erwartungswert von Null, d.h.

E(ui) = 0

fur i = 1, . . . , N

142

2. Storgroßenspezifikation (B-Annahmen) (II):

• Annahme B2: (Homoskedastie)Die Storgroße ui hat fur alle Beobachtungen i = 1, . . . , N einekonstante Varianz, d.h. fur i = 1, . . . , N gilt

V ar(ui) = σ2

• Annahme B3: (Keine Autokorrelation)Die Storgroße ui ist nicht autokorreliert, d.h. fur alle i =1, . . . , N und j = 1, . . . , N mit i 6= j gilt

Cov(ui, uj) = 0

• Annahme B4:Die Storgroßen ui sind normalverteilt, d.h. ui ∼ N(0, σ2)

143

Bemerkung:

• B1 bis B4 besagen, dass die N Storgroßen u1, . . . , uN diegleiche Wahrscheinlichkeitsverteilung besitzen (namlich ui ∼N(0, σ2)) und alle unabhangig voneinander sind

144

3. Variablenspezifikation (C-Annahmen)

• Annahme C1:Die exogenen Variablen x1i, . . . , xKi sind keine Zufallsvari-ablen, sondern konnen wie in einem Experiment kontrolliertwerden

• Annahme C2: (Freiheit von perfekter Multikollinearitat)Es existieren keine Parameterwerte γ0, γ1, . . . , γK (wobei min-destens ein γk 6= 0), so dass zwischen den exogenen Variablenx1i, . . . , xKi die lineare Beziehung

γ0 + γ1x1i + . . . + γKxKi = 0

fur alle i = 1,2, . . . , N gilt

145

Bemerkung: (Perfekte Multikollinearitat)

• Betrachte Zweifachregression

yi = α + β1x1i + β2x2i + ui

• Wenn C2 verletzt ist, gibt es γ0, γ1, γ2 mit

γ0 + γ1x1i + γ2x2i = 0

und damit

x2i = −(γ0/γ2)︸︷︷︸

≡δ0

−γ1/γ2︸︷︷︸

≡δ1

x1i

−→ Es liegt keine Zweifachregression vor, denn

yi = (α + β2δ0) + (β1 + β2δ1)x1i + ui

146

Jetzt:

• Formulierung des multiplen linearen Regressionsmodells vonFolie 139 in Matrixschreibweise

Setze dazu:

y =

y1y2...

yN

,X =

1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN

, β =

αβ1...

βK

,u =

u1u2...

uN

−→ Matrixschreibweise:

y = Xβ + u

147

Ausgeschrieben:

y1y2...

yN

=

1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN

αβ1...

βK

+

u1u2...

uN

Jetzt:

• Formulierung der A-, B-, C-Annahmen in Matrixdarstellung

148


• Annahme A1:Im multiplen Regressionsmodell fehlen keine relevanten exo-genen Variablen und die benutzten exogenen Variablen (Spal-ten der X-Matrix) sind nicht irrelevant

• Annahme A2:Der wahre Zusammenhang zwischen X und y ist linear

• Annahme A3:Der Parametervektor β ist fur alle N Beobachtungen (xi, yi)konstant

149

2. Storgroßenspezifikation (B-Annahmen) (I)

• Annahme B1:

E(u) = 0N×1

Zwischenbemerkungen: (I)

• Betrachte die (N ×N)-Matrix uu′ mit Erwartungswert

E(uu′) = E

u1u1 u1u2 · · · u1uNu2u1 u2u2 · · · u2uN... ... · · · ...uNu1 uNu2 · · · uNuN

=

E(u21) E(u1u2) · · · E(u1uN)

E(u2u1) E(u22) · · · E(u2uN)

... ... · · · ...E(uNu1) E(uNu2) · · · E(u2

N)

150

Zwischenbemerkungen: (II)

• Wegen B1 gilt E(ui) = 0 bzw. E(uj) = 0 und damit

E(uiuj) =

{

E{[ui − E(ui)][uj − E(uj)]} = Cov(ui, uj) , fur i 6= jE{[ui − E(ui)][ui − E(ui)]} = V ar(ui) , fur i = j

Hieraus folgt

E(uu′) =

V ar(u1) Cov(u1, u2) · · · Cov(u1, uN)Cov(u2, u1) V ar(u2) · · · Cov(u2, uN)

... ... · · · ...Cov(uN , u1) Cov(uN , u2) · · · V ar(uN)

= Cov(u)

151

Definition 4.1: (Varianz-Kovarianz-Matrix)

Die Matrix E(uu′) = Cov(u), die sowohl die Varianzen samtlicherStorgroßen als auch alle Kovarianzen zwischen den Storgroßenenthalt, wird als Varianz-Kovarianz-Matrix des multiplen Regres-sionsmodells bezeichnet.

Zwischenbemerkungen: (III)

• Gilt nun V ar(ui) = σ2 fur alle i = 1, . . . , N (Annahme B2,vgl. Folie 143) sowie Cov(ui, uj) = 0 fur alle i = 1, . . . , N undj = 1, . . . , N mit i 6= j (Annahme B3, vgl. Folie 143), so folgtfur die Varianz-Kovarianz-Matrix

Cov(u) =

σ2 0 · · · 00 σ2 · · · 0... ... · · · ...0 0 · · · σ2

= σ2

1 0 · · · 00 1 · · · 0... ... · · · ...0 0 · · · 1

= σ2IN

152

2. Storgroßenspezifikation (B-Annahmen) (II)

• Annahmen B2 und B3:

Cov(u) = σ2IN

• Annahme B4:Der Storgroßenvektor u ist multivariat normalverteilt mit

u ∼ N(0N×1, σ2IN)

153

3. Variablenspezifikation (C-Annahmen) (I)

• Annahme C1:Keines der Elemente der (N × [K + 1])-Matrix X ist eineZufallsvariable

Zwischenbemerkungen: (I)

• Die X-Matrix lasst sich wie folgt zerlegen:

X = [x0 x1 · · · xK]

mit

x0 ≡

11...1

, x1 ≡

x11x12...

x1N

, · · · , xK ≡

xK1xK2...xKN

154

Zwischenbemerkungen: (II)

• Die Spaltenvektoren x1, . . . ,xK reprasentieren jeweils die NBeobachtungen der K exogenen Variablen

• Gilt rang(X) = K +1, so sind die Spaltenvektoren x0,x1, . . . ,xK linear unabhangig(vgl. Definitionen 2.7, 2.8 auf den Folien 32, 33)

3. Variablenspezifikation (C-Annahmen) (II)

• Annahme C2: (Freiheit von perfekter Multikollinearitat)

rang(X) = K + 1

155

4.2 (Punkt)Schatzung

Fur die KQ-Schatzung im multiplen linearen Regressionsmodell:

• Okonometrisches Modell:

y = Xβ + uyi = α + β1x1i + β2x2i + . . . + βKxKi + ui

• Geschatztes Modell:

y = Xβyi = α + β1x1i + β2x2i + . . . + βKxKi

• Residuen:

u = y− yui = yi − yi

156

Jetzt:

• Bestimmung des KQ-Schatzers β im multiplen Modell

Herleitung: (I)

• Residualquadratsumme in Matrixschreibweise:

Suu = u′u

=N∑

i=1u2

i

157

Herleitung: (II)

• Wegen

u = y−Xβui = yi − α− β1x1i − . . .− βKxKi

folgt:

Suu =(

y−Xβ)′ (

y−Xβ)

=N∑

i=1

(

yi − α− β1x1i − . . .− βKxKi)2

158

Herleitung: (IV)

• Minimierungsbedingungen lauten:

∂ Suu

∂ β=

∂ Suu/∂ α∂ Suu/∂ β1

...∂ Suu/∂ βK

= 0(K+1)×1

(Normalengleichungen)

159

Herleitung: (VI)

• Berechung des Gradienten: (siehe Ubung)

∂ Suu

∂ β=

∂

∂ β

(

y−Xβ)′ (

y−Xβ)

=∂

∂ βy′y−

∂

∂ β2y′Xβ +

∂

∂ ββ′X′Xβ

= −2X′y + 2X′Xβ

−→ Normalengleichungssystem:

X′Xβ = X′y

−→ KQ-Schatzer:β =

(

X′X)−1

X′y

160

Ausfuhrliche Schreibweise:

X′X =

1 1 · · · 1x11 x12 · · · x1N... ... ... ...xK1 xK2

... xKN

1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN

=

N∑N

i=1 x1i · · ·∑N

i=1 xKi∑N

i=1 x1i∑N

i=1 x21i · · ·

∑Ni=1 x1ixKi... ... ... ...

∑Ni=1 xKi

∑Ni=1 xKix1i

...∑N

i=1 x2Ki

,

X′y =

1 1 · · · 1x11 x12 · · · x1N... ... ... ...xK1 xK2

... xKN

y1y2...

yN

=

∑Ni=1 yi

∑Ni=1 x1iyi

...∑N

i=1 xKiyi

161

Illustration: (Dungemittelbeispiel) (I)

• Aus den N = 30 Daten von Folie 138 errechnet man:

N = 30,30∑

i=1x1i = 96.77,

30∑

i=1x2i = 129.72

30∑

i=1yi = 120.42,

30∑

i=1x21i = 312.39,

30∑

i=1x1ix2i = 418.46

30∑

i=1x1iyi = 388.57,

30∑

i=1x22i = 564.63,

30∑

i=1x2iyi = 521.66

162

Illustration: (Dungemittelbeispiel) (II)

• Somit folgt:

β =

30 96.77 129.7296.77 312.39 418.46129.72 418.46 564.63

−1

120.42388.57521.66

=

0.95430.59650.2626

=

αβ1β2

163

EViews-Output fur die Dungemittelregression

164

Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30

Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000

R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000

Jetzt:

• Bestimmtheitsmaß R2 bei multipler Regression

Weiterhin gilt:

• Streuungszerlegung

Syy = Syy + Suu

(vgl. Satz 3.6, Folie 96)

−→ Definition des multiplen Bestimmtheitsmaßes:

R2 =Syy

Syy=

Syy − SuuSyy

= 1−SuuSyy

(vgl. Def. 3.7, Folie 97)

165

Jetzt:

• Explizite Berechnung des multiplen Bestimmtheitsmaßes

Satz 4.2: (Formel fur das R2)

Fur das multiple Bestimmtheitsmaß R2 gilt:

R2 =Syy

Syy=

y′X(X′X)−1X′y−Ny2

y′y−Ny2 =y′Xβ −Ny2

y′y−Ny2 .

Bemerkungen:

• Herleitung: Von Auer (2007)

• Vgl. auch Ubung

166


• Aus den N = 30 Daten von Folie 138 errechnet man:

N = 30, y = 4.013865, y′y =30∑

i=1y2i = 483.779553

X′y =

120.415937388.565728521.658742

, β =

0.9543150.5965200.262552

167


• Daraus folgt

y′Xβ =[

120.415937 388.565728 521.658742]

0.9543150.5965200.262552

= 483.664510

und somit

R2 =483.664510− 30 · 4.0138652

483.779553− 30 · 4.0138652 = 0.742164

168

Bemerkungen:

• Rundungsfehler

• Aufnahme zusatzlicher X-Variablen fuhrt (fast) immer zurErhohung des R2

−→ Adjustiertes Bestimmtheitsmaß:

R2adj = 1− (1−R2)

N − 1N −K − 1

Jetzt:

• Eigenschaften des KQ-Schatzers

β = (X′X)−1X′y

169

Satz 4.3: (Erwartungstreue des KQ-Schatzers)

Unter den A-, B-, C-Annahmen (ohne B4) ist der KQ-Schatzerβ = (X′X)−1X′y erwartungstreu fur β, d.h.

E(

β)

= β.

Fur die Varianz-Kovarianz-Matrix des KQ-Schatzers gilt:

Cov(

β)

= σ2(

X′X)−1

.

170

Bemerkungen: (I)

• Im Detail besagt die Erwartungstreue

E(α) = α, E(β1) = β1, . . . E(βK) = βK

• Zur Herleitung der Erwartungstreue sowie der Kovarianzma-trix von β vgl. Ubung

• Spezialfall der Einfachregression (K = 1):

X =

1 x1... ...1 xN

, X′X =

[

N∑N

i=1 xi∑N

i=1 xi∑N

i=1 x2i

]

171

Bemerkungen: (II)

• Inverse einer (2× 2)-Matrix:

A =

[

a11 a12a21 a22

]

, A−1 =1

a11a22 − a12a21

[

a22 −a12−a21 a11

]

−→ Berechnung von

Cov(β) =

[

V ar(α) Cov(α, β)Cov(α, β) V ar(β)

]

= σ2(X′X)−1

(vgl. Satz 4.3, Folie 170; Ubung)

172

Satz 4.4: (Gauß-Markov-Theorem)

Unter den A-, B-, C-Annahmen (ohne B4) ist der KQ-Schatzerβ = (X′X)−1X′y der beste lineare unverzerrte Schatzer fur denParametervektor β.(BLUE = Best Linear Unbiased Estimator)

Bemerkungen:

• Bedeutung von BLUE im multiplen Fall?

• Es sei β∗

ein anderer linearer E-treuer Schatzer fur β

−→ Cov(β∗)− Cov(β) ist positiv semidefinit

(vgl. Definition 2.13, Folie 47)

173

Verteilung von y: (I)

• Zunachst

y = Xβ + u,

d.h. y ist eine lineare Funktion von u

• Aufgrund der B-Annahmen gilt

u ∼ N(0N×1, σ2IN)

−→ auch y ist multivariat normalverteilt

174

Verteilung von y: (II)

• Erwartungswertvektor von y:

E(y) = E(Xβ + u)= E(Xβ) + E(u)= Xβ

• Kovarianzmatrix von y:

Cov(y) = Cov(Xβ + u)= Cov(u)= σ2IN

• Also gilt:

y ∼ N(Xβ, σ2IN)

175

Verteilung von β: (I)

• Zunachst

β = (X′X)−1X′y,

d.h. β ist eine lineare Funktion von y

• Verteilung von y

y ∼ N(Xβ, σ2IN)

(vgl. Folie 175)

−→ auch β ist multivariat normalverteilt

176

Verteilung von β: (II)

• Erwartungswertvektor und Kovarianzmatrix von β sind

E(

β)

= β, Cov(

β)

= σ2(X′X)−1

(vgl. Satz 4.3, Folie 170)

• Also gilt:β ∼ N(β, σ2(X′X)−1)

• Fur die Einzelkomponenten von β gilt

α ∼ N(α, V ar(α)) bzw. βk ∼ N(βk, V ar(βk)),

mit V ar(α) bzw. V ar(βk) als den entsprechenden Diago-nalelementen von σ2(X′X)−1

177

Problem erneut:

• Stortermvarianz σ2 ist unbekannt

−→ Cov(β) = σ2(X′X)−1 kann nicht berechnet werden

(vgl. Einfachregression, Folien 91 ff.)

Satz 4.5: (E-treuer Schatzer fur σ2)

Ein erwartungstreuer Schatzer fur die unbekannte Stortermvarianzσ2 ist gegeben durch

σ2 =1

N −K − 1

N∑

i=1u2

i =u′u

N −K − 1.

178

Bemerkungen:

• Man zeige die Erwartungstreue, d.h. E(σ2) = σ2, mittels derBeziehung

u = y− y

= y−Xβ= y−X(X′X)−1X′y

=[

IN −X(X′X)−1X′]

y

(vgl. Ubung)

• Von besonderer Bedeutung: M ≡ IN −X(X′X)−1X′

(Residuen-Erzeugungsmatrix)

179


180





• Sum squared resid = u′u = 0.114812

=⇒ σ2 =u′u

N −K − 1=

0.11481230− 2− 1

= 0.0042523

• S.E. of regression =√

u′uN −K − 1 =

√σ2 = σ = 0.065210

• σ2 = 0.0042523 und Hauptdiagonalelemente von σ2(X′X)−1

liefern die geschatzten Varianzen V ar(α), V ar(β1), V ar(β2)

181


• σ = 0.065210 und die Wurzeln der Hauptdiagonalelementevon σ2(X′X)−1 liefern die Standardfehler der KQ-Schatzer

SE(α) = 0.469432

SE(β1) = 0.137878

SE(β2) = 0.033997

182

4.3 Hypothesentests

2 Arten von Hypothesentests:

• t-Tests (Tests basierend auf der t-Verteilung)

• F -Tests (Tests basierend auf der F -Verteilung)

183

Zunachst:

• Testen einer Linearkombination von Parametern

• In der Einfachregression hatten wir

H0 : β = q gegen H1 : β 6= q

• Im multiplen Modell betrachten wir

H0 : r0α + r1β1 + . . . + rKβK = qH1 : r0α + r1β1 + . . . + rKβK 6= q

bzw. mit r′ =[

r0 r1 · · · rK]

H0 : r′β = qH1 : r′β 6= q

184

Illustration: (Dungemittelbeispiel)

• Test auf konstante Skalenertrage:

β =

αβ1β2

, r =

011

, q = 1

also

H0 : r′β = β1 + β2 = 1

H1 : r′β = β1 + β2 6= 1

zum Signifikanzniveau a = 5%

185

Geeignete Teststatistik: (I)

• T = r′ β − qSE(r′ β)

• Form des Standardfehlers SE(r′ β):

V ar(r′ β) = r′Cov(β)r = σ2r′(X′X)−1r

=⇒ SE(r′ β) =√

V ar(r′ β) =√

σ2r′(X′X)−1r

mit

σ2 =u′u

N −K − 1=

1N −K − 1

N∑

i=1u2

i

186

Geeignete Teststatistik: (II)

• Verteilung von T unter Gultigkeit von H0 : r′β = q:

T(unter H0)∼ tN−K−1

(t−Verteilung mit N −K − 1 Freiheitsgraden)

−→ Kritischer Bereich:

(−∞,−tN−K−1;1−a/2] ∪ [tN−K−1;1−a/2,+∞)

d.h. lehne H0 ab, falls

|T | ≥ tN−K−1;1−a/2

187


188




Berechnung der Teststatistik:

r′ β =[

0 1 1]

αβ1β2

= β1 + β2

= 0.596520 + 0.262552 = 0.859072

Standardfehler der Teststatistik:

SE(r′ β) = SE(β1 + β2)

=√

V ar(β1) + V ar(β2) + 2 Cov(β1, β2)

=√

(0.137878)2 + (0.033997)2 + 2 · 0.0000287

=√

0.01901 + 0.001156 + 0.000057

= 0.142208

189

−→

T =r′ β − q

SE(r′ β)=

0.859072− 10.142208

= −0.990999

Testentscheidung:

|T | = 0.990999 < 2.0518 = t27;0.975

−→ H0 kann nicht abgelehnt werden(konstante Skalenertrage sind mit den Daten vereinbar)

190

Spezialfalle des allgemeinen t-Tests: (I)

• Betrachte die K + 1 Vektoren

r0 =

10...0

, r1 =

01...0

, . . . , rK =

00...1

, q = 0

−→ Testprobleme

H0 : α = 0 gegen H1 : α 6= 0

H0 : β1 = 0 gegen H1 : β1 6= 0...

H0 : βK = 0 gegen H1 : βK 6= 0

191

Spezialfalle des allgemeinen t-Tests: (II)

• Teststatistiken:

Tα =r′0

βSE(r′0

β)=

αSE(α)

Tβ1 =r′1

βSE(r′1

β)=

β1

SE(β1)...

TβK=

r′Kβ

SE(r′Kβ)

=βK

SE(βK)

192


193




EViews-Output:

• t-Statistic = KoeffizientenschatzungStandardfehler des Koeffizientenschatzers

• Prob. = p-Wert des t-Tests(Kleinstes Signifikanzniveau zur Ablehnung von H0)

Einseitiger (linksseitiger) t-Test:

H0 : r′β ≥ q gegen H1 : r′β < q

• Teststatistik

T =r′ β − q

SE(r′ β)

• Lehne H0 zum Niveau a ab, falls T < −tN−K−1;1−a

194

Jetzt:

• Simultanes Testen mehrerer Parameterbeziehungen(F -Test)

Lineares multiples Regressionsmodell:

y = X · β + u(N×1) (N×[K+1]) ([K+1]×1) (N×1)

Null- und Alternativhypothese:

H0 : Rβ = q

H1 : Rβ 6= q

mit R einer (L× [K + 1])-Matrix und q einem (L× 1)-Vektor

195

Beispiele: (I)

• H0 : β1 = β2 = . . . = βK = 0

−→ R =

0 1 0 · · · 00 0 1 · · · 0... ... ... ... ...0 0 0 · · · 1

, q =

00...0

= 0L

• H0 : β1 + . . . + βK = 1 und gleichzeitig β1 = 2β2

−→ R =

[

0 1 1 1 · · · 10 1 −2 0 · · · 0

]

, q =

[

10

]

196

Beispiele: (II)

• H0 : β1 = 5 und gleichzeitig β2 = . . . = βK = 0

−→ R =

0 1 0 0 · · · 00 0 1 0 · · · 00 0 0 1 · · · 0... ... ... ... ... ...0 0 0 0 · · · 1

, q =

500...0

197

Grundidee des F -Tests: (I)

• Vergleiche Residualquadratsumme des Regressionsmodells

Suu = u′u =N∑

i=1u2

i

mit Residualquadratsumme des Nullhypothesenmodells

Su0u0 = (u0)′u0 =N∑

i=1(u0

i )2

(u0 ist der Residualvektor, der sich bei der KQ-Schatzungunter Berucksichtigung von H0 ergibt)

198

Grundidee des F -Tests: (II)

• Es muss immer gelten

Su0u0 ≥ Suu

• Die Nullhypothese ist vermutlich falsch, falls

Su0u0 >> Suu

199

Durchfuhrung des Tests: (I)

• Geeignete Teststatistik:

F =

(

Su0u0 − Suu)

/L

Suu/(N −K − 1)

=

[

Rβ − q]′ [

R(X′X)−1R′]−1 [

Rβ − q]

u′u/(N −K − 1)

• Verteilung von F unter Gultigkeit von H0 : Rβ = q:

F(unter H0)∼ FL,N−K−1

(F−Verteilung mit L und N −K − 1 Freiheitsgraden)

200

Durchfuhrung des Tests: (II)

• Kritischer Bereich zum Signifikanzniveau a:

[FL,N−K−1;1−a,+∞)

d.h. lehne H0 zum Niveau a ab, falls

F ≥ FL,N−K−1;1−a

[(1− a)-Quantil der FL,N−K−1-Verteilung]

201


202




EViews-Output:

• F-statistic = F -Test fur das Testproblem

H0 : β1 = β2 = . . . = βK = 0

• Prob(F-statistic) = p-Wert des F -Tests(Kleinstes Signifikanzniveau zur Ablehnung von H0)

203

4.4 Prognose

Ziel:

• Bedingte Prognose des endogenen Wertes y0 bei gegebenenWerten der K exogenen Variablen x10, x20, . . . , xK0(vgl. Prognose der Einfachregression, Abschnitt 3.4)

204

Dafur: (I)

• Es seien

x′0 =[

1 x10 x20 · · · xK0

]

der Vektor der exogenen Variablen und

β = (X′X)−1X′y

der KQ-Schatzer des multiplen Regressionsmodells

−→ Bedingte Punktprognose:

y0 = x′0β

• Prognosefehler:

y0 − y0 = x′0β − x′0β − u0 = x′0

(

β − β)

− u0

205

Dafur: (II)

• Varianz des Prognosefehlers:

V ar(y0 − y0) = σ2(

1 + x′0(X′X)−1x0

)

• Geschatzte Varianz des Prognosefehlers:

V ar(y0 − y0) = σ2(

1 + x′0(X′X)−1x0

)

mit σ2 = u′u/(N −K − 1)

−→ Standardfehler des Prognosefehlers:

SE(y0 − y0) =√

V ar(y0 − y0)

206

Jetzt:

• Konstruktion eines (1− a)-Prognoseintervalls uber die Stan-dardisierung des Prognosefehlers(vgl. Folie 125)

T =(y0 − y0)−

=0︷︸︸︷

E (y0 − y0)SE(y0 − y0)

• Man kann zeigen, dass

T ∼ tN−K−1

(t-Verteilung mit N −K − 1 Freiheitsgraden)

−→ (1− a)-Prognoseintervall:

[y0−tN−K−1;1−a/2·SE(y0−y0), y0+tN−k−1;1−a/2·SE(y0−y0)]

207

Documents

4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen sämtlicher Störgrößen als auch alle Kovarianzen zwischen den Störgrößen