Kon denz-, Prognoseintervalle und HypothesentestsII...Kon denz-, Prognoseintervalle und Hypothesentests III im multiplen linearen Regressionsmodell mit heteroskedastischen St orgr

4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10

Konfidenz-, Prognoseintervalle und Hypothesentests IIbei heteroskedastischen Storgroßen

Achtung!

Bei der Verwendung von heteroskedastie-konsistenten Schatzern fur V(β) mussunbedingt darauf geachtet werden, keine

”Formeln“ einzusetzen, die unter

Ausnutzung von nur bei Homoskedastie der Storgroßen gultigenZusammenhangen hergeleitet wurden.

Generell sind ganz offensichtlich alle”Formeln“, die σ2 oder σ enthalten, also

nicht mehr einsetzbar. Dazu zahlen einige Darstellungen auf den Folien 204,217, 224, 227, 230 und 234.

Bei der Berechnung von Konfidenzintervallen (Folie 203) und derDurchfuhrung von Tests (Folie 204) fur einzelne Parameter sind naturlich bei

allen Vorkomnissen von σ2βk

bzw. σβkdie entsprechenden Diagonaleintrage

der verwendeten heteroskedastie-konsistenten Schatzmatrix Vhc(β) bzw.deren Wurzeln einzusetzen!

Der t-Test fur einzelne lineare Hypothesen hat nun die folgende Darstellung:

Okonometrie (SS 2014) Folie 265


Zusammenfassung: t-Test fur einzelne lineare Hypothesenim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen

Anwendungs- approx.: y = Xβ + u mit E(u) = 0, V(u) = diag(σ21 , . . . , σ

2n),

voraussetzungen σ2i unbekannt, X deterministisch mit vollem Spaltenrang K + 1,

Realisation y = (y1, . . . , yn)′ beobachtet

Nullhypothese H0 : a′β = c H0 : a′β ≤ c H0 : a′β ≥ cGegenhypothese H1 : a′β 6= c H1 : a′β > c H1 : a′β < c

Teststatistik t =a′β − c√a′Vhc(β)a

Verteilung (H0) t fur a′β = c naherungsweise t(n − (K + 1))-verteilt

Benotigte Großen β = (X′X)−1X′y, Vhc(β) eine heteroskedastie-konsistente Schatz-

funktion fur V(β), z.B. Vhc1(β) = (X′X)−1X′Vhc1(u)X(X′X)−1

mit Vhc1(u) = nn−(K+1)

diag(u21 , . . . , u

2n), wobei u = y − Xβ

Kritischer Bereich (−∞,−tn−(K+1);1−α2

) (tn−(K+1);1−α,∞) (−∞,−tn−(K+1);1−α)

zum Niveau α ∪(tn−(K+1);1−α2,∞)

p-Wert 2 · (1− Ft(n−(K+1))(|t|)) 1− Ft(n−(K+1))(t) Ft(n−(K+1))(t)



Konfidenz-, Prognoseintervalle und Hypothesentests IIIim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen

Auch die alternativen Darstellungen der Statistik des F -Tests von Folie 236f.verlieren ihre Korrektheit!

Die F -Statistik aus Folie 230 ist durch eine Darstellung der”Bauart“

F =(Aβ − c)′

[AVhc(β)A′

]−1

(Aβ − c)

L

zu ersetzen, beispielsweise also durch

F =(Aβ − c)′

[A(X′X)−1X′Vhc1(u)X(X′X)−1A′

]−1

(Aβ − c)

L

mit Vhc1(u) = nn−(K+1) diag(u2

1 , . . . , u2n).

Der F -Test hat also bei heteroskedastischen Storgroßen die folgende Gestalt:



Zusammenfassung: F -Test fur L ≥ 1 lineare Restriktionenim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen

Anwendungs- approx.: y = Xβ + u mit E(u) = 0, V(u) = diag(σ21 , . . . , σ

2n),

voraussetzungen σ2i unbekannt, X deterministisch mit vollem Spaltenrang K + 1,

Realisation y = (y1, . . . , yn)′ beobachtet, c ∈ RL,(L× (K + 1))-Matrix A mit vollem Zeilenrang L

Nullhypothese H0 : Aβ = cGegenhypothese H1 : Aβ 6= c

Teststatistik F =(Aβ − c)′

[AVhc(β)A′

]−1

(Aβ − c)

L

Verteilung (H0) F ist approx. F (L, n − (K + 1))-verteilt, falls Aβ = c

Benotigte Großen β = (X′X)−1X′y, Vhc(β) eine heteroskedastie-konsistente Schatz-

funktion fur V(β), z.B. Vhc1(β) = (X′X)−1X′Vhc1(u)X(X′X)−1

mit Vhc1(u) = nn−(K+1)

diag(u21 , . . . , u

2n), wobei u = y − Xβ

Kritischer Bereich (FL,n−(K+1);1−α,∞)zum Niveau α

p-Wert 1− FF (L,n−(K+1))(F )



Konfidenz-, Prognoseintervalle und Hypothesentests IVim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen

Ein approximatives symmetrisches Konfidenzintervall fur a′β zumKonfidenzniveau 1−α erhalt man bei heteroskedastischen Storgroßen durch

[a′β − tn−(K+1);1−α2 ·

√a′Vhc(β)a , a′β + tn−(K+1);1−α2 ·

√a′Vhc(β)a

]

mit einer geeigneten (heteroskedastie-konsistenten) Schatzmatrix Vhc(β).

Bei der Konstruktion von Konfidenzellipsen bzw. -ellipsoiden ist naturlichanalog eine geeignete Darstellung der F -Statistik (siehe z.B. Folie 267) zuverwenden, man erhalt einen (approximativen) Konfidenzbereich zumKonfidenzniveau 1− α also nun (unter Beibehaltung der bisherigenBezeichnungen) mit der Menge

{c ∈ RL

∣∣∣(Aβ − c)′[AVhc(β)A′

]−1

(Aβ − c) ≤ L · FL,n−(K+1);1−α

}.



Konfidenz-, Prognoseintervalle und Hypothesentests Vim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen

(Approximative) Intervallprognosen fur E(y0) gegeben x0 zurVertrauenswahrscheinlichkeit 1− α (auch interpretierbar alsKonfidenzintervalle zum Konfidenzniveau 1− α fur E(y0) gegeben x0) erhaltman nun in der Gestalt

[x0′β − tn−(K+1);1−α2 ·

√x0′Vhc(β)x0 , x0

′β + tn−(K+1);1−α2 ·√

x0′Vhc(β)x0

]

mit einer geeigneten (heteroskedastie-konsistenten) Schatzmatrix Vhc(β).

Intervallprognosen von y0 gegeben x0 sind nun nicht mehr sinnvolldurchfuhrbar, da man keine Informationen mehr uber die von u0 verursachteSchwankung von y0 hat!



”Robuste Standardfehler“

Die Verwendung von heteroskedastie-konsistenten Schatzern fur dieStandardabweichungen von βk (bzw. weitergehender die Verwendung eines

heteroskedastie-konsistenten Schatzers fur die Schatzung von V(β)) wirdauch als

”Verwendung robuster Standardfehler“ bezeichnet.

Gangige Statistik-Software erlaubt die Verwendung robuster Standardfehler,auch wenn standardmaßig in der Regel von homoskedatischen Storgroßenausgegangen wird.

In der Statistik-Software R implementiert beispielsweise die Funktion hccm

(”heteroscedasticity-corrected covariance matrix“) im Paket car verschiedene

Varianten heteroskedastie-konsistenter Schatzungen von V(β) bei denAuswertungen zu linearen Regressionsmodellen.

Die Verwendung robuster Standardfehler trotz homoskedastischer Storgroßenist unkritisch. Moderne Lehrbucher empfehlen zunehmend eine generelleVerwendung robuster Standardfehler.



Beispiel: Robuste Standardfehler I

Berechnung von V(β) und Vhc1(β) im Beispiel von Folie 207:

> library(car)

> fit <- lm(Lohnhohe ~ Ausbildung + Alter)

> print(vcov(fit),digits=6) # "standard"

(Intercept) Ausbildung Alter

(Intercept) 27051.397 456.8888 -645.7068

Ausbildung 456.889 449.0435 -52.7609

Alter -645.707 -52.7609 20.9445

> Vhhc1 <- hccm(fit, type="hc1")

> print(Vhhc1,digits=6) # "robust"

(Intercept) Ausbildung Alter

(Intercept) 23815.318 -1602.3359 -583.2360

Ausbildung -1602.336 271.0231 26.8099

Alter -583.236 26.8099 16.1392



Beispiel: Robuste Standardfehler II

t-Tests auf Signifikanz der einzelnen Koeffizienten:> print(coeftest(fit)) # "standard"

t test of coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 1027.8058 164.4731 6.2491 8.814e-06 ***

Ausbildung 62.5745 21.1906 2.9529 0.008904 **

Alter 10.6020 4.5765 2.3166 0.033265 *

---

Signif. codes:

0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

> print(coeftest(fit, vcov. = Vhhc1)) # "robust"

t test of coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 1027.8058 154.3221 6.6601 4.021e-06 ***

Ausbildung 62.5745 16.4628 3.8010 0.001428 **

Alter 10.6020 4.0174 2.6390 0.017229 *

---

Signif. codes:

0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1



Beispiel: Robuste Standardfehler III

Die Schatzung unter Zulassung heteroskedastischer Storgroßen fuhrt imBeispiel zu kleineren p-Werten der Tests auf Signifikanz der einzelnenParameter.

Insbesondere ist nun der Koeffizient zum Regressor Ausbildung sogar zumSignifikanzniveau α = 0.001 bzw. der Koeffizient zum Regressor Alter sogarzum Signifikanzniveau α = 0.01 signifikant positiv!

Der t-Test zum Test der linearen Hypothese

H0 : β1 − 2 · β2 ≤ 0 gegen H1 : β1 − 2 · β2 > 0

bzw.H0 : a′β ≤ c gegen H1 : a′β > c

mit a =[0 1 −2

]′und c = 0 wird im Folgenden statt unter der Annahme

von Homoskedastie der Storgroßen unter Zulassung heteroskedastischerStorgroßen durchgefuhrt.



Beispiel: Robuste Standardfehler IV

Mit Vhc1(β) wie auf Folie 272 angegeben erhalt man nun zunachst

a′Vhc1(β)a =[0 1 −2

]

23815.318 −1602.336 −583.236−1602.336 271.023 26.810−583.236 26.810 16.139

01−2

= 228.3404

und mit a′β =[0 1 −2

]

1027.80662.57510.602

= 41.371 die realisierte Teststatistik

t =a′β − c√a′Vhc1(β)a

=41.371− 0√

228.3404= 2.7378 .

H0 kann nun zum Signifikanzniveau α = 0.05 anders als bei Annahmehomoskedastischer Storgroßen also abgelehnt werden, dat = 2.7378 ∈ (1.74,∞) = (t17;0.95,∞) = (tn−(K+1);1−α,∞) = K .



Beispiel: Robuste Standardfehler V

Mit der (bereits auf Folie 218 berechneten) Punktprognose E(y0) = 1680.982fur die erwartete Lohnhohe eines 38-jahrigen Mitarbeiters, der nach demHauptschulabschluss weitere 4 Ausbildungsjahre absolviert hat (also fur

x0 =[1 4 38

]′), erhalt man unter Annahme heteroskedastischer

Storgroßen nun mit

x0′Vhc1(β)x0 =

[1 4 38

]

23815.318 −1602.336 −583.236−1602.336 271.023 26.810−583.236 26.810 16.139

14

38

= 2462.304

das Prognoseintervall[

x0′β − tn−(K+1);1−α2 ·

√x0′Vhc(β)x0 , x0

′β + tn−(K+1);1−α2 ·√

x0′Vhc(β)x0

]

=[1680.982− 2.1098 ·

√2462.304 , 1680.982 + 2.1098 ·

√2462.304

]

= [1576.29 , 1785.674]

zur Vertrauenswahrscheinlichkeit 1− α = 0.95 fur E(y0) gegeben x10 = 4 undx20 = 38. (Intervall bei homoskedastischen Storgroßen: [1565, 1796.964])



Beispiel:”Robuste“ Konfidenzellipse fur β1 und β2

Modell von Folie 207, mit bzw. ohne Verwendung robuster Standardfehler, 1− α = 0.95

20 40 60 80 100 120

05

1015

20

Ausbildung β1

Alte

r β 2

●●

V(β)Vhc1(β)


4 Multiple lineare Regression Tests auf Heteroskedastie 4.11

Inhaltsverzeichnis(Ausschnitt)

4 Multiple lineare RegressionMultiples lineares ModellParameterschatzungKonfidenzintervalle und TestsPunkt- und IntervallprognosenTests einzelner linearer HypothesenKonfidenzintervalle fur LinearkombinationenTests mehrerer linearer HypothesenKonfidenzellipsenMultikollinearitatHeteroskedastische StorgroßenTests auf Heteroskedastie



Tests auf Heteroskedastie der Storgroßen

Neben dem Ansatz, generell eine heteroskedastie-konsistente Schatzung vonV(β) zu verwenden, besteht auch die Moglichkeit, das Vorliegen vonHeteroskedastizitat der Storgroßen statistisch zu untersuchen, um dann

”bei

Bedarf“ einen heteroskedastie-konsistenten Schatzer zu verwenden.

Hierzu existieren verschiedene Hypothesentests, derenAnwendungsmoglichkeiten zum Beispiel davon abhangen, ob man einebestimmte

”Quelle“ fur die Heteroskedastie in den Storgroßen angeben kann

bzw. vermutet.

In der vorangegangenen Regression (Lohnhohe regressiert auf Ausbildungund Alter) konnte man beispielsweise vermuten, dass die Varianz derStorgroßen dort groß ist, wo auch die Lohnhohe groß ist.

Ein Test, der in dieser Situation sehr gut geeignet sein kann, ist derGoldfeldt-Quandt-Test.



Goldfeld-Quandt-Test I

Zur (sinnvollen) Anwendung des Goldfeld-Quandt-Tests ist es erforderlich,dass die Heteroskedastie in den Storgroßen

I von einer beobachteten (und identifizierten) Variablen verursacht wird undI

”monoton“ in dieser Variablen ist.

Die”Monotonie“ kann sich auch dahingehend außern, dass sich bei einem

(nur) nominalskalierten Regressor mit zwei Auspragungen (also z.B. einerDummy-Variablen!) die Storgroßenvarianz in der einen

”Gruppe“ von der in

der anderen Gruppe unterscheidet!

Zur Anwendung des Goldfeld-Quandt-Tests ist es bei einerordinal-/kardinalskalierten Variablen, die die Storgroßenvarianz

”monoton“

beeinflussen soll, sogar erforderlich, den Datensatz in eine Gruppe vonBeobachtungen mit

”kleinen“ Auspragungen und eine weitere Gruppe von

Beobachtungen mit”großen“ Auspragungen dieser Variablen aufzuteilen

(eventuell unter Auslassung eines Teils der Daten mit”mittelgroßen“

Auspragungen dieser Variablen).



Goldfeld-Quandt-Test II

Das ursprungliche Regressionsmodell wird dann jeweils getrennt fur diebeiden Gruppen A (entspricht ggf. Gruppe mit

”kleinen“ Auspragungen) und

B (entspricht ggf. Gruppe mit”großen“ Auspragungen) (unter der – fur die

Durchfuhrung des Tests wenig schadlichen – Annahme von Homoskedastie inbeiden Gruppen) geschatzt.

Die Anwendung des Goldfeld-Quandt-Tests lauft dann auf einen (aus derSchließenden Statistik bekannten!) F -Test zum Vergleich zweier Varianzen(unter Normalverteilungsannahme) hinaus.

Unter der Nullhypothese der Homoskedastie sind insbesondere dieStorgroßenvarianzen beider Gruppen, im Folgenden mit σ2

A bzw. σ2B

bezeichnet, sowohl konstant als auch gleich.

Der Test kann sowohl beidseitig als auch einseitig (links- bzw. rechtsseitig)durchgefuhrt werden, so erhalt man die folgenden Hypothesenpaare:

H0 : σ2A = σ2

B H0 : σ2A ≤ σ2

B H0 : σ2A ≥ σ2

B

gegen gegen gegen

H1 : σ2A 6= σ2

B H1 : σ2A > σ2

B H1 : σ2A < σ2

B



Goldfeld-Quandt-Test III

Bezeichnen uA bzw. uB jeweils den Residuenvektor der Schatzung ausGruppe A bzw. B, SERA bzw. SERB jeweils den Standard Error of Regression(residual standard error) der Schatzung aus Gruppe A bzw. B, nA bzw. nB

die Lange des jeweils zur Schatzung verwendeten (Teil-)Datensatzes furGruppe A bzw. B sowie K (wie ublich) die Anzahl (echter) Regressoren, soerhalt man die moglichen Darstellungen

F =u′AuA/(nA − (K + 1))

u′B uB/(nB − (K + 1))=

SER2A

SER2B

der Teststatistik, die bei Gultigkeit von σ2A = σ2

B eineF (nA − (K + 1), nB − (K + 1))-Verteilung besitzt.

Insgesamt erhalt man die folgende Zusammenfassung desGoldfeld-Quandt-Tests:



Zusammenfassung: Goldfeld-Quandt-Test (GQ-Test)auf Heteroskedastizitat der Storgroßen

Anwendungs- exakt: y = Xβ + u mit E(u) = 0, V(u) Diagonalmatrix aus σ2A, σ2

B ,voraussetzungen X deterministisch mit vollem Spaltenrang K + 1, Realisation

y = (y1, . . . , yn)′ beobachtet, Auswahl von zwei GruppenA bzw. B vom Umfang nA bzw. nB aus den Beobachtungen

Nullhypothese H0 : σ2A = σ2

B H0 : σ2A ≤ σ2

B H0 : σ2A ≥ σ2

B

Gegenhypothese H1 : σ2A 6= σ2

B H1 : σ2A > σ2

B H1 : σ2A < σ2

B

Teststatistik F =u′AuA/(nA − (K + 1))

u′B uB/(nB − (K + 1))=

SER2A

SER2B

Verteilung (H0) F unter H0 fur σ2A = σ2

B F (nA − (K + 1), nB − (K + 1))-verteilt

Benotigte Großen Residuenvektoren uA bzw. uB oder Standard Error of Regression

SERA bzw. SERB aus jeweils separater Modellschatzung

zu den Gruppen A und B

Kritischer Bereich [0,FnA−1,nB−1;α2

) (FnA−1,nB−1;1−α,∞) [0,FnA−1,nB−1;α)

zum Niveau α ∪(FnA−1,nB−1;1−α2,∞)

p-Wert 2·min{FF (nA−1,nB−1)(F ), 1−FF (nA−1,nB−1)(F ) FF (nA−1,nB−1)(F )

1− FF (nA−1,nB−1)(F )}



Beispiel: Goldfeld-Quandt-Test I

Teilt man den Datensatz des”Lohnhohen-Beispiels“ in die beiden Gruppen

”A“

zu den 10 hochsten Lohnhohen und”B“ zu den 10 niedrigsten Lohnhohen auf,

so erhalt man die folgende Modellschatzung fur Gruppe”A“:

Call:lm(formula = Lohnhohe ~ Ausbildung + Alter, subset = Lohnhohe >

sort(Lohnhohe)[10])

Residuals:Min 1Q Median 3Q Max

-488.33 -154.11 -34.06 78.62 534.61

Coefficients:Estimate Std. Error t value Pr(>|t|)

(Intercept) 1516.69 561.23 2.702 0.0305 *Ausbildung 51.87 32.07 1.618 0.1498Alter 3.20 11.07 0.289 0.7809---Signif. codes:0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 328 on 7 degrees of freedomMultiple R-squared: 0.3051, Adjusted R-squared: 0.1066F-statistic: 1.537 on 2 and 7 DF, p-value: 0.2797



Beispiel: Goldfeld-Quandt-Test II

Die Schatzung fur Gruppe”B“ liefert:

Call:lm(formula = Lohnhohe ~ Ausbildung + Alter, subset = Lohnhohe <=

sort(Lohnhohe)[10])

Residuals:Min 1Q Median 3Q Max

-100.381 -27.528 -2.589 47.221 101.743

Coefficients:Estimate Std. Error t value Pr(>|t|)

(Intercept) 1198.772 108.647 11.034 1.11e-05 ***Ausbildung 57.711 24.688 2.338 0.052 .Alter 3.270 3.359 0.973 0.363---Signif. codes:0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 77.72 on 7 degrees of freedomMultiple R-squared: 0.4967, Adjusted R-squared: 0.3529F-statistic: 3.454 on 2 and 7 DF, p-value: 0.09045



Beispiel: Goldfeld-Quandt-Test III

Die Teststatistik des GQ-Tests erhalt man also durch

F =3282

77.722= 17.811 .

Der rechtsseitige Test zum Signifikanzniveau α = 0.05 lehnt mit

K = (F1−α;nA−(K+1),nB−(K+1),∞) = (F0.95;7,7,∞) = (3.79,∞)

wegen F ∈ K die Nullhypothese der Homoskedastie der Storgroßen also abund entscheidet sich fur eine großere Storgroßenvarianz in der Gruppe, die zuden großeren Lohnhohen gehort.



Beispiel: Goldfeld-Quandt-Test IVVisualisierung der Abhangigkeit der u2

i vom Regressor Lohnhohe und des GQ-Tests

●

● ●

●

●

●

●●

●

●● ●●

●

●

●

●

●

●

●

1200 1400 1600 1800 2000 2200 2400 2600

050

000

1000

0015

0000

2000

0025

0000

3000

00Punktwolke der abhängigen Variablen und der quadrierten Residuen

Lohnhöhe yi

quad

riert

e R

esid

uen

u i2

SERB2

SERA2



Beispiel: Goldfeld-Quandt-Test V

Schneller lasst sich die Fragestellung mit dem Befehl gqtest aus dem Paketlmtest bearbeiten.

Die Verwendung der Voreinstellung teilt den Datensatz gemaß der Ordnungeiner vorgegebenen Variablen in zwei (moglichst) gleich große Teile undmacht einen einseitigen Test auf positive Abhangigkeit der Storgroßenvarianzvon der vorgegebenen Variablen (wie im Beispiel):

> library(lmtest)

> gqtest(lm(Lohnhohe~Ausbildung+Alter),order.by=Lohnhohe)

Goldfeld-Quandt test

data: lm(Lohnhohe ~ Ausbildung + Alter)

GQ = 17.8168, df1 = 7, df2 = 7, p-value = 0.00058


Documents

Kon denz-, Prognoseintervalle und HypothesentestsII...Kon denz-, Prognoseintervalle und Hypothesentests III im multiplen linearen Regressionsmodell mit heteroskedastischen St orgr