Upload
others
View
9
Download
0
Embed Size (px)
Citation preview
OkonometrieVorlesung an der Universitat des Saarlandes
PD Dr. Stefan Kloßner
Sommersemester 2019
Okonometrie (SS 2019) Folie 1
1 Einleitung Organisatorisches 1.1
Organisatorisches I
Vorlesung: Mittwoch, 08:30-10:00 Uhr, Gebaude B4 1, HS 0.06
Ubung: Dienstag, 10-12, Gebaude B4 1, HS 0.04, Beginn: 23.04.
Prufung: 2-stundige Klausur nach Semesterende (1. Prufungszeitraum)Anmeldung im ViPa nur vom 10.05. (8 Uhr) – 28.05. (15 Uhr)!(Abmeldung im ViPa bis 04.07., 12 Uhr)
Hilfsmittel fur KlausurI
”Moderat“ programmierbarer Taschenrechner, auch mit Grafikfahigkeit
I 2 beliebig gestaltete DIN A 4–Blatter (bzw. 4, falls nur einseitig)I Benotigte Tabellen werden gestellt, aber keine weitere Formelsammlung!
Durchgefallen — was dann?I
”Nachprufung“ Ende Marz/Anfang April 2020 (2. Prufungszeitraum)
Okonometrie (SS 2019) Folie 2
1 Einleitung Organisatorisches 1.1
Organisatorisches II
Informationen und Materialien unter
http://www.oekonometrie.uni-saarland.de/
bzw. genauer
http://www.oekonometrie.uni-saarland.de/Oeko.html
Informationen und Materialien auch via Moodle:
https://bit.ly/2uSoLnP
Kontakt: PD Dr. Stefan KloßnerGeb. C3 1, 2. OG, Zi. 2.19e-Mail: [email protected]
Sprechstunde nach Vereinbarung (Terminabstimmung per e-Mail)
VorlesungsunterlagenI Diese Vorlesungsfolien (Erganzung im Laufe des Semesters)I Download spatestens dienstags, 19:00 Uhr, vor der Vorlesung moglich
Okonometrie (SS 2019) Folie 3
1 Einleitung Organisatorisches 1.1
Organisatorisches III
UbungsunterlagenI Ubungsblatter (i.d.R. wochentlich)I Download i.d.R. nach der Vorlesung im Laufe des Mittwochs moglichI Besprechung der Ubungsblatter in der Ubung der folgenden Woche.I Ubungsaufgaben sollten unbedingt vorher selbst bearbeitet werden!I Kontakt: M.Sc. Sandra Baar
Geb. C3 1, 2. OG, Zi. 2.20e-Mail: [email protected]
Die folgenden Folien (S. 5–128) ermoglichen bei Bedarf die Wiederholung derwichtigsten Grundlagen aus den Veranstaltungen
”Deskriptive Statistik und
Wahrscheinlichkeitsrechung“ und”Schließende Statistik“.
Okonometrie (SS 2019) Folie 4
2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1
Inhaltsverzeichnis(Ausschnitt)
2 Wiederholung statistischer GrundlagenDeskriptive StatistikWahrscheinlichkeitsrechnungSchließende Statistik
Okonometrie (SS 2019) Folie 5
2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1
Lage- und Streuungsmaße eindimensionaler Daten
Betrachte zunachst ein kardinalskaliertes Merkmal X mit Urliste (Daten)x1, . . . , xn der Lange n.
Daten sollen auf wenige”Kennzahlen“ verdichtet werden.
Ubliches Lagemaß:”klassische“ Mittelung der Merkmalswerte, also
”arithmetisches Mittel“ x mit:
x :=1
n(x1 + x2 + · · ·+ xn) =
1
n
n∑i=1
xi
Ubliche Streuungsmaße: Mittlere quadrierte Differenz zwischenMerkmalswerten und arithmetischem Mittel (empirische Varianz) s2
X sowiederen (positive) Wurzel (empirische Standardabweichung) sX mit:
s2X :=
1
n
n∑i=1
(xi − x)2 !=
1
n
(n∑
i=1
x2i
)− x2 =: x2 − x2, sX = +
√s2
X
Standardabweichung sX hat dieselbe Dimension wie die Merkmalswerte,daher i.d.R. besser zu interpretieren als Varianz s2
X .
Okonometrie (SS 2019) Folie 6
2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1
Abhangigkeitsmaße zweidimensionaler Daten I
Nehme nun an, dass den Merkmalstragern zu zwei kardinalskaliertenMerkmalen X und Y Merkmalswerte zugeordnet werden, also eine Urliste derLange n (also n Datenpaare)
(x1, y1), (x2, y2), . . . , (xn, yn)
zu einem zweidimensionalen Merkmal (X ,Y ) vorliegt.
Unverzichtbare Eigenschaft der Urliste ist, dass die Paare vonMerkmalswerten jeweils demselben Merkmalstrager zuzuordnen sind!
Mit den zugehorigen Lage- und Streuungsmaßen x , y , sX und sY dereindimensionalen Merkmale definiert man als Abhangigkeitsmaße zunachstdie empirische Kovarianz sX ,Y mit:
sX ,Y :=1
n
n∑i=1
(xi − x)(yi − y)!
=1
n
(n∑
i=1
xi · yi
)− x · y =: xy − x · y
Okonometrie (SS 2019) Folie 7
2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1
Abhangigkeitsmaße zweidimensionaler Daten II
Als standardisiertes, skalenunabhangiges Abhangigkeitsmaß definiert mandarauf aufbauend den empirischen (Bravais-)PearsonschenKorrelationskoeffizienten rX ,Y mit:
rX ,Y :=sX ,Y
sX · sY
Es gilt stets −1 ≤ rX ,Y ≤ 1.
rX ,Y misst lineare Zusammenhange, spezieller giltI rX ,Y > 0 bei positiver
”Steigung“ (
”X und Y sind positiv korreliert“),
I rX ,Y < 0 bei negativer”Steigung“ (
”X und Y sind negativ korreliert“),
I |rX ,Y | = 1, falls alle (xi , yi ) auf einer Geraden (mit Steigung 6= 0) liegen.
rX ,Y ist nur definiert, wenn X und Y jeweils mindestens zwei verschiedeneMerkmalsauspragungen besitzen.
Okonometrie (SS 2019) Folie 8
2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1
Beispiel: Empirischer Pearsonscher Korrelationskoeffizient
5 10 15 20
510
1520
rX, Y = 1
X
Y
5 10 15 20
020
4060
8010
0
rX, Y = 0
XY
5 10 15 20
24
68
10
rX, Y = −1
X
Y
5 10 15 20
05
1015
20
rX, Y = 0.9652
X
Y
5 10 15 20
3.0
4.0
5.0
6.0
rX, Y = 0.1103
X
Y
5 10 15 202
46
810
12
rX, Y = −0.837
X
Y
Okonometrie (SS 2019) Folie 9
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Inhaltsverzeichnis(Ausschnitt)
2 Wiederholung statistischer GrundlagenDeskriptive StatistikWahrscheinlichkeitsrechnungSchließende Statistik
Okonometrie (SS 2019) Folie 10
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Eindimensionale Zufallsvariablen I
(Eindimensionale) Zufallsvariablen X entstehen formal als (Borel-messbare)Abbildungen X : Ω→ R von Ergebnismengen Ω einesWahrscheinlichkeitsraums (Ω,F ,P) in die reellen Zahlen.
Auf eine Wiederholung der grundlegenden Konzepte von Zufallsexperimentenbzw. Wahrscheinlichkeitsraumen muss aus Zeitgrunden allerdings verzichtetwerden.
Wir fassen eine Zufallsvariable auf als eine”Variable“,
I die (i.d.R. mehrere verschiedene) numerische Werte annehmen kann,I deren Werte (
”Realisationen“) nicht vorherbestimt sind, sondern von einem
zufalligen, meist wiederholbarem Vorgang abhangen,I uber deren
”Werteverteilung“ man allerdings Kenntnisse hat
( Wahrscheinlichkeitsrechnung) oder Kenntnisse erlangen mochte( Schließende Statistik).
Okonometrie (SS 2019) Folie 11
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Eindimensionale Zufallsvariablen II
Unterteilung von Zufallsvariablen X (abhangig von Werteverteilung) inmehrere Typen
Diskrete Zufallsvariablen X :I Konnen nur endlich viele oder abzahlbar unendlich viele verschiedene Werte
annehmen.I Werteverteilung kann durch eine Wahrscheinlichkeitsfunktion pX spezifiziert
werden, die jeder reellen Zahl die Wahrscheinlichkeit des Auftretens zuordnet.
Stetige Zufallsvariablen X :I Konnen uberabzahlbar viele Werte (in einem Kontinuum reeller Zahlen)
annehmen.I Werteverteilung kann durch eine Dichtefunktion fX spezifiziert werden, mit
deren Hilfe man zum Beispiel Wahrscheinlichkeiten dafur ausrechnen kann,dass der Wert der Zufallsvariablen in einem bestimmten Intervall liegt.
I Einzelne reelle Zahlen (alle!) werden mit Wahrscheinlichkeit 0 angenommen!
Außerdem existieren (hier nicht betrachtete) Misch-/Sonderformen.
Okonometrie (SS 2019) Folie 12
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Eindimensionale Zufallsvariablen III
Wahrscheinlichkeiten PX ∈ A = PX (A) dafur, dass eine Zufallsvariable XWerte in einer bestimmten Menge A annimmt, konnen konkreterI bei diskreten Zufallsvariablen X fur endliche oder abzahlbar unendliche
Mengen A mit Hilfe der Wahrscheinlichkeitsfunktion pX durch
PX ∈ A =∑xi∈A
pX (xi )
I bei stetigen Zufallsvariablen X fur Intervalle A = [a, b], A = (a, b), A = (a, b]oder(!) A = [a, b) (mit a < b) mit Hilfe einer(!) zugehorigen Dichtefunktion fX
durch
PX ∈ A =
∫ b
a
fX (x)dx
berechnet werden.
Werteverteilungen von Zufallsvariablen sind bereits eindeutig durch alleWahrscheinlichkeiten der Form PX ≤ x := PX ∈ (−∞, x ] fur x ∈ Rfestgelegt.
Die zugehorige Funktion FX : R→ R; FX (x) = PX ≤ x heißtVerteilungsfunktion von X .
Okonometrie (SS 2019) Folie 13
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Momente eindimensionaler Zufallsvariablen I
Lage- und Streuungsmaßen von Merkmalen (aus deskriptiver Statistik)entsprechen Momente von Zufallsvariablen.
Momente von Zufallsvariablen sind also Kennzahlen, die die Werteverteilungauf einzelne Zahlenwerte verdichten. (Diese Kennzahlen mussen nichtexistieren, Existenzfragen hier aber vollkommen ausgeklammert!)
Kennzahl fur die Lage der (Werte-)Verteilung einer Zufallsvariablen X :Erwartungswert bzw. auch Mittelwert µX := E(X )I Berechnung bei diskreter Zufallsvariablen X durch:
E(X ) =∑
xi∈T (X )
xi · pX (xi )
(wobei T (X ) := x ∈ R | pX (xi ) > 0 den Trager von X bezeichnet).I Berechnung bei stetiger Zufallsvariablen X durch:
E(X ) =
∫ ∞−∞
x · fX (x)dx
Okonometrie (SS 2019) Folie 14
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Momente eindimensionaler Zufallsvariablen II
Kennzahl fur die Streuung der (Werte-)Verteilung einer Zufallsvariablen X :Varianz σ2
X := Var(X ) von X und deren (positive) Wurzel σX = +√
Var(X ),die sog. Standardabweichung von X , mit
Var(X ) = E[(X − E(X ))2
]!
= E(X 2)− [E(X )]2
I Berechnung von E(X 2) fur diskrete Zufallsvariable X durch:
E(X 2) =∑
xi∈T (X )
x2i · pX (xi )
I Berechnung von E(X 2) bei stetiger Zufallsvariablen X durch:
E(X 2) =
∫ ∞−∞
x2 · fX (x)dx
Okonometrie (SS 2019) Folie 15
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Momente eindimensionaler Zufallsvariablen III
Fur eine Zufallsvariable X und reelle Zahlen a, b gilt:I E(aX + b) = a E(X ) + bI Var(aX + b) = a2 Var(X )
Allgemeiner gilt (”Linearitat des Erwartungswerts“) fur eine
(eindimensionale) Zufallsvariable X , reelle Zahlen a, b und (messbare)Abbildungen G : R→ R und H : R→ R:
E(aG (X ) + bH(X )) = a E(G (X )) + b E(H(X ))
Ist X eine Zufallsvariable mit Erwartungswert µX = E(X ) undStandardabweichung σX =
√Var(X ), so erhalt man mit
Z :=X − E(X )√
Var(X )=
X − µX
σX
eine neue Zufallsvariable mit E(Z ) = 0 und Var(Z ) = 1.Man nennt Z dann eine standardisierte Zufallsvariable.
Okonometrie (SS 2019) Folie 16
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Momente eindimensionaler Zufallsvariablen IV
Weiteres Lagemaß fur Zufallsvariablen: p-Quantile
Fur p ∈ (0, 1) ist xp ein p-Quantil der Zufallsvariablen X , wenn gilt:
PX ≤ xp ≥ p und PX ≥ xp ≥ 1− p
Quantile sind nicht immer eindeutig bestimmt, fur stetige Zufallsvariablen mitstreng monoton wachsender Verteilungsfunktion lassen sich Quantile abereindeutig durch Losung der Gleichung
FX (xp) = p
bzw. unter Verwendung der Umkehrfunktion F−1X der Verteilungsfunktion FX
(auch Quantilsfunktion genannt) direkt durch
xp = F−1X (p)
bestimmen.
Okonometrie (SS 2019) Folie 17
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Spezielle parametrische Verteilungsfamilien
Parametrische Verteilungsfamilien fassen ahnliche Verteilungen zusammen.
Genaue Verteilung innerhalb dieser Familien wird durch einen oder wenige(reelle) Parameter (bzw. einen ein- oder mehrdimensionalenParametervektor) eineindeutig festgelegt, alsoI legt der Parameter(vektor) die Verteilung vollstandig fest undI gehoren zu verschiedenen Parameter(vektore)n auch jeweils unterschiedliche
Verteilungen (”Identifizierbarkeit“).
Die Menge der zulassigen Parameter(vektoren) heißt Parameterraum.
Im Folgenden: Exemplarische Wiederholung je zweier diskreter und stetigerVerteilungsfamilien.
Okonometrie (SS 2019) Folie 18
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Bernoulli-/Alternativverteilung
Verwendung:I Modellierung eines Zufallsexperiments (Ω,F ,P), in dem nur das Eintreten
bzw. Nichteintreten eines einzigen Ereignisses A von Interesse ist.I Eintreten des Ereignisses A wird oft als
”Erfolg“ interpretiert, Nichteintreten
(bzw. Eintreten von A) als”Misserfolg“.
I Zufallsvariable soll im Erfolgsfall Wert 1 annehmen, im Misserfolgsfall Wert 0,es sei also
X (ω) :=
1 falls ω ∈ A
0 falls ω ∈ A
I Beispiel: Werfen eines fairen Wurfels, Ereignis A:”6 gewurfelt“ mit P(A) = 1
6.
Verteilung von X hangt damit nur von”Erfolgswahrscheinlichkeit“ p := P(A)
ab; p ist also einziger Parameter der Verteilungsfamilie.
Um triviale Falle auszuschließen, betrachtet man nur Ereignisse mit p ∈ (0, 1)
Der Trager der Verteilung ist dann T (X ) = 0, 1, diePunktwahrscheinlichkeiten sind pX (0) = 1− p und pX (1) = p.
Symbolschreibweise fur Bernoulli-Verteilung mit Parameter p: B(1, p)
Ist X also Bernoulli-verteilt mit Parameter p, so schreibt man X ∼ B(1, p).
Okonometrie (SS 2019) Folie 19
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Bernoulli-/Alternativverteilung Parameter:B(1, p) p ∈ (0, 1)
Trager: T (X ) = 0, 1Wahrscheinlichkeitsfunktion:
pX (x) =
1− p fur x = 0p fur x = 10 sonst −1.0 −0.5 0.0 0.5 1.0 1.5 2.0
0.0
0.2
0.4
0.6
0.8
pX
x
p X(x
)
p = 0.4
Verteilungsfunktion:
FX (x) =
0 fur x < 01− p fur 0 ≤ x < 1
1 fur x ≥ 1 −1.0 −0.5 0.0 0.5 1.0 1.5 2.0
0.0
0.2
0.4
0.6
0.8
1.0
FX
xF
X(x
)
p = 0.4
Momente: E (X ) = p Var(X ) = p · (1− p)
γ(X ) = 1−2p√p(1−p)
κ(X ) = 1−3p(1−p)p(1−p)
Okonometrie (SS 2019) Folie 20
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Binomialverteilung
Verallgemeinerung der Bernoulli-VerteilungVerwendung:I Modellierung der unabhangigen, wiederholten Durchfuhrung eines
Zufallsexperiments, in dem nur die Haufigkeit des Eintretens bzw.Nichteintretens eines Ereignisses A interessiert (
”Bernoulli-Experiment“).
I Eintreten des Ereignisses A wird auch hier oft als”Erfolg“ interpretiert,
Nichteintreten (bzw. Eintreten von A) als”Misserfolg“.
I Zufallsvariable X soll die Anzahl der Erfolge bei einer vorgegebenen Anzahlvon n Wiederholungen des Experiments zahlen.
I Nimmt Xi fur i ∈ 1, . . . , n im Erfolgsfall (fur Durchfuhrung i) den Wert 1an, im Misserfolgsfall den Wert 0, dann gilt also X =
∑ni=1 Xi .
I Beispiel: 5-faches Werfen eines fairen Wurfels, Anzahl der Zahlen kleiner 3. n = 5, p = 1/3.
Verteilung von X hangt damit nur von”Erfolgswahrscheinlichkeit“ p := P(A)
sowie der Anzahl der Durchfuhrungen n des Experiments ab.Um triviale Falle auszuschließen, betrachtet man nur die Falle n ∈ N undp ∈ (0, 1). Trager der Verteilung ist dann T (X ) = 0, 1, . . . , n.Symbolschreibweise fur Binomialverteilung mit Parameter n und p: B(n, p)Ubereinstimmung mit Bernoulli-Verteilung (mit Parameter p) fur n = 1.
Okonometrie (SS 2019) Folie 21
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Binomialverteilung Parameter:B(n, p) n ∈ N, p ∈ (0, 1)
Trager: T (X ) = 0, 1, . . . , nWahrscheinlichkeitsfunktion: pX (x)
=
(
n
x
)px (1− p)n−x fur x ∈ T (X )
0 sonst −1 0 1 2 3 4 5 6
0.0
0.1
0.2
0.3
0.4
0.5
pX
x
p X(x
)
n = 5, p = 0.4
Verteilungsfunktion:
FX (x) =∑
xi∈T (X )xi≤x
pX (xi )
−1 0 1 2 3 4 5 6
0.0
0.2
0.4
0.6
0.8
1.0
FX
xF
X(x
)
n = 5, p = 0.4
Momente: E (X ) = n · p Var(X ) = n · p · (1− p)
γ(X ) = 1−2p√np(1−p)
κ(X ) = 1+(3n−6)p(1−p)np(1−p)
Okonometrie (SS 2019) Folie 22
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Stetige Gleichverteilung
Einfachste stetige Verteilungsfamilie:Stetige Gleichverteilung auf Intervall [a, b]
Modellierung einer stetigen Verteilung, in der alle Realisationen in einemIntervall [a, b] als
”gleichwahrscheinlich“ angenommen werden.
Verteilung hangt von den beiden Parametern a, b ∈ R mit a < b ab.
Dichtefunktion fX einer gleichverteilten Zufallsvariablen X kann auf Intervall[a, b] konstant zu 1
b−a gewahlt werden.
Trager der Verteilung: T (X ) = [a, b]
Symbolschreibweise fur stetige Gleichverteilung auf [a, b]: X ∼ Unif(a, b)
Okonometrie (SS 2019) Folie 23
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Stetige Gleichverteilung Parameter:Unif(a, b) a, b ∈ R mit a < b
Trager: T (X ) = [a, b]Dichtefunktion: fX : R→ R;
fX (x) =
1
b−a fur a ≤ x ≤ b
0 sonst0 1 2 3 4
0.0
0.2
0.4
0.6
fX
x
f X(x
)
a = 1, b = 3
Verteilungsfunktion: FX : R→ R;
FX (x) =
0 fur x < a
x−ab−a fur a ≤ x ≤ b
1 fur x > b0 1 2 3 4
0.0
0.2
0.4
0.6
0.8
1.0
FX
xF
X(x
)
a = 1, b = 3
Momente: E (X ) = a+b2 Var(X ) = (b−a)2
12
γ(X ) = 0 κ(X ) = 95
Okonometrie (SS 2019) Folie 24
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Normalverteilung
Verteilung entsteht als Grenzverteilung bei Durchschnittsbildung vieler(unabhangiger) Zufallsvariablen (spater mehr!) Einsatz fur Naherungen
Familie der Normalverteilungen hat Lageparameter µ ∈ R, der mitErwartungswert ubereinstimmt, und Streuungsparameter σ2 > 0, der mitVarianz ubereinstimmt, Standardabweichung ist dann σ := +
√σ2.
Verteilungsfunktion von Normalverteilungen schwierig zu handhaben,Berechnung muss i.d.R. mit Software/Tabellen erfolgen.
Wichtige Eigenschaft der Normalverteilungsfamilie:Ist X normalverteilt mit Parameter µ = 0 und σ2 = 1, dann ist
aX + b fur a, b ∈ R normalverteilt mit Parameter µ = b und σ2 = a2.
Zuruckfuhrung allgemeiner Normalverteilungen auf den Fall derStandardnormalverteilung (Gauß-Verteilung) mit Parameter µ = 0 undσ2 = 1, Tabellen/Algorithmen fur Standardnormalverteilung damit einsetzbar.
Dichtefunktion der Standardnormalverteilung: ϕ, Verteilungsfunktion: Φ.
Trager aller Normalverteilungen ist T (X ) = R.
Symbolschreibweise fur Normalverteilung mit Parameter µ, σ2: X ∼ N(µ, σ2)
Okonometrie (SS 2019) Folie 25
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Normalverteilung Parameter:N(µ, σ2) µ ∈ R, σ2 > 0
Trager: T (X ) = RDichtefunktion: fX : R→ R;
fX (x) =1√2πσ
e−(x−µ)2
2σ2 =1
σϕ
(x − µσ
)0 5 10
0.00
0.05
0.10
0.15
0.20
fX
x
f X(x
)
µ = 5, σ2 = 4
Verteilungsfunktion:
FX : R→ R; FX (x) = Φ
(x − µσ
)0 5 10
0.0
0.2
0.4
0.6
0.8
1.0
FX
xF
X(x
)
µ = 5, σ2 = 4
Momente: E (X ) = µ Var(X ) = σ2
γ(X ) = 0 κ(X ) = 3
Okonometrie (SS 2019) Folie 26
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Arbeiten mit Normalverteilungen
Problem (nicht nur) bei normalverteilten Zufallsvariablen X ∼ N(µ, σ2):Verteilungsfunktion FX und Quantilsfunktion F−1
X schlecht handhabbar bzw.nicht leicht auszuwerten!
Traditionelle Losung: Tabellierung der entsprechenden Funktionswerte
Losung nicht mehr zeitgemaß: (kostenlose) PC-Software fur alle benotigtenVerteilungsfunktionen verfugbar, zum Beispiel Statistik-Software R(http://www.r-project.org)
Aber: In Klausur keine PCs verfugbar, daher dort Ruckgriff auf (dort zurVerfugung gestellte) Tabellen.
Wegen der Symmetrie der Standardnormalverteilung um 0 gilt nicht nurϕ(x) = ϕ(−x) fur alle x ∈ R, sondern auch
Φ(x) = 1− Φ(−x) fur alle x ∈ R .
Daher werden Tabellen fur Φ(x) in der Regel nur fur x ∈ R+ erstellt.
Okonometrie (SS 2019) Folie 27
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Ausschnitt aus Tabelle fur Φ(x)
0.00 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.090.0 0.5000 0.5040 0.5080 0.5120 0.5160 0.5199 0.5239 0.5279 0.5319 0.53590.1 0.5398 0.5438 0.5478 0.5517 0.5557 0.5596 0.5636 0.5675 0.5714 0.57530.2 0.5793 0.5832 0.5871 0.5910 0.5948 0.5987 0.6026 0.6064 0.6103 0.61410.3 0.6179 0.6217 0.6255 0.6293 0.6331 0.6368 0.6406 0.6443 0.6480 0.65170.4 0.6554 0.6591 0.6628 0.6664 0.6700 0.6736 0.6772 0.6808 0.6844 0.6879
0.5 0.6915 0.6950 0.6985 0.7019 0.7054 0.7088 0.7123 0.7157 0.7190 0.72240.6 0.7257 0.7291 0.7324 0.7357 0.7389 0.7422 0.7454 0.7486 0.7517 0.75490.7 0.7580 0.7611 0.7642 0.7673 0.7704 0.7734 0.7764 0.7794 0.7823 0.78520.8 0.7881 0.7910 0.7939 0.7967 0.7995 0.8023 0.8051 0.8078 0.8106 0.81330.9 0.8159 0.8186 0.8212 0.8238 0.8264 0.8289 0.8315 0.8340 0.8365 0.8389
1.0 0.8413 0.8438 0.8461 0.8485 0.8508 0.8531 0.8554 0.8577 0.8599 0.86211.1 0.8643 0.8665 0.8686 0.8708 0.8729 0.8749 0.8770 0.8790 0.8810 0.88301.2 0.8849 0.8869 0.8888 0.8907 0.8925 0.8944 0.8962 0.8980 0.8997 0.90151.3 0.9032 0.9049 0.9066 0.9082 0.9099 0.9115 0.9131 0.9147 0.9162 0.91771.4 0.9192 0.9207 0.9222 0.9236 0.9251 0.9265 0.9279 0.9292 0.9306 0.9319
1.5 0.9332 0.9345 0.9357 0.9370 0.9382 0.9394 0.9406 0.9418 0.9429 0.94411.6 0.9452 0.9463 0.9474 0.9484 0.9495 0.9505 0.9515 0.9525 0.9535 0.95451.7 0.9554 0.9564 0.9573 0.9582 0.9591 0.9599 0.9608 0.9616 0.9625 0.96331.8 0.9641 0.9649 0.9656 0.9664 0.9671 0.9678 0.9686 0.9693 0.9699 0.97061.9 0.9713 0.9719 0.9726 0.9732 0.9738 0.9744 0.9750 0.9756 0.9761 0.9767
2.0 0.9772 0.9778 0.9783 0.9788 0.9793 0.9798 0.9803 0.9808 0.9812 0.98172.1 0.9821 0.9826 0.9830 0.9834 0.9838 0.9842 0.9846 0.9850 0.9854 0.98572.2 0.9861 0.9864 0.9868 0.9871 0.9875 0.9878 0.9881 0.9884 0.9887 0.98902.3 0.9893 0.9896 0.9898 0.9901 0.9904 0.9906 0.9909 0.9911 0.9913 0.99162.4 0.9918 0.9920 0.9922 0.9925 0.9927 0.9929 0.9931 0.9932 0.9934 0.9936
Okonometrie (SS 2019) Folie 28
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Arbeiten mit Normalverteilungstabelle
Frage: Mit welcher Wahrscheinlichkeit nimmt eine N(100, 82)-verteilteZufallsvariable Werte kleiner als 90 an? (Wie groß ist die schraffierte Flache?)
70 80 90 100 110 120 130
0.00
0.02
0.04
x
f N(1
00, 8
2 )(x)
µ = 100, σ2 = 82
Antwort: Ist X ∼ N(100, 82), so gilt:
PX < 90 = FN(100,82)(90) = Φ
(90− 100
8
)= Φ(−1.25) = 1− Φ(1.25) = 1− 0.8944 = 0.1056
Die gesuchte Wahrscheinlichkeit ist 0.1056 = 10.56%.Okonometrie (SS 2019) Folie 29
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Frage: Welchen Wert x uberschreitet eine N(100, 82)-verteilte Zufallsvariablenur mit 2.5% Wahrscheinlichkeit? (Welche linke Grenze x fuhrt bei derschraffierten Flache zu einem Flacheninhalt von 0.025?)
70 80 90 100 110 120 130
0.00
0.02
0.04
f N(1
00, 8
2 )(x) 2.5%
<− | −>?
µ = 100, σ2 = 82
Antwort: Ist X ∼ N(100, 82), so ist das 97.5%- bzw. 0.975-Quantil von Xgesucht. Mit
FX (x) = FN(100,82)(x) = Φ
(x − 100
8
)und der Abkurzung Np fur das p-Quantil der N(0, 1)-Verteilung erhalt man
Φ
(x − 100
8
)!
= 0.975 ⇔ x − 100
8= Φ−1(0.975) = N0.975 = 1.96
⇒ x = 8 · 1.96 + 100 = 115.68
Okonometrie (SS 2019) Folie 30
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Arbeiten mit Statistik-Software R
Beantwortung der Fragen (noch) einfacher mit Statistik-Software R:
Frage: Mit welcher Wahrscheinlichkeit nimmt eine N(100, 82)-verteilteZufallsvariable Werte kleiner als 90 an?
Antwort:
> pnorm(90,mean=100,sd=8)
[1] 0.1056498
Frage: Welchen Wert x uberschreitet eine N(100, 82)-verteilte Zufallsvariablenur mit 2.5% Wahrscheinlichkeit?
Antwort:
> qnorm(0.975,mean=100,sd=8)
[1] 115.6797
Okonometrie (SS 2019) Folie 31
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Mehrdimensionale Zufallsvariablen/Zufallsvektoren I
Simultane Betrachtung mehrerer (endlich vieler) Zufallsvariablen zurUntersuchung von Abhangigkeiten moglich (und fur die Okonometrie spatererforderlich!)
Ist n ∈ N die Anzahl der betrachteten Zufallsvariablen, so fasst man die nZufallsvariablen X1, . . . ,Xn auch in einem n-dimensionalen VektorX = (X1, . . . ,Xn)′ zusammen und befasst sich dann mit der gemeinsamenVerteilung von X .
Die meisten bekannten Konzepte eindimensionaler Zufallsvariablen sind leichtubertragbar, nur technisch etwas anspruchsvoller.
Zwei Spezialfalle: Diskrete Zufallsvektoren und stetige Zufallsvektoren
Okonometrie (SS 2019) Folie 32
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Mehrdimensionale Zufallsvariablen/Zufallsvektoren II
Die gemeinsame Verteilung eines diskreten Zufallsvektors kann durch eine(mehrdimensionale) gemeinsame Wahrscheinlichkeitsfunktion pX : Rn → Rmit pX(x) := PX = x fur x ∈ Rn festgelegt werden.
Wahrscheinlichkeiten PX ∈ A dafur, dass X Werte in der Menge Aannimmt, konnen dann wiederum durch Aufsummieren derPunktwahrscheinlichkeiten aller Tragerpunkte xi mit xi ∈ A berechnetwerden:
PX ∈ A =∑
xi∈A∩T (X)
pX(xi )
Die gemeinsame Verteilung eines stetigen Zufallsvektors kann durchAngabe einer gemeinsamen Dichtefunktion fX : Rn → R spezifiziertwerden, mit deren Hilfe sich Wahrscheinlichkeiten von Quadern im Rn (uberMehrfachintegrale) ausrechnen lassen:
PX(A) =
∫ b1
a1
· · ·∫ bn
an
fX(t1, . . . , tn)dtn · · · dt1
fur A = (a1, b1]× · · · × (an, bn] ⊂ Rn mit a1 ≤ b1, . . . , an ≤ bn
Okonometrie (SS 2019) Folie 33
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Mehrdimensionale Zufallsvariablen/Zufallsvektoren III
Die Verteilungen der einzelnen Zufallsvariablen X1, . . . ,Xn einesn-dimensionalen Zufallsvektors nennt man auch Randverteilungen.
Bei diskreten Zufallsvektoren sind auch die einzelnen ZufallsvariablenX1, . . . ,Xn diskret, die zugehorigen WahrscheinlichkeitsfunktionenpX1 , . . . , pXn nennt man dann auch Randwahrscheinlichkeitsfunktionen.
Bei stetigen Zufallsvektoren sind auch die einzelnen ZufallsvariablenX1, . . . ,Xn stetig, zugehorige Dichtefunktionen fX1 , . . . , fXn nennt man dannauch Randdichte(funktione)n.
Randwahrscheinlichkeits- bzw. Randdichtefunktionen konnen durch(Mehrfach)summen bzw. (Mehrfach)integrale aus der gemeinsamenWahrscheinlichkeits- bzw. Dichtefunktion gewonnen werden (siehe FolienWahrscheinlichkeitsrechnung).
Okonometrie (SS 2019) Folie 34
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Unabhangigkeit von Zufallsvariablen, Abhangigkeitmaße I
Diskrete bzw. stetige Zufallsvektoren heißen (stochastisch) unabhangig,wenn man ihre gemeinsame Wahrscheinlichkeits- bzw. Dichtefunktion alsProdukt der jeweiligen Randwahrscheinlichkeits- bzw. Randdichtefunktionen
pX(x) =n∏
i=1
pXi (xi ) = pX1 (x1) · . . . · pXn (xn)
bzw.
fX(x) =n∏
i=1
fXi (xi ) = fX1 (x1) · . . . · fXn (xn)
fur alle x = (x1, . . . , xn) ∈ Rn gewinnen kann.(Im stetigen Fall: siehe Folien WR fur
”exakte“ bzw.
”korrekte“ Formulierung!)
Okonometrie (SS 2019) Folie 35
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Unabhangigkeit von Zufallsvariablen, Abhangigkeitmaße II
Bei fehlender Unabhangigkeit: Betrachtung bedingter Verteilungen und(paarweise) linearer Abhangigkeiten interessant!
Bedingte Verteilungen:Was weiß man uber die Verteilung einer Zufallsvariablen (konkreter), wennman die Realisation (einer oder mehrerer) anderer Zufallsvariablen bereitskennt?
Lineare Abhangigkeiten:Treten besonders große Realisation einer Zufallsvariablen haufig imZusammenhang mit besondere großen (oder besonders kleinen) Realisationeneiner anderen Zufallsvariablen auf (mit einem entsprechenden Zusammenhangfur besonders kleine Realisationen der ersten Zufallsvariablen);lasst sich dieser Zusammenhang gut durch eine Gerade beschreiben?
Okonometrie (SS 2019) Folie 36
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Unabhangigkeit von Zufallsvariablen, Abhangigkeitmaße III
Zur einfacheren Darstellung: Bezeichnung X bzw. Y statt Xi und Xj fur zweiZufallsvariablen (aus einem Zufallsvektor).
Maß fur lineare Abhangigkeit zweier Zufallsvariablen X und Y : Kovarianz
σXY := Cov(X ,Y ) := E [(X − E(X )) · (Y − E(Y ))]!
= E(X ·Y )−E(X ) ·E(Y )
(Zur Berechnung von E(X · Y ) siehe Folien WR!)
Rechenregeln fur Kovarianzen (X ,Y ,Z Zufallsvariablen aus Zufallsvektor,a, b ∈ R):
1 Cov(aX , bY ) = ab Cov(X ,Y )2 Cov(X + a,Y + b) = Cov(X ,Y )
(Translationsinvarianz)3 Cov(X ,Y ) = Cov(Y ,X )
(Symmetrie)4 Cov(X + Z ,Y ) = Cov(X ,Y ) + Cov(Z ,Y )5 Cov(X ,X ) = Var(X )6 X , Y stochastisch unabhangig ⇒ Cov(X ,Y ) = 0
Okonometrie (SS 2019) Folie 37
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Unabhangigkeit von Zufallsvariablen, Abhangigkeitmaße IV
”Nachteil“ der Kovarianz:
Erreichbare Werte hangen nicht nur von Starke der linearen Abhangigkeit,sondern (wie z.B. aus Rechenregel 1 von Folie 37 ersichtlich) auch von derStreuung von X bzw. Y ab.
Wie in deskriptiver Statistik: Alternatives Abhangigkeitsmaß mit normiertem
”Wertebereich“, welches invariant gegenuber Skalierung von X bzw. Y ist.
Hierzu Standardisierung der Kovarianz uber Division durchStandardabweichungen von X und Y (falls σX > 0 und σY > 0!).
Man erhalt so den Pearsonschen Korrelationskoeffizienten:
ρXY := Korr(X ,Y ) :=σXY
σX · σY=
Cov(X ,Y )
+√
Var(X ) · Var(Y )
Okonometrie (SS 2019) Folie 38
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Unabhangigkeit von Zufallsvariablen, Abhangigkeitmaße V
Rechenregeln: Sind X und Y Zufallsvariablen aus einem Zufallsvektor mitσX > 0, σY > 0 und a, b ∈ R, so gilt:
1 Korr(aX , bY ) =
Korr(X ,Y ) falls a · b > 0
−Korr(X ,Y ) falls a · b < 02 Korr(X + a,Y + b) = Korr(X ,Y )
(Translationsinvarianz)3 Korr(X ,Y ) = Korr(Y ,X )
(Symmetrie)4 −1 ≤ Korr(X ,Y ) ≤ 15 Korr(X ,X ) = 1
6Korr(X ,Y ) = 1Korr(X ,Y ) = −1
genau dann, wenn Y = aX + b mit
a > 0a < 0
7 X , Y stochastisch unabhangig ⇒ Korr(X ,Y ) = 0
Zufallsvariablen X , Y mit Cov(X ,Y ) = 0 (!) heißen unkorreliert.
Okonometrie (SS 2019) Folie 39
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Zweidimensionale Normalverteilung I
Wichtige mehrdimensionale stetige Verteilung: mehrdimensionale(multivariate) Normalverteilung
Spezifikation am Beispiel der zweidimensionalen (bivariaten)Normalverteilung durch Angabe einer Dichtefunktion
fX ,Y (x , y) = 1
2πσXσY
√1−ρ2
e
− 1
2(1−ρ2)
[(x−µXσX
)2−2ρ
(x−µXσX
)(y−µYσY
)+(
y−µYσY
)2]
abhangig von den Parametern µX , µY ∈ R, σX , σY > 0, ρ ∈ (−1, 1).
Man kann zeigen, dass die Randverteilungen von (X ,Y ) dann wieder(eindimensionale) Normalverteilungen sind, genauer gilt X ∼ N(µX , σ
2X ) und
Y ∼ N(µY , σ2Y )
Außerdem kann der Zusammenhang Korr(X ,Y ) = ρ gezeigt werden.
Okonometrie (SS 2019) Folie 40
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Zweidimensionale Normalverteilung II
Sind fX bzw. fY die wie auf Folie 26 definierten Dichtefunktionen zurN(µX , σ
2X )- bzw. N(µY , σ
2Y )-Verteilung, so gilt (genau) im Fall ρ = 0
fX ,Y (x , y) = fX (x) · fY (y) fur alle x , y ∈ R ,
also sind X und Y (genau) fur ρ = 0 stochastisch unabhangig.
Auch fur ρ 6= 0 sind die bedingten Verteilungen von X |Y = y und Y |X = xwieder Normalverteilungen, es gilt genauer:
X |Y = y ∼ N
(µX +
ρσX
σY(y − µY ), σ2
X (1− ρ2)
)bzw.
Y |X = x ∼ N
(µY +
ρσY
σX(x − µX ), σ2
Y (1− ρ2)
)
Okonometrie (SS 2019) Folie 41
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Zweidimensionale Normalverteilung III
x
−4
−2
02
46y
0
2
4
6
f(x,y)
0.02
0.04
0.06
Dichtefunktion der mehrdimensionalen Normalverteilung
µX = 1, µY = 3, σX2 = 4, σY
2 = 2, ρ = 0.5
Okonometrie (SS 2019) Folie 42
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Zweidimensionale Normalverteilung IV
Isohöhenlinien der mehrdimensionalen Normalverteilungsdichte
µX = 1, µY = 3, σX2 = 4, σY
2 = 2, ρ = 0.5x
y
0.005
0.01
0.015
0.02
0.025
0.03
0.035
0.04
0.045
0.05
0.055
0.06
−4 −2 0 2 4 6
02
46
Okonometrie (SS 2019) Folie 43
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Zweidimensionale Normalverteilung V
x
−3
−2
−10
12
3
y−3
−2
−1
0
1
23
f(x,y)
0.05
0.10
0.15
Dichtefunktion der mehrdimensionalen Normalverteilung
µX = 0, µY = 0, σX2 = 1, σY
2 = 1, ρ = 0
Okonometrie (SS 2019) Folie 44
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Zweidimensionale Normalverteilung VI
Isohöhenlinien der mehrdimensionalen Normalverteilungsdichte
µX = 0, µY = 0, σX2 = 1, σY
2 = 1, ρ = 0x
y
0.02
0.04
0.06
0.08
0.1
0.12
0.14
−3 −2 −1 0 1 2 3
−3
−2
−1
01
23
Okonometrie (SS 2019) Folie 45
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Zweidimensionale Normalverteilung VII
x
4
6
810
1214
16
y4
6
8
10
12
1416
f(x,y)
0.00
0.05
0.10
Dichtefunktion der mehrdimensionalen Normalverteilung
µX = 10, µY = 10, σX2 = 4, σY
2 = 4, ρ = −0.95
Okonometrie (SS 2019) Folie 46
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Beispiel: Zweidimensionale Normalverteilung VIII
Isohöhenlinien der mehrdimensionalen Normalverteilungsdichte
µX = 10, µY = 10, σX2 = 4, σY
2 = 4, ρ = −0.95x
y
0.01
0.02
0.03
0.04
0.05
0.06
0.07
0.08
0.09
0.1
0.11
0.12
4 6 8 10 12 14 16
46
810
1214
16
Okonometrie (SS 2019) Folie 47
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Momente von Summen von Zufallsvariablen I
Sind X und Y zwei Zufallsvariablen aus einem Zufallsvektor und a, b, c ∈ R,so gilt:
E(a · X + b · Y + c) = a · E(X ) + b · E(Y ) + c
und
Var(aX + bY + c) = a2 Var(X ) + 2ab Cov(X ,Y ) + b2 Var(Y )
Dies kann fur mehr als zwei Zufallsvariablen X1, . . . ,Xn eines Zufallsvektorsweiter verallgemeinert werden!
Okonometrie (SS 2019) Folie 48
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Momente von Summen von Zufallsvariablen II
Fur einen n-dimensionalen Zufallsvektor X = (X1, . . . ,Xn)′ heißt dern-dimensionale Vektor
E(X) := [E(X1), . . . ,E(Xn)]′
Erwartungswertvektor von X und die n × n-Matrix
V(X) := E[(X− E(X)) · (X− E(X))′
]:=
E[(X1 − E(X1)) · (X1 − E(X1))] · · · E[(X1 − E(X1)) · (Xn − E(Xn))]...
. . ....
E[(Xn − E(Xn)) · (X1 − E(X1))] · · · E[(Xn − E(Xn)) · (Xn − E(Xn))]
=
Var(X1) Cov(X1,X2) · · · Cov(X1,Xn−1) Cov(X1,Xn)
Cov(X2,X1) Var(X2) · · · Cov(X2,Xn−1) Cov(X2,Xn)...
.... . .
......
Cov(Xn−1,X1) Cov(Xn−1,X2) · · · Var(Xn−1) Cov(Xn−1,Xn)Cov(Xn,X1) Cov(Xn,X2) · · · Cov(Xn,Xn−1) Var(Xn)
(Varianz-)Kovarianzmatrix von X.
Okonometrie (SS 2019) Folie 49
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Momente von Summen von Zufallsvariablen III
In Verallgemeinerung von Folie 48 erhalt man fur eine gewichtete Summe
n∑i=1
wi · Xi = w1 · X1 + · · ·+ wn · Xn (w = (w1, . . . ,wn)′ ∈ Rn)
den Erwartungswert E
(n∑
i=1
wi · Xi
)=
n∑i=1
wi · E(Xi ) = w′ E(X)
die Varianz
Var
(n∑
i=1
wi · Xi
)=
n∑i=1
n∑j=1
wi · wj · Cov(Xi ,Xj )
=n∑
i=1
w 2i · Var(Xi ) + 2
n−1∑i=1
n∑j=i+1
wi · wj · Cov(Xi ,Xj )
= w′ V(X)w
Okonometrie (SS 2019) Folie 50
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Summen unabhangig identisch verteilter Zufallsvariablen I
Sind fur n ∈ N die Zufallsvariablen X1, . . . ,Xn eines n-dimensionalenZufallsvektors stochastisch unabhangig (damit unkorreliert!) und identischverteilt (
”u.i.v.“ oder
”i.i.d.“) mit E(Xi ) ≡ µX und Var(Xi ) ≡ σ2
X , dann giltfur die Summe Yn :=
∑ni=1 Xi also
E(Yn) = n · µX sowie Var(Yn) = n · σ2X
und man erhalt durch
Zn :=Yn − nµX
σX√
n=
(1n
∑ni=1 Xi
)− µX
σX
√n
standardisierte Zufallsvariablen (mit E(Zn) = 0 und Var(Zn) = 1).
Zentraler Grenzwertsatz:Verteilung von Zn konvergiert fur n→∞ gegen eine N(0, 1)-Verteilung(Standardnormalverteilung).
Gilt sogar Xiiid∼ N(µX , σ
2X ), so gilt (exakt!) Zn ∼ N(0, 1) fur alle n ∈ N.
Okonometrie (SS 2019) Folie 51
2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2
Summen unabhangig identisch verteilter Zufallsvariablen II
Anwendung des zentralen Grenzwertsatzes z.B. dadurch, dass mannaherungsweise (auch falls Xi nicht normalverteilt ist) furhinreichend großes n ∈ N
I die N(nµX , nσ2X )-Verteilung fur Yn :=
n∑i=1
Xi oder
I die Standardnormalverteilung fur Zn :=Yn − nµX
σX√
n=
(1n
∑ni=1 Xi
)− µX
σX
√n
verwendet.
Leicht zu merken:
Man verwendet naherungsweise die Normalverteilung mit
”passendem“ Erwartungswert und
”passender“ Varianz!
Okonometrie (SS 2019) Folie 52
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Inhaltsverzeichnis(Ausschnitt)
2 Wiederholung statistischer GrundlagenDeskriptive StatistikWahrscheinlichkeitsrechnungSchließende Statistik
Okonometrie (SS 2019) Folie 53
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Grundidee der schließenden Statistik
Ziel der schließenden Statistik/induktiven Statistik:
Ziehen von Ruckschlussen auf dieVerteilung einer (großeren) Grundgesamtheit auf Grundlage der
Beobachtung einer (kleineren) Stichprobe.
Ruckschlusse auf die Verteilung konnen sich auch beschranken auf spezielleEigenschaften/Kennzahlen der Verteilung, z.B. den Erwartungswert.
”Fundament“: Drei Grundannahmen
1 Der interessierende Umweltausschnitt kann durch eine (ein- odermehrdimensionale) Zufallsvariable Y beschrieben werden.
2 Man kann eine Menge W von Wahrscheinlichkeitsverteilungen angeben, zu derdie unbekannte wahre Verteilung von Y gehort.
3 Man beobachtet Realisationen x1, . . . , xn von (Stichproben-)ZufallsvariablenX1, . . . ,Xn, deren gemeinsame Verteilung in vollstandig bekannter Weise vonder Verteilung von Y abhangt.
Ziel ist es also, aus der Beobachtung der n Werte x1, . . . , xn mit Hilfe desbekannten Zusammenhangs zwischen den Verteilungen von X1, . . . ,Xn und YAussagen uber die Verteilung von Y zu treffen.
Okonometrie (SS 2019) Folie 54
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
”Veranschaulichung“ der schließenden Statistik
Zufallsvariable YZufallsvariablen
X1, …, Xn
Realisationenx1, …, xn
Grundgesamtheit Ziehungsverfahren Stichprobe
induziert
Verteilung von
(konkrete) Ziehung/
Auswahl der Stichprobe
führt zu
Rückschluss auf
Verteilung/Kenngrößen
Okonometrie (SS 2019) Folie 55
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Bemerkungen zu den 3 Grundannahmen
Die 1. Grundannahme umfasst insbesondere die Situation, in der dieZufallsvariable Y einem numerischen Merkmal auf einer endlichen Menge vonMerkmalstragern entspricht, wenn man mit der Zufallsvariable Y dasFeststellen des Merkmalswerts eines rein zufallig (gleichwahrscheinlich)ausgewahlten Merkmalstragers beschreibt.In diesem Fall interessiert man sich haufig fur bestimmte Kennzahlen von Y ,z.B. den Erwartungswert von Y , der dann mit dem arithmetischen Mittelaller Merkmalswerte ubereinstimmt.
Die Menge W von Verteilungen aus der 2. Grundannahme ist haufig eineparametrische Verteilungsfamilie, zum Beispiel die Menge allerNormalverteilungen mit Varianz σ2 = 22.
Wir beschranken uns auf sehr einfache Zusammenhange zwischen derVerteilung der interessierenden Zufallsvariablen Y und der Verteilung derZufallsvariablen X1, . . . ,Xn.
Okonometrie (SS 2019) Folie 56
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Einfache (Zufalls-)Stichprobe
”Einfachster“ Zusammenhang zwischen X1, . . . ,Xn und Y :I Alle Zufallsvariablen X1, . . . ,Xn haben dieselbe Verteilung wie Y .I Die Zufallsvariablen X1, . . . ,Xn sind stochastisch unabhangig.
Zufallsvariablen X1, . . . ,Xn mit diesen beiden Eigenschaften nennt man eineeinfache (Zufalls-)Stichprobe vom Umfang n zu Y .
Eine Stichprobenrealisation x1, . . . , xn einer solchen einfachen Stichprobevom Umfang n erhalt man z.B., wennI Y das Werfen eines bestimmten Wurfels beschreibt und x1, . . . , xn die
erhaltenen Punktzahlen sind, wenn man den Wurfel n Mal geworfen hat.I Y das Feststellen des Merkmalswerts eines rein zufallig (gleichwahrscheinlich)
ausgewahlten Merkmalstragers beschreibt und x1, . . . , xn die Merkmalswertesind, die man bei n-maliger rein zufalliger Auswahl eines Merkmalstragers alszugehorige Merkmalswerte erhalten hat, wobei die Mehrfachauswahl desselbenMerkmalstragers nicht ausgeschlossen wird.
Okonometrie (SS 2019) Folie 57
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Stichprobenfunktionen
Die Realisation x1, . . . , xn einer Stichprobe hat große Ahnlichkeit mit einerUrliste zu einem Merkmal aus der deskriptiven Statistik.
Die Information aus einer Stichprobe wird in der Regel zunachst mitsogenannten Stichprobenfunktionen weiter aggregiert; auch diese haben oft(große) Ahnlichkeit mit Funktionen, die in der deskriptiven Statistik zurAggregierung von Urlisten eingesetzt werden.
Interessant sind nicht nur die Anwendung dieser Stichprobenfunktionen aufbereits vorliegende Stichprobenrealisationen x1, . . . , xn, sondern auch auf dieStichprobenzufallsvariablen X1, . . . ,Xn selbst, was dann zu einer neuenZufallsvariablen fuhrt!
”Bekannteste“ Stichprobenfunktion:
X :=1
n
n∑i=1
Xi bzw. x :=1
n
n∑i=1
xi
Okonometrie (SS 2019) Folie 58
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Illustration: Realisationen x von X
Beispiel: Verschiedene Realisationen x von X , wenn Y die Punktzahl einesfairen Wurfels beschreibt und wiederholt Stichprobenrealisationen x1, . . . , x5
vom Umfang n = 5 (durch jeweils 5-maliges Wurfeln mit diesem Wurfel)generiert werden:
Stichprobe Nr. x1 x2 x3 x4 x5 x
1 2 3 4 6 2 3.42 6 6 4 4 1 4.23 2 2 5 3 5 3.44 3 5 6 3 5 4.45 6 2 4 1 2 36 3 1 3 6 3 3.27 3 4 3 2 5 3.48 5 5 1 5 3 3.89 5 4 5 4 4 4.4...
......
......
......
...
Okonometrie (SS 2019) Folie 59
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Visualisierung Verteilung X / Zentraler Grenzwertsatzim
”Wurfelbeispiel“ mit einfachen Stichproben vom Umfang n
0.00
0.05
0.10
0.15
0.20
n=1
xi
p X(x
i)
1 2 3 4 5 6
0.00
0.05
0.10
0.15
n=2
xi
p X(x
i)
1 2 3 4 5 6
0.00
0.02
0.04
0.06
0.08
0.10
0.12
0.14
n=3
xi
p X(x
i)
1 2 3 4 5 6
0.00
0.02
0.04
0.06
0.08
0.10
0.12
n=4
xi
p X(x
i)
1 1.75 2.75 3.75 4.75 5.75
0.00
0.02
0.04
0.06
0.08
0.10
n=5
xi
p X(x
i)
1 1.8 2.6 3.4 4.2 5 5.8
0.00
0.02
0.04
0.06
0.08
n=6
xi
p X(x
i)
1 2 3 4 5 6
Okonometrie (SS 2019) Folie 60
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Bemerkungen
Fur Augenzahl Y eines fairen Wurfels gilt: E(Y ) = 3.5.
Realisationen x aus Realisationen einer einfachen Stichprobe vom Umfang nzu Y schwanken offensichtlich um den Erwartungswert von Y .
Genauer kann leicht gezeigt werden (vgl. Ubungsaufgabe!), dass (generell!)E(X ) = E(Y ) gilt.
Je großer der Stichprobenumfang n ist, desto naher liegen tendenziell dieRealisationen von x am Erwartungswert.
Genauer kann leicht gezeigt werden (vgl. Ubungsaufgabe!), dass (generell!)
σX =σY√
ngilt und sich somit die Standardabweichung von X halbiert, wenn
n vervierfacht wird.
Offensichtlich wird die Naherung der Werteverteilung von X durch eineNormalverteilung ( Zentraler Grenzwertsatz) immer besser, je großer derStichprobenumfang n ist.
Okonometrie (SS 2019) Folie 61
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
(Punkt-)Schatzfunktionen
Mit den beschriebenen Eigenschaften scheint X sehr gut geeignet, um aufGrundlage einer Stichprobenrealisation Aussagen uber den Erwartungswertvon Y zu machen (wenn dieser – anders als im Beispiel – unbekannt ist).
Unbekannt ware der Erwartungswert zum Beispiel auch beim Wurfelngewesen, wenn man nicht gewusst hatte, ob der Wurfel fair ist!
X bzw. x konnen so unmittelbar zur Schatzung von µY := E(Y ) oder pbzw. µ verwendet werden; in diesem Zusammenhang nennt man X dann(Punkt-)Schatzfunktion oder (Punkt-)Schatzer, x die zugehorigeRealisation oder den Schatzwert.
Wegen der Zusammenhange zwischen Erwartungswert undVerteilungsparameter (vgl. Folien 20 bzw. 26) konnen so auch Aussagen uberden Parameter p der Alternativ- bzw. den Parameter µ der Normalverteilunggewonnen werden. X wird dann auch Parameter(punkt)schatzer genannt.
Okonometrie (SS 2019) Folie 62
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
(Qualitats-)Eigenschaften von Schatzfunktionen I
Im Beispiel offensichtlich: Wer schatzt, macht Fehler!
Zur Untersuchung der Qualitat von Punktschatzfunktionen:
Untersuchung der Verteilung (!) des Schatzfehlers
Zur Vereinheitlichung der Schreibweise:”Bezeichnung“
I θ fur die SchatzfunktionI θ fur die zu schatzende Große
Schatzfehler damit also: θ − θOffensichtlich wunschenswert: Verteilung des Schatzfehlers nahe bei Null
Gangige Konkretisierung von”nahe bei Null“: Erwartete quadratische
Abweichung (Englisch: Mean Square Error, MSE)
MSE(θ) := E
[(θ − θ
)2]
soll moglichst klein sein.
Okonometrie (SS 2019) Folie 63
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
(Qualitats-)Eigenschaften von Schatzfunktionen II
Man kann leicht zeigen:
MSE(θ) = E[(θ − θ)2
]= Var(θ − θ)︸ ︷︷ ︸
=Var(θ)
+[ E(θ − θ)︸ ︷︷ ︸=:Bias(θ)
]2
Mit Bias(θ) = E(θ − θ) = E(θ)− θ wird also die systematische Abweichung(Abweichung im Mittel, Verzerrung) eines Schatzers von der zu schatzendenGroße bezeichnet.
Gibt es keine solche systematische Abweichung (gilt also Bias(θ) = 0 fur alle
denkbaren Werte von θ), so nennt man θ erwartungstreu fur θ.√Var(θ) wird auch Standardfehler oder Stichprobenfehler von θ genannt.
Bei Schatzung von E(Y ) mit X gilt:
MSE(X ) = E[(X − E(Y ))2
] E(X )=E(Y )= Var(X ) = σ2
X=σ2
Y
n
Okonometrie (SS 2019) Folie 64
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
(Qualitats-)Eigenschaften von Schatzfunktionen III
Naheliegende”Mindestanforderung“: Mit wachsendem Stichprobenumfang n
sollte der MSE einer vernunftigen Schatzfunktion gegen Null gehen.
Schatzfunktionen θ fur θ, die diese Forderung erfullen, heißen konsistent imquadratischen Mittel oder MSE-konsistent fur θ.
Wegen MSE(X ) =σ2
Y
n ist X offensichtlich MSE-konsistent fur E(Y ).
Mit der Zerlegung (vgl. Folie 64)
MSE(θ) = Var(θ) + [Bias(θ)]2
ist θ also genau dann konsistent im quadratischen Mittel fur θ, wenn jeweilsfur alle denkbaren Werte von θ sowohl
1 die Varianz von θ gegen Null geht als auch2 der Bias von θ gegen Null geht
(diese Eigenschaft heißt auch asymptotische Erwartungstreue).
Okonometrie (SS 2019) Folie 65
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
(Qualitats-)Eigenschaften von Schatzfunktionen IV
Beim Vergleich mehrerer Schatzfunktionen ist es gangig, die Schatzfunktionvorzuziehen, die den
”kleineren“ MSE hat.
Damit zieht man bei erwartungstreuen Schatzfunktionen die mit”geringerer“
Varianz vor.
Wichtig hierbei ist, dass man”universelle“ Vergleiche zu ziehen hat, also nicht
nur spezielle Situationen (also spezielle θ) betrachtet. Bei erwartungstreuen
Schatzfunktionen θ und θ heißt1 θ mindestens so wirksam wie θ, wenn Var(θ) ≤ Var(θ) fur alle denkbaren
Werte von θ gilt, und2 θ wirksamer als θ, wenn daruberhinaus Var(θ) < Var(θ) fur mindestens einen
denkbaren Wert von θ gilt.
Eine Schatzfunktion, die in einer vorgegebenen Menge von Schatzfunktionenmindestens so wirksam ist wie alle anderen Schatzfunktionen, heißt effizientin dieser Menge von Schatzfunktionen.
Okonometrie (SS 2019) Folie 66
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Schatzung von Var(Y )
Naheliegender Ansatz zur Schatzung der Varianz σ2Y = Var(Y ) aus einer
einfachen Stichprobe X1, . . . ,Xn vom Umfang n zu Y : Verwendung derempirischen Varianz
1
n
n∑i=1
(Xi − X )2 bzw.1
n
n∑i=1
(xi − x)2
Man kann allerdings zeigen, dass diese Schatzfunktion nicht erwartungstreufur die Varianz von Y ist!
Bei dieser Rechnung wird allerdings klar, dass man mit der leichtenAnpassung
S2 :=1
n − 1
n∑i=1
(Xi − X )2 bzw. s2 :=1
n − 1
n∑i=1
(xi − x)2
eine erwartungstreue Schatzfunktion fur σ2Y erhalt.
Okonometrie (SS 2019) Folie 67
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Intervallschatzung von µY := E(Y )
(Realisation der) Punktschatzfunktion X fur µY beinhaltet (zunachst) keineInformation uber die Qualitat der Schatzung (bzw. uber den zu erwartendenSchatzfehler).
Bisher: Varianz σ2X
:= Var(X ) (hier gleich mit MSE!) bzw. Standardfehler
σX =√
Var(X ) zur Quantifizierung der Schatzunsicherheit verwendet.
Weitergehender Ansatz:Nicht nur Momente von X (hier: Varianz), sondern komplette Verteilungberucksichtigen!
Erinnerung: X entsteht als (durch n dividierte) Summe unabhangigidentisch verteilter Zufallsvariablen. X ist N
(µY ,
σ2Yn
)-verteilt, falls Xi (bzw. Y ) normalverteilt
(Wahrscheinlichkeitsrechnung!).
X kann naherungsweise als N(µY ,
σ2Yn
)-verteilt angesehen, falls Xi (bzw. Y )
nicht normalverteilt (Zentraler Grenzwertsatz!).
Okonometrie (SS 2019) Folie 68
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Die Qualitat der Naherung durch eine Normalverteilung wird mitzunehmendem Stichprobenumfang großer, hangt aber ganz entscheidendvon der Verteilung von Y ab!
Pauschale Kriterien an den Stichprobenumfang n (”Daumenregeln“, z.B.
n ≥ 30) finden sich haufig in der Literatur, sind aber nicht ganz unkritisch.
Verteilungseigenschaft X ∼ N(µ, σ
2
n
)bzw. X
•∼ N(µ, σ
2
n
)wird meistens
(aquivalent!) in der (auch aus dem zentralen Grenzwertsatz bekannten)Gestalt
X − µσ
√n ∼ N(0, 1) bzw.
X − µσ
√n•∼ N(0, 1)
verwendet, da dann Verwendung von Tabellen zur Standardnormalverteilungmoglich.
Okonometrie (SS 2019) Folie 69
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Naherung fur X−µσ
√n, falls Y ∼ Unif(20, 50)
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=2
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=4
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=7
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=12
Okonometrie (SS 2019) Folie 70
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Naherung fur X−µσ
√n, falls Y ∼ Exp(2)
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=3
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=10
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=30
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=250
Okonometrie (SS 2019) Folie 71
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Naherung fur X−µσ
√n, falls Y ∼ B(1, 0.5)
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=3
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=10
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=30
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=250
Okonometrie (SS 2019) Folie 72
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Naherung fur X−µσ
√n, falls Y ∼ B(1, 0.05)
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=3
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=10
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=30
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)n=250
Okonometrie (SS 2019) Folie 73
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Schwankungsintervalle fur X I
Kennt man die Verteilung von X (oder eine geeignete Naherung), kann manbeispielsweise Intervalle angeben, in denen die Realisationen von X (ggf.naherungsweise) mit einer vorgegebenen Wahrscheinlichkeit liegen.
Sucht man zum Beispiel ein Intervall, aus welchem die Realisationen einerZufallsvariablen nur mit einer Wahrscheinlichkeit von 0 < α < 1 herausfallen,bietet sichI die Verwendung des α
2-Quantils, welches nur mit Wahrscheinlichkeit α
2
unterschritten wird, als untere Grenze sowieI die Verwendung des 1− α
2-Quantils, welches nur mit Wahrscheinlichkeit α
2
uberschritten wird, als obere Grenze
an (vgl. Ubungsaufgabe).
Okonometrie (SS 2019) Folie 74
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Schwankungsintervalle fur X II
Fur N(µ, σ2)-verteilte Zufallsvariablen lasst sich in Abhangigkeit des α2 - bzw.(
1− α2
)-Quantils Nα
2bzw. N1−α2 der N(0, 1)-Verteilung
I das α2
-Quantil durch µ+ σ · Nα2
undI das
(1− α
2
)-Quantil durch µ+ σ · N1−α
2
berechnen (vgl. auch Folien 26 und 30).
Unter Verwendung der Symmetrieeigenschaft
Nα = −N1−α bzw. hier Nα2
= −N1−α2
fur Quantile der Standardnormalverteilung erhalt man so die Darstellung[µ− σ · N1−α2 , µ+ σ · N1−α2
]eines um den Erwartungswert µ symmetrischen Intervalls, in dem dieRealisationen der Zufallsvariablen mit Wahrscheinlichkeit 1− α liegen bzw.mit Wahrscheinlichkeit α nicht enthalten sind.
Okonometrie (SS 2019) Folie 75
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Schwankungsintervalle fur X III
Ist X1, . . . ,Xn eine einfache Stichprobe zum Umfang n zu Y , und sindµY = E(Y ) der Erwartungswert und σY =
√Var(Y ) die Standardabweichung
von Y , so erhalt man also unter Verwendung von X ∼ N(µY ,
σ2Y
n
)(exakt
oder naherungsweise!) fur vorgegebenes 0 < α < 1
P
X ∈
[µY −
σY√n· N1−α2 , µY +
σY√n· N1−α2
]= 1− α
und damit das (symmetrische) (1− α)-Schwankungsintervall[µY −
σY√n· N1−α2 , µY +
σY√n· N1−α2
]von X .
Okonometrie (SS 2019) Folie 76
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Schwankungsintervall
Aufgabenstellung:I Es gelte Y ∼ N(50, 102).I Zu Y liege eine einfache Stichprobe X1, . . . ,X25 der Lange n = 25 vor.I Gesucht ist ein 1− α = 0.95-Schwankungsintervall fur X .
Losung:I Es gilt also µY = 50, σ2
Y = 102, n = 25 und α = 0.05.I Zur Berechnung des Schwankungsintervalls[
µY −σY√
n· N1−α
2, µY +
σY√n· N1−α
2
]benotigt man also nur noch das 1− α
2= 0.975-Quantil N0.975 der
Standardnormalverteilung. Dies erhalt man mit geeigneter Software (oder ausgeeigneten Tabellen) als N0.975 = 1.96.
I Insgesamt erhalt man also das Schwankungsintervall[50− 10√
25· 1.96, 50 +
10√25· 1.96
]= [46.08, 53.92] .
I Eine Stichprobenziehung fuhrt also mit einer Wahrscheinlichkeit von 95% zueiner Realisation x von X im Intervall [46.08, 53.92].
Okonometrie (SS 2019) Folie 77
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Schwankungsintervall (Grafische Darstellung)Im Beispiel: X ∼ N
(50, 102
25
), α = 0.05
0.00
0.05
0.10
0.15
0.20
f X(x
)
α 2 = 0.025 1 − α = 0.95 α 2 = 0.025
X
µY −σY
nN1−α
2µY µY +
σY
nN1−α
2
Okonometrie (SS 2019) Folie 78
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Konfidenzintervalle fur den Erwartungswert Ibei bekannter Varianz σ2
In der Praxis interessanter als Schwankungsintervalle fur X :Intervallschatzungen fur unbekannte Erwartungswerte µ := µY = E(Y ).
Zunachst: Annahme, dass die Varianz von σ2 := σ2Y = Var(Y ) (und damit
auch Var(X )) bekannt ist.
Fur 0 < α < 1 kann die Wahrscheinlichkeitsaussage
P
X ∈
[µ− σ√
n· N1−α2 , µ+
σ√n· N1−α2
]= 1− α
umgestellt werden zu einer Wahrscheinlichkeitsaussage der Form
P
µ ∈
[X − σ√
n· N1−α2 ,X +
σ√n· N1−α2
]= 1− α .
Dies liefert sogenannte Konfidenzintervalle[X − σ√
n· N1−α2 ,X +
σ√n· N1−α2
]fur µ zur Vertrauenswahrscheinlichkeit bzw. zum Konfidenzniveau 1−α.
Okonometrie (SS 2019) Folie 79
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Konfidenzintervalle fur den Erwartungswert IIbei bekannter Varianz σ2
In der resultierenden Wahrscheinlichkeitsaussage
P
µ ∈
[X − σ√
n· N1−α2 ,X +
σ√n· N1−α2
]= 1− α .
sind die Intervallgrenzen
X − σ√n· N1−α2 und X +
σ√n· N1−α2
des Konfidenzintervalls zufallig (nicht etwa µ!).
Ziehung einer Stichprobenrealisation liefert also Realisationen derIntervallgrenzen und damit ein konkretes Konfidenzintervall, welches denwahren (unbekannten) Erwartungswert µ entweder uberdeckt oder nicht.
Die Wahrscheinlichkeitsaussage fur Konfidenzintervalle zum Konfidenzniveau1− α ist also so zu verstehen, dass man bei der Ziehung der Stichprobe miteiner Wahrscheinlichkeit von 1− α ein Stichprobenergebnis erhalt, welches zueinem realisierten Konfidenzintervall fuhrt, das den wahren Erwartungswertuberdeckt.
Okonometrie (SS 2019) Folie 80
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Konfidenzintervall bei bekannter Varianz σ2
Die Zufallsvariable Y sei normalverteilt mit unbekanntem Erwartungswertund bekannter Varianz σ2 = 22.
Gesucht: Konfidenzintervall fur µ zum Konfidenzniveau 1− α = 0.99.
Als Realisation x1, . . . , x16 einer einfachen Stichprobe X1, . . . ,X16 vomUmfang n = 16 zu Y liefere die Stichprobenziehung
18.75, 20.37, 18.33, 23.19, 20.66, 18.36, 20.97, 21.48, 21.15, 19.39, 23.02,20.78, 18.76, 15.57, 22.25, 19.91 ,
was zur Realisation x = 20.184 von X fuhrt.
Als Realisation des Konfidenzintervalls fur µ zum Konfidenzniveau1− α = 0.99 erhalt man damit insgesamt[
x − σ√n· N1−α2 , x +
σ√n· N1−α2
]=
[20.184− 2√
16· 2.576, 20.184 +
2√16· 2.576
]= [18.896, 21.472] .
Okonometrie (SS 2019) Folie 81
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Verteilung von X bei unbekanntem σ2
Wie kann man vorgehen, falls die Varianz σ2 von Y unbekannt ist?
Naheliegender Ansatz: Ersetzen von σ2 durch eine geeignete Schatzfunktion.
Erwartungstreue Schatzfunktion fur σ2 bereits bekannt:
S2 =1
n − 1
n∑i=1
(Xi − X )2
Ersetzen von σ durch S =√
S2 moglich, Verteilung andert sich aber:
Satz 2.1
Seien Y ∼ N(µ, σ2), X1, . . . ,Xn eine einfache Stichprobe zu Y . Dann gilt mit
S :=√
S2 =√
1n−1
∑ni=1(Xi − X )2
X − µS
√n ∼ t(n − 1) ,
wobei t(n − 1) die t-Verteilung mit n − 1 Freiheitsgraden bezeichnet.
Okonometrie (SS 2019) Folie 82
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Die Familie der t(n)-Verteilungen
Die Familie der t(n)-Verteilungen mit n > 0 ist eine spezielle Familie stetigerVerteilungen. Der Parameter n wird meist
”Anzahl der Freiheitsgrade“
(”degrees of freedom“) genannt.
t-Verteilungen werden (vor allem in englischsprachiger Literatur) oft auch als
”Student’s t distribution“ bezeichnet;
”Student“ war das Pseudonym, unter
dem William Gosset die erste Arbeit zur t-Verteilung in englischer Spracheveroffentlichte.
t(n)-Verteilungen sind fur alle n > 0 symmetrisch um 0. Entsprechend gilt furp-Quantile der t(n)-Verteilung, die wir im Folgendem mit tn;p abkurzen,analog zu Standardnormalverteilungsquantilen
tn;p = −tn;1−p bzw. tn;1−p = −tn;p
fur alle p ∈ (0, 1)
Fur wachsendes n nahert sich die t(n)-Verteilung derStandardnormalverteilung an.
Okonometrie (SS 2019) Folie 83
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Grafische Darstellung einiger t(n)-Verteilungenfur n ∈ 2, 5, 10, 25, 100
−4 −2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
f(x)
N(0,1)t(2)t(5)t(10)t(25)t(100)
Okonometrie (SS 2019) Folie 84
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Konfidenzintervalle fur den Erwartungswert Ibei unbekannter Varianz σ2
Konstruktion von Konfidenzintervallen fur µ bei unbekannter Varianzσ2 = Var(Y ) ganz analog zur Situation mit bekannter Varianz, lediglich
1 Ersetzen von σ durch S =√
S2 =√
1n−1
∑ni=1(Xi − X )2
2 Ersetzen von N1−α2
durch tn−1;1−α2
erforderlich.
Resultierendes Konfidenzintervall fur µ zur Vertrauenswahrscheinlichkeitbzw. zum Konfidenzniveau 1− α:[
X − S√n· tn−1;1−α2 ,X +
S√n· tn−1;1−α2
]
Okonometrie (SS 2019) Folie 85
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Konfidenzintervalle fur den Erwartungswert IIbei unbekannter Varianz σ2
Benotigte Quantile tn−1;1−α2 konnen ahnlich wie bei derStandardnormalverteilung z.B. mit der Statistik-Software R ausgerechnetwerden oder aus geeigneten Tabellen abgelesen werden.
Mit R erhalt man z.B. t15;0.975 durch
> qt(0.975,15)
[1] 2.13145
Mit zunehmendem n werden die Quantile der t(n)-Verteilungen betragsmaßigkleiner und nahern sich den Quantilen der Standardnormalverteilung an.
Ist Y und sind damit die Xi nicht normalverteilt, erlaubt der zentraleGrenzwertsatz dennoch die naherungsweise Verwendung einer
t(n − 1)-Verteilung fur X−µS
√n und damit auch die Berechnung von
(approximativen) Konfidenzintervallen.
Okonometrie (SS 2019) Folie 86
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Quantile der t-Verteilungen: tn;pn\p 0.85 0.90 0.95 0.975 0.99 0.995 0.9995
1 1.963 3.078 6.314 12.706 31.821 63.657 636.6192 1.386 1.886 2.920 4.303 6.965 9.925 31.5993 1.250 1.638 2.353 3.182 4.541 5.841 12.9244 1.190 1.533 2.132 2.776 3.747 4.604 8.6105 1.156 1.476 2.015 2.571 3.365 4.032 6.869
6 1.134 1.440 1.943 2.447 3.143 3.707 5.9597 1.119 1.415 1.895 2.365 2.998 3.499 5.4088 1.108 1.397 1.860 2.306 2.896 3.355 5.0419 1.100 1.383 1.833 2.262 2.821 3.250 4.781
10 1.093 1.372 1.812 2.228 2.764 3.169 4.587
11 1.088 1.363 1.796 2.201 2.718 3.106 4.43712 1.083 1.356 1.782 2.179 2.681 3.055 4.31813 1.079 1.350 1.771 2.160 2.650 3.012 4.22114 1.076 1.345 1.761 2.145 2.624 2.977 4.14015 1.074 1.341 1.753 2.131 2.602 2.947 4.073
20 1.064 1.325 1.725 2.086 2.528 2.845 3.85025 1.058 1.316 1.708 2.060 2.485 2.787 3.72530 1.055 1.310 1.697 2.042 2.457 2.750 3.64640 1.050 1.303 1.684 2.021 2.423 2.704 3.55150 1.047 1.299 1.676 2.009 2.403 2.678 3.496
100 1.042 1.290 1.660 1.984 2.364 2.626 3.390200 1.039 1.286 1.653 1.972 2.345 2.601 3.340500 1.038 1.283 1.648 1.965 2.334 2.586 3.310
1000 1.037 1.282 1.646 1.962 2.330 2.581 3.3005000 1.037 1.282 1.645 1.960 2.327 2.577 3.292
Okonometrie (SS 2019) Folie 87
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Konfidenzintervall bei unbekanntem σ2
Die Zufallsvariable Y sei normalverteilt mit unbekanntem Erwartungswertund unbekannter Varianz.
Gesucht: Konfidenzintervall fur µ zum Konfidenzniveau 1− α = 0.95.
Als Realisation x1, . . . , x9 einer einfachen Stichprobe X1, . . . ,X9 vom Umfangn = 9 zu Y liefere die Stichprobenziehung
28.12, 30.55, 27.49, 34.79, 30.99, 27.54, 31.46, 32.21, 31.73 ,
was zur Realisation x = 30.542 von X und zur Realisation s = 2.436 vonS =√
S2 fuhrt.
Als Realisation des Konfidenzintervalls fur µ zum Konfidenzniveau1− α = 0.95 erhalt man damit insgesamt[
x − s√n· tn−1;1−α2 , x +
s√n· tn−1;1−α2
]=
[30.542− 2.436√
9· 2.306, 30.542 +
2.436√9· 2.306
]= [28.67, 32.414] .
Okonometrie (SS 2019) Folie 88
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Hypothesentests
Bisher betrachtet:
Punkt- bzw. Intervallschatzung des unbekannten Mittelwerts
Hierzu: Verwendung der1 theoretischen Information uber Verteilung von X2 empirischen Information aus Stichprobenrealisation x von X
zur Konstruktion einerI PunktschatzungI Intervallschatzung, bei der jede Stichprobenziehung mit einer vorgegebenen
Chance ein realisiertes (Konfidenz-)Intervall liefert, welches den (wahren)Mittelwert (Erwartungswert) enthalt.
Nachste Anwendung (am Beispiel des Erwartungswerts): Hypothesentests:
Entscheidung, ob der (unbekannte!) Erwartungswert von Y in einervorgegebenen Teilmenge der denkbaren Erwartungswerte liegt
(”Nullhypothese“ H0) oder nicht (
”Gegenhypothese/Alternative“ H1).
Okonometrie (SS 2019) Folie 89
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Einfuhrendes Beispiel I
Interessierende Zufallsvariable Y :Von einer speziellen Abfullmaschine abgefullte Inhaltsmenge vonMuslipackungen mit Soll-Inhalt µ0 = 500 (in [g ]).
Verteilungsannahme:Y ∼ N(µ, 42) mit unbekanntem Erwartungswert µ = E (Y ).
Es liege eine Realisation x1, . . . , x16 einer einfachen Stichprobe X1, . . . ,X16
vom Umfang n = 16 zu Y vor.
Ziel: Verwendung der Stichprobeninformation (uber X bzw. x), um zuentscheiden, ob die tatsachliche mittlere Fullmenge (also der wahre,unbekannte Parameter µ) mit dem Soll-Inhalt µ0 = 500 ubereinstimmt(H0 : µ = µ0 = 500) oder nicht (H1 : µ 6= µ0 = 500).
Okonometrie (SS 2019) Folie 90
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Einfuhrendes Beispiel II
Offensichlich gilt:I X schwankt um den wahren Mittelwert µ; selbst wenn H0 : µ = 500 gilt, wird
X praktisch nie genau den Wert x = 500 annehmen!I Realisationen x
”in der Nahe“ von 500 sprechen eher dafur, dass H0 : µ = 500
gilt.I Realisationen x
”weit weg“ von 500 sprechen eher dagegen, dass H0 : µ = 500
gilt.
Also: Entscheidung fur Nullhypothese H0 : µ = 500, wenn x nahe bei 500,und gegen H0 : µ = 500 (also fur die Gegenhypothese H1 : µ 6= 500), wenn xweit weg von 500.
Aber: Wo ist die Grenze zwischen”in der Nahe“ und
”weit weg“? Wie kann
eine”geeignete“ Entscheidungsregel konstruiert werden?
Okonometrie (SS 2019) Folie 91
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Verteilungen von Xfur verschiedene Erwartungswerte µ bei σ = 4 und n = 16
494 496 498 500 502 504 506
0.0
0.1
0.2
0.3
0.4
x
f X(x
|µ)
µ = 500µ = 494µ = 499µ = 503
Okonometrie (SS 2019) Folie 92
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Entscheidungsproblem
Fallen einer Entscheidung zwischen H0 : µ = 500 und H1 : µ 6= 500 fuhrt zugenau einer der folgenden vier verschiedenen Situationen:
Tatsachliche Situation: Tatsachliche Situation:H0 wahr (µ = 500) H1 wahr (µ 6= 500)
Entscheidung richtige Fehlerfur H0 (µ = 500) Entscheidung 2. Art
Entscheidung Fehler richtigefur H1 (µ 6= 500) 1. Art Entscheidung
Wunschenswert:Sowohl
”Fehler 1. Art“ als auch
”Fehler 2. Art“ moglichst selten begehen.
Aber: Zielkonflikt vorhanden:Je naher Grenze zwischen
”in der Nahe“ und
”weit weg“ an µ0 = 500, desto
I seltener Fehler 2. ArtI haufiger Fehler 1. Art
und umgekehrt fur fernere Grenzen zwischen”in der Nahe“ und
”weit weg“.
Okonometrie (SS 2019) Folie 93
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel fur”nahe“ Grenze
Fur µ 6= 500 (gegen µ = 500) entscheiden, wenn Abstand zwischen x und 500 großer als 1
494 496 498 500 502 504 506
0.0
0.1
0.2
0.3
0.4
x
f X(x
|µ)
µ = 500µ = 494µ = 499µ = 503
Okonometrie (SS 2019) Folie 94
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel fur”ferne“ Grenze
Fur µ 6= 500 (gegen µ = 500) entscheiden, wenn Abstand zwischen x und 500 großer als 3
494 496 498 500 502 504 506
0.0
0.1
0.2
0.3
0.4
x
f X(x
|µ)
µ = 500µ = 494µ = 499µ = 503
Okonometrie (SS 2019) Folie 95
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Konstruktion einer Entscheidungsregel I
Unmoglich, Wahrscheinlichkeiten der Fehler 1. Art und 2. Art gleichzeitig furalle moglichen Situationen (also alle denkbaren µ) zu verringern.
Ubliche Vorgehensweise: Fehler(wahrscheinlichkeit) 1. Art kontrollieren!
Also: Vorgabe einer kleinen Schranke α (”Signifikanzniveau“) fur die
Wahrscheinlichkeit, mit der man einen Fehler 1. Art (also eine Entscheidunggegen H0, obwohl H0 wahr ist) begehen darf.
Festlegung der Grenze zwischen”in der Nahe“ und
”weit weg“ so, dass man
den Fehler 1. Art nur mit Wahrscheinlichkeit α begeht, also die Realisation xbei Gultigkeit von µ = µ0 = 500 nur mit einer Wahrscheinlichkeit von αjenseits der Grenzen liegt, bis zu denen man sich fur µ = µ0 = 500entscheidet!
Okonometrie (SS 2019) Folie 96
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Konstruktion einer Entscheidungsregel II
Gesucht ist also ein Bereich, in dem sich X bei Gultigkeit vonH0 : µ = µ0 = 500 mit einer Wahrscheinlichkeit von 1− α realisiert (unddamit nur mit Wahrscheinlichkeit α außerhalb liegt!).
Gilt tatsachlich µ = µ0, dann naturlich auch E(X ) = µ0, und man erhaltden gesuchten Bereich gerade als Schwankungsintervall (vgl. Folie 76)[
µ0 −σ√n· N1−α2 , µ0 +
σ√n· N1−α2
]mit
P
X ∈
[µ0 −
σ√n· N1−α2 , µ0 +
σ√n· N1−α2
]= 1− α .
Okonometrie (SS 2019) Folie 97
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel fur Grenze zum Signifikanzniveau α = 0.05Grenzen aus Schwankungsintervall zur Sicherheitswahrscheinlichkeit 1− α = 0.95
494 496 498 500 502 504 506
0.0
0.1
0.2
0.3
0.4
x
f X(x
|µ)
µ = 500µ = 494µ = 499µ = 503
Okonometrie (SS 2019) Folie 98
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Entscheidung im Beispiel I
Bei einem Signifikanzniveau von α = 0.05 entscheidet man sich im Beispielalso fur H0 : µ = µ0 = 500 genau dann, wenn die Realisation x von X imIntervall[
500− 4√16· N0.975, 500 +
4√16· N0.975
]= [498.04, 501.96] ,
dem sog. Annahmebereich des Hypothesentests, liegt.
Entsprechend fallt die Entscheidung fur H1 : µ 6= 500 (bzw. gegenH0 : µ = 500) aus, wenn die Realisation x von X in der Menge
(−∞, 498.04) ∪ (501.96,∞) ,
dem sog. Ablehnungsbereich oder kritischen Bereich des Hypothesentests,liegt.
Durch Angabe eines dieser Bereiche ist die Entscheidungsregel offensichtlichschon vollstandig spezifiziert!
Okonometrie (SS 2019) Folie 99
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Entscheidung im Beispiel II
Statt Entscheidungsregel auf Grundlage der Realisation x von X (unter
Verwendung der Eigenschaft X ∼ N(µ0,σ2
n ) falls µ = µ0) ublicher:
Aquivalente Entscheidungsregel auf Basis der sog. Testgroße oderTeststatistik
N :=X − µ0
σ
√n .
Bei Gultigkeit von H0 : µ = µ0 ensteht N als Standardisierung von X undist daher daher (fur µ = µ0) standardnormalverteilt:
X − µ0
σ
√n ∼ N(0, 1) falls µ = µ0
Okonometrie (SS 2019) Folie 100
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Entscheidung im Beispiel III
Man rechnet leicht nach:
X ∈[µ0 −
σ√n· N1−α2 , µ0 +
σ√n· N1−α2
]⇔ X − µ0
σ
√n ∈
[−N1−α2 ,N1−α2
]Als Annahmebereich A fur die Testgroße N = X−µ0
σ
√n erhalt man also[
−N1−α2 ,N1−α2
], als kritischen Bereich K entsprechend
K = R\A =(−∞,−N1−α2
)∪(N1−α2 ,∞
)und damit eine Formulierung der Entscheidungsregel auf Grundlage von N.
Okonometrie (SS 2019) Folie 101
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Entscheidung im Beispiel IV
Man kann ( Veranstaltung”Schließende Statistik“) die Verteilung von X
bzw. N auch in der Situation µ 6= µ0 (also bei Verletzung von H0) naheruntersuchen. Damit lassen sich dann auch (von µ abhangige!)Fehlerwahrscheinlichkeiten 2. Art berechnen.
Im Beispiel erhalt man so zu den betrachteten Szenarien (alsounterschiedlichen wahren Parametern µ):
Wahrscheinlichkeit der Wahrscheinlichkeit derAnnahme von µ = 500 Ablehnung von µ = 500
PN ∈ A PN ∈ Kµ = 500 0.95 0.05µ = 494 0 1µ = 499 0.8299 0.1701µ = 503 0.1492 0.8508
(Fettgedruckte Wahrscheinlichkeiten entsprechen korrekter Entscheidung.)
Test aus dem Beispiel heißt auch”zweiseitiger Gauß-Test fur den
Erwartungswert einer Zufallsvariablen mit bekannter Varianz“.
Okonometrie (SS 2019) Folie 102
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Zweiseitiger Gauß-Test fur den Ewartungswertbei bekannter Varianz
Anwendung
als exakter Test, falls Y normalverteilt und Var(Y ) = σ2 bekannt,
als approximativer Test, falls Y beliebig verteilt mit bekannter Varianz σ2.
”Testrezept“ des zweiseitigen Tests:
1 Hypothesen: H0 : µ = µ0 gegen H1 : µ 6= µ0 fur ein vorgegebenes µ0 ∈ R.
2 Teststatistik:
N :=X − µ0
σ
√n mit N ∼ N(0, 1) (bzw. N
•∼ N(0, 1)), falls H0 gilt (µ = µ0).
3 Kritischer Bereich zum Signifikanzniveau α:
K =(−∞,−N1−α2
)∪(N1−α2 ,∞
)4 Berechnung der realisierten Teststatistik N
5 Entscheidung: H0 ablehnen ⇔ N ∈ K .
Okonometrie (SS 2019) Folie 103
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Qualitatskontrolle (Lange von Stahlstiften)
Untersuchungsgegenstand: Weicht die mittlere Lange der von einerbestimmten Maschine produzierten Stahlstifte von der Solllange µ0 = 10 (in[cm]) ab, so dass die Produktion gestoppt werden muss?
Annahmen: Fur Lange Y der produzierten Stahlstifte gilt: Y ∼ N(µ, 0.42)
Stichprobeninformation: Realisation einer einfachen Stichprobe vom Umfangn = 64 zu Y liefert Stichprobenmittel x = 9.7.
Gewunschtes Signifikanzniveau (max. Fehlerwahrscheinlichkeit 1. Art):α = 0.05
Geeigneter Test:(Exakter) Gauß-Test fur den Mittelwert bei bekannter Varianz
1 Hypothesen: H0 : µ = µ0 = 10 gegen H1 : µ 6= µ0 = 10
2 Teststatistik: N = X−µ0
σ
√n ∼ N(0, 1), falls H0 gilt (µ = µ0)
3 Kritischer Bereich zum Niveau α = 0.05:K = (−∞,−N0.975) ∪ (N0.975,∞) = (−∞,−1.96) ∪ (1.96,∞)
4 Realisierter Wert der Teststatistik: N = 9.7−100.4
√64 = −6
5 Entscheidung: N ∈ K H0 wird abgelehnt und die Produktion gestoppt.
Okonometrie (SS 2019) Folie 104
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Einseitige Gauß-Tests fur den Ewartungswert Ibei bekannter Varianz
Neben zweiseitigem Test auch zwei einseitige Varianten:
H0 : µ ≤ µ0 gegen H1 : µ > µ0 (rechtsseitiger Test)
H0 : µ ≥ µ0 gegen H1 : µ < µ0 (linksseitiger Test)
Konstruktion der Tests beschrankt Wahrscheinlichkeit, H0 falschlicherweiseabzulehnen, auf das Signifikanzniveau α.
Entscheidung zwischen beiden Varianten daher wie folgt:
H0 : Nullhypothese ist in der Regel die Aussage, die von vornherein alsglaubwurdig gilt und die man beibehalt, wenn das Stichprobenergebnis beiGultigkeit von H0 nicht sehr untypisch bzw. uberraschend ist.
H1 : Gegenhypothese ist in der Regel die Aussage, die man statistisch absichernmochte und fur deren Akzeptanz man hohe Evidenz fordert.Die Entscheidung fur H1 hat typischerweise erhebliche Konsequenzen, so dassman das Risiko einer falschlichen Ablehnung von H0 zugunsten von H1
kontrollieren will.
Okonometrie (SS 2019) Folie 105
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Einseitige Gauß-Tests fur den Ewartungswert IIbei bekannter Varianz
Auch fur einseitige Tests fasst Teststatistik
N =X − µ0
σ
√n
die empirische Information uber den Erwartungswert µ geeignet zusammen.
Allerdings gilt nun offensichtlichI im Falle des rechtsseitigen Tests von
H0 : µ ≤ µ0 gegen H1 : µ > µ0 ,
dass große (insbesondere positive) Realisationen von N gegen H0 und fur H1
sprechen, sowieI im Falle des linksseitigen Tests von
H0 : µ ≥ µ0 gegen H1 : µ < µ0 ,
dass kleine (insbesondere negative) Realisationen von N gegen H0 und furH1 sprechen.
Okonometrie (SS 2019) Folie 106
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Rechtsseitiger Gauß-Test fur den Ewartungswert Ibei bekannter Varianz
Noch notig zur Konstruktion der Tests:Geeignetes Verfahren zur Wahl der kritischen Bereiche so, dassWahrscheinlichkeit fur Fehler 1. Art durch vorgegebenes Signifikanzniveau αbeschrankt bleibt.
Konkreter sucht man bei rechtsseitigen Tests einen Wert kα mitPN ∈ (kα,∞) ≤ α fur alle µ ≤ µ0.
Offensichtlich wird PN ∈ (kα,∞) mit wachsendem µ großer, es genugtalso, die Einhaltung der Bedingung PN ∈ (kα,∞) ≤ α fur dasgroßtmogliche µ mit der Eigenschaft µ ≤ µ0, also µ = µ0, zu gewahrleisten.
Um die Fehlerwahrscheinlichkeit 2. Art unter Einhaltung der Bedingung andie Fehlerwahrscheinlichkeit 1. Art moglichst klein zu halten, wird kα geradeso gewahlt, dass PN ∈ (kα,∞) = α fur µ = µ0 gilt.
Man rechnet leicht nach, dass kα = N1−α gelten muss, und erhalt damitinsgesamt den kritischen Bereich K = (N1−α,∞) fur den rechtsseitigen Test.
Okonometrie (SS 2019) Folie 107
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel fur Verteilungen von NRechtsseitiger Test (µ0 = 500) zum Signifikanzniveau α = 0.05
−6 −4 −2 0 2 4 6
0.0
0.1
0.2
0.3
0.4
x
f N(x
|µ)
µ = 500µ = 499µ = 502µ = 504
Okonometrie (SS 2019) Folie 108
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Rechtsseitiger Gauß-Test fur den Ewartungswert IIbei bekannter Varianz
Anwendung
als exakter Test, falls Y normalverteilt und Var(Y ) = σ2 bekannt,
als approximativer Test, falls Y beliebig verteilt mit bekannter Varianz σ2.
”Testrezept“ des rechtsseitigen Tests:
1 Hypothesen: H0 : µ ≤ µ0 gegen H1 : µ > µ0 fur ein vorgegebenes µ0 ∈ R.
2 Teststatistik:
N :=X − µ0
σ
√n mit N ∼ N(0, 1) (N
•∼ N(0, 1)), falls H0 gilt (mit µ = µ0).
3 Kritischer Bereich zum Signifikanzniveau α:
K = (N1−α,∞)
4 Berechnung der realisierten Teststatistik N
5 Entscheidung: H0 ablehnen ⇔ N ∈ K .
Okonometrie (SS 2019) Folie 109
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Linksseitiger Gauß-Test fur den Ewartungswert Ibei bekannter Varianz
Fur linksseitigen Test muss zur Konstruktion des kritischen Bereichs einkritischer Wert bestimmt werden, den die Teststatistik N im Fall derGultigkeit von H0 maximal mit einer Wahrscheinlichkeit von α unterschreitet.
Gesucht ist also ein Wert kα mit PN ∈ (−∞, kα) ≤ α fur alle µ ≥ µ0.
Offensichtlich wird PN ∈ (−∞, kα) mit fallendem µ großer, es genugtalso, die Einhaltung der Bedingung PN ∈ (−∞, kα) ≤ α fur daskleinstmogliche µ mit µ ≥ µ0, also µ = µ0, zu gewahrleisten.
Um die Fehlerwahrscheinlichkeit 2. Art unter Einhaltung der Bedingung andie Fehlerwahrscheinlichkeit 1. Art moglichst klein zu halten, wird kα geradeso gewahlt, dass PN ∈ (−∞, kα) = α fur µ = µ0 gilt.
Man rechnet leicht nach, dass kα = Nα = −N1−α gelten muss, und erhaltdamit insgesamt den kritischen Bereich K = (−∞,−N1−α) fur denlinksseitigen Test.
Okonometrie (SS 2019) Folie 110
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel fur Verteilungen von NLinksseitiger Test (µ0 = 500) zum Signifikanzniveau α = 0.05
−6 −4 −2 0 2 4 6
0.0
0.1
0.2
0.3
0.4
x
f N(x
|µ)
µ = 500µ = 496µ = 498µ = 501
Okonometrie (SS 2019) Folie 111
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Linksseitiger Gauß-Test fur den Ewartungswert IIbei bekannter Varianz
Anwendung
als exakter Test, falls Y normalverteilt und Var(Y ) = σ2 bekannt,
als approximativer Test, falls Y beliebig verteilt mit bekannter Varianz σ2.
”Testrezept“ des linksseitigen Tests:
1 Hypothesen: H0 : µ ≥ µ0 gegen H1 : µ < µ0 fur ein vorgegebenes µ0 ∈ R.
2 Teststatistik:
N :=X − µ0
σ
√n mit N ∼ N(0, 1) (N
•∼ N(0, 1)), falls H0 gilt (mit µ = µ0).
3 Kritischer Bereich zum Signifikanzniveau α:
K = (−∞,−N1−α)
4 Berechnung der realisierten Teststatistik N
5 Entscheidung: H0 ablehnen ⇔ N ∈ K .
Okonometrie (SS 2019) Folie 112
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Interpretation von Testergebnissen I
Durch die Asymmetrie in den Fehlerwahrscheinlichkeiten 1. und 2. Art istVorsicht bei der Interpretation von Testergebnissen geboten, es besteht eingroßer Unterschied zwischen dem Aussagegehalt einer Ablehnung von H0
und dem Aussagegehalt einer Annahme von H0:
Fallt die Testentscheidung gegen H0 aus, so hat man — sollte H0 tatsachlicherfullt sein — wegen der Beschrankung der Fehlerwahrscheinlichkeit 1. Artdurch das Signifikanzniveau α nur mit einer typischerweise geringenWahrscheinlichkeit ≤ α eine Stichprobenrealisation erhalten, diefalschlicherweise zur Ablehnung von H0 gefuhrt hat.
Aber: Vorsicht vor”Uber“interpretation als Evidenz fur Gultigkeit von H1:
Aussagen der Form”
Wenn H0 abgelehnt wird, dann gilt H1 mitWahrscheinlichkeit von mindestens 1− α“ sind unsinnig!
Okonometrie (SS 2019) Folie 113
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Interpretation von Testergebnissen II
Fallt die Testentscheidung jedoch fur H0 aus, so ist dies meist einvergleichsweise schwacheres
”Indiz“ fur die Gultigkeit von H0, da die
Fehlerwahrscheinlichkeit 2. Art nicht kontrolliert ist und typischerweise großeWerte (bis 1− α) annehmen kann.
Gilt also tatsachlich H1, ist es dennoch mit einer oft – meist abhangig vom
”Grad“ der Verletzung von H0 – sehr großen Wahrscheinlichkeit moglich, eine
Stichprobenrealisation zu erhalten, die falschlicherweise nicht zurAblehnung von H0 fuhrt.
Aus diesem Grund sagt man auch haufig statt”H0 wird angenommen“ eher
”H0 kann nicht verworfen werden“.
Okonometrie (SS 2019) Folie 114
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Interpretation von Testergebnissen III
Die Ablehnung von H0 als Ergebnis eines statistischen Tests wird haufig alsI signifikante Veranderung (zweiseitiger Test),I signifikante Verringerung (linksseitiger Test) oderI signifikante Erhohung (rechtsseitiger Test)
einer Große bezeichnet. Konstruktionsbedingt kann das Ergebnis einerstatistischen Untersuchung — auch im Fall einer Ablehnung von H0 — aberniemals als zweifelsfreier Beweis fur die Veranderung/Verringerung/Erhohungeiner Große dienen!
Vorsicht vor”Publication Bias“:
I Bei einem Signifikanzniveau von α = 0.05 resultiert im Mittel 1 von 20statistischen Untersuchungen, bei denen H0 wahr ist, konstruktionsbedingt ineiner Ablehnung von H0.
I Gefahr von Fehlinterpretationen, wenn die Untersuchungen, bei denen H0 nichtverworfen wurde, verschwiegen bzw. nicht publiziert werden!
Okonometrie (SS 2019) Folie 115
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Interpretation von Testergebnissen IV
Ein”signifikanter“ Unterschied ist noch lange kein
”deutlicher“ Unterschied!
Problem:”Fluch des großen Stichprobenumfangs“
Beispiel: Abfullmaschine soll Flaschen mit 1000 ml Inhalt abfullen.I Abfullmenge schwankt zufallig, Verteilung sei Normalverteilung mit bekannter
Standardabweichung σ = 0.5 ml, d.h. in ca. 95% der Falle liegt Abfullmengeim Bereich ±1 ml um den (tatsachlichen) Mittelwert.
I Statistischer Test zum Niveau α = 0.05 zur Uberprufung, ob mittlereAbfullmenge (Erwartungswert) von 1000 ml abweicht.
Tatsachlicher Mittelwert sei 1000.1 ml, Test auf Grundlage von 500 Flaschen.
Wahrscheinlichkeit, die Abweichung von 0.1 ml zu erkennen: 99.4%
Systematische Abweichung der Abfullmenge von 0.1 ml also zwar mit hoherWahrscheinlichkeit (99.4%) signifikant, im Vergleich zur (ohnehinvorhandenen) zufalligen Schwankung mit σ = 0.5 ml aber keinesfalls deutlich!
Fazit:”Durch wissenschaftliche Studien belegte signifikante Verbesserungen“
konnen vernachlassigbar klein sein ( Werbung...)
Okonometrie (SS 2019) Folie 116
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Der p-Wert
Hypothesentests”komprimieren“ Stichprobeninformation zur Entscheidung
zwischen H0 und H1 zu einem vorgegebenen Signifikanzniveau α.
Testentscheidung hangt von α ausschließlich uber kritischen Bereich Kα ab!
Genauere Betrachtung (Gauß-Test fur den Erwartungswert) offenbart:I Je kleiner α, desto kleiner (im Sinne von
”⊂“) der kritische Bereich.
I Zu jeder realisierten Teststatistik N findet man sowohlF
”große“ Signifikanzniveaus, deren zugehorige kritische Bereiche
N enthalten ( Ablehnung von H0), als auchF
”kleine“ Signifikanzniveaus, deren zugehorige kritische Bereiche
N nicht enthalten ( Annahme von H0).
Es gibt also zu jeder realisierten Teststatistik N ein sogenanntesempirisches (marginales) Signifikanzniveau, haufiger p-Wert genannt,welches die Grenze zwischen Annahme und Ablehnung von H0 widerspiegelt.
Okonometrie (SS 2019) Folie 117
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
p-Wert bei Gauß-Testsfur den Erwartungswert bei bekannter Varianz
Der Wechsel zwischen”N ∈ Kα“ und
”N /∈ Kα“ findet bei den diskutierten
Gauß-Tests offensichtlich dort statt, wo die realisierte Teststatistik N gerademit (einer) der Grenze(n) des kritischen Bereichs ubereinstimmt, d.h.I bei rechtsseitigen Tests mit Kα = (N1−α,∞) fur N = N1−α,I bei linksseitigen Tests mit Kα = (−∞,−N1−α) fur N = −N1−α,I bei zweiseitigen Tests mit Kα = (−∞,−N1−α
2) ∪ (N1−α
2,∞) fur
N =
−N1−α
2falls N < 0
N1−α2
falls N ≥ 0.
Durch Auflosen nach α erhalt manI fur rechtsseitige Tests den p-Wert 1− Φ(N),I fur linksseitige Tests den p-Wert Φ(N),I fur zweiseitige Tests den p-Wert
2 · Φ(N) = 2 · (1− Φ(−N)) falls N < 02 · (1− Φ(N)) falls N ≥ 0
= 2 · (1− Φ(|N|)) .
Okonometrie (SS 2019) Folie 118
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: p-Werte bei rechtsseitigem Gauß-Test (Grafik)Realisierte Teststatistik N = 1.6, p-Wert: 0.0548
0.0
0.1
0.2
0.3
0.4
x
f N(0
, 1)(x
)
N0.85N = 1.6 N0.99
1 − p = 0.9452 p = 0.0548
Okonometrie (SS 2019) Folie 119
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: p-Werte bei zweiseitigem Gauß-Test (Grafik)Realisierte Teststatistik N = −1.8, p-Wert: 0.0719
0.0
0.1
0.2
0.3
0.4
x
f N(0
, 1)(x
)
− N0.995 N = − 1.8 − N0.85 N0.85 N0.995
1 − p = 0.9281p
2= 0.03595
p
2= 0.03595
Okonometrie (SS 2019) Folie 120
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Entscheidung mit p-Wert
Offensichtlich erhalt man auf der Grundlage des p-Werts p zur beobachtetenStichprobenrealisation die einfache Entscheidungsregel
H0 ablehnen ⇔ p < α
fur Hypothesentests zum Signifikanzniveau α.Sehr niedrige p-Werte bedeuten also, dass man beim zugehorigenHypothesentest H0 auch dann ablehnen wurde, wenn man die maximaleFehlerwahrscheinlichkeit 1. Art sehr klein wahlen wurde.Kleinere p-Werte liefern also starkere Indizien fur die Gultigkeit von H1 alsgroßere, aber (wieder) Vorsicht vor Uberinterpretation: Aussagen der Art
”Der p-Wert gibt die Wahrscheinlichkeit fur die Gultigkeit von H0 an“ sind
unsinnig!
Warnung!
Bei der Entscheidung von statistischen Tests mit Hilfe des p-Werts ist esunbedingt erforderlich, das Signifikanzniveau α vor Berechnung des p-Wertsfestzulegen, um nicht der Versuchung zu erliegen, α im Nachhinein so zu wahlen,dass man die
”bevorzugte“ Testentscheidung erhalt!
Okonometrie (SS 2019) Folie 121
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Tests und Konfidenzintervalle
Enger Zusammenhang zwischen zweiseitigem Gauß-Test und (symmetrischen)Konfidenzintervallen fur den Erwartungswert bei bekannter Varianz.
Fur Konfidenzintervalle zur Vertrauenswahrscheinlichkeit 1− α gilt:
µ ∈[
X − σ√n· N1−α2 ,X +
σ√n· N1−α2
]⇔ µ− X ∈
[− σ√
n· N1−α2 ,
σ√n· N1−α2
]⇔ µ− X
σ
√n ∈
[−N1−α2 ,N1−α2
]⇔ X − µ
σ
√n ∈
[−N1−α2 ,N1−α2
]Damit ist µ also genau dann im Konfidenzintervall zurSicherheitswahrscheinlichkeit 1− α enthalten, wenn ein zweiseitigerGauß-Test zum Signifikanzniveau α die Nullhypothese H0 : µ = µ nichtverwerfen wurde.
Okonometrie (SS 2019) Folie 122
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Zusammenfassung: Gauß-Test fur den Mittelwertbei bekannter Varianz
Anwendungs- exakt: Y ∼ N(µ, σ2) mit µ ∈ R unbekannt, σ2 bekanntvoraussetzungen approximativ: E(Y ) = µ ∈ R unbekannt, Var(Y ) = σ2 bekannt
X1, . . . ,Xn einfache Stichprobe zu Y
Nullhypothese H0 : µ = µ0 H0 : µ ≤ µ0 H0 : µ ≥ µ0
Gegenhypothese H1 : µ 6= µ0 H1 : µ > µ0 H1 : µ < µ0
Teststatistik N =X − µ0
σ
√n
Verteilung (H0) N fur µ = µ0 (naherungsweise) N(0, 1)-verteilt
Benotigte Großen X =1
n
n∑i=1
Xi
Kritischer Bereich (−∞,−N1−α2
) (N1−α,∞) (−∞,−N1−α)
zum Niveau α ∪(N1−α2,∞)
p-Wert 2 · (1− Φ(|N|)) 1− Φ(N) Φ(N)
Okonometrie (SS 2019) Folie 123
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
t-Test fur den Mittel-/Erwartungswert Ibei unbekannter Varianz
Konstruktion des (exakten) Gauß-Tests fur den Mittelwert bei bekannterVarianz durch Verteilungsaussage
N :=X − µσ
√n ∼ N(0, 1) ,
falls X1, . . . ,Xn einfache Stichprobe zu normalverteilter ZV Y .
Analog zur Konstruktion von Konfidenzintervallen fur den Mittelwert beiunbekannter Varianz: Verwendung der Verteilungsaussage
t :=X − µ
S
√n ∼ t(n − 1) mit S =
√√√√ 1
n − 1
n∑i=1
(Xi − X )2 ,
falls X1, . . . ,Xn einfache Stichprobe zu normalverteilter ZV Y , um geeignetenHypothesentest fur den Mittelwert µ zu entwickeln.Test lasst sich genauso wie Gauß-Test herleiten, lediglichI Verwendung von S statt σ,I Verwendung von t(n − 1) statt N(0, 1).
Okonometrie (SS 2019) Folie 124
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
t-Test fur den Mittel-/Erwartungswert IIbei unbekannter Varianz
Beziehung zwischen symmetrischen Konfidenzintervallen und zweiseitigenTests bleibt wie beim Gauß-Test erhalten.
Wegen Symmetrie der t(n − 1)-Verteilung bleiben auch alle entsprechenden
”Vereinfachungen“ bei der Bestimmung von kritischen Bereichen undp-Werten gultig.
p-Werte konnen mit Hilfe der Verteilungsfunktion Ft(n−1) dert(n − 1)-Verteilung bestimmt werden. In der Statistik-Software R erhalt manFt(n−1)(t) beispielsweise mit dem Befehl pt(t,df=n-1).
Zur Berechnung von p-Werten fur große n: Naherung der t(n − 1)-Verteilungdurch Standardnormalverteilung moglich.
Analog zu Konfidenzintervallen:Ist Y nicht normalverteilt, kann der t-Test auf den Mittelwert beiunbekannter Varianz immer noch als approximativer (naherungsweiser) Testverwendet werden.
Okonometrie (SS 2019) Folie 125
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Zusammenfassung: t-Test fur den Mittelwertbei unbekannter Varianz
Anwendungs- exakt: Y ∼ N(µ, σ2) mit µ ∈ R, σ2 ∈ R++ unbekanntvoraussetzungen approximativ: E(Y ) = µ ∈ R,Var(Y ) = σ2 ∈ R++ unbekannt
X1, . . . ,Xn einfache Stichprobe zu Y
Nullhypothese H0 : µ = µ0 H0 : µ ≤ µ0 H0 : µ ≥ µ0
Gegenhypothese H1 : µ 6= µ0 H1 : µ > µ0 H1 : µ < µ0
Teststatistik t =X − µ0
S
√n
Verteilung (H0) t fur µ = µ0 (naherungsweise) t(n − 1)-verteilt
Benotigte Großen X =1
n
n∑i=1
Xi
S =
√√√√ 1
n − 1
n∑i=1
(Xi − X )2 =
√√√√ 1
n − 1
(n∑
i=1
X 2i − nX
2
)Kritischer Bereich (−∞,−tn−1;1−α
2) (tn−1;1−α,∞) (−∞,−tn−1;1−α)
zum Niveau α ∪(tn−1;1−α2,∞)
p-Wert 2 · (1− Ft(n−1)(|t|)) 1− Ft(n−1)(t) Ft(n−1)(t)Okonometrie (SS 2019) Folie 126
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: Durchschnittliche Wohnflache
Untersuchungsgegenstand: Hat sich die durchschnittliche Wohnflache proHaushalt in einer bestimmten Stadt gegenuber dem aus dem Jahr 1998stammenden Wert von 71.2 (in [m2]) erhoht?
Annahmen: Verteilung der Wohnflache Y im Jahr 2009 unbekannt.
Stichprobeninformation: Realisation einer einfachen Stichprobe vom Umfangn = 400 zu Y liefert Stichprobenmittel x = 73.452 undStichprobenstandardabweichung s = 24.239.
Gewunschtes Signifikanzniveau (max. Fehlerwahrscheinlichkeit 1. Art):α = 0.05
Geeigneter Test:Rechtsseitiger approx. t-Test fur den Mittelwert bei unbekannter Varianz
1 Hypothesen: H0 : µ ≤ µ0 = 71.2 gegen H1 : µ > µ0 = 71.2
2 Teststatistik: t = X−µ0
S
√n•∼ t(399), falls H0 gilt (µ = µ0)
3 Kritischer Bereich zum Niveau α = 0.05: K = (t399;0.95,∞) = (1.649,∞)4 Realisierter Wert der Teststatistik: t = 73.452−71.2
24.239
√400 = 1.858
5 Entscheidung: t ∈ K H0 wird abgelehnt; Test kommt zur Entscheidung,dass sich durchschnittliche Wohnflache gegenuber 1998 erhoht hat.
Okonometrie (SS 2019) Folie 127
2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3
Beispiel: p-Wert bei rechtsseitigem t-Test (Grafik)Wohnflachenbeispiel, realisierte Teststatistik t = 1.858, p-Wert: 0.032
0.0
0.1
0.2
0.3
0.4
x
f t(39
9)(x
)
t399, 0.8 t = 1.858 t399, 0.999
1 − p = 0.968 p = 0.032
Okonometrie (SS 2019) Folie 128
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Inhaltsverzeichnis(Ausschnitt)
3 Einfache lineare RegressionDeskriptiver AnsatzStatistisches ModellParameterschatzungKonfidenzintervalle und TestsPunkt- und IntervallprognosenEinfache lineare Modelle mit R
Okonometrie (SS 2019) Folie 129
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Deskriptive Beschreibung linearer Zusammenhange I
Aus deskriptiver Statistik bekannt: Pearsonscher Korrelationskoeffizient alsMaß der Starke des linearen Zusammenhangs zwischen zwei(kardinalskalierten) Merkmalen X und Y .
Nun: Ausfuhrlichere Betrachtung linearer Zusammenhange zwischenMerkmalen (zunachst rein deskriptiv!):Liegt ein linearer Zusammenhang zwischen zwei Merkmalen X und Y nahe,ist nicht nur die Starke dieses Zusammenhangs interessant, sondern auch diegenauere
”Form“ des Zusammenhangs.
”Form“ linearer Zusammenhange kann durch Geraden(gleichungen)
spezifiziert werden.
Okonometrie (SS 2019) Folie 130
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Deskriptive Beschreibung linearer Zusammenhange II
Problemstellung: Wie kann zu einer Urliste (x1, y1), . . . , (xn, yn) der Lange nzu (X ,Y ) eine sog. Regressiongerade (auch: Ausgleichsgerade) gefundenwerden, die den linearen Zusammenhang zwischen X und Y
”moglichst gut“
widerspiegelt?
Wichtig: Was soll”moglichst gut“ uberhaupt bedeuten?
Hier: Summe der quadrierten Abstande von der Geraden zu denDatenpunkten (xi , yi ) in vertikaler Richtung soll moglichst gering sein.(Begrundung fur Verwendung dieses
”Qualitatskriteriums“ wird nachgeliefert!)
Okonometrie (SS 2019) Folie 131
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Deskriptive Beschreibung linearer Zusammenhange III
Geraden (eindeutig) bestimmt (zum Beispiel) durch Absolutglied a undSteigung b in der bekannten Darstellung
y = fa,b(x) := a + b · x .
Fur den i-ten Datenpunkt (xi , yi ) erhalt man damit den vertikalen Abstand
ui (a, b) := yi − fa,b(xi ) = yi − (a + b · xi )
von der Geraden mit Absolutglied a und Steigung b.
Okonometrie (SS 2019) Folie 132
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Deskriptive Beschreibung linearer Zusammenhange IV
Gesucht werden a und b so, dass die Summe der quadrierten vertikalenAbstande der
”Punktwolke“ (xi , yi ) von der durch a und b festgelegten
Geraden,
n∑i=1
(ui (a, b))2 =n∑
i=1
(yi − fa,b(xi ))2 =n∑
i=1
(yi − (a + b · xi ))2 ,
moglichst klein wird.
Verwendung dieses Kriteriums heißt auch Methode der kleinsten Quadrate(KQ-Methode) oder Least-Squares-Methode (LS-Methode).
Okonometrie (SS 2019) Folie 133
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Beispiel:”Punktwolke“
aus n = 10 Paaren (xi , yi )
0 2 4 6 8
05
1015
xi
y i
Okonometrie (SS 2019) Folie 134
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Beispiel:”Punktwolke“ und verschiedene Geraden I
a = 1, b = 0.8,∑n
i=1(ui (a, b))2 = 180.32
0 2 4 6 8
05
1015
xi
y i
ui(a, b)
a = 1
b = 0.8
1
Okonometrie (SS 2019) Folie 135
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Beispiel:”Punktwolke“ und verschiedene Geraden II
a = 5, b = 0.8,∑n
i=1(ui (a, b))2 = 33.71
0 2 4 6 8
05
1015
xi
y i
ui(a, b)
a = 5
b = 0.8
1
Okonometrie (SS 2019) Folie 136
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Beispiel:”Punktwolke“ und verschiedene Geraden III
a = −1, b = 1.9,∑n
i=1(ui (a, b))2 = 33.89
0 2 4 6 8
05
1015
xi
y i
ui(a, b)
a = −1
b = 1.9
1
Okonometrie (SS 2019) Folie 137
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Rechnerische Bestimmung der Regressionsgeraden I
Gesucht sind also a, b ∈ R mitn∑
i=1
(yi − (a + bxi ))2 = mina,b∈R
n∑i=1
(yi − (a + bxi ))2
Losung dieses Optimierungsproblems durch Nullsetzen des Gradienten, also
∂∑n
i=1(yi − (a + bxi ))2
∂a= −2
n∑i=1
(yi − a− bxi )!
= 0
∂∑n
i=1(yi − (a + bxi ))2
∂b= −2
n∑i=1
(yi − a− bxi )xi!
= 0 ,
fuhrt zu sogenannten Normalgleichungen:
na +
(n∑
i=1
xi
)b
!=
n∑i=1
yi(n∑
i=1
xi
)a +
(n∑
i=1
x2i
)b
!=
n∑i=1
xi yi
Okonometrie (SS 2019) Folie 138
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Rechnerische Bestimmung der Regressionsgeraden II
Aufgelost nach a und b erhalt man die Losungen
b =n(∑n
i=1 xi yi
)−(∑n
i=1 xi
)·(∑n
i=1 yi
)n(∑n
i=1 x2i
)−(∑n
i=1 xi
)2
a = 1n
(∑ni=1 yi
)− 1
n
(∑ni=1 xi
)· b
oder kurzer mit den aus der deskr. Statistik bekannten Bezeichnungen
x = 1n
∑ni=1 xi , x2 = 1
n
∑ni=1 x2
i , y = 1n
∑ni=1 yi und xy = 1
n
∑ni=1 xi yi
bzw. den empirischen Momenten sX ,Y = xy − x · y und s2X = x2 − x2:
b =xy − x · yx2 − x2
=sX ,Y
s2X
a = y − xb
Die erhaltenen Werte a und b minimieren tatsachlich die Summe derquadrierten vertikalen Abstande, da die Hesse-Matrix positiv definit ist.
Okonometrie (SS 2019) Folie 139
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Beispiel:”Punktwolke“ und Regressionsgerade
a = 2.03, b = 1.35,∑n
i=1(ui (a, b))2 = 22.25
0 2 4 6 8
05
1015
xi
y i
ui(a, b)
a = 2.03
b = 1.35
1
Okonometrie (SS 2019) Folie 140
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Eigenschaften der KQ-Methode I
Zu a und b kann man offensichtlich die folgende, durch die Regressionsgeradeerzeugte Zerlegung der Merkmalswerte yi betrachten:
yi = a + b · xi︸ ︷︷ ︸=:yi
+ yi − (a + b · xi )︸ ︷︷ ︸=ui (a,b)=:ui
Aus den Normalgleichungen lassen sich leicht einige Eigenschaften fur die sodefinierten ui und yi herleiten, insbesondere:I∑n
i=1 ui = 0 und damit∑n
i=1 yi =∑n
i=1 yi bzw. y = y := 1n
∑ni=1 yi .
I∑n
i=1 xi ui = 0.I Mit
∑ni=1 ui = 0 und
∑ni=1 xi ui = 0 folgt auch
∑ni=1 yi ui = 0.
Okonometrie (SS 2019) Folie 141
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Eigenschaften der KQ-Methode II
Mit diesen Eigenschaften erhalt man die folgende Varianzzerlegung:
1
n
n∑i=1
(yi − y)2
︸ ︷︷ ︸Gesamtvarianz der yi
=1
n
n∑i=1
(yi − y)2
︸ ︷︷ ︸erklarte Varianz
+1
n
n∑i=1
u2i︸ ︷︷ ︸
unerklarte Varianz
Die als Anteil der erklarten Varianz an der Gesamtvarianz gemessene Starkedes linearen Zusammenhangs steht in engem Zusammenhang mit rX ,Y ; es gilt:
r 2X ,Y =
1n
∑ni=1(yi − y)2
1n
∑ni=1(yi − y)2
Okonometrie (SS 2019) Folie 142
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Beispiel: Regressionsgerade mit Zerlegung yi = yi + uia = 2.03, b = 1.35,
∑ni=1 u2
i = 22.25
0 2 4 6 8
05
1015
xi
y i
ui
y = yx
yi
yi
a
b
1
Okonometrie (SS 2019) Folie 143
3 Einfache lineare Regression Deskriptiver Ansatz 3.1
Beispiel: Berechnung von a und b
Daten im Beispiel:
i 1 2 3 4 5 6 7 8 9 10
xi 2.51 8.27 4.46 3.95 6.42 6.44 2.12 3.65 6.2 6.68yi 6.57 12.44 10.7 5.51 12.95 8.95 3.86 6.22 10.7 10.98
Berechnete (deskriptive/empirische) Großen:
x = 5.0703 y = 8.8889 x2 = 29.3729 y 2 = 87.9398
s2X = 3.665 s2
Y = 8.927 sX ,Y = 4.956 rX ,Y = 0.866
Damit erhalt man Absolutglied a und Steigung b als
b =sX ,Y
s2X
=4.956
3.665= 1.352
a = y − b · x = 8.8889− 1.352 · 5.0703 = 2.03
und damit die Regressionsgerade
y = f (x) = 2.03 + 1.352 · x .
Okonometrie (SS 2019) Folie 144
3 Einfache lineare Regression Statistisches Modell 3.2
Das einfache lineare Regressionsmodell I
Bisher: rein deskriptive Betrachtung linearer Zusammenhange
Bereits erlautert/bekannt: Korrelation 6= Kausalitat:Aus einem beobachteten (linearen) Zusammenhang zwischen zwei Merkmalenlasst sich nicht schließen, dass der Wert eines Merkmals den des anderenbeeinflusst.
Bereits durch die Symmetrieeigenschaft rX ,Y = rY ,X bei der Berechnung vonPearsonschen Korrelationskoeffizienten wird klar, dass diese Kennzahl alleineauch keine Wirkungsrichtung erkennen lassen kann.
Nun: statistische Modelle fur lineare Zusammenhange
Okonometrie (SS 2019) Folie 145
3 Einfache lineare Regression Statistisches Modell 3.2
Das einfache lineare Regressionsmodell II
Keine symmetrische Behandlung von X und Y mehr, sondern:I Interpretation von X (
”Regressor“) als erklarende deterministische Variable.
I Interpretation von Y (”Regressand“) als abhangige, zu erklarende
(Zufalls-)Variable.
Es wird angenommen, dass Y in linearer Form von X abhangt, dieseAbhangigkeit jedoch nicht
”perfekt“ ist, sondern durch zufallige Einflusse
”gestort“ wird.
Anwendung in Experimenten: Festlegung von X durch Versuchsplaner,Untersuchung des Effekts auf Y
Damit auch Kausalitatsanalysen moglich!
Okonometrie (SS 2019) Folie 146
3 Einfache lineare Regression Statistisches Modell 3.2
Das einfache lineare Regressionsmodell III
Es wird genauer angenommen, dass fur i ∈ 1, . . . , n die Beziehung
yi = β0 + β1 · xi + ui
gilt, wobeiI u1, . . . , un (Realisationen von) Zufallsvariablen mit E(ui ) = 0, Var(ui ) = σ2
(unbekannt) und Cov(ui , uj ) = 0 fur i 6= j sind, die zufallige Storungen derlinearen Beziehung (
”Storgroßen“) beschreiben,
I x1, . . . , xn deterministisch sind mit s2X = 1
n
∑ni=1(xi − x)2 > 0
(d.h. nicht alle xi sind gleich),I β0, β1 feste, unbekannte reelle Parameter sind.
Man nimmt an, dass man neben x1, . . . , xn auch y1, . . . , yn beobachtet, diewegen der Abhangigkeit von den Zufallsvariablen u1, . . . , un ebenfalls(Realisationen von) Zufallsvariablen sind. Dies bedeutet nicht, dass man auch(Realisationen von) u1, . . . , un beobachten kann (β0 und β1 unbekannt!).
Okonometrie (SS 2019) Folie 147
3 Einfache lineare Regression Parameterschatzung 3.3
Parameterschatzung I
Das durch die getroffenen Annahmen beschriebene Modell heißt auch
einfaches lineares Regressionsmodell.
Im einfachen linearen Regressionsmodell sind also (neben σ2) insbesondere β0
und β1 Parameter, deren Schatzung fur die Quantifizierung des linearenZusammenhangs zwischen xi und yi notig ist.
Die Schatzung dieser beiden Parameter fuhrt wieder zum Problem der Suchenach Absolutglied und Steigung einer geeigneten Geradengleichung
y = fβ0,β1 (x) = β0 + β1 · x .
Achtung!
Die Bezeichnung der Parameter hat sich gegenuber der Veranstaltung
”Schließende Statistik“ geandert, aus β1 wird β0, aus β2 wird β1!
Okonometrie (SS 2019) Folie 148
3 Einfache lineare Regression Parameterschatzung 3.3
Parameterschatzung II
Satz 3.1 (Satz von Gauß-Markov)
Unter den getroffenen Annahmen liefert die aus dem deskriptiven Ansatz bekannteVerwendung der KQ-Methode, also die Minimierung der Summe der quadriertenvertikalen Abstande zur durch β0 und β1 bestimmten Geraden, in Zeichen
n∑i=1
(yi − (β0 + β1 · xi ))2 != minβ0,β1∈R
n∑i=1
(yi − (β0 + β1 · xi ))2 ,
die beste (varianzminimale) lineare (in yi ) erwartungstreue Schatzfunktion β0
fur β0 bzw. β1 fur β1.
Dies rechtfertigt letztendlich die Verwendung des Optimalitatskriteriums
”Minimierung der quadrierten vertikalen Abstande“ (KQ-Methode).
Okonometrie (SS 2019) Folie 149
3 Einfache lineare Regression Parameterschatzung 3.3
Parameterschatzung III
Man erhalt also — ganz analog zum deskriptiven Ansatz — die folgendenParameterschatzer:
Parameterschatzer im einfachen linearen Regressionsmodell
β1 =n(∑n
i=1 xi yi
)−(∑n
i=1 xi
)·(∑n
i=1 yi
)n(∑n
i=1 x2i
)−(∑n
i=1 xi
)2 =xy − x · yx2 − x2
=sX ,Y
s2X
,
β0 = 1n
(∑ni=1 yi
)− 1
n
(∑ni=1 xi
)· β1 = y − x β1 .
Vorsicht!
s2X , s2
Y sowie sX ,Y bezeichnen in diesem Kapitel die empirischen Großen
s2X = 1
n
∑ni=1(xi − x)2 = x2 − x2, s2
Y = 1n
∑ni=1(yi − y)2 = y 2 − y 2
und sX ,Y = 1n
∑ni=1(xi − x) · (yi − y) = xy − x · y .
Okonometrie (SS 2019) Folie 150
3 Einfache lineare Regression Parameterschatzung 3.3
Parameterschatzung IV
Die resultierenden vertikalen Abweichungen ui := yi − (β0 + β1 · xi ) = yi − yi
der yi von den auf der Regressionsgeraden liegenden Werten yi := β0 + β1 · xi
nennt man Residuen.
Wie im deskriptiven Ansatz gelten die Beziehungen∑ni=1 ui = 0,
∑ni=1 yi =
∑ni=1 yi ,
∑ni=1 xi ui = 0,
∑ni=1 yi ui = 0
die Streuungszerlegung
n∑i=1
(yi − y)2
︸ ︷︷ ︸Total Sum of Squares
=n∑
i=1
(yi − y)2
︸ ︷︷ ︸Explained Sum of Squares
+n∑
i=1
u2i︸ ︷︷ ︸
Residual Sum of Squares
bzw. die Varianzzerlegung
1n
∑ni=1(yi − y)2 = 1
n
∑ni=1(yi − y)2 + 1
n
∑ni=1 u2
i .
Okonometrie (SS 2019) Folie 151
3 Einfache lineare Regression Parameterschatzung 3.3
Das (multiple) Bestimmtheitsmaß R2
Auch im linearen Regressionsmodell wird die Starke des linearenZusammenhangs mit dem Anteil der erklarten Varianz an der Gesamtvarianzgemessen und mit
R2 =
∑ni=1(yi − y)2∑ni=1(yi − y)2
= 1−∑n
i=1 u2i∑n
i=1(yi − y)2=
ESS
TSS= 1− RSS
TSS
bezeichnet. R2 wird auch (multiples) Bestimmtheitsmaß genannt.
Es gilt 0 ≤ R2 ≤ 1 sowie der (bekannte) Zusammenhang R2 = r 2X ,Y =
s2X,Y
s2X ·s
2Y
.
Großere Werte von R2 (in der Nahe von 1) sprechen fur eine hoheModellgute, niedrige Werte (in der Nahe von 0) fur eine geringe Modellgute.
Okonometrie (SS 2019) Folie 152
3 Einfache lineare Regression Parameterschatzung 3.3
Beispiel: Ausgaben in Abhangigkeit vom Einkommen I
Es wird angenommen, dass die Ausgaben eines Haushalts fur Nahrungs- undGenussmittel yi linear vom jeweiligen Haushaltseinkommen xi (jeweils in 100e) in der Form
yi = β0 + β1 · xi + ui , uiiid∼ N(0, σ2), i ∈ 1, . . . , n
abhangen. Fur n = 7 Haushalte beobachte man nun neben dem Einkommenxi auch die (Realisation der) Ausgaben fur Nahrungs- und Genussmittel yi
wie folgt:
Haushalt i 1 2 3 4 5 6 7
Einkommen xi 35 49 21 39 15 28 25NuG-Ausgaben yi 9 15 7 11 5 8 9
Mit Hilfe dieser Stichprobeninformation sollen nun die Parameter β0 und β1
der linearen Modellbeziehung geschatzt sowie die Werte yi , die Residuen ui
und das Bestimmtheitsmaß R2 bestimmt werden.
Okonometrie (SS 2019) Folie 153
3 Einfache lineare Regression Parameterschatzung 3.3
Berechnete (deskriptive/empirische) Großen:
x = 30.28571 y = 9.14286 x2 = 1031.71429 y 2 = 92.28571
s2X = 114.4901 s2
Y = 8.6938 sX ,Y = 30.2449 rX ,Y = 0.9587
Damit erhalt man die Parameterschatzer β0 und β1 als
β1 =sX ,Y
s2X
=30.2449
114.4901= 0.26417
β0 = y − β1 · x = 9.14286− 0.26417 · 30.28571 = 1.14228 .
Als Bestimmtheitsmaß erhalt man R2 = r 2X ,Y = 0.95872 = 0.9191.
Fur yi und ui erhalt man durch Einsetzen (yi = β0 + β1 · xi , ui = yi − yi ):
i 1 2 3 4 5 6 7
xi 35 49 21 39 15 28 25yi 9 15 7 11 5 8 9yi 10.39 14.09 6.69 11.44 5.1 8.54 7.75ui −1.39 0.91 0.31 −0.44 −0.1 −0.54 1.25
Okonometrie (SS 2019) Folie 154
3 Einfache lineare Regression Parameterschatzung 3.3
Grafik: Ausgaben in Abhangigkeit vom Einkommenβ0 = 1.14228, β1 = 0.26417, R2 = 0.9191
0 10 20 30 40 50
05
1015
xi
y i
ui
y = yx
yiyi
Okonometrie (SS 2019) Folie 155
3 Einfache lineare Regression Parameterschatzung 3.3
Eigenschaften der Schatzfunktionen β0 und β1 I
Wegen der Abhangigkeit von yi handelt es sich bei β0 und β1 (wie in derschließenden Statistik gewohnt) um (Realisationen von) Zufallsvariablen.
β0 und β1 sind linear in yi , man kann genauer zeigen:
β0 =n∑
i=1
x2 − x · xi
n · s2X
· yi und β1 =n∑
i=1
xi − x
n · s2X
· yi
Okonometrie (SS 2019) Folie 156
3 Einfache lineare Regression Parameterschatzung 3.3
Eigenschaften der Schatzfunktionen β0 und β1 II
β0 und β1 sind erwartungstreu fur β0 und β1, denn wegen E(ui ) = 0 giltI E(yi ) = β0 + β1 · xi + E(ui ) = β0 + β1 · xi ,I E(y) = E
(1n
∑ni=1 yi
)= 1
n
∑ni=1 E(yi ) = 1
n
∑ni=1(β0 + β1 · xi ) = β0 + β1 · x ,
I E(xy) = E(
1n
∑ni=1 xi yi
)= 1
n
∑ni=1 xi (β0 + β1 · xi ) = β0 · x + β1 · x2
und damit
E(β1) = E
(xy − x · yx2 − x2
)=
E(xy)− x · E(y)
x2 − x2
=β0 · x + β1 · x2 − x · (β0 + β1 · x)
x2 − x2=β1 · (x2 − x2)
x2 − x2= β1
sowie
E(β0) = E(y − x β1) = E(y)− x E(β1) = β0 + β1 · x − x · β1 = β0 .
Diese beiden Eigenschaften folgen bereits mit dem Satz von Gauß-Markov.
Okonometrie (SS 2019) Folie 157
3 Einfache lineare Regression Parameterschatzung 3.3
Eigenschaften der Schatzfunktionen β0 und β1 III
Fur die Varianzen der Schatzfunktionen erhalt man (mit der Darstellung ausFolie 156):
Var(β1) =σ2
n · s2X
sowie Var(β0) =σ2 · x2
n · s2X
Diese hangen von der unbekannten Varianz σ2 der ui ab.
Eine erwartungstreue Schatzfunktion fur σ2 ist gegeben durch
σ2 := Var(ui ) =1
n − 2
n∑i=1
u2i
=n
n − 2· s2
Y · (1− R2) =n
n − 2· (s2
Y − β1 · sX ,Y )
Die positive Wurzel σ = +√σ2 dieser Schatzfunktion heißt auch
Standard Error of the Regression (SER) oder residual standard error.
Okonometrie (SS 2019) Folie 158
3 Einfache lineare Regression Parameterschatzung 3.3
Eigenschaften der Schatzfunktionen β0 und β1 IV
Einsetzen des Schatzers σ2 fur σ2 liefert die geschatzten Varianzen derParameterschatzer
σ2β1
:= Var(β1) =σ2
n · s2X
=s2
Y − β1 · sX ,Y
(n − 2) · s2X
und
σ2β0
:= Var(β0) =σ2 · x2
n · s2X
=(s2
Y − β1 · sX ,Y ) · x2
(n − 2) · s2X
.
Die positiven Wurzeln σβ0=√σ2β0
und σβ1=√σ2β1
dieser geschatzten
Varianzen werden wie ublich als (geschatzte) Standardfehler von β0 und β1
bezeichnet.
Okonometrie (SS 2019) Folie 159
3 Einfache lineare Regression Konfidenzintervalle und Tests 3.4
Konfidenzintervalle und Testsunter Normalverteilungsannahme fur ui
Haufig nimmt man weitergehend fur die Storgroßen an, dass speziell
uiiid∼ N(0, σ2)
gilt, d.h. dass alle ui (fur i ∈ 1, . . . , n) unabhangig identisch normalverteiltsind mit Erwartungswert 0 und (unbekannter) Varianz σ2.
In diesem Fall sind offensichtlich auch y1, . . . , yn stochastisch unabhangig undjeweils normalverteilt mit Erwartungswert E(yi ) = β0 + β1 · xi und VarianzVar(yi ) = σ2.
Da β0 und β1 linear in yi sind, folgt insgesamt mit den bereits berechnetenMomenten von β0 und β1:
β0 ∼ N
(β0,
σ2 · x2
n · s2X
)und β1 ∼ N
(β1,
σ2
n · s2X
)
Okonometrie (SS 2019) Folie 160
3 Einfache lineare Regression Konfidenzintervalle und Tests 3.4
Konfidenzintervalleunter Normalverteilungsannahme fur ui
Da σ2 unbekannt ist, ist fur Anwendungen wesentlich relevanter, dass imFalle unabhangig identisch normalverteilter Storgroßen ui mit den
Schatzfunktionen σ2β0
fur Var(β0) und σ2β1
fur Var(β1) gilt:
β0 − β0
σβ0
∼ t(n − 2) undβ1 − β1
σβ1
∼ t(n − 2)
Hieraus erhalt man unmittelbar die”Formeln“[
β0 − tn−2;1−α2 · σβ0, β0 + tn−2;1−α2 · σβ0
]fur (symmetrische) Konfidenzintervalle zur Vertrauenswahrscheinlichkeit1− α fur β0 bzw.[
β1 − tn−2;1−α2 · σβ1, β1 + tn−2;1−α2 · σβ1
]fur (symmetrische) Konfidenzintervalle zur Vertrauenswahrscheinlichkeit1− α fur β1.
Okonometrie (SS 2019) Folie 161
3 Einfache lineare Regression Konfidenzintervalle und Tests 3.4
Beispiel: Ausgaben in Abhangigkeit vom Einkommen II
Im bereits erlauterten Beispiel erhalt man als Schatzwert fur σ2:
σ2 =n · (s2
Y − β1 · sX ,Y )
n − 2=
7 · (8.6938− 0.26417 · 30.2449)
7− 2= 0.9856
Die (geschatzten) Standardfehler fur β0 und β1 sind damit
σβ0=
√σ2 · x2
n · s2X
=
√0.9856 · 1031.71429
7 · 114.4901= 1.1264 ,
σβ1=
√σ2
n · s2X
=
√0.9856
7 · 114.4901= 0.0351 .
Fur α = 0.05 erhalt man mit tn−2;1−α2 = t5;0.975 = 2.571 fur β0 also
[1.14228− 2.571 · 1.1264, 1.14228 + 2.571 · 1.1264] = [−1.7537, 4.0383]
als Konfidenzintervall zur Vertrauenswahrscheinlichkeit 1− α = 0.95 bzw.
[0.26417− 2.571 · 0.0351, 0.26417 + 2.571 · 0.0351] = [0.1739, 0.3544]
als Konfidenzintervall zur Vertrauenswahrscheinlichkeit 1− α = 0.95 fur β1.
Okonometrie (SS 2019) Folie 162
3 Einfache lineare Regression Konfidenzintervalle und Tests 3.4
Hypothesentestsunter Normalverteilungsannahme fur ui
Genauso lassen sich unter der Normalverteilungsannahme (exakte) t-Tests furdie Parameter β0 und β1 konstruieren.Trotz unterschiedlicher Problemstellung weisen die Tests Ahnlichkeiten zumt-Test fur den Mittelwert einer normalverteilten Zufallsvariablen beiunbekannter Varianz auf.Untersucht werden konnen die Hypothesenpaare
H0 : β0 = β00 H0 : β0 ≤ β0
0 H0 : β0 ≥ β00
gegen gegen gegenH1 : β0 6= β0
0 H1 : β0 > β00 H1 : β0 < β0
0
bzw.
H0 : β1 = β01 H0 : β1 ≤ β0
1 H0 : β1 ≥ β01
gegen gegen gegenH1 : β1 6= β0
1 H1 : β1 > β01 H1 : β1 < β0
1
Besonders anwendungsrelevant sind Tests auf die”Signifikanz“ der Parameter
(insbesondere β1), die den zweiseitigen Tests mit β00 = 0 bzw. β0
1 = 0entsprechen.
Okonometrie (SS 2019) Folie 163
3 Einfache lineare Regression Konfidenzintervalle und Tests 3.4
Zusammenfassung: t-Test fur den Parameter β0im einfachen linearen Regressionsmodell mit Normalverteilungsannahme
Anwendungs- exakt: yi = β0 + β1 · xi + ui mit uiiid∼ N(0, σ2) fur i ∈ 1, . . . , n,
voraussetzungen σ2 unbekannt, x1, . . . , xn deterministisch und bekannt,Realisation y1, . . . , yn beobachtet
Nullhypothese H0 : β0 = β00 H0 : β0 ≤ β0
0 H0 : β0 ≥ β00
Gegenhypothese H1 : β0 6= β00 H1 : β0 > β0
0 H1 : β0 < β00
Teststatistik t =β0 − β0
0
σβ0
Verteilung (H0) t fur β0 = β00 t(n − 2)-verteilt
Benotigte Großen β1 =sX ,Y
s2X
, β0 = y − β1 · x , σβ0=
√(s2
Y − β1 · sX ,Y ) · x2
(n − 2) · s2X
Kritischer Bereich (−∞,−tn−2;1−α2
) (tn−2;1−α,∞) (−∞,−tn−2;1−α)
zum Niveau α ∪(tn−2;1−α2,∞)
p-Wert 2 · (1− Ft(n−2)(|t|)) 1− Ft(n−2)(t) Ft(n−2)(t)
Okonometrie (SS 2019) Folie 164
3 Einfache lineare Regression Konfidenzintervalle und Tests 3.4
Zusammenfassung: t-Test fur den Parameter β1im einfachen linearen Regressionsmodell mit Normalverteilungsannahme
Anwendungs- exakt: yi = β0 + β1 · xi + ui mit uiiid∼ N(0, σ2) fur i ∈ 1, . . . , n,
voraussetzungen σ2 unbekannt, x1, . . . , xn deterministisch und bekannt,Realisation y1, . . . , yn beobachtet
Nullhypothese H0 : β1 = β01 H0 : β1 ≤ β0
1 H0 : β1 ≥ β01
Gegenhypothese H1 : β1 6= β01 H1 : β1 > β0
1 H1 : β1 < β01
Teststatistik t =β1 − β0
1
σβ1
Verteilung (H0) t fur β1 = β01 t(n − 2)-verteilt
Benotigte Großen β1 =sX ,Y
s2X
, σβ1=
√s2
Y − β1 · sX ,Y
(n − 2) · s2X
Kritischer Bereich (−∞,−tn−2;1−α2
) (tn−2;1−α,∞) (−∞,−tn−2;1−α)
zum Niveau α ∪(tn−2;1−α2,∞)
p-Wert 2 · (1− Ft(n−2)(|t|)) 1− Ft(n−2)(t) Ft(n−2)(t)
Okonometrie (SS 2019) Folie 165
3 Einfache lineare Regression Konfidenzintervalle und Tests 3.4
Beispiel: Ausgaben in Abhangigkeit vom Einkommen III
Im bereits erlauterten Beispiel soll zum Signifikanzniveau α = 0.05 getestetwerden, ob β0 signifikant von Null verschieden ist. Geeigneter Test:t-Test fur den Regressionsparameter β0
1 Hypothesen:
H0 : β0 = 0 gegen H1 : β0 6= 02 Teststatistik:
t =β0 − 0
σβ0
ist unter H0 (fur β0 = 0) t(n − 2)-verteilt.
3 Kritischer Bereich zum Niveau α = 0.05:
K = (−∞,−tn−2;1−α2
) ∪ (tn−2;1−α2,+∞) = (−∞,−t5;0.975) ∪ (t5;0.975,+∞)
= (−∞,−2.571) ∪ (2.571,+∞)4 Berechnung der realisierten Teststatistik:
t =β0 − 0
σβ0
=1.14228− 0
1.1264= 1.014
5 Entscheidung:
t = 1.014 /∈ (−∞,−2.571) ∪ (2.571,+∞) = K ⇒ H0 wird nicht abgelehnt!
(p-Wert: 2− 2 · Ft(5)(|t|) = 2− 2 · Ft(5)(|1.014|) = 2− 2 · 0.8215 = 0.357)
Der Test kann fur β0 keine signifikante Abweichung von Null feststellen.Okonometrie (SS 2019) Folie 166
3 Einfache lineare Regression Konfidenzintervalle und Tests 3.4
Beispiel: Ausgaben in Abhangigkeit vom Einkommen IV
Nun soll zum Signifikanzniveau α = 0.01 getestet werden, ob β1 positiv ist.Geeigneter Test:t-Test fur den Regressionsparameter β1
1 Hypothesen:
H0 : β1 ≤ 0 gegen H1 : β1 > 02 Teststatistik:
t =β1 − 0
σβ1
ist unter H0 (fur β1 = 0) t(n − 2)-verteilt.
3 Kritischer Bereich zum Niveau α = 0.01:
K = (tn−2;1−α,+∞) = (t5;0.99,+∞) = (3.365,+∞)4 Berechnung der realisierten Teststatistik:
t =β1 − 0
σβ1
=0.26417− 0
0.0351= 7.5262
5 Entscheidung:
t = 7.5262 ∈ (3.365,+∞) = K ⇒ H0 wird abgelehnt!
(p-Wert: 1− Ft(5)(t) = 1− Ft(5)(7.5262) = 1− 0.9997 = 0.0003)
Der Test stellt fest, dass β1 signifikant positiv ist.
Okonometrie (SS 2019) Folie 167
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Punkt- und Intervallprognosenim einfachen linearen Regressionsmodell mit Normalverteilungsannahme
Neben Konfidenzintervallen und Tests fur die Parameter β0 und β1 in linearenRegressionsmodellen vor allem Prognosen wichtige Anwendung.Zur Erstellung von Prognosen: Erweiterung der Modellannahme
yi = β0 + β1 · xi + ui , uiiid∼ N(0, σ2), i ∈ 1, . . . , n
auf (zumindest) einen weiteren, hier mit (x0, y0) bezeichneten Datenpunkt,bei dem jedoch y0 nicht beobachtet wird, sondern lediglich der Wert desRegressors x0 bekannt ist.Ziel:
”Schatzung“ (Prognose) von y0 = β0 + β1 · x0 + u0 bzw.
E(y0) = β0 + β1 · x0 auf Grundlage von x0.
Wegen E(u0) = 0 und der Erwartungstreue von β0 fur β0 bzw. β1 fur β1 ist
y0 := β0 + β1 · x0 =: E(y0)
offensichtlich erwartungstreu fur y0 bzw. E(y0) gegeben x0.
y0 bzw. E(y0) wird auch (bedingte) Punktprognose fur y0 bzw. E(y0)gegeben x0 genannt.
Okonometrie (SS 2019) Folie 168
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Prognosefehler
Zur Beurteilung der Genauigkeit der Prognosen:Untersuchung der sogenannten Prognosefehler
y0 − y0 bzw. E(y0)− E(y0) .
Qualitativer Unterschied:I Prognosefehler
E(y0)− E(y0) = β0 + β1 · x0 − (β0 + β1 · x0) = (β0 − β0) + (β1 − β1) · x0
resultiert nur aus Fehler bei der Schatzung von β0 bzw. β1 durch β0 bzw. β1.I Prognosefehler
y0 − y0 = β0 + β1 · x0 − (β0 + β1 · x0 + u0) = (β0 − β0) + (β1 − β1) · x0 − u0
ist Kombination von Schatzfehlern (fur β0 und β1) sowie zufalligerSchwankung von u0 ∼ N(0, σ2).
Zunachst: Untersuchung von eE := E(y0)− E(y0)
Okonometrie (SS 2019) Folie 169
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Wegen der Erwartungstreue stimmen mittlerer quadratischer (Prognose-)
Fehler und Varianz von eE = E(y0)− E(y0) uberein und man erhalt
Var(E(y0)− E(y0)) = Var(E(y0)) = Var(β0 + β1 · x0)
= Var(β0) + x20 Var(β1) + 2 · x0 · Cov(β0, β1).
Es kann gezeigt werden, dass fur die Kovarianz von β0 und β1 gilt:
Cov(β0, β1) = −σ2 · x∑ni=1(xi − x)2
= −σ2 · x
n · s2X
Insgesamt berechnet man so die Varianz des Prognosefehlers
σ2eE
:= Var(eE ) =σ2 · x2
n · s2X
+ x20 ·
σ2
n · s2X
− 2 · x0 ·σ2 · xn · s2
X
= σ2 · x2 + x20 − 2 · x0 · xn · s2
X
= σ2 · (x2 − x2) + (x2 + x20 − 2 · x0 · x)
n · s2X
= σ2 · s2X + (x0 − x)2
n · s2X
= σ2 ·(
1
n+
(x0 − x)2
n · s2X
).
Okonometrie (SS 2019) Folie 170
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Die Linearitat von β0 und β1 (in yi ) ubertragt sich (naturlich) auch auf
E(y0), damit gilt offensichtlich
eE = E(y0)− E(y0) ∼ N(0, σ2
eE
)bzw.
E(y0)− E(y0)
σeE
∼ N(0, 1) .
Da σ2 unbekannt ist, erhalt man durch Ersetzen von σ2 durch dieerwartungstreue Schatzfunktion σ2 die geschatzte Varianz
σ2eE := Var(eE ) = σ2 ·
(1
n+
(x0 − x)2
n · s2X
)von E(y0) und damit die praktisch wesentlich relevantere Verteilungsaussage
eE
σeE
=E(y0)− E(y0)
σeE
∼ t(n − 2) ,
aus der sich in bekannter Weise (symmetrische) Konfidenzintervalle (undTests) konstruieren lassen.
Okonometrie (SS 2019) Folie 171
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Prognoseintervalle fur E(y0) gegeben x0
Intervallprognosen zur Vertrauenswahrscheinlichkeit 1− α erhalt man also alsKonfidenzintervalle zum Konfidenzniveau 1− α fur E(y0) in der Form[
E(y0)− tn−2;1−α2 · σeE , E(y0) + tn−2;1−α2 · σeE
]=[(β0 + β1 · x0)− tn−2;1−α2 · σeE , (β0 + β1 · x0) + tn−2;1−α2 · σeE
].
Im Beispiel (Ausgaben in Abhangigkeit vom Einkommen) erhalt man zugegebenem x0 = 38 (in 100 e)
σ2eE = σ2 ·
(1
n+
(x0 − x)2
n · s2X
)= 0.9856 ·
(1
7+
(38− 30.28571)2
7 · 114.4901
)= 0.214
die Punktprognose E(y0) = β0 + β1 · x0 = 1.14228 + 0.26417 · 38 = 11.1807(in 100 e) sowie die Intervallprognose zur Vertrauenswahrscheinlichkeit 0.95[
11.1807− 2.571 ·√
0.214 , 11.1807 + 2.571 ·√
0.214]
= [9.9914 , 12.37] (in 100 e) .
Okonometrie (SS 2019) Folie 172
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Prognosefehler e0 := y0 − y0
Nun: Untersuchung des Prognosefehlers e0 := y0 − y0
Offensichtlich gilt fur e0 = y0 − y0 die Zerlegung
y0 − y0 = (β0 + β1 · x0)︸ ︷︷ ︸=E(y0)
−(β0 + β1 · x0︸ ︷︷ ︸=E(y0)
+u0)
= E(y0)− E(y0)︸ ︷︷ ︸Fehler aus Schatzung von
β0 und β1
− u0︸︷︷︸zufallige Schwankung
der Storgroße
.
E(y0) hangt nur von u1, . . . , un ab (uber y1, . . . , yn bzw. β0 und β1) und ist
wegen der Annahme uiiid∼ N(0, σ2) unabhangig von u0.
Damit sind die beiden Bestandteile des Prognosefehlers insbesondere auchunkorreliert und man erhalt:
σ2e0
:= Var(y0 − y0) = Var(E(y0)− E(y0)) + Var(u0)
= σ2 ·(
1
n+
(x0 − x)2
n · s2X
)+ σ2 = σ2 ·
(1 +
1
n+
(x0 − x)2
n · s2X
)Okonometrie (SS 2019) Folie 173
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Aus der Unkorreliertheit der beiden Komponenten des Prognosefehlers folgtauch sofort die Normalverteilungseigenschaft des Prognosefehlerse0 = y0 − y0, genauer gilt:
e0 = y0 − y0 ∼ N(0, σ2
e0
)bzw.
y0 − y0
σe0
∼ N(0, 1) .
Wieder muss σ2 durch σ2 ersetzt werden, um mit Hilfe der geschatzenVarianz
σ2e0 := Var(y0 − y0) = σ2 ·
(1 +
1
n+
(x0 − x)2
n · s2X
)des Prognosefehlers die fur die Praxis relevante Verteilungsaussage
e0
σe0
=y0 − y0
σe0
∼ t(n − 2) ,
zu erhalten, aus der sich dann wieder Prognoseintervalle konstruieren lassen.
Okonometrie (SS 2019) Folie 174
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Prognoseintervalle fur y0 gegeben x0
Intervallprognosen fur y0 zur Vertrauenswahrscheinlichkeit 1− α erhalt manalso analog zu den Intervallprognosen fur E(y0) in der Form
[y0 − tn−2;1−α2 · σe0 , y0 + tn−2;1−α2 · σe0
]=[(β0 + β1 · x0)− tn−2;1−α2 · σe0 , (β0 + β1 · x0) + tn−2;1−α2 · σe0
].
Im Beispiel (Ausgaben in Abhangigkeit vom Einkommen) erhalt man zugegebenem x0 = 38 (in 100 e)
σ2e0 = σ2 ·
(1 +
1
n+
(x0 − x)2
n · s2X
)= 0.9856 ·
(1 +
1
7+
(38− 30.28571)2
7 · 114.4901
)= 1.1996
mit der bereits berechneten Punktprognose y0 = E(y0) = 11.1807 (in 100 e)die zugehorige Intervallprognose fur y0 zur Vertrauenswahrscheinlichkeit 0.95[
11.1807− 2.571 ·√
1.1996 , 11.1807 + 2.571 ·√
1.1996]
= [8.3648 , 13.9966] (in 100 e) .
Okonometrie (SS 2019) Folie 175
3 Einfache lineare Regression Punkt- und Intervallprognosen 3.5
Prognose: Ausgaben in Abhangigkeit vom Einkommenβ0 = 1.14228, β1 = 0.26417, x0 = 38, y0 = 11.1807, 1− α = 0.95
0 10 20 30 40 50
05
1015
xi
y i
y = yx
Okonometrie (SS 2019) Folie 176
3 Einfache lineare Regression Einfache lineare Modelle mit R 3.6
Einfache lineare Modelle mit Statistik-Software RBeispiel (Ausgaben in Abhangigkeit vom Einkommen)
> summary(lm(y~x))
Call:
lm(formula = y ~ x)
Residuals:
1 2 3 4 5 6 7
-1.3882 0.9134 0.3102 -0.4449 -0.1048 -0.5390 1.2535
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.14225 1.12645 1.014 0.357100
x 0.26417 0.03507 7.533 0.000653 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 0.9928 on 5 degrees of freedom
Multiple R-squared: 0.919, Adjusted R-squared: 0.9028
F-statistic: 56.74 on 1 and 5 DF, p-value: 0.0006529
Okonometrie (SS 2019) Folie 177
3 Einfache lineare Regression Einfache lineare Modelle mit R 3.6
Interpretation des Outputs IResiduen, σ2 und R2
Residuals:
1 2 3 4 5 6 7
-1.3882 0.9134 0.3102 -0.4449 -0.1048 -0.5390 1.2535
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.14225 1.12645 1.014 0.357100
x 0.26417 0.03507 7.533 0.000653 ***
--
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.9928 on 5 degrees of freedom
Multiple R-squared: 0.919, Adjusted R-squared: 0.9028
F-statistic: 56.74 on 1 and 5 DF, p-value: 0.0006529
Auflistung bzw. Zusammenfassung der Residuen ui
SER σ =√σ2, hier: σ = 0.9928⇒ σ2 = 0.9857
Anzahl Freiheitsgrade n − 2, hier: n − 2 = 5⇒ n = 7
(Multiples) Bestimmtheitsmaß R2, hier: R2 = 0.919
Okonometrie (SS 2019) Folie 178
3 Einfache lineare Regression Einfache lineare Modelle mit R 3.6
Interpretation des Outputs IIErgebnisse zur Schatzung von β0 und β1
Residuals:
1 2 3 4 5 6 7
-1.3882 0.9134 0.3102 -0.4449 -0.1048 -0.5390 1.2535
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.14225 1.12645 1.014 0.357100
x 0.26417 0.03507 7.533 0.000653 ***
--
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.9928 on 5 degrees of freedom
Multiple R-squared: 0.919, Adjusted R-squared: 0.9028
F-statistic: 56.74 on 1 and 5 DF, p-value: 0.0006529
Realisationen von β0, β1, hier: β0 = 1.14225, β1 = 0.26417
Standardfehler von β0, β1, hier: σβ0= 1.12645, σβ1
= 0.03507
t-Statistiken zu Tests auf Signifikanz, hier: zu β0 : t = 1.014, zu β1 : t = 7.533
p-Werte zu Tests auf Signifikanz, hier: zu β0 : p = 0.3571, zu β1 : p = 0.000653
Okonometrie (SS 2019) Folie 179
3 Einfache lineare Regression Einfache lineare Modelle mit R 3.6
Zusammenhang zwischen p-Wertenzu zweiseitigen und einseitigen Tests bei unter H0 (um Null) symmetrisch verteilter Teststatistik
Erinnerung: t(n)- sowie N(0, 1)-Verteilung sind symmetrisch um Null, fur diezugehorigen Verteilungsfunktionen F gilt also F (x) = 1− F (−x) fur allex ∈ R und F (0) = 0.5, F (x) < 0.5 fur x < 0 sowie F (x) > 0.5 fur x > 0.Fur die p-Werte pz der zweiseitigen Tests auf den Mittelwert bei bekannter(Gauß-Test) sowie unbekannter (t-Test) Varianz gilt daher bekanntlich
pz = 2 ·minF (x), 1− F (x) =
2 · F (x) falls x < 0
2 · (1− F (x)) falls x ≥ 0,
wobei x den realisierten Wert der Teststatistik sowie F dieVerteilungsfunktion der Teststatistik unter H0 bezeichne.Fur die p-Werte pl = F (x) zum linksseitigen sowie pr = 1− F (x) zumrechtsseitigen Test bei realisierter Teststatistik x gelten demnach diefolgenden Zusammenhange:
pl =
pz
2falls x < 0
1− pz
2falls x ≥ 0
sowie pr =
1− pz
2falls x < 0
pz
2falls x ≥ 0
.
Somit auch p-Werte zu einseitigen Tests aus R-Output bestimmbar!Okonometrie (SS 2019) Folie 180
4 Multiple lineare Regression Multiples lineares Modell 4.1
Zusammenfassung: Einfache lineare Regression I
Bisher: Annahme der Gultigkeit eines einfachen linearen Modells
yi = β0 + β1 · xi + ui , i ∈ 1, . . . , n,
mitI der abhangigen Variablen (Regressand) yi ,I einer unabhangigen, erklarenden Variablen (Regressor) xi , wobei
1 xi als deterministisch angenommen wird und2 s2
X > 0 gelten muss,
I der Storgroße ui , wobei1 E(ui ) ≡ 0,2 Var(ui ) ≡ σ2 > 0,3 Cov(ui , uj ) = 0 fur alle i , j mit i 6= j sowie meist daruberhinaus eine4 gemeinsame Normalverteilung der ui ,
damit insgesamt uiiid∼ N(0, σ2) angenommen wird.
Okonometrie (SS 2019) Folie 181
4 Multiple lineare Regression Multiples lineares Modell 4.1
Zusammenfassung: Einfache lineare Regression II
Auf Grundlage dieses Annahmen-Komplexes:I Verwendung der KQ-Methode, um eine geschatze Regressionsgerade
y = β0 + β1 · x mit den zugehorigen KQ-Prognosen yi = β0 + β1 · xi und denzugehorigen KQ-Residuen ui = yi − yi zu bestimmen.
I Bestimmung von Konfidenzintervallen und Durchfuhrung von Hypothesentestsfur die Regressionsparameter β0 und β1.
I Bestimmung von bedingten Punktprognosen und Prognoseintervallen fur dieabhangige Variable y zu
”neuen“ Werten der unabhangigen, erklarenden
Variablen x .
Problem: (Perfekte) Validitat der Ergebnisse nur, wenn Modell korrekt undAnnahmen-Komplex erfullt ist!
Im Folgenden:I Erweiterung des einfachen linearen Regressionsmodells zum multiplen linearen
RegressionsmodellI Untersuchung der Konsequenz von AnnahmeverletzungenI Geeignete Reaktion auf bzw. geeignete Verfahren im Fall von
Annahmeverletzungen
Okonometrie (SS 2019) Folie 182
4 Multiple lineare Regression Multiples lineares Modell 4.1
Konsequenz bei weggelassener erklarender Variablen IDer
”omitted variable bias“
Eine Moglichkeit der Verletzung der Annahmen des einfachen linearenModells: Modell ist tatsachlich komplexer, yi hange auch von einer weiterenerklarenden Variablen xi linear in der Gestalt
yi = β0 + β1 · xi + β2 · xi + εi , i ∈ 1, . . . , n,
mit β2 6= 0 ab, wobei die ublichen Annahmen fur die Storgroßen εi
(insbesondere E(εi ) ≡ 0) gelten sollen.
Wird statt des komplexeren Modells die Gultigkeit eines einfachen linearenModells angenommen, ist die Abhangigkeit von xi offensichtlich in derStorgroße ui subsummiert, man erhalt die Darstellung
yi = β0 + β1 · xi + β2 · xi + εi︸ ︷︷ ︸ui
, i ∈ 1, . . . , n.
Damit gilt im einfachen Modell jedoch E(ui ) = β2 · xi , die Annahme E(ui ) ≡ 0ist also verletzt, sobald xi 6= 0 fur mindestens ein i ∈ 1, . . . , n gilt!
Okonometrie (SS 2019) Folie 183
4 Multiple lineare Regression Multiples lineares Modell 4.1
Konsequenz bei weggelassener erklarender Variablen IIDer
”omitted variable bias“
Werden trotz dieser Annahmenverletzung Parameterschatzer im einfachenlinearen Modell bestimmt, so erhalt man beispielsweise fur β1
β1 =n∑
i=1
(xi − x)
ns2X
· yi =n∑
i=1
(xi − x)
ns2X
· (β0 + β1 · xi + β2 · xi + εi )
= β0
n∑i=1
(xi − x)
ns2X︸ ︷︷ ︸
=0
+β1
n∑i=1
(xi − x)xi
ns2X︸ ︷︷ ︸
!=1
+β2
n∑i=1
(xi − x)xi
ns2X︸ ︷︷ ︸
!=
sX,X
s2X
+n∑
i=1
(xi − x)εi
ns2X
und damit E(β1) = β1 + β2
sX ,X
s2X
.
(sX ,X bezeichnet wie ublich die empirische Kovarianz zwischen X und X .)
Damit ist β1 nicht mehr erwartungstreu fur β1, falls sX ,X 6= 0 gilt, auchKonfidenzintervalle und Tests werden dann unbrauchbar!
Okonometrie (SS 2019) Folie 184
4 Multiple lineare Regression Multiples lineares Modell 4.1
Das multiple lineare Regressionsmodell I
Losung des Problems durch Schaffung der Moglichkeit, weitere erklarendeVariablen einzubeziehen.
Erweiterung des einfachen linearen Modells um zusatzliche Regressorenx2i , . . . , xKi zum multiplen linearen Modell
yi = β0 + β1x1i + . . .+ βK xKi + ui , i ∈ 1, . . . , n,
bzw. in Matrixschreibweisey = Xβ + u
mit
y =
y1
...yn
, X =
1 x11 · · · xK1
......
...1 x1n · · · xKn
, β =
β0
β1
...βK
, u =
u1
...un
.
Okonometrie (SS 2019) Folie 185
4 Multiple lineare Regression Multiples lineares Modell 4.1
Das multiple lineare Regressionsmodell II
Modellannahmen im multiplen linearen Regressionsmodell ubertragen sich (zumTeil verallgemeinert) aus einfachem linearen Modell:
Fur die K unabhangigen, erklarenden Variablen (Regressoren) x1i , . . . , xKi
wird angenommen, dass1 die xki deterministisch sind (fur i ∈ 1, . . . , n, k ∈ 1, . . . ,K) und dass2 sich fur kein k ∈ 1, . . . ,K der Regressor xki als (fur alle i ∈ 1, . . . , n feste)
Linearkombination einer Konstanten und der ubrigen Regressoren darstellenlasst. Aquivalent dazu:F Die Regressormatrix X hat vollen (Spalten-)Rang K + 1.F x1i lasst sich nicht als Linearkombination einer Konstanten und der ubrigen
Regressoren x2i , . . . , xKi darstellen.
Fur die Storgroßen ui wird1 E(ui ) ≡ 0 bzw. E(u) = 0 mit dem Nullvektor 0 := (0, . . . , 0)′,2 Var(ui ) ≡ σ2 > 0,3 Cov(ui , uj ) = 0 fur alle i , j mit i 6= j sowie meist daruberhinaus eine4 gemeinsame Normalverteilung der ui ,
damit insgesamt uiiid∼ N(0, σ2) bzw. u ∼ N(0, σ2In) mit der
(n × n)-Einheitsmatrix In angenommen.
Okonometrie (SS 2019) Folie 186
4 Multiple lineare Regression Multiples lineares Modell 4.1
Das multiple lineare Regressionsmodell III
Fur den Erwartungswert von yi gilt nun
E (yi ) = β0 + β1x1i + . . .+ βK xKi , i ∈ 1, . . . , n,
die Regressionsgerade aus dem einfachen linearen Modell wird also nun zueiner Regressionsebene, beschrieben durch die Regressions-Parameterβ0, . . . , βK .
Der Regressionsparameter (und Steigungskoeffizient) βk gibt nun furk ∈ 1, . . . ,K die erwartete Anderung (ohne den Einfluss der Storgroße ui )von yi an, die aus der Erhohung des Regressors xki um eine Einheit resultiert,wenn alle anderen Regressoren konstant gehalten werden.
Zur Schatzung der Parameter des multiplen Regressionsmodells wirdwiederum die Methode der Kleinsten Quadrate (Least Squares, auchOrdinary Least Squares) verwendet.
Okonometrie (SS 2019) Folie 187
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell I
Die Anwendung der KQ-Methode im multiplen linearen Modell fuhrt zurSuche nach β0, β1, . . . , βK ∈ R mit
n∑i=1
(yi − (β0 + β1xi1 + . . .+ βK xKi ))2
!= minβ0,β1,...,βK∈R
n∑i=1
(yi − (β0 + β1xi1 + . . .+ βK xKi ))2 .
In Matrixschreibweise ist also der Vektor β = (β0, β1, . . . , βK )′ ∈ RK+1
gesucht mit
(y − Xβ)′(y − Xβ)!
= minβ∈RK+1
(y − Xβ)′(y − Xβ) .
(Zu Matrizen A bzw. Vektoren b seien hier und im Folgenden wie ublich mitA′ bzw. b′ jeweils die transponierten Matrizen bzw. Vektoren bezeichnet.)
Okonometrie (SS 2019) Folie 188
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell II
Die Matrixdarstellung erlaubt eine kompakte Losung der Optimierung:
Fur die zu minimierende Funktion
f (β) := (y − Xβ)′(y − Xβ) = y′y − β′X′y − y′Xβ + β′X′Xβ
= y′y − 2β′X′y + β′X′Xβ
erhalt man den Gradienten
∂f (β)
∂β= −2X′y + 2X′Xβ = 2(X′Xβ − X′y)
und damit wegen der Invertierbarkeit (!) von X′X als Losung von∂f (β)
∂β
!= 0
β = (X′X)−1X′y ,
die wegen der positiven Definitheit (!) von X′X auch (einzige) Losung desMinimierungsproblems ist.
Okonometrie (SS 2019) Folie 189
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell III
Die Invertierbarkeit von X′X ist gewahrleistet, da nach Annahme die(n × (K + 1))-Matrix X vollen (Spalten-)Rang K + 1 und damit auch die((K + 1)× (K + 1))-Matrix X′X vollen Rang K + 1 hat.
Da X vollen (Spalten-)Rang besitzt, ist X′X außerdem positiv definit.
Eine Verletzung der getroffenen Annahme, dass X vollen (Spalten-)Rangbesitzt, bezeichnet man auch als perfekte Multikollinearitat derRegressormatrix X.
Bei Vorliegen von perfekter Multikollinearitat ist die KQ-Methode zwar immernoch (allerdings nicht wie eben beschrieben!) durchfuhrbar, der optimale
Vektor β ist allerdings nicht mehr eindeutig bestimmt, der zugehorigeParametervektor β damit nicht mehr identifiziert.
Perfekte Multikollinearitat kann durch (zum Teil offensichtliche)Unachtsamkeiten bei der Zusammenstellung der Regressoren entstehen(spater mehr!).
Okonometrie (SS 2019) Folie 190
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell IV
Eine andere Darstellung des KQ-Schatzers β ist gegeben durch β1
...
βK
=
s11 s12 · · · s1K
......
...sK1 sK2 · · · sKK
−1 s1Y
...sKY
und
β0 = y − (β1x1 + . . .+ βK xK )
mit
xk =1
n
n∑i=1
xki , skj =1
n
n∑i=1
(xki − xk )(xji − x j ),
y =1
n
n∑i=1
yi , skY =1
n
n∑i=1
(xki − xk )(yi − y)
fur k, j ∈ 1, . . . ,K.
Okonometrie (SS 2019) Folie 191
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell V
Offensichtlich erhalt man fur K = 1 hiermit die – abgesehen von der leichtabweichenden Notation – zum KQ-Schatzer im einfachen linearen Modellubereinstimmende Darstellung
β1 =s1Y
s11sowie β0 = y − β1x1 .
Fur K = 2 lasst sich die Darstellung
β1 =s22s1Y − s12s2Y
s11s22 − s212
, β2 =s11s2Y − s12s1Y
s11s22 − s212
, β0 = y − (β1x1 + β2x2)
fur die KQ-Schatzer ableiten.
Okonometrie (SS 2019) Folie 192
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell VI
Wie im einfachen linearen Regressionsmodell definiert man zu denKQ/OLS-geschatzten Parametern β = (β0, β1, . . . , βK )′ mit
yi := β0 + β1x1i + . . . βK xKi , i ∈ 1, . . . , n bzw. y := Xβ
die vom (geschatzten) Modell prognostizierten Werte der abhangigenVariablen auf der geschatzten Regressionsebene sowie mit
ui := yi − yi , i ∈ 1, . . . , n bzw. u := y − y
die Residuen, also die Abstande (in y -Richtung) der beobachteten Werte derabhangigen Variablen von den prognostizierten Werten auf der geschatztenRegressionsebene.
Es gilt (analog)∑n
i=1 ui = 0 sowie∑n
i=1 xki ui = 0 fur k ∈ 1, . . . ,K bzw.
X′u = X′(y − y) = X′y − X′Xβ = X′y − X′X(X′X)−1X′y = 0 .
Okonometrie (SS 2019) Folie 193
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell VII
Damit gilt weiter y′u = (Xβ)′u = β′X′u = 0 sowie mit0 =
∑ni=1 ui =
∑ni=1(yi − yi ) auch
∑ni=1 yi =
∑ni=1 yi ⇐⇒ y = y .
So erhalt man
y′y = (y + u)′(y + u) = y′y + u′y︸︷︷︸=0
+ y′u︸︷︷︸=0
+u′u
und durch Subtraktion von ny 2 = ny2
auf beiden Seiten
y′y − ny 2 = y′y − ny2
+ u′u
und damit insgesamt die bekannte Streuungszerlegung
n∑i=1
(yi − y)2
︸ ︷︷ ︸Total Sum of Squares
=n∑
i=1
(yi − y)2
︸ ︷︷ ︸Explained Sum of Squares
+n∑
i=1
u2i︸ ︷︷ ︸
Residual Sum of Squares
.
Okonometrie (SS 2019) Folie 194
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell VIII
Wie im einfachen linearen Modell misst das multiple Bestimmtheitsmaß
R2 = 1−∑n
i=1 u2i∑n
i=1(yi − y)2=
∑ni=1(yi − y)2∑ni=1(yi − y)2
= 1− RSS
TSS=
ESS
TSS
den Anteil der durch den (geschatzten) linearen Zusammenhang erklartenStreuung an der gesamten Streuung der abhangigen Variablen.
Es gilt weiterhin 0 ≤ R2 ≤ 1.
Bei der Hinzunahme weiterer erklarender Variablen (Regressoren) in einbestehendes lineares Modell kann sich im Laufe der KQ/OLS-Schatzung derZielfunktionswert an der Minimumstelle, RSS =
∑ni=1 u2
i , offensichtlichhochstens weiter verringern.
Damit fuhrt die Hinzunahme weiterer (auch eigentlich irrelevanter)Regressoren hochstens zu einer Zunahme des multiplen BestimmtheitsmaßesR2.
Okonometrie (SS 2019) Folie 195
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell IX
Um einen aussagekraftigeren Vergleich der Bestimmtheitmaße einesursprunglichen und eines erweiterten Modells durchfuhren zu konnen, kanndas adjustierte Bestimmtheitsmaß
R2 := 1−1
n−(K+1) · RSS1
n−1 · TSS= 1− n − 1
n − (K + 1)
RSS
TSS
verwendet werden.
Dieses kann sich bei Erweiterung eines Modells um zusatzliche Regressorenauch verringern (und sogar negativ werden).
Es gilt (offensichtlich) stets
R2 ≤ R2 ≤ 1 .
Okonometrie (SS 2019) Folie 196
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell X
Bei der Berechnung von R2 wird die fur σ2 = Var(ui ) erwartungstreueSchatzfunktion
σ2 =1
n − (K + 1)
n∑i=1
u2i =
u′u
n − (K + 1)=
RSS
n − (K + 1)
verwendet.
Wie im einfachen linearen Modell wird die positive Wurzel +√σ2 dieser
Schatzfunktion als Standard Error of the Regression (SER) oder residualstandard error bezeichnet.
Die Korrektur um K + 1 Freiheitsgrade erklart sich dadurch, dass nun K + 1Beobachtungen notig sind, um die Regressionsebene (eindeutig) bestimmenzu konnen.
Okonometrie (SS 2019) Folie 197
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell XI
Die Schatzfunktion β = (X′X)−1X′y ist offensichtlich linear in den yi .
Einsetzen von y = Xβ + u liefert die Darstellung
β = (X′X)−1X′y = (X′X)−1X′(Xβ + u)
= (X′X)−1(X′X)β + (X′X)−1X′u = β + (X′X)−1X′u
von β, unter der Annahme E(u) = 0 folgt daraus sofort E(β) = β und damit
die Erwartungstreue von β fur β.
Fur die (Varianz-)Kovarianzmatrix V(β) von β erhalt man mit der obigen
Darstellung fur β wegen der Symmetrie von (X′X)−1 weiter
V(β) = E
[(β − E(β)
)(β − E(β)
)′]= E
[((X′X)−1X′u
) ((X′X)−1X′u
)′]= E
[(X′X)−1X′uu′X(X′X)−1
]= (X′X)−1X′ E(uu′)︸ ︷︷ ︸
=V(u)=σ2In
X(X′X)−1
= σ2(X′X)−1X′X(X′X)−1 = σ2(X′X)−1
Okonometrie (SS 2019) Folie 198
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell XII
Die (symmetrische) Matrix V(β) enthalt alle Varianzen der Parameterschatzer
β0, β1, . . . , βK sowie deren paarweise Kovarianzen in der Gestalt
V(β) =
Var(β0) Cov(β0, β1) · · · Cov(β0, βK )
Cov(β1, β0) Var(β1) · · · Cov(β1, βK )...
.... . .
...
Cov(βK , β0) Cov(βK , β1) · · · Var(βK )
.
V(β) = σ2(X′X)−1 kann unter Zuhilfenahme von σ2 durch
V(β) = σ2(X′X)−1
geschatzt werden.
Okonometrie (SS 2019) Folie 199
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell XIII
Man erhalt so Schatzwerte fur die Varianzen der Schatzer β0, β1, . . . , βK
sowie deren paarweise Kovarianzen in der Gestalt
V(β) =
Var(β0) Cov(β0, β1) · · · Cov(β0, βK )
Cov(β1, β0) Var(β1) · · · Cov(β1, βK )...
.... . .
...
Cov(βK , β0) Cov(βK , β1) · · · Var(βK )
.
Die (positiven) Wurzeln der Hauptdiagonalelemente von V(β),
σβ0:=
√Var(β0), σβ1
:=
√Var(β1), . . . , σβK
:=
√Var(βK ) ,
werden wie ublich als Standardfehler der Parameterschatzer β0, β1, . . . , βK
bezeichnet.
Okonometrie (SS 2019) Folie 200
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell XIV
Zusammengefasst erhalt man unter bisherigen Annahmen an X sowie denanfangs getroffenen Annahmen
1 E(ui ) ≡ 0,2 Var(ui ) ≡ σ2 > 0,3 Cov(ui , uj ) = 0 fur alle i , j mit i 6= j
an die Storgroßen ui , i ∈ 1, . . . , n, dass
I β eine in yi lineare Schatzfunktion ist,I β erwartungstreu fur β ist,I β die Varianz-Kovarianzmatrix V(β) = σ2(X′X)−1 besitzt.
Der Satz von Gauß-Markov sichert daruberhinaus, dass β sogar die bestelineare unverzerrte Schatzfunktion (BLUE) ist.
Unter der zusatzlichen Annahme einer4 gemeinsamen Normalverteilung der ui
erhalt man mit der Linearitat sofort die Normalverteilungseigenschaft von β,also β ∼ N
(β, σ2(X′X)−1
). Außerdem kann man zeigen, dass β dann sogar
varianzminimal unter allen fur β erwartungstreuen Schatzfunktionen ist.
Okonometrie (SS 2019) Folie 201
4 Multiple lineare Regression Parameterschatzung 4.2
Schatzung im multiplen linearen Modell XV
Auch ohne Normalverteilungsannahme fur die ui kann man unter gewissentechnischen Voraussetzungen (die hier nicht naher ausgefuhrt werden) zeigen,
dass die Verteilung von β bei wachsendem Beobachtungsumfang n gegeneine (mehrdimensionale) Normalverteilung konvergiert.
In der Praxis bedeutet dies, dass man – auch fur endliches n – als geeigneteNaherung der Verteilung von β haufig eine mehrdimensionaleNormalverteilung mit dem Erwartungswertvektor β und derVarianz-Kovarianzmatrix σ2(X′X)−1 verwenden kann.
Wie”gut“ diese Naherung ist, hangt wieder vom konkreten Anwendungsfall
ab; insbesondereI steigt die Qualitat der Naherung i.d.R. mit wachsendem n,I ist die Naherung umso besser, je ahnlicher die tatsachliche Verteilung der ui
einer Normalverteilung ist.
In der Praxis beurteilt man die”Nahe“ der Verteilung der (unbeobachteten!)
Storgroßen ui zu einer Normalverteilung mit Hilfe der (geschatzten!)Residuen ui .
Okonometrie (SS 2019) Folie 202
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Konfidenzintervalle und Tests fur einzelne Parameter
Konfidenzintervalle und Tests fur einzelne Parameter konnen ganz analogzum einfachen linearen Modell konstruiert werden.
Fur die Komponenten βk , k ∈ 0, . . . ,K, des Parameterschatzers β gilt beiNormalverteilungsannahme an die ui exakt (sonst ggf. approximativ)
βk − βk
σβk
∼ t(n − (K + 1)), k ∈ 0, . . . ,K
Hieraus ergeben sich fur k ∈ 0, . . . ,K unmittelbar die zum einfachenlinearen Modell analogen
”Formeln“ der (ggf. approximativen)
(symmetrischen) Konfidenzintervalle fur βk zum Konfidenzniveau 1− αbzw. zur Vertrauenswahrscheinlichkeit 1− α als[
βk − tn−(K+1);1−α2 · σβk, βk + tn−(K+1);1−α2 · σβk
]Ebenfalls analog erhalt man t-Tests fur die Regressionsparameterβ0, β1, . . . , βK .
Okonometrie (SS 2019) Folie 203
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Zusammenfassung: t-Test fur den Parameter βkim multiplen linearen Regressionsmodell
Anwendungs- exakt: y = Xβ + u mit u ∼ N(0, σ2In),voraussetzungen approx.: y = Xβ + u mit E(u) = 0, V(u) = σ2In,
σ2 unbekannt, X deterministisch mit vollem Spaltenrang K + 1,Realisation y = (y1, . . . , yn)′ beobachtet
Nullhypothese H0 : βk = β0k H0 : βk ≤ β0
k H0 : βk ≥ β0k
Gegenhypothese H1 : βk 6= β0k H1 : βk > β0
k H1 : βk < β0k
Teststatistik t =βk − β0
k
σβk
Verteilung (H0) t fur βk = β0k (naherungsweise) t(n − (K + 1))-verteilt
Benotigte Großen βk =[(X′X)−1X′y
]k+1
, σβk=√σ2 [(X′X)−1]k+1,k+1 mit
σ2 = u′un−(K+1)
, wobei u = y − X(X′X)−1X′y
Kritischer Bereich (−∞,−tn−(K+1);1−α2
) (tn−(K+1);1−α,∞) (−∞,−tn−(K+1);1−α)
zum Niveau α ∪(tn−(K+1);1−α2,∞)
p-Wert 2 · (1− Ft(n−(K+1))(|t|)) 1− Ft(n−(K+1))(t) Ft(n−(K+1))(t)
Okonometrie (SS 2019) Folie 204
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Beispiel: Multiples Modell/Omitted Variable Bias I
Beispieldatensatz mit Daten zur Lohnhohe (yi ), zu den Ausbildungsjahrenuber den Hauptschulabschluss hinaus (x1i ) sowie zum Alter in Jahren (x2i )von n = 20 Mitarbeitern eines Betriebs:
i 1 2 3 4 5 6 7 8 9 10
Lohnhohe yi 1250 1950 2300 1350 1650 1750 1550 1400 1700 2000Ausbildung x1i 1 9 11 3 2 1 4 1 3 4Alter x2i 28 34 55 24 42 43 37 18 63 58
i 11 12 13 14 15 16 17 18 19 20
Lohnhohe yi 1350 1600 1400 1500 2350 1700 1350 2600 1400 1550Ausbildung x1i 1 2 2 3 6 9 1 7 2 2Alter x2i 30 43 23 21 50 64 36 58 35 41
(vgl. von Auer, Ludwig: Okonometrie – Eine Einfuhrung, 6. Aufl., Tabelle 13.1)
Es soll nun angenommen werden, dass das multiple lineare Regressionsmodell
yi = β0 + β1x1i + β2x2i + ui , uiiid∼ N(0, σ2), i ∈ 1, . . . , 20,
mit den ublichen Annahmen korrekt spezifiziert ist.Okonometrie (SS 2019) Folie 205
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Beispiel: Multiples Modell/Omitted Variable Bias II
Zunachst wird (falschlicherweise!) die Variable”Alter“ (x2i ) weggelassen und
die”Lohnhohe“ (yi ) nur mit der Variable
”Ausbildung“ (x1i ) erklart:
Call:
lm(formula = Lohnhohe ~ Ausbildung)
Residuals:
Min 1Q Median 3Q Max
-458.19 -140.36 -68.94 87.32 620.37
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1354.66 94.22 14.377 2.62e-11 ***
Ausbildung 89.28 19.82 4.505 0.000274 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 264.6 on 18 degrees of freedom
Multiple R-squared: 0.5299, Adjusted R-squared: 0.5038
F-statistic: 20.29 on 1 and 18 DF, p-value: 0.0002742
Okonometrie (SS 2019) Folie 206
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Beispiel: Multiples Modell/Omitted Variable Bias III
Danach wird das korrekte, vollstandige Modell geschatzt:Call:
lm(formula = Lohnhohe ~ Ausbildung + Alter)
Residuals:
Min 1Q Median 3Q Max
-569.50 -120.79 -5.14 73.12 519.26
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1027.806 164.473 6.249 8.81e-06 ***
Ausbildung 62.575 21.191 2.953 0.0089 **
Alter 10.602 4.577 2.317 0.0333 *
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 237.4 on 17 degrees of freedom
Multiple R-squared: 0.6427, Adjusted R-squared: 0.6007
F-statistic: 15.29 on 2 and 17 DF, p-value: 0.0001587
Okonometrie (SS 2019) Folie 207
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Beispiel: Multiples Modell/Omitted Variable Bias IV
Geschätzte Regressionsebene mit Residuen
0 2 4 6 8 10 121200
1400
1600
1800
2000
2200
2400
2600
1020
3040
5060
70
Ausbildung x1i
Alte
rx 2
i
Lohn
höhe
y i
Okonometrie (SS 2019) Folie 208
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Beispiel: Multiples Modell/Omitted Variable Bias V
Gegenuberstellung der Schatzergebnisse:
falsches Modell korrektes Modell
Absolutglied β0 1354.658 1027.806σβ0
94.222 164.473
Ausbildung β1 89.282 62.575σβ1
19.82 21.191
Alter β2 10.602σβ2
4.577
u′u 1260028 957698SER 264.578 237.35R2 0.5299 0.6427
R2 0.5038 0.6007
Okonometrie (SS 2019) Folie 209
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Beispiel: Multiples Modell/Omitted Variable Bias VI
Die Regressoren x1i (Ausbildungsjahre) und x2i (Alter) sind positiv korreliert,es gilt (mit den Bezeichnungen von Folie 191) genauer
s12 = 22.445 bzw.s12√
s11√
s22=
22.445√8.91 ·
√191.028
= 0.544
Außerdem hat der Regressor”Alter“ (neben dem Regressor
”Ausbildung“) im
korrekten Modell einen signifikanten Regressionskoeffizienten.
Im Modell mit ausgelassener Variablen x2i (Alter) spiegelt der geschatzteKoeffizient zum Regressor
”Ausbildung“ damit nicht den
”isolierten“ Effekt der
Ausbildung wider, sondern einen”kombinierten“ Effekt.
Wie man zeigen (und im Beispiel leicht nachrechnen) kann, erhalt man(analog zum Resultat von Folie 184) durch
β1 +s12
s11β2 = 62.575 +
22.445
8.91· 10.602 = 89.282
aus den Schatzergebnissen des korrekten Modells den Punktschatzer fur β1
im falschen Modell mit ausgelassenem Regressor.Okonometrie (SS 2019) Folie 210
4 Multiple lineare Regression Konfidenzintervalle und Tests 4.3
Beispiel: Multiples Modell/Omitted Variable Bias VII
Auch die Punkt- und Intervallschatzung von β0 sowie Hypothesentests fur dieRegressionsparameter unterliegen im Modell mit ausgelassener Variablenvergleichbaren Verzerrungen.
Geht man falschlicherweise davon aus, die Annahmen des linearenRegressionsmodell im Modell mit ausgelassenem Regressor erfullt und mit derModellschatzung den isolierten Effekt des Regressors
”Ausbildung“ gemessen
zu haben, so fuhrt dies zuI verzerrten Punktschatzern,I verschobenen und in der Breite verzerrten Konfidenzintervallen sowieI wertlosen Hypothesentests
fur den isolierten Effekt (da man tatsachlich einen kombinierten Effektgemessen hat).
Okonometrie (SS 2019) Folie 211
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen I
Wie im einfachen linearen Regressionsmodell: Erweiterung derModellannahme
yi = β0 + β1x1i + . . .+ βK xKi + ui , uiiid∼ N(0, σ2), i ∈ 1, . . . , n
auf (zumindest) einen weiteren Datenpunkt (y0, x10, . . . , xK0), bei dem jedochy0 nicht beobachtet wird, sondern lediglich die Werte der Regressorenx10, . . . , xK0 bekannt sind.
Ziel ist wiederum die Prognose von y0 = β0 + β1x10 + . . . βK xK0 + u0 bzw.E(y0) = β0 + β1x10 + . . . βK xK0 auf Grundlage von x10, . . . , xK0.
Hierzu definiert man wie im einfachen linearen Modell mit
y0 := β0 + β1x10 + . . .+ βK xK0
bzw. E(y0) := β0 + β1x10 + . . .+ βK xK0
die (bedingte) Punktprognose y0 fur y0 gegeben x10, . . . , xK0 bzw.
die (bedingte) Punktprognose E(y0) fur E(y0) gegeben x10, . . . , xK0.
Okonometrie (SS 2019) Folie 212
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen II
Die Untersuchung der Eigenschaften der bedingten Punktprognosenvereinfacht sich durch die Definition des Vektors
x0 =[1 x10 · · · xK0
]′,
der (transponiert) analog zu einer Zeile der Regressormatrix X aufgebaut ist.
Fur die (bedingte) Punktprognose fur y0 bzw. E(y0) gegeben x0 erhalt manso die kompakte Darstellung
y0 = x0′β bzw. E(y0) = x0
′β .
Die Erwartungstreue der (bedingten) Punktprognosen ergibt sich damit
unmittelbar aus der Erwartungstreue von β fur β und E(u0) = 0:
E(x0′β) = x0
′ E(β) = x0′β = E(y0) [ = E(E(y0)) ]
Okonometrie (SS 2019) Folie 213
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen III
Wie im einfachen linearen Modell resultiert der Prognosefehler
eE := E(y0)− E(y0) = x0′β − x0
′β = x0′(β − β)
nur aus dem Fehler bei der Schatzung von β durch β, wahrend
e0 := y0 − y0 = x0′β − (x0
′β + u0) = x0′(β − β)− u0
zusatzlich die zufallige Schwankung von u0 ∼ N(0, σ2) enthalt.
Fur die Varianz des Prognosefehlers eE erhalt man (da E(E(y0)− E(y0)) = 0)
σ2eE
:= Var(eE ) = Var(E(y0)− E(y0)) = E[[x0′(β − β)]2
](!)= E
[(x0′(β − β))(x0
′(β − β))′]
= E[x0′(β − β)(β − β)′x0
]= x0
′ V(β)x0 = σ2x0′(X′X)−1x0 .
Okonometrie (SS 2019) Folie 214
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen IV
Fur die Varianz des Prognosefehlers e0 erhalt man (wegen E(y0 − y0) = 0,
E(β − β) = 0 und E(u0) = 0)
σ2e0
:= Var(e0) = Var(y0 − y0) = E[[x0′(β − β)− u0]2
]= E
[[x0′(β − β)]2 − 2x0
′(β − β)u0 + u20
]= E
[[x0′(β − β)]2
]︸ ︷︷ ︸
=σ2x0′(X′X)−1x0
−2x0′ E[(β − β)u0
]︸ ︷︷ ︸=Cov(β−β,u0)=0
+ E(u20)︸ ︷︷ ︸
=σ2
= σ2[1 + x0
′(X′X)−1x0
].
Okonometrie (SS 2019) Folie 215
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen V
Wegen der Linearitat von y0 bzw. E(y0) in β ubertragt sich die
Normalverteilungseigenschaft von β auf y0 bzw. E(y0), es gilt also
y0 ∼ N(y0, σ
2e0
)bzw. E(y0) ∼ N
(E(y0), σ2
eE
).
Wie im einfachen linearen Regressionsmodell muss das unbekannte σ2 durch
σ2 geschatzt werden, mit
σ2e0 := σ2
[1 + x0
′(X′X)−1x0
]bzw. σ2
eE := σ2x0′(X′X)−1x0
erhalt man mit σe0 :=
√σ2
e0 und σeE :=
√σ2
eE die Verteilungsaussagen
y0 − y0
σe0
∼ t(n − (K + 1)) bzw.E(y0)− E(y0)
σeE
∼ t(n − (K + 1)) ,
aus denen sich Prognoseintervalle fur y0 und E(y0) konstruieren lassen.
Okonometrie (SS 2019) Folie 216
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen VI
Intervallprognosen fur y0 zur Vertrauenswahrscheinlichkeit 1− α erhalt manalso in der Form[
y0 − tn−(K+1);1−α2 · σe0 , y0 + tn−(K+1);1−α2 · σe0
]=[
x0′β−tn−(K+1);1−α
2·σ√
1+x0′(X′X)−1x0 , x0
′β+tn−(K+1);1−α2·σ√
1+x0′(X′X)−1x0
].
Intervallprognosen fur E(y0) zur Vertrauenswahrscheinlichkeit 1− α (auchinterpretierbar als Konfidenzintervalle zum Konfidenzniveau 1− α fur E(y0))erhalt man entsprechend in der Form[
E(y0)− tn−(K+1);1−α2 · σeE , E(y0) + tn−(K+1);1−α2 · σeE
]=[
x0′β−tn−(K+1);1−α
2·σ√
x0′(X′X)−1x0 , x0
′β+tn−(K+1);1−α2·σ√
x0′(X′X)−1x0
].
Okonometrie (SS 2019) Folie 217
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen VII
Eine Punktprognose fur die (erwartete) Lohnhohe eines 38-jahrigenMitarbeiters, der nach dem Hauptschulabschluss weitere 4 Ausbildungsjahreabsolviert hat, erhalt man im geschatzten Modell aus Folie 207 mitx0 =
[1 4 38
]′als
y0 = E(y0) = x0′β =
[1 4 38
] 1027.80662.57510.602
= 1680.978 .
Im Beispiel aus Folie 207 gilt weiterhin
(X′X)−1 =
0.4801866 0.0081102 −0.01146190.0081102 0.0079709 −0.0009366−0.0114619 −0.0009366 0.0003718
und σ = 237.35.
Okonometrie (SS 2019) Folie 218
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen VIII
Mit
x0′(X′X)−1x0 =
[1 4 38
] 0.4801866 0.0081102 −0.01146190.0081102 0.0079709 −0.0009366−0.0114619 −0.0009366 0.0003718
14
38
= 0.0536441
erhalt man weiter
σe0 = σ√
1 + x0′(X′X)−1x0 = 237.35 ·
√1 + 0.0536441 = 243.6331
undσeE = σ
√x0′(X′X)−1x0 = 237.35 ·
√0.0536441 = 54.9731 .
Okonometrie (SS 2019) Folie 219
4 Multiple lineare Regression Punkt- und Intervallprognosen 4.4
Punkt- und Intervallprognosen IX
Insgesamt erhalt man fur α = 0.05 schließlich das Prognoseintervall[y0 − t20−(2+1);1− 0.05
2· σe0 , y0 + t20−(2+1);1− 0.05
2· σe0
]= [y0 − t17;0.975 · σe0 , y0 + t17;0.975 · σe0 ]
= [1680.978− 2.1098 · 243.6331 , 1680.978 + 2.1098 · 243.6331]
= [1166.961 , 2194.995]
zur Vertrauenswahrscheinlichkeit 1− α = 0.95 fur y0 gegeben x10 = 4 undx20 = 38.
Entsprechend erhalt man fur α = 0.05 das Prognoseintervall[E(y0)− t20−(2+1);1− 0.05
2· σeE , E(y0) + t20−(2+1);1− 0.05
2· σeE
]= [1680.978− 2.1098 · 54.9731 , 1680.978 + 2.1098 · 54.9731]
= [1564.996 , 1796.96]
zur Vertrauenswahrscheinlichkeit 1− α = 0.95 fur E(y0) gegeben x10 = 4 undx20 = 38.
Okonometrie (SS 2019) Folie 220
4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5
Tests einzelner linearer Hypothesen I
Neben Tests fur einzelne Regressionsparameter sind auch Tests (undKonfidenzintervalle) fur Linearkombinationen von Regressionsparameternproblemlos moglich.
Bei Vorliegen der Normalverteilungseigenschaft uiiid∼ N(0, σ2) bzw.
u ∼ N(0, σ2In) gilt bekanntlich
β ∼ N(β, σ2(X′X)−1
),
und auch ohne Normalverteilungsannahme an die ui ist die approximativeVerwendung einer (mehrdimensionalen) Normalverteilung fur β oft sinnvoll.
Damit gilt allerdings nicht nur βk ∼ N(βk , σ2) bzw. βk
•∼ N(βk , σ2) fur
k ∈ 0, . . . ,K, sondern daruberhinaus, dass jede beliebige Linearkombination
der Koeffizientenschatzer β0, β1, . . . , βK (naherungsweise) normalverteilt ist.
Okonometrie (SS 2019) Folie 221
4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5
Tests einzelner linearer Hypothesen II
Tests uber einzelne Linearkombinationen von Regressionsparametern lassensich mit Hilfe von K + 1 Koeffizienten a0, a1, . . . , aK ∈ R fur die Parameterβ0, β1, . . . , βK sowie einem Skalar c ∈ R in den Varianten
H0 :K∑
k=0
akβk = c H0 :K∑
k=0
akβk ≤ c H0 :K∑
k=0
akβk ≥ c
vs. vs. vs.
H1 :K∑
k=0
akβk 6= c H1 :K∑
k=0
akβk > c H1 :K∑
k=0
akβk < c
bzw. in vektorieller Schreibweise mit a :=[a0 a1 · · · aK
]′als
H0 : a′β = c H0 : a′β ≤ c H0 : a′β ≥ c
vs. vs. vs.
H1 : a′β 6= c H1 : a′β > c H1 : a′β < c
formulieren.Okonometrie (SS 2019) Folie 222
4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5
Tests einzelner linearer Hypothesen III
Mit den bekannten”Rechenregeln“ fur die Momente von Linearkombinationen
eines Zufallsvektors (vgl. Folie 50) erhalt man zunachst
a′β ∼ N(a′β, σ2a′(X′X)−1a
)bzw. a′β
•∼ N(a′β, σ2a′(X′X)−1a
).
Ersetzt man die unbekannte Storgroßenvarianz σ2 wie ublich durch den
(erwartungstreuen) Schatzer σ2, so erhalt man die Verteilungsaussage
a′β − a′β
σ√
a′(X′X)−1a∼ t(n− (K + 1)) bzw.
a′β − a′β
σ√
a′(X′X)−1a
•∼ t(n− (K + 1)) ,
woraus sich in gewohnter Weise Konfidenzintervalle und Tests konstruierenlassen.
Okonometrie (SS 2019) Folie 223
4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5
Zusammenfassung: t-Test fur einzelne lineare Hypothesenim multiplen linearen Regressionsmodell
Anwendungs- exakt: y = Xβ + u mit u ∼ N(0, σ2In),voraussetzungen approx.: y = Xβ + u mit E(u) = 0, V(u) = σ2In,
σ2 unbekannt, X deterministisch mit vollem Spaltenrang K + 1,Realisation y = (y1, . . . , yn)′ beobachtet
Nullhypothese H0 : a′β = c H0 : a′β ≤ c H0 : a′β ≥ cGegenhypothese H1 : a′β 6= c H1 : a′β > c H1 : a′β < c
Teststatistik t =a′β − c
σ√
a′(X′X)−1a
Verteilung (H0) t fur a′β = c (naherungsweise) t(n − (K + 1))-verteilt
Benotigte Großen β = (X′X)−1X′y, σ2 =u′u
n − (K + 1), wobei u = y − Xβ
Kritischer Bereich (−∞,−tn−(K+1);1−α2
) (tn−(K+1);1−α,∞) (−∞,−tn−(K+1);1−α)
zum Niveau α ∪(tn−(K+1);1−α2,∞)
p-Wert 2 · (1− Ft(n−(K+1))(|t|)) 1− Ft(n−(K+1))(t) Ft(n−(K+1))(t)
Okonometrie (SS 2019) Folie 224
4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5
Beispiel: Test einer einzelnen linearen Hypothese I
Im vorangegangenen Beispiel (Lohnhohe erklart durch Ausbildung und Alter)kann (im korrekt spezifizierten Modell) zum Beispiel getestet werden, ob der(isolierte) Effekt eines weiteren Ausbildungsjahres mehr als doppelt so großwie der (isolierte) Effekt eines zusatzlichen Lebensjahres ist, also obβ1 > 2 · β2 gilt.
Die passende Hypothesenformulierung lautet in diesem Fall
H0 : β1 − 2 · β2 ≤ 0 gegen H1 : β1 − 2 · β2 > 0
bzw. in der bisherigen Schreibweise
H0 : a′β ≤ c gegen H1 : a′β > c
mit a =[0 1 −2
]′und c = 0.
Okonometrie (SS 2019) Folie 225
4 Multiple lineare Regression Tests einzelner linearer Hypothesen 4.5
Beispiel: Test einer einzelnen linearen Hypothese II
Mit (X′X)−1 und σ wie auf Folie 218 angegeben erhalt man zunachst
a′(X′X)−1a =[0 1 −2
] 0.4801866 0.0081102 −0.01146190.0081102 0.0079709 −0.0009366−0.0114619 −0.0009366 0.0003718
01−2
= 0.013204
und mit a′β =[0 1 −2
] 1027.80662.57510.602
= 41.371 die realisierte Teststatistik
t =a′β − c
σ√
a′(X′X)−1a=
41.371− 0
237.35 ·√
0.013204= 1.5169 .
H0 kann hier zum Signifikanzniveau α = 0.05 nicht abgelehnt werden, dat = 1.5169 /∈ (1.74,∞) = (t17;0.95,∞) = (tn−(K+1);1−α,∞) = K .
Okonometrie (SS 2019) Folie 226
4 Multiple lineare Regression Konfidenzintervalle fur Linearkombinationen 4.6
Konfidenzintervalle fur (einzelne) Linearkombinationen
Ein (ggf. approximatives) symmetrisches Konfidenzintervall fur a′β zumKonfidenzniveau 1− α erhalt man auf vergleichbare Art und Weise durch:[
a′β − tn−(K+1);1−α2 · σ√
a′(X′X)−1a , a′β + tn−(K+1);1−α2 · σ√
a′(X′X)−1a]
Im vorangegangenen Beispiel erhalt man somit ein Konfidenzintervall furβ1 − 2 · β2, also fur a′β mit a =
[0 1 −2
]′, zum Konfidenzniveau
1− α = 0.95 unter Verwendung der bisherigen Zwischenergebnisse sowie vont17;0.975 = 2.11 durch:[a′β − tn−(K+1);1−α2 · σ
√a′(X′X)−1a , a′β + tn−(K+1);1−α2 · σ
√a′(X′X)−1a
]=[41.371− 2.11 · 237.35
√0.013204 , 41.371 + 2.11 · 237.35
√0.013204
]= [−16.1762 , 98.9182]
Okonometrie (SS 2019) Folie 227
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
(Simultane) Tests mehrerer linearer Hypothesen I
Neben einzelnen linearen Hypothesen konnen auch mehrere lineareHypothesen simultan uberpruft werden.
Die Nullhypothese H0 solcher Tests enthalt L lineare(Gleichheits-)Restriktionen in der Gestalt
a10β0 + a11β1 + . . .+ a1KβK = c1
a20β0 + a21β1 + . . .+ a2KβK = c2
......
...
aL0β0 + aL1β1 + . . .+ aLKβK = cL
bzw.K∑
k=0
alkβk = cl fur l ∈ 1, . . . , L .
Okonometrie (SS 2019) Folie 228
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
(Simultane) Tests mehrerer linearer Hypothesen II
Mit dem L-dimensionalen Vektor c :=[c1 · · · cL
]′und der
(L× (K + 1))-Matrix
A :=
a10 a11 · · · a1K
......
...aL0 aL1 · · · aLK
lasst sich die Nullhypothese auch als Aβ = c schreiben.
H1 ist (wie immer) genau dann erfullt, wenn H0 verletzt ist, hier also wennmindestens eine Gleichheitsrestriktion nicht gilt.
Da Vektoren genau dann ubereinstimmen, wenn alle Komponenten gleichsind, kann das Hypothesenpaar also in der Form
H0 : Aβ = c gegen H1 : Aβ 6= c
kompakt notiert werden.
Okonometrie (SS 2019) Folie 229
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
(Simultane) Tests mehrerer linearer Hypothesen III
Zur Konstruktion eines Hypothesentests fordert man zunachst, dass A wederredundante noch
”zu viele“ Linearkombinationen enthalt, dass A also vollen
Zeilenrang L besitzt.
Eine geeignete Testgroße zur gemeinsamen Uberprufung der L linearenRestriktionen aus der Nullhypothese ist dann
F =(Aβ − c)′
[A(X′X)−1A′
]−1(Aβ − c)
/L
u′u/(n − (K + 1))
=(Aβ − c)′
[σ2A(X′X)−1A′
]−1
(Aβ − c)
L.
Man kann zeigen, dass F bei Gultigkeit von H0 : Aβ = c unter denbisherigen Annahmen (einschließlich der Annahme u ∼ N(0, σ2In)) einersogenannten F -Verteilung mit L Zahler- und n − (K + 1)Nennerfreiheitsgraden folgt, in Zeichen F ∼ F (L, n − (K + 1)).
Okonometrie (SS 2019) Folie 230
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
(Simultane) Tests mehrerer linearer Hypothesen IV
Die F -Statistik aus Folie 230 ist im Wesentlichen eine (positiv definite)
quadratische Form in den”empirischen Verletzungen“ Aβ − c der
Nullhypothese.
Besonders große Werte der F -Statistik sprechen also gegen die Gultigkeit derNullhypothese.
Entsprechend bietet sich als kritischer Bereich zum Signifikanzniveau α
K = (FL,n−(K+1);1−α,∞)
an, wobei mit Fm,n;p das p-Quantil der F (m, n)-Verteilung (F -Verteilung mitm Zahler- und n Nennerfreiheitsgraden) bezeichnet ist.
Auch bei Verletzung der Normalverteilungsannahme ist eine approximativeAnnahme der F (L, n − (K + 1))-Verteilung (unter H0!) und damit einapproximativer Test sinnvoll.
Okonometrie (SS 2019) Folie 231
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
Grafische Darstellung einiger F (m, n)-Verteilungenfur m, n ∈ 2, 5, 10
0 1 2 3 4
0.0
0.2
0.4
0.6
0.8
1.0
x
f(x)
F(2, 2)F(5, 2)F(10, 2)F(2, 5)F(5, 5)F(10, 5)F(2, 10)F(5, 10)F(10, 10)
Okonometrie (SS 2019) Folie 232
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
0.95-Quantile der F (m, n)-Verteilungen Fm,n;0.95n\m 1 2 3 4 5 6 7 8
1 161.448 199.500 215.707 224.583 230.162 233.986 236.768 238.8832 18.513 19.000 19.164 19.247 19.296 19.330 19.353 19.3713 10.128 9.552 9.277 9.117 9.013 8.941 8.887 8.8454 7.709 6.944 6.591 6.388 6.256 6.163 6.094 6.0415 6.608 5.786 5.409 5.192 5.050 4.950 4.876 4.818
6 5.987 5.143 4.757 4.534 4.387 4.284 4.207 4.1477 5.591 4.737 4.347 4.120 3.972 3.866 3.787 3.7268 5.318 4.459 4.066 3.838 3.687 3.581 3.500 3.4389 5.117 4.256 3.863 3.633 3.482 3.374 3.293 3.230
10 4.965 4.103 3.708 3.478 3.326 3.217 3.135 3.072
11 4.844 3.982 3.587 3.357 3.204 3.095 3.012 2.94812 4.747 3.885 3.490 3.259 3.106 2.996 2.913 2.84913 4.667 3.806 3.411 3.179 3.025 2.915 2.832 2.76714 4.600 3.739 3.344 3.112 2.958 2.848 2.764 2.69915 4.543 3.682 3.287 3.056 2.901 2.790 2.707 2.641
16 4.494 3.634 3.239 3.007 2.852 2.741 2.657 2.59117 4.451 3.592 3.197 2.965 2.810 2.699 2.614 2.54818 4.414 3.555 3.160 2.928 2.773 2.661 2.577 2.51019 4.381 3.522 3.127 2.895 2.740 2.628 2.544 2.47720 4.351 3.493 3.098 2.866 2.711 2.599 2.514 2.447
30 4.171 3.316 2.922 2.690 2.534 2.421 2.334 2.26640 4.085 3.232 2.839 2.606 2.449 2.336 2.249 2.18050 4.034 3.183 2.790 2.557 2.400 2.286 2.199 2.130
100 3.936 3.087 2.696 2.463 2.305 2.191 2.103 2.032150 3.904 3.056 2.665 2.432 2.274 2.160 2.071 2.001
Okonometrie (SS 2019) Folie 233
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
Zusammenfassung: F -Test fur L ≥ 1 lineare Restriktionenim multiplen linearen Regressionsmodell
Anwendungs- exakt: y = Xβ + u mit u ∼ N(0, σ2In),voraussetzungen approx.: y = Xβ + u mit E(u) = 0, V(u) = σ2In,
σ2 unbekannt, X deterministisch mit vollem Spaltenrang K + 1,Realisation y = (y1, . . . , yn)′ beobachtet, c ∈ RL,(L× (K + 1))-Matrix A mit vollem Zeilenrang L
Nullhypothese H0 : Aβ = cGegenhypothese H1 : Aβ 6= c
Teststatistik F =(Aβ − c)′
[σ2A(X′X)−1A′
]−1
(Aβ − c)
L
Verteilung (H0) F ist (approx.) F (L, n − (K + 1))-verteilt, falls Aβ = c
Benotigte Großen β = (X′X)−1X′y, σ2 =u′u
n − (K + 1), wobei u = y − Xβ
Kritischer Bereich (FL,n−(K+1);1−α,∞)zum Niveau α
p-Wert 1− FF (L,n−(K+1))(F )
Okonometrie (SS 2019) Folie 234
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
Ein spezieller F -Testauf
”Signifikanz des Erklarungsansatzes“
Eine spezielle, haufig verwendete Ausgestaltung des F -Tests uberpruft(simultan), ob mindestens ein Regressor einen (signifikanten) Effekt auf denRegressanden hat.
Die Hypothesen lauten also:
H0 : β1 = . . . = βK = 0 gegen H1 : βk 6= 0 fur mind. ein k ∈ 1, . . . ,K
Die realisierte Teststatistik zu diesem Test, die Anzahl der (Zahler- undNenner-)Freiheitsgrade der (F -)Verteilung unter H0 sowie der p-Wert derrealiserten Teststatistik sind ublicherweise Bestandteil von Regressionsoutputszu Schatzungen linearer Modelle mit Statistik-Software.
In der Schatzung des korrekt spezifizierten Modells aus Folie 207 liest manbeispielsweise die realisierte Teststatistik F = 15.29, 2 Zahler- und 17Nennerfreiheitsgrade der F -Verteilung unter H0 sowie den p-Wert 0.0001587ab.
Okonometrie (SS 2019) Folie 235
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
Alternative Darstellungen der F -Statistik I
Es kann gezeigt werden, dass man unter den getroffenen Annahmen dierealisierte F -Statistik auch berechnen kann, indem man neben demeigentlichen
”unrestringierten“ Regressionsmodell das sogenannte
”restringierte“ Regressionsmodell schatzt und die Ergebnisse vergleicht.
Die Schatzung des restringierten Modells erfolgt als Losung desursprunglichen KQ-Optimierungsproblems unter der NebenbedingungAβ = c.
Werden mit RSS0 die Summe der quadrierten Residuen bzw. mit R20 das
Bestimmtheitsmaß der restringierten Modellschatzung bezeichnet, lasst sichdie F -Statistik auch als
F =(RSS0 − RSS)/L
RSS/(n − (K + 1))=
(R2 − R20 )/L
(1− R2)/(n − (K + 1))
darstellen, wenn mit RSS, R2 bzw. K wie ublich die Summe der quadriertenResiduen, das Bestimmtheitsmaß bzw. die Anzahl der Regressoren desunrestringierten Modells bezeichnet werden und L die Anzahl der linearenRestriktionen (Anzahl der Zeilen von A) ist.
Okonometrie (SS 2019) Folie 236
4 Multiple lineare Regression Tests mehrerer linearer Hypothesen 4.7
Alternative Darstellungen der F -Statistik II
Insbesondere wenn die linearen Restriktionen im Ausschluss einiger derRegressoren bestehen, die Nullhypothese also die Gestalt
H0 : βj = 0 fur j ∈ J ⊆ 1, . . . ,K mit |J| = L
besitzt, kann die Schatzung des restringierten Modells naturlich durch dieSchatzung des entsprechend verkleinerten Regressionsmodells erfolgen.
Im bereits betrachteten Spezialfall J = 1, . . . ,K bzw.
H0 : β1 = . . . = βK = 0 gegen H1 : βk 6= 0 fur mind. ein k ∈ 1, . . . ,K
gilt offensichtlich R20 = 0, damit kann die F -Statistik ohne weitere Schatzung
auch durch
F =R2/K
(1− R2)/(n − (K + 1))
ausgewertet werden.
Okonometrie (SS 2019) Folie 237
4 Multiple lineare Regression Konfidenzellipsen 4.8
Konfidenzellipsen fur mehrere Parameter I
Konfidenzintervalle fur einen Regressionsparameter βk zurVertrauenswahrscheinlichkeit 1− α bestehen aus genau den hypothetischenParameterwerten β0
k , zu denen ein (zweiseitiger) Signifikanztest zumSignifikanzniveau α (mit H0 : βk = β0
k ) die Nullhypothese nicht ablehnt.
Dieses Konzept lasst sich problemlos auf Konfidenzbereiche (simultan) furmehrere Regressionsparameter erweitern; wegen der resultierenden Gestaltwerden diese Konfidenzellipsen oder ggf. Konfidenzellipsoide genannt.
Fur eine Teilmenge J = j1, . . . , jL ⊆ 0, . . . ,K mit |J| = L enthalt also einKonfidenzbereich fur den Parameter(teil)vektor (βj1 , . . . , βjL )′ zumKonfidenzniveau 1− α genau die Vektoren (β0
j1, . . . , β0
jL)′, fur die ein F -Test
zum Signifikanzniveau α mit
H0 : βj1 = β0j1 ∧ . . . ∧ βjL = β0
jL
diese Nullhypothese nicht verwirft.
Okonometrie (SS 2019) Folie 238
4 Multiple lineare Regression Konfidenzellipsen 4.8
Konfidenzellipsen fur mehrere Parameter II
Da der F -Test H0 genau dann nicht verwirft, wenn fur die Teststatistik
F =(Aβ − c)′
[σ2A(X′X)−1A′
]−1
(Aβ − c)
L≤ FL,n−(K+1);1−α
gilt, wird der Konfidenzbereich zum Niveau 1− α also durch die Mengec ∈ RL
∣∣∣(Aβ − c)′[σ2A(X′X)−1A′
]−1
(Aβ − c) ≤ L · FL,n−(K+1);1−α
beschrieben, wobei die Matrix A aus L Zeilen besteht und die Zeile l jeweilsin der (zu βjl gehorenden) (jl + 1)-ten Spalte den Eintrag 1 hat und sonst nurNullen beinhaltet.
Konfidenzellipsen bzw. -ellipsoide sind auch fur mehrere Linearkombinationender Regressionsparameter als Verallgemeinerung der Konfidenzintervalle fureinzelne Linearkombinationen ganz analog konstruierbar, es muss lediglich dieentsprechende (allgemeinere) Matrix A eingesetzt werden.
Okonometrie (SS 2019) Folie 239
4 Multiple lineare Regression Konfidenzellipsen 4.8
Beispiel: Konfidenzellipse fur β1 und β2im korrekt spezifizierten Modell von Folie 207, 1− α = 0.95
20 40 60 80 100 120
05
1015
20
Ausbildung β1
Alte
r β 2
Okonometrie (SS 2019) Folie 240
4 Multiple lineare Regression Multikollinearitat 4.9
Multikollinearitat
Erinnerung: Unter der (gemaß Modellannahmen ausgeschlossenen) perfektenMultikollinearitat versteht man eine perfekte lineare Abhangigkeit unter denRegressoren (einschließlich des
”Absolutglieds“).
Bei perfekter Multikollinearitat ist eine Schatzung des Modells mit demvorgestellten Verfahren nicht moglich.
Im Unterschied zur perfekten Multikollinearitat spricht man von imperfekterMultikollinearitat, wenn die Regressoren (einschließlich des
”Absolutglieds“)
beinahe (in einem noch genauer zu spezifizierenden Sinn!) lineareAbhangigkeiten aufweisen.
Eine (konventionelle) Schatzung des Modells ist dann (abgesehen vonnumerischen Schwierigkeiten in sehr extremen Fallen) moglich, die Ergebnissekonnen aber (i.d.R. unerwunschte) Besonderheiten aufweisen.
Okonometrie (SS 2019) Folie 241
4 Multiple lineare Regression Multikollinearitat 4.9
Perfekte Multikollinearitat I
Perfekte Multikollinearitat tritt in linearen Modellen mit Absolutglied (wiehier betrachtet) zum Beispiel dann auf, wenn Modelle mit sog.Dummy-Variablen falsch spezifiziert werden.
Unter Dummy-Variablen versteht man Regressoren, die nur die Werte 0 und 1annehmen.
Oft werden nominalskalierte Regressoren mit Hilfe von Dummy-Variablen inlineare Modelle einbezogen, indem den vorhandenen (!) Auspragungenseparate Dummy-Variablen zugeordnet werden, die jeweils den Wert 1annehmen, wenn die entsprechende Auspragung vorliegt, und 0 sonst.
Wird zu jeder vorhandenen Auspragung eine solche Dummy-Variabledefiniert, hat offensichtlich immer genau eine der Dummy-Variablen den Wert1, alle anderen den Wert 0.
Damit ist aber offensichtlich die Summe uber alle Dummy-Variablen stetsgleich 1 und damit identisch mit dem (und insbesondere linear abhangig zum)Absolutglied.
Okonometrie (SS 2019) Folie 242
4 Multiple lineare Regression Multikollinearitat 4.9
Perfekte Multikollinearitat II
Losung: (Genau) eine Dummy-Variable wird weggelassen.
Damit nimmt die zu dieser Dummy-Variablen gehorende Auspragung desMerkmals eine Art
”Benchmark“ oder Bezugsgroße ein.
Die Koeffizienten vor den im Modell verbliebenen Dummy-Variablen zu denanderen Merkmalsauspragungen sind dann als Anderung gegenuber dieserBenchmark zu interpretieren, wahrend der
”Effekt“ der Benchmark selbst im
Absolutglied enthalten (und ohnehin nicht separat zu messen) ist.
Beispiel: Einbeziehung des Merkmals”Geschlecht“ mit den beiden (auch im
Datensatz auftretenden!) Auspragungen weiblich und mannlich mit Hilfeeiner Dummy-Variablen weiblich (oder alternativ mannlich) ist korrekt,wahrend Aufnahme der beiden Variablen weiblich und mannlich
zwangslaufig zu perfekter Multikollinearitat fuhrt.
Lineare Abhangigkeiten zwischen Regressoren konnen auch ohne (fehlerhafte)Verwendung von Dummy-Variablen auftreten.
Okonometrie (SS 2019) Folie 243
4 Multiple lineare Regression Multikollinearitat 4.9
Perfekte Multikollinearitat III
Beispiel 1: Sind in einem Modell die Regressoren”durchschnittl.
Monatseinkommen“ (Monat),”Jahressonderzahlung“ (Sonderzahlung) und
”Jahreseinkommen“ (Jahr) enthalten, besteht wegen des Zusammenhangs
Jahr = 12 · Monat + Sonderzahlung
offensichtlich perfekte Multikollinearitat.
Beispiel 2: Sind gleichzeitig die Regressoren”Nettoeinnahmen mit reduz.
MWSt.“ (NettoReduziert),”Nettoeinnahmen mit regul. MWSt.“
(NettoRegular) und”Bruttoeinnahmen“ (Brutto) enthalten, besteht wegen
des Zusammenhangs
Brutto = 1.07 · NettoReduziert + 1.19 · NettoRegular
ebenfalls perfekte Multikollinearitat.
Losung: Eine der Variablen im linearen Zusammenhang weglassen (wird vonStatistik-Software meist automatisch erledigt).
Okonometrie (SS 2019) Folie 244
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat I
Imperfekte Multikollinearitat kann im Beispiel 1 aus Folie 244 auch nachElimination des Regressors Jahr auftreten:
Oft ist die Jahressonderzahlung (mehr oder weniger) linear vomdurchschnittlichen Monatseinkommen abhangig (
”13. Monatsgehalt“). Dies
kann zu”beinahe“ linearen Abhangigkeiten zwischen den Regressoren fuhren.
In einem (fiktiven) linearen Modell werden die monalichen Ausgaben furNahrungs- und Genussmittel in Haushalten (NuG) durch die Anzahl Personenim Haushalt (Personen), das durchschn. Monatseinkommen (Monat) und diejahrliche Sonderzahlung (Sonderzahlung) erklart.
Im (ebenfalls fiktiven) Datensatz der Lange n = 25 betragt die Korrelationzwischen den Regressoren Monat und Sonderzahlung 0.972, wie auch imfolgenden Plot visualisiert ist.
Okonometrie (SS 2019) Folie 245
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat IIDarstellung der Regressoren Monat und Sonderzahlung
1500 2000 2500 3000 3500 4000 4500 5000
1500
2000
2500
3000
3500
4000
4500
5000
Punktwolke der Regressoren Monat und Sonderzahlung
Monat x2i
Son
derz
ahlu
ng x
3i
Okonometrie (SS 2019) Folie 246
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat IIISchatzergebnisse des vollstandigen Modells
Call:
lm(formula = NuG ~ Personen + Monat + Sonderzahlung)
Residuals:
Min 1Q Median 3Q Max
-268.49 -109.97 -0.13 122.96 248.30
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 61.44311 124.97001 0.492 0.628
Personen 159.57520 29.13033 5.478 1.96e-05 ***
Monat 0.17848 0.11854 1.506 0.147
Sonderzahlung 0.07205 0.12413 0.580 0.568
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 153.3 on 21 degrees of freedom
Multiple R-squared: 0.8242, Adjusted R-squared: 0.7991
F-statistic: 32.82 on 3 and 21 DF, p-value: 4.097e-08
Okonometrie (SS 2019) Folie 247
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat IV
In der Schatzung des vollstandigen Modells ist nur der Koeffizient desRegressors Personen signifikant von Null verschieden (zu gangigenSignifikanzniveaus).
Insbesondere die (geschatzten) Koeffizienten zu den Regressoren Monat undSonderzahlung sind zwar (wie zu erwarten) positiv, durch dievergleichsweise großen Standardfehler jedoch insignifikant.
Es liegt die Vermutung nahe, dass die Schatzung der Koeffizienten deshalb so
”ungenau“ ausfallt, weil die Effekte der beiden Regressoren wegen der hohen
Korrelation im linearen Modellansatz kaum zu trennen sind.
Die imperfekte, aber große (lineare) Abhangigkeit der beiden RegressorenMonat und Sonderzahlung ubertragt sich auf einen stark ausgepragten(negativen!) Zusammenhang der Koeffizientenschatzer zu diesen Regressoren,was sich auch in Konfidenzellipsen zu den entsprechenden Parameternwiderspiegelt:
Okonometrie (SS 2019) Folie 248
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat VKonfidenzellipse (1− α = 0.95) fur β2 und β3 im vollstandigen Modell
−0.1 0.0 0.1 0.2 0.3 0.4 0.5
−0.
2−
0.1
0.0
0.1
0.2
0.3
0.4
Monat β2
Son
derz
ahlu
ng β
3
Okonometrie (SS 2019) Folie 249
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat VI
Bei Betrachtung der Konfidenzellipse fallt auf, dass die Ellipse sehr”flach“ ist.
Grund hierfur ist die bereits erwahnte starke negative (geschatzte)
Korrelation der Schatzfunktionen β2 und β3, die sich aus der geschatztenVarianz-Kovarianzmatrix
V(β) =
15617.50443 −2322.95496 −3.52136 0.76131−2322.95496 848.57606 0.76545 −0.69665−3.52136 0.76545 0.01405 −0.014310.76131 −0.69665 −0.01431 0.01541
als Korr(β2, β3) =
−0.01431√0.01405 · 0.01541
= −0.973 errechnen lasst.
Fasst man die Regressoren Monat und Sonderzahlung in dem Regressor
Jahr = 12 · Monat + Sonderzahlung
zusammen, erhalt man folgende Ergebnisse:
Okonometrie (SS 2019) Folie 250
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat VIIModell mit Regressor Jahr statt Regressoren Monat und Sonderzahlung
Call:
lm(formula = NuG ~ Personen + Jahr)
Residuals:
Min 1Q Median 3Q Max
-263.159 -109.291 5.702 121.542 262.347
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 58.0719 122.3825 0.475 0.64
Personen 162.0057 28.0344 5.779 8.18e-06 ***
Jahr 0.0190 0.0021 9.044 7.27e-09 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 150.5 on 22 degrees of freedom
Multiple R-squared: 0.8227, Adjusted R-squared: 0.8066
F-statistic: 51.04 on 2 and 22 DF, p-value: 5.449e-09
Okonometrie (SS 2019) Folie 251
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat VIII
Nun ist auch der Koeffizient zum (aggregierten) Regressor Jahr (hoch)signifikant von Null verschieden (und wie zu erwarten positiv).
Trotz der Reduzierung der Zahl der Regressoren bleibt der Anteil dererklarten Varianz beinahe unverandert, das adjustierte Bestimmtheitsmaßvergroßert sich sogar.
Nicht wesentlich andere Resultate sind zu beobachten, wenn man einen derRegressoren Monat oder Sonderzahlung aus dem ursprunglichen Modellentfernt.
Ist das Weglassen von Regressoren oder eine Umspezifikation des Modellsmoglich und sinnvoll, kann man das Problem der (imperfekten)Multikollinearitat also dadurch umgehen.
Ansonsten kann man den bisher dargestellten Folgen von imperfekterMultikollinearitat nur durch einen vergroßerten Stichprobenumfangentgegenwirken.
Okonometrie (SS 2019) Folie 252
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat IXModell ohne Regressor Sonderzahlung
Call:
lm(formula = NuG ~ Personen + Monat)
Residuals:
Min 1Q Median 3Q Max
-261.656 -109.348 7.655 109.174 267.646
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 57.88292 122.92403 0.471 0.642
Personen 162.83304 28.15048 5.784 8.08e-06 ***
Monat 0.24538 0.02726 9.003 7.88e-09 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 151 on 22 degrees of freedom
Multiple R-squared: 0.8214, Adjusted R-squared: 0.8052
F-statistic: 50.59 on 2 and 22 DF, p-value: 5.901e-09
Okonometrie (SS 2019) Folie 253
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat XModell ohne Regressor Monat
Call:
lm(formula = NuG ~ Personen + Sonderzahlung)
Residuals:
Min 1Q Median 3Q Max
-299.94 -113.54 25.03 87.79 293.15
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 106.1682 124.8342 0.850 0.404
Personen 149.8531 29.2120 5.130 3.85e-05 ***
Sonderzahlung 0.2538 0.0298 8.515 2.06e-08 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 157.7 on 22 degrees of freedom
Multiple R-squared: 0.8052, Adjusted R-squared: 0.7875
F-statistic: 45.48 on 2 and 22 DF, p-value: 1.53e-08
Okonometrie (SS 2019) Folie 254
4 Multiple lineare Regression Multikollinearitat 4.9
Beispiel: Imperfekte Multikollinearitat XI
Das Vorliegen von imperfekter Multikollinearitat bedeutet im Ubrigen nicht,dass die Resultate der Schatzung nicht mehr nutzlich oder gar falsch sind,insbesondere bleiben verwertbare Prognosen meist moglich.
Im vollstandigen Modell erhalt man außerdem beispielsweise mit demKonfidenzintervall zum Konfidenzniveau 1− α = 0.95 fur die Summeβ2 + β3, also fur a′β mit a =
[0 0 1 1
]′, mit
[0.1781, 0.3219]
eine deutlich prazisere Schatzung als fur die einzelnen Koeffizientenβ2 (Konfidenzintervall zum Niveau 1− α = 0.95: [−0.0681, 0.425]) undβ3 (Konfidenzintervall zum Niveau 1− α = 0.95: [−0.1861, 0.3302]).
Werden die”schlecht zu trennenden“ Effekte also (z.B. durch geeignete
Linearkombination) zusammengefasst, sind wieder prazisere Schlusse moglich.
Auch die Frage, ob wenigstens einer der Koeffizienten β2 bzw. β3 signifikant(α = 0.05) von Null verschieden ist, kann mit einem Blick auf dieKonfidenzellipse auf Folie 249 (oder mit einem passenden F -Test) klar positivbeantwortet werden.
Okonometrie (SS 2019) Folie 255
4 Multiple lineare Regression Multikollinearitat 4.9
Messung von imperfekter Multikollinearitat I
Ausstehend ist noch die prazisere Festlegung einer Schwelle fur die lineareAbhangigkeit zwischen den Regressoren, ab der man ublicherweise vonimperfekter Multikollinearitat spricht.
Man benotigt zunachst ein Maß fur die lineare Abhangigkeit der Regressoren.Dazu setzt man zunachst jeden der K (echten) Regressoren separat alsabhangige Variable in jeweils ein neues Regressionsmodell ein und verwendetals unabhangige, erklarende Variablen jeweils alle ubrigen Regressoren in derfolgenden Gestalt:
x1i = γ0 + γ2x2i + γ3x3i + . . .+ γK−1x(K−1)i + γK xKi + ui ,
x2i = γ0 + γ1x1i + γ3x3i + . . .+ γK−1x(K−1)i + γK xKi + ui ,
......
......
x(K−1)i = γ0 + γ1x1i + γ2x2i + γ3x3i + . . . + γK xKi + ui ,
xKi = γ0 + γ1x1i + γ2x2i + γ3x3i + . . .+ γK−1x(K−1)i + ui .
Okonometrie (SS 2019) Folie 256
4 Multiple lineare Regression Multikollinearitat 4.9
Messung von imperfekter Multikollinearitat II
Die K resultierenden Bestimmtheitsmaße R2k (k ∈ 1, . . . ,K) werden dann
verwendet, um die sogenannten Varianz-Inflations-Faktoren (VIF)
VIFk :=1
1− R2k
zu definieren.
Offensichtlich gilt VIFk ≥ 1, und VIFk wachst mit zunehmendem R2k
(es gilt genauer VIFk = 1 ⇐⇒ R2k = 0 und VIFk →∞ ⇐⇒ R2
k → 1).
Sind Regressoren mit einem Varianz-Inflations-Faktor von mehr als 10 imModell enthalten, spricht man in der Regel vom Vorliegen von imperfekterMultikollinearitat oder vom Multikollinearitatsproblem, es existieren aberauch einige andere
”Faustregeln“.
Okonometrie (SS 2019) Folie 257
4 Multiple lineare Regression Multikollinearitat 4.9
Messung von imperfekter Multikollinearitat III
In der Darstellung (mit den Abkurzungen xk und skk aus Folie 191)
Var(βk ) =σ2
n · skk· VIFk =
σ2∑ni=1(xki − xk )2
· VIFk
der geschatzten Varianz der Parameterschatzer βk ist die Bezeichnung
”Varianz-Inflations-Faktor“ selbsterklarend.
In der im Beispiel durchgefuhrten Schatzung des vollstandigen Modellsergeben sich die folgenden Varianz-Inflations-Faktoren:
Regressor Personen Monat Sonderzahlung
VIF 1.062 18.765 18.531
Nach der oben genannten”Faustregel“ liegt also ein Multikollinearitatsproblem
bei den Regressoren Monat und Sonderzahlung vor.
Okonometrie (SS 2019) Folie 258
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Heteroskedastie der Storgroßen I
Die Annahme 2 an die Storgroßen ui auf Folie 186 lautet Var(ui ) = σ2 furalle i ∈ 1, . . . , n, es wird also die Gleichheit aller Storgroßenvarianzengefordert.
Die Gleichheit der Varianz mehrerer Zufallsvariablen wird auch alsHomoskedastie oder Homoskedastizitat dieser Zufallsvariablen bezeichnet.Man spricht bei Erfullung der Annahme 2 an die Storgroßen damit auch vonhomoskedastischen Storgroßen.
Das Gegenteil von Homoskedastie wird mit Heteroskedastie oderHeteroskedastizitat bezeichnet.Ist Annahme 2 an die Storgroßen verletzt, gilt also (mit σ2
i := Var(ui ))σ2
i 6= σ2j fur mindestens eine Kombination i , j ∈ 1, . . . , n, so spricht man
von heteroskedastischen Storgroßen.
Okonometrie (SS 2019) Folie 259
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Heteroskedastie der Storgroßen II
Im Folgenden untersuchen wir die Auswirkungen des Vorliegensheteroskedastischer, aber (nach wie vor) unkorrelierter Storgroßen.
Es gelte also
V(u) = diag(σ21 , . . . , σ
2n) :=
σ2
1 0 0 · · · 0 0 00 σ2
2 0 · · · 0 0 0...
. . ....
0 0 0 · · · 0 σ2n−1 0
0 0 0 · · · 0 0 σ2n
,
V(u) ist also eine Diagonalmatrix.
Sind die Storgroßen gemeinsam normalverteilt (gilt also Annahme 4 ), sosind die ui noch unabhangig, aber nicht mehr identisch verteilt.
Okonometrie (SS 2019) Folie 260
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Heteroskedastie der Storgroßen III
Auswirkungen von Heteroskedastie in den Storgroßenbei Schatzung des Modells mit der OLS-/KQ-Methode
I Der Vektor von Schatzfunktionen β bleibt unverzerrt fur β.(Die Koeffizientenschatzer bleiben prinzipiell sinnvoll und gut einsetzbar.)
I β ist nicht mehr effizient (varianzminimal).(Je nach Situation, insbesondere bei bekannter Struktur der Heteroskedastie, sindprazisere Schatzfunktionen konstruierbar. Dies wird in dieser Veranstaltung abernicht weiter besprochen.)
I Konfidenzintervalle und Tests werden in der bisherigen Ausgestaltungunbrauchbar!
Ursachlich fur den letzten (und folgenreichsten) Aspekt ist, dass bei der
Herleitung bzw. Berechnung von V(β) bzw. V(β) regelmaßig die (beiHeteroskedastie falsche!) Spezifikation V(u) = σ2In eingesetzt bzw.verwendet wurde.
Okonometrie (SS 2019) Folie 261
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Schatzung von V(β) bei Heteroskedastie I
Bei Vorliegen von Heteroskedastie in den Storgroßen kann V(β) nicht mehrso stark wie auf Folie 198 vereinfacht werden, man erhalt lediglich
V(β) = E
[(β − E(β)
)(β − E(β)
)′]= E
[((X′X)−1X′u
) ((X′X)−1X′u
)′]= E
[(X′X)−1X′uu′X(X′X)−1
]= (X′X)−1X′ E(uu′)X(X′X)−1
= (X′X)−1X′ V(u)X(X′X)−1 .
Bei unbekannter Form von Heteroskedastie wurde als Schatzer fur V(u) vonHalbert White zunachst (Econometrica, 1980) die folgende Funktionvorgeschlagen:
Vhc0(u) := diag(u21 , . . . , u
2n) =
u2
1 0 0 · · · 0 0 00 u2
2 0 · · · 0 0 0...
. . ....
0 0 0 · · · 0 u2n−1 0
0 0 0 · · · 0 0 u2n
Okonometrie (SS 2019) Folie 262
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Schatzung von V(β) bei Heteroskedastie II
Auf dieser Basis wurden weitere Schatzer entwickelt, einer davon ist die (furbessere Eigenschaften in kleinen Stichproben um Freiheitsgrade korrigierte)Variante
Vhc1(u) :=n
n − (K + 1)diag(u2
1 , . . . , u2n)
=n
n − (K + 1)
u2
1 0 0 · · · 0 0 00 u2
2 0 · · · 0 0 0...
. . ....
0 0 0 · · · 0 u2n−1 0
0 0 0 · · · 0 0 u2n
.
Einsetzen in die Darstellung von V(β) aus Folie 262 liefert dann z.B.
Vhc1(β) := (X′X)−1X′Vhc1(u)X(X′X)−1
als (unter moderaten Bedingungen konsistenten) Schatzer fur die
Varianz-Kovarianz-Matrix V(β).
Okonometrie (SS 2019) Folie 263
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Konfidenz-, Prognoseintervalle und Hypothesentests Ibei heteroskedastischen Storgroßen
Konfidenz- und Prognoseintervalle sowie Hypothesentests mussen nun auf derVerteilungsaussage
β ∼ N(β, (X′X)−1X′ V(u)X(X′X)−1)
bzw.β•∼ N(β, (X′X)−1X′ V(u)X(X′X)−1)
aufbauen, die durch eine geeignete Schatzung von V(u) nutzbar gemachtwird.
Die Verwendung eines heteroskedastie-konsistenten Schatzers Vhc(β) fur
V(β) fuhrt dazu, dass viele bei Homoskedastie (zumindest bei gemeinsamnormalverteilen Storgroßen) exakt gultigen Verteilungsaussagen nur nochasymptotisch und damit fur endliche Stichprobenumfange nur nochnaherungsweise (approximativ) gelten (selbst bei gemeinsam normalverteiltenStorgroßen).
Okonometrie (SS 2019) Folie 264
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Konfidenz-, Prognoseintervalle und Hypothesentests IIbei heteroskedastischen Storgroßen
Achtung!
Bei der Verwendung von heteroskedastie-konsistenten Schatzern fur V(β) mussunbedingt darauf geachtet werden, keine
”Formeln“ einzusetzen, die unter
Ausnutzung von nur bei Homoskedastie der Storgroßen gultigenZusammenhangen hergeleitet wurden.
Generell sind ganz offensichtlich alle”Formeln“, die σ2 oder σ enthalten, also
nicht mehr einsetzbar. Dazu zahlen einige Darstellungen auf den Folien 204,217, 224, 227, 230 und 234.
Bei der Berechnung von Konfidenzintervallen (Folie 203) und derDurchfuhrung von Tests (Folie 204) fur einzelne Parameter sind naturlich bei
jedem Auftreten von σ2βk
bzw. σβkdie entsprechenden Diagonaleintrage der
verwendeten heteroskedastie-konsistenten Schatzmatrix Vhc(β) bzw. derenWurzeln einzusetzen!
Der t-Test fur einzelne lineare Hypothesen hat nun die folgende Darstellung:
Okonometrie (SS 2019) Folie 265
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Zusammenfassung: t-Test fur einzelne lineare Hypothesenim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen
Anwendungs- approx.: y = Xβ + u mit E(u) = 0, V(u) = diag(σ21 , . . . , σ
2n),
voraussetzungen σ2i unbekannt, X deterministisch mit vollem Spaltenrang K + 1,
Realisation y = (y1, . . . , yn)′ beobachtet
Nullhypothese H0 : a′β = c H0 : a′β ≤ c H0 : a′β ≥ cGegenhypothese H1 : a′β 6= c H1 : a′β > c H1 : a′β < c
Teststatistik t =a′β − c√a′Vhc(β)a
Verteilung (H0) t fur a′β = c naherungsweise t(n − (K + 1))-verteilt
Benotigte Großen β = (X′X)−1X′y, Vhc(β) eine heteroskedastie-konsistente Schatz-
funktion fur V(β), z.B. Vhc1(β) = (X′X)−1X′Vhc1(u)X(X′X)−1
mit Vhc1(u) = nn−(K+1)
diag(u21 , . . . , u
2n), wobei u = y − Xβ
Kritischer Bereich (−∞,−tn−(K+1);1−α2
) (tn−(K+1);1−α,∞) (−∞,−tn−(K+1);1−α)
zum Niveau α ∪(tn−(K+1);1−α2,∞)
p-Wert 2 · (1− Ft(n−(K+1))(|t|)) 1− Ft(n−(K+1))(t) Ft(n−(K+1))(t)
Okonometrie (SS 2019) Folie 266
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Konfidenz-, Prognoseintervalle und Hypothesentests IIIim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen
Auch die alternativen Darstellungen der Statistik des F -Tests von Folie 236f.verlieren ihre Korrektheit!
Die F -Statistik aus Folie 230 ist durch eine Darstellung der”Bauart“
F =(Aβ − c)′
[AVhc(β)A′
]−1
(Aβ − c)
L
zu ersetzen, beispielsweise also durch
F =(Aβ − c)′
[A(X′X)−1X′Vhc1(u)X(X′X)−1A′
]−1
(Aβ − c)
L
mit Vhc1(u) = nn−(K+1) diag(u2
1 , . . . , u2n).
Der F -Test hat also bei heteroskedastischen Storgroßen die folgende Gestalt:
Okonometrie (SS 2019) Folie 267
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Zusammenfassung: F -Test fur L ≥ 1 lineare Restriktionenim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen
Anwendungs- approx.: y = Xβ + u mit E(u) = 0, V(u) = diag(σ21 , . . . , σ
2n),
voraussetzungen σ2i unbekannt, X deterministisch mit vollem Spaltenrang K + 1,
Realisation y = (y1, . . . , yn)′ beobachtet, c ∈ RL,(L× (K + 1))-Matrix A mit vollem Zeilenrang L
Nullhypothese H0 : Aβ = cGegenhypothese H1 : Aβ 6= c
Teststatistik F =(Aβ − c)′
[AVhc(β)A′
]−1
(Aβ − c)
L
Verteilung (H0) F ist approx. F (L, n − (K + 1))-verteilt, falls Aβ = c
Benotigte Großen β = (X′X)−1X′y, Vhc(β) eine heteroskedastie-konsistente Schatz-
funktion fur V(β), z.B. Vhc1(β) = (X′X)−1X′Vhc1(u)X(X′X)−1
mit Vhc1(u) = nn−(K+1)
diag(u21 , . . . , u
2n), wobei u = y − Xβ
Kritischer Bereich (FL,n−(K+1);1−α,∞)zum Niveau α
p-Wert 1− FF (L,n−(K+1))(F )
Okonometrie (SS 2019) Folie 268
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Konfidenz-, Prognoseintervalle und Hypothesentests IVim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen
Ein approximatives symmetrisches Konfidenzintervall fur a′β zumKonfidenzniveau 1−α erhalt man bei heteroskedastischen Storgroßen durch[a′β − tn−(K+1);1−α2 ·
√a′Vhc(β)a , a′β + tn−(K+1);1−α2 ·
√a′Vhc(β)a
]mit einer geeigneten (heteroskedastie-konsistenten) Schatzmatrix Vhc(β).
Bei der Konstruktion von Konfidenzellipsen bzw. -ellipsoiden ist naturlichanalog eine geeignete Darstellung der F -Statistik (siehe z.B. Folie 267) zuverwenden, man erhalt einen (approximativen) Konfidenzbereich zumKonfidenzniveau 1− α also nun (unter Beibehaltung der bisherigenBezeichnungen) mit der Menge
c ∈ RL∣∣∣(Aβ − c)′
[AVhc(β)A′
]−1
(Aβ − c) ≤ L · FL,n−(K+1);1−α
.
Okonometrie (SS 2019) Folie 269
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Konfidenz-, Prognoseintervalle und Hypothesentests Vim multiplen linearen Regressionsmodell mit heteroskedastischen Storgroßen
(Approximative) Intervallprognosen fur E(y0) gegeben x0 zurVertrauenswahrscheinlichkeit 1− α (auch interpretierbar alsKonfidenzintervalle zum Konfidenzniveau 1− α fur E(y0) gegeben x0) erhaltman nun in der Gestalt[
x0′β − tn−(K+1);1−α2 ·
√x0′Vhc(β)x0 , x0
′β + tn−(K+1);1−α2 ·√
x0′Vhc(β)x0
]mit einer geeigneten (heteroskedastie-konsistenten) Schatzmatrix Vhc(β).
Intervallprognosen von y0 gegeben x0 sind nun nicht mehr sinnvolldurchfuhrbar, da man keine Informationen mehr uber die von u0 verursachteSchwankung von y0 hat!
Okonometrie (SS 2019) Folie 270
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
”Robuste Standardfehler“
Die Verwendung von heteroskedastie-konsistenten Schatzern fur dieStandardabweichungen von βk (bzw. weitergehender die Verwendung eines
heteroskedastie-konsistenten Schatzers fur die Schatzung von V(β)) wirdauch als
”Verwendung robuster Standardfehler“ bezeichnet.
Gangige Statistik-Software erlaubt die Verwendung robuster Standardfehler,auch wenn standardmaßig in der Regel von homoskedastischen Storgroßenausgegangen wird.
In der Statistik-Software R implementiert beispielsweise die Funktion hccm
(”heteroscedasticity-corrected covariance matrix“) im Paket car verschiedene
Varianten heteroskedastie-konsistenter Schatzungen von V(β) bei denAuswertungen zu linearen Regressionsmodellen.
Die Verwendung robuster Standardfehler trotz homoskedastischer Storgroßenist unkritisch. Moderne Lehrbucher empfehlen zunehmend eine generelleVerwendung robuster Standardfehler.
Okonometrie (SS 2019) Folie 271
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Beispiel: Robuste Standardfehler I
Berechnung von V(β) und Vhc1(β) im Beispiel von Folie 207:
> library(car)
> fit <- lm(Lohnhohe ~ Ausbildung + Alter)
> print(vcov(fit),digits=6) # "standard"
(Intercept) Ausbildung Alter
(Intercept) 27051.397 456.8888 -645.7068
Ausbildung 456.889 449.0435 -52.7609
Alter -645.707 -52.7609 20.9445
> Vhhc1 <- hccm(fit, type="hc1")
> print(Vhhc1,digits=6) # "robust"
(Intercept) Ausbildung Alter
(Intercept) 23815.318 -1602.3359 -583.2360
Ausbildung -1602.336 271.0231 26.8099
Alter -583.236 26.8099 16.1392
Okonometrie (SS 2019) Folie 272
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Beispiel: Robuste Standardfehler II
t-Tests auf Signifikanz der einzelnen Koeffizienten:> print(coeftest(fit)) # "standard"
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1027.8058 164.4731 6.2491 8.814e-06 ***
Ausbildung 62.5745 21.1906 2.9529 0.008904 **
Alter 10.6020 4.5765 2.3166 0.033265 *
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
> print(coeftest(fit, vcov. = Vhhc1)) # "robust"
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1027.8058 154.3221 6.6601 4.021e-06 ***
Ausbildung 62.5745 16.4628 3.8010 0.001428 **
Alter 10.6020 4.0174 2.6390 0.017229 *
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Okonometrie (SS 2019) Folie 273
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Beispiel: Robuste Standardfehler III
Die Schatzung unter Zulassung heteroskedastischer Storgroßen fuhrt imBeispiel zu kleineren p-Werten der Tests auf Signifikanz der einzelnenParameter.
Insbesondere ist nun der Koeffizient zum Regressor Ausbildung sogar zumSignifikanzniveau α = 0.001 bzw. der Koeffizient zum Regressor Alter sogarzum Signifikanzniveau α = 0.01 signifikant positiv!
Der t-Test zum Test der linearen Hypothese
H0 : β1 − 2 · β2 ≤ 0 gegen H1 : β1 − 2 · β2 > 0
bzw.H0 : a′β ≤ c gegen H1 : a′β > c
mit a =[0 1 −2
]′und c = 0 wird im Folgenden statt unter der Annahme
von Homoskedastie der Storgroßen unter Zulassung heteroskedastischerStorgroßen durchgefuhrt.
Okonometrie (SS 2019) Folie 274
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Beispiel: Robuste Standardfehler IV
Mit Vhc1(β) wie auf Folie 272 angegeben erhalt man nun zunachst
a′Vhc1(β)a =[0 1 −2
] 23815.318 −1602.336 −583.236−1602.336 271.023 26.810−583.236 26.810 16.139
01−2
= 228.3404
und mit a′β =[0 1 −2
] 1027.80662.57510.602
= 41.371 die realisierte Teststatistik
t =a′β − c√a′Vhc1(β)a
=41.371− 0√
228.3404= 2.7378 .
H0 kann nun zum Signifikanzniveau α = 0.05 anders als bei Annahmehomoskedastischer Storgroßen also abgelehnt werden, dat = 2.7378 ∈ (1.74,∞) = (t17;0.95,∞) = (tn−(K+1);1−α,∞) = K .
Okonometrie (SS 2019) Folie 275
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Beispiel: Robuste Standardfehler V
Mit der (bereits auf Folie 218 berechneten) Punktprognose E(y0) = 1680.982fur die erwartete Lohnhohe eines 38-jahrigen Mitarbeiters, der nach demHauptschulabschluss weitere 4 Ausbildungsjahre absolviert hat (also fur
x0 =[1 4 38
]′), erhalt man unter Annahme heteroskedastischer
Storgroßen nun mit
x0′Vhc1(β)x0 =
[1 4 38
] 23815.318 −1602.336 −583.236−1602.336 271.023 26.810−583.236 26.810 16.139
14
38
= 2462.304
das Prognoseintervall[x0′β − tn−(K+1);1−α2 ·
√x0′Vhc(β)x0 , x0
′β + tn−(K+1);1−α2 ·√
x0′Vhc(β)x0
]=[1680.982− 2.1098 ·
√2462.304 , 1680.982 + 2.1098 ·
√2462.304
]= [1576.29 , 1785.674]
zur Vertrauenswahrscheinlichkeit 1− α = 0.95 fur E(y0) gegeben x10 = 4 undx20 = 38. (Intervall bei homoskedastischen Storgroßen: [1565, 1796.964])
Okonometrie (SS 2019) Folie 276
4 Multiple lineare Regression Heteroskedastische Storgroßen 4.10
Beispiel:”Robuste“ Konfidenzellipse fur β1 und β2
Modell von Folie 207, mit bzw. ohne Verwendung robuster Standardfehler, 1− α = 0.95
20 40 60 80 100 120
05
1015
20
Ausbildung β1
Alte
r β 2
V(β)Vhc1(β)
Okonometrie (SS 2019) Folie 277
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Inhaltsverzeichnis(Ausschnitt)
4 Multiple lineare RegressionMultiples lineares ModellParameterschatzungKonfidenzintervalle und TestsPunkt- und IntervallprognosenTests einzelner linearer HypothesenKonfidenzintervalle fur LinearkombinationenTests mehrerer linearer HypothesenKonfidenzellipsenMultikollinearitatHeteroskedastische StorgroßenTests auf Heteroskedastie
Okonometrie (SS 2019) Folie 278
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Tests auf Heteroskedastie der Storgroßen
Neben dem Ansatz, generell eine heteroskedastie-konsistente Schatzung vonV(β) zu verwenden, besteht auch die Moglichkeit, das Vorliegen vonHeteroskedastizitat der Storgroßen statistisch zu untersuchen, um dann
”bei
Bedarf“ einen heteroskedastie-konsistenten Schatzer zu verwenden.
Hierzu existieren verschiedene Hypothesentests, derenAnwendungsmoglichkeiten zum Beispiel davon abhangen, ob man einebestimmte
”Quelle“ fur die Heteroskedastie in den Storgroßen angeben kann
bzw. vermutet.
In der vorangegangenen Regression (Lohnhohe regressiert auf Ausbildungund Alter) konnte man beispielsweise vermuten, dass die Varianz derStorgroßen dort groß ist, wo auch die Lohnhohe groß ist.
Ein Test, der in dieser Situation sehr gut geeignet sein kann, ist derGoldfeld-Quandt-Test.
Okonometrie (SS 2019) Folie 279
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Goldfeld-Quandt-Test I
Zur (sinnvollen) Anwendung des Goldfeld-Quandt-Tests ist es erforderlich,dass die Heteroskedastie in den StorgroßenI von einer beobachteten (und identifizierten) Variablen verursacht wird undI
”monoton“ in dieser Variablen ist.
Die”Monotonie“ kann sich auch dahingehend außern, dass sich bei einem
(nur) nominalskalierten Regressor mit zwei Auspragungen (also z.B. einerDummy-Variablen!) die Storgroßenvarianz in der einen
”Gruppe“ von der in
der anderen Gruppe unterscheidet!
Zur Anwendung des Goldfeld-Quandt-Tests ist es bei einerordinal-/kardinalskalierten Variablen, die die Storgroßenvarianz
”monoton“
beeinflussen soll, sogar erforderlich, den Datensatz in eine Gruppe vonBeobachtungen mit
”kleinen“ Auspragungen und eine weitere Gruppe von
Beobachtungen mit”großen“ Auspragungen dieser Variablen aufzuteilen
(eventuell unter Auslassung eines Teils der Daten mit”mittelgroßen“
Auspragungen dieser Variablen).
Okonometrie (SS 2019) Folie 280
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Goldfeld-Quandt-Test II
Das ursprungliche Regressionsmodell wird dann jeweils getrennt fur diebeiden Gruppen A (entspricht ggf. Gruppe mit
”kleinen“ Auspragungen) und
B (entspricht ggf. Gruppe mit”großen“ Auspragungen) (unter der – fur die
Durchfuhrung des Tests wenig schadlichen – Annahme von Homoskedastie inbeiden Gruppen) geschatzt.
Die Anwendung des Goldfeld-Quandt-Tests lauft dann auf einen (aus derSchließenden Statistik bekannten!) F -Test zum Vergleich zweier Varianzen(unter Normalverteilungsannahme) hinaus.
Unter der Nullhypothese der Homoskedastie sind insbesondere dieStorgroßenvarianzen beider Gruppen, im Folgenden mit σ2
A bzw. σ2B
bezeichnet, sowohl konstant als auch gleich.
Der Test kann sowohl beidseitig als auch einseitig (links- bzw. rechtsseitig)durchgefuhrt werden, so erhalt man die folgenden Hypothesenpaare:
H0 : σ2A = σ2
B H0 : σ2A ≤ σ2
B H0 : σ2A ≥ σ2
B
gegen gegen gegen
H1 : σ2A 6= σ2
B H1 : σ2A > σ2
B H1 : σ2A < σ2
B
Okonometrie (SS 2019) Folie 281
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Goldfeld-Quandt-Test III
Bezeichnen uA bzw. uB jeweils den Residuenvektor der Schatzung ausGruppe A bzw. B, SERA bzw. SERB jeweils den Standard Error of Regression(residual standard error) der Schatzung aus Gruppe A bzw. B, nA bzw. nB
die Lange des jeweils zur Schatzung verwendeten (Teil-)Datensatzes furGruppe A bzw. B sowie K (wie ublich) die Anzahl (echter) Regressoren, soerhalt man die moglichen Darstellungen
F =u′AuA/(nA − (K + 1))
u′B uB/(nB − (K + 1))=
SER2A
SER2B
der Teststatistik, die bei Gultigkeit von σ2A = σ2
B eineF (nA − (K + 1), nB − (K + 1))-Verteilung besitzt.
Insgesamt erhalt man die folgende Zusammenfassung desGoldfeld-Quandt-Tests:
Okonometrie (SS 2019) Folie 282
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Zusammenfassung: Goldfeld-Quandt-Test (GQ-Test)auf Heteroskedastizitat der Storgroßen
Anwendungs- exakt: y = Xβ + u mit E(u) = 0, V(u) Diagonalmatrix aus σ2A, σ2
B ,voraussetzungen u normalverteilt, X deterministisch mit vollem Spaltenrang K + 1,
Realisation y = (y1, . . . , yn)′ beobachtet, Auswahl von zwei GruppenA bzw. B vom Umfang nA bzw. nB aus den Beobachtungen
Nullhypothese H0 : σ2A = σ2
B H0 : σ2A ≤ σ2
B H0 : σ2A ≥ σ2
B
Gegenhypothese H1 : σ2A 6= σ2
B H1 : σ2A > σ2
B H1 : σ2A < σ2
B
Teststatistik F =u′AuA/(nA − (K + 1))
u′B uB/(nB − (K + 1))=
SER2A
SER2B
Verteilung (H0) F unter H0 fur σ2A = σ2
B F (nA − (K + 1), nB − (K + 1))-verteilt
Benotigte Großen Residuenvektoren uA bzw. uB oder Standard Error of Regression
SERA bzw. SERB aus jeweils separater Modellschatzung
zu den Gruppen A und B
Kritischer Bereich [0, FnA−(K+1),nB−(K+1);
α2
) (FnA−(K+1),nB−(K+1);1−α,∞) [0, FnA−(K+1),nB−(K+1);α)
zum Niveau α ∪(FnA−(K+1),nB−(K+1);1−α
2
,∞)
p-Wert 2·min
FF (nA−(K+1),nB−(K+1))(F ), 1−FF (nA−(K+1),nB−(K+1))
(F ) FF (nA−(K+1),nB−(K+1))(F )
1 − FF (nA−(K+1),nB−(K+1))(F )
Okonometrie (SS 2019) Folie 283
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Goldfeld-Quandt-Test I
Teilt man den Datensatz des”Lohnhohen-Beispiels“ in die beiden Gruppen
”A“
zu den 10 hochsten Lohnhohen und”B“ zu den 10 niedrigsten Lohnhohen auf,
so erhalt man die folgende Modellschatzung fur Gruppe”A“:
Call:lm(formula = Lohnhohe ~ Ausbildung + Alter, subset = Lohnhohe >
sort(Lohnhohe)[10])
Residuals:Min 1Q Median 3Q Max
-488.33 -154.11 -34.06 78.62 534.61
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 1516.69 561.23 2.702 0.0305 *Ausbildung 51.87 32.07 1.618 0.1498Alter 3.20 11.07 0.289 0.7809---Signif. codes:0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 328 on 7 degrees of freedomMultiple R-squared: 0.3051, Adjusted R-squared: 0.1066F-statistic: 1.537 on 2 and 7 DF, p-value: 0.2797
Okonometrie (SS 2019) Folie 284
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Goldfeld-Quandt-Test II
Die Schatzung fur Gruppe”B“ liefert:
Call:lm(formula = Lohnhohe ~ Ausbildung + Alter, subset = Lohnhohe <=
sort(Lohnhohe)[10])
Residuals:Min 1Q Median 3Q Max
-100.381 -27.528 -2.589 47.221 101.743
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 1198.772 108.647 11.034 1.11e-05 ***Ausbildung 57.711 24.688 2.338 0.052 .Alter 3.270 3.359 0.973 0.363---Signif. codes:0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 77.72 on 7 degrees of freedomMultiple R-squared: 0.4967, Adjusted R-squared: 0.3529F-statistic: 3.454 on 2 and 7 DF, p-value: 0.09045
Okonometrie (SS 2019) Folie 285
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Goldfeld-Quandt-Test III
Die Teststatistik des GQ-Tests erhalt man also durch
F =3282
77.722= 17.811 .
Der rechtsseitige Test zum Signifikanzniveau α = 0.05 lehnt mit
K = (F1−α;nA−(K+1),nB−(K+1),∞) = (F0.95;7,7,∞) = (3.79,∞)
wegen F ∈ K die Nullhypothese der Homoskedastie der Storgroßen also abund entscheidet sich fur eine großere Storgroßenvarianz in der Gruppe, die zuden großeren Lohnhohen gehort.
Okonometrie (SS 2019) Folie 286
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Goldfeld-Quandt-Test IVVisualisierung der Abhangigkeit der u2
i vom Regressor Lohnhohe und des GQ-Tests
1200 1400 1600 1800 2000 2200 2400 2600
050
000
1000
0015
0000
2000
0025
0000
3000
00
Punktwolke der abhängigen Variablen und der quadrierten Residuen
Lohnhöhe yi
quad
riert
e R
esid
uen
u i2
SERB2
SERA2
Okonometrie (SS 2019) Folie 287
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Goldfeld-Quandt-Test V
Schneller lasst sich die Fragestellung mit dem Befehl gqtest aus dem Paketlmtest bearbeiten.
Die Verwendung der Voreinstellung teilt den Datensatz gemaß der Ordnungeiner vorgegebenen Variablen in zwei (moglichst) gleich große Teile undmacht einen einseitigen Test auf positive Abhangigkeit der Storgroßenvarianzvon der vorgegebenen Variablen (wie im Beispiel):
> library(lmtest)
> gqtest(lm(Lohnhohe~Ausbildung+Alter),order.by=Lohnhohe)
Goldfeld-Quandt test
data: lm(Lohnhohe ~ Ausbildung + Alter)
GQ = 17.817, df1 = 7, df2 = 7, p-value = 0.00058
alternative hypothesis: variance increases from segment 1 to 2
Okonometrie (SS 2019) Folie 288
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Breusch-Pagan-Test Iauf Heteroskedastie in den Storgroßen
Ein weiterer Test auf Heteroskedastie in den Storgroßen ist derBreusch-Pagan-Test.
Im Gegensatz zum Goldfeld-Quandt-Test ist es nicht erforderlich, eine(einzelne) Quelle der Heteroskedastizitat anzugeben bzw. zu vermuten.
Vielmehr lasst sich mit dem Breusch-Pagan-Test eine konstanteStorgroßenvarianz σ2 ≡ σ2
i gegen eine recht allgemeine Abhangigkeit derStorgroßenvarianzen von Q Variablen z1i , z2i , . . . , zQi , i ∈ 1, . . . , n, in derForm
σ2i = h(γ0 + γ1 · z1i + . . .+ γQ · zQi ) (1)
mit einer Funktion h, an die nur moderate Bedingungen gestellt werdenmussen, abgrenzen.
Im Breusch-Pagan-Test entspricht der Fall einer konstantenStorgroßenvarianz der Nullhypothese
H0 : γ1 = . . . = γQ = 0 ⇐⇒ σ2i ≡ h(γ0)
im allgemeineren”Varianz-Modell“ aus Formel (1).
Okonometrie (SS 2019) Folie 289
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Breusch-Pagan-Test IIauf Heteroskedastie in den Storgroßen
Haufig werden als Variablen z1i , z2i , . . . , zQi gerade wieder die Regressorendes ursprunglichen Regressionsmodells eingesetzt, es gilt dann also
Q = K und zji = xji fur i ∈ 1, . . . , n, j ∈ 1, . . . ,K .
Durch die Freiheit bei der Auswahl der Einflussvariablen z1i , z2i , . . . , zQi sindaber auch zahlreiche Varianten moglich, zum BeispielI die Verwendung nicht nur der Regressoren des ursprunglichen Modells, sondern
auch Potenzen hiervon und/oder Produkte verschiedener Regressoren oderI die Verwendung der aus der ursprunglichen Modellschatzung gewonnenen yi .
Unter dem Namen”Breusch-Pagan-Test“ (BP-Test) werden ublicherweise
zwei unterschiedliche Versionen subsumiert, namlichI der ursprungliche Test von Breusch und Pagan (Econometrica, 1979), der
unabhangig auch von Cook und Weisberg (Biometrika, 1983) vorgeschlagenwurde, sowie
I eine”robuste“ Modifikation von Koenker (Journal of Econometrics, 1981), die
geeigneter ist, wenn die Storgroßen nicht normalverteilt sind.
Okonometrie (SS 2019) Folie 290
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Breusch-Pagan-Test IIIauf Heteroskedastie in den Storgroßen
Beide Versionen des BP-Tests sind als”Score-Test“ konzipiert, die
Teststatistik lasst sich jedoch jeweils leicht auf Basis von(OLS-)Schatzergebnissen einer (linearen) Hilfsregression berechnen.
Sind ui die Residuen aus der Schatzung des auf heteroskedastischeStorgroßen zu untersuchenden linearen Modells und RSS die Residual Sum ofSquares (mit RSS =
∑ni=1 u2
i = u′u), so benotigt man als abhangige Variableder Hilfsregression die gemaß
wi :=n
u′uu2
i =n
RSSu2
i fur i ∈ 1, . . . , n
”standardisierten“ quadrierten Residuen wi .
Okonometrie (SS 2019) Folie 291
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Breusch-Pagan-Test IVauf Heteroskedastie in den Storgroßen
Fur beide Versionen des BP-Tests ist dann die Hilfsregression
wi = γ0 + γ1 · z1i + . . .+ γQ · zQi + ei , i ∈ 1, . . . , n,
(per OLS-/KQ-Methode) zu schatzen.
Im ursprunglichen BP-Test erhalt man die unter der Nullhypothesenaherungsweise χ2(Q)-verteilte Teststatistik dann als die Halfte der
”Explained Sum of Squares“ der Hilfsregression, mit der Bezeichnung ei
fur die Residuen der Hilfsregression und der Abkurzung w = 1n
∑ni=1 wi also
zum Beispiel unter Verwendung von ESS = TSS− RSS durch
χ2 =1
2·
((n∑
i=1
(wi − w)2
)−
(n∑
i=1
e2i
)).
Okonometrie (SS 2019) Folie 292
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Breusch-Pagan-Test Vauf Heteroskedastie in den Storgroßen
In der robusteren Version von Koenker erhalt man die unter derNullhypothese ebenfalls naherungsweise χ2(Q)-verteilte Teststatistik alsn-faches multiples Bestimmtheitsmaß der Hilfsregression, es gilt also
χ2 = n · R2H
mit der Bezeichnung R2H fur das Bestimmtheitsmaß der Hilfsregression.
Offensichtlich kann (nur) bei Verwendung der Version von Koenker auf dieStandardisierung der quadrierten Residuen der ursprunglichenModellschatzung verzichtet werden und die Hilfsregression auch direkt mitder abhangigen Variablen u2
i durchgefuhrt werden, da dies dasBestimmtheitsmaß nicht andert (wohl aber die ESS!).
Okonometrie (SS 2019) Folie 293
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Zusammenfassung: Breusch-Pagan-Test (”Original“)
auf Heteroskedastizitat der Storgroßen
Anwendungs- approx.: y = Xβ + u mit E(u) = 0, V(u) = diag(σ21 , . . . , σ
2n),
voraussetzungen X deterministisch mit vollem Spaltenrang K + 1,Realisation y = (y1, . . . , yn)′ beobachtet, Q Einflussvariablenz1i , . . . , zQi , σ
2i = h(γ0 + γ1 · z1i + . . .+ γQ · zQi )
Nullhypothese H0 : γ1 = . . . = γQ = 0 ⇐⇒ σ2i ≡ h(γ0)
Gegenhypothese H1 : γq 6= 0 fur mindestens ein q ∈ 1, . . . ,Q
Teststatistik χ2 =1
2·
((n∑
i=1
(wi − w)2
)−
(n∑
i=1
e2i
))Verteilung (H0) χ2 ist approx. χ2(Q)-verteilt, falls σ2
i ≡ h(γ0) konstant.
Benotigte Großen u = (u1, . . . , un)′ = y − X(X′X)−1X′y, wi = nu′u u2
i ,ei die Residuen der Hilfsregressionwi = γ0 + γ1 · z1i + . . .+ γQ · zQi + ei
Kritischer Bereich (χ2Q;1−α,∞)
zum Niveau α
p-Wert 1− Fχ2(Q)(χ2)
Okonometrie (SS 2019) Folie 294
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Zusammenfassung: Breusch-Pagan-Test (”Koenker“)
auf Heteroskedastizitat der Storgroßen
Anwendungs- approx.: y = Xβ + u mit E(u) = 0, V(u) = diag(σ21 , . . . , σ
2n),
voraussetzungen X deterministisch mit vollem Spaltenrang K + 1,Realisation y = (y1, . . . , yn)′ beobachtet, Q Einflussvariablenz1i , . . . , zQi , σ
2i = h(γ0 + γ1 · z1i + . . .+ γQ · zQi )
Nullhypothese H0 : γ1 = . . . = γQ = 0 ⇐⇒ σ2i ≡ h(γ0)
Gegenhypothese H1 : γq 6= 0 fur mindestens ein q ∈ 1, . . . ,Q
Teststatistik χ2 = n · R2H
Verteilung (H0) χ2 ist approx. χ2(Q)-verteilt, falls σ2i ≡ h(γ0) konstant.
Benotigte Großen u = (u1, . . . , un)′ = y − X(X′X)−1X′y, R2H das Bestimmtheitsmaß
der Hilfsregression u2i = γ0 + γ1 · z1i + . . .+ γQ · zQi + ei
Kritischer Bereich (χ2Q;1−α,∞)
zum Niveau α
p-Wert 1− Fχ2(Q)(χ2)
Okonometrie (SS 2019) Folie 295
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
White-Testauf Heteroskedastie in den Storgroßen
White hat in seiner Arbeit von 1980 (Econometrica) nicht nurheteroskedastie-konsistente Schatzverfahren, sondern auch einen Test aufHeteroskedastie in den Storgroßen vorgeschlagen.
Es zeigt sich, dass der White-Test auf heteroskedastische Storgroßen einSpezialfall der
”Koenker“-Version des Breusch-Pagan-Tests ist.
Konkret erhalt man den White-Test bei der Durchfuhrung einesBreusch-Pagan-Tests nach Koenker, wenn man als Einflussvariablen zqi furdie Varianz der Storgroßen geradeI alle Regressoren, zusatzlichI alle quadrierten Regressoren sowie zusatzlichI alle gemischten Produkte von Regressoren
des ursprunglichen Modells wahlt.
In einem Modell mit 2 Regressoren ware also die Hilfsregression
u2i = γ0 + γ1x1i + γ2x2i + γ3x2
1i + γ4x22i + γ5x1i x2i + ei
durchzufuhren.
Okonometrie (SS 2019) Folie 296
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Breusch-Pagan-Test/White-Test I
Im Folgenden werden zwei Varianten des Breusch-Pagan-Test am bereitsmehrfach verwendeten
”Lohnhohen“-Beispiel illustriert.
Ausgehend von den quadrierten Residuen u2i der ursprunglichen Regression
der Lohnhohe auf die beiden Regressoren Ausbildung und Alter (sowie einAbsolutglied) werden fur die
”Original“-Version des Breusch-Pagan-Tests
zunachst die standardisierten quadrierten Residuen wi = nu′u u2
i berechnet:
> uhat <- residuals(lm(Lohnhohe~Ausbildung+Alter))
> w <- uhat^2/mean(uhat^2)
Als Summe der quadrierten Abweichungen vom arithmetischen Mittel∑ni=1(wi − w)2 der wi (also als TSS der folgenden Hilfsregression!) erhalt
man:
> sum((w-mean(w))^2)
[1] 72.66564
Okonometrie (SS 2019) Folie 297
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Breusch-Pagan-Test/White-Test II
Werden als Einflussvariablen fur die Varianz der Storgroßen die beidenursprunglichen Regressoren Ausbildung und Alter gewahlt, ist dann dieHilfsregression
wi = γ0 + γ1Ausbildungi + γ2Alteri + ei
zu schatzen und die zugehorige RSS zu bestimmen, man erhalt
> sum(residuals(lm(w~Ausbildung+Alter))^2)
[1] 45.76786
und damit (gerundet) die Teststatistik
χ2 =1
2·
((n∑
i=1
(wi − w)2
)−
(n∑
i=1
e2i
))=
1
2(72.666− 45.768) = 13.449 .
Ein Vergleich zum kritischen Wert χ22;0.95 = 5.991 bei einem Test zum Niveau
α = 0.05 erlaubt die Ablehnung der Nullhypothese und damit den Schluss aufdas Vorliegen von Heteroskedastie in den Storgroßen.
Okonometrie (SS 2019) Folie 298
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Breusch-Pagan-Test/White-Test III
Wird in der beschriebenen Situation ein White-Test durchgefuhrt, so musseine der Hilfsregressionen
u2i = γ0 + γ1 · Ausbildungi + γ2 · Alteri + γ3 · Ausbildung2
i
+ γ4 · Alter2i + γ5 · Ausbildungi · Alteri + ei
oder
wi = γ0 + γ1 · Ausbildungi + γ2 · Alteri + γ3 · Ausbildung2i
+ γ4 · Alter2i + γ5 · Ausbildungi · Alteri + ei
durchgefuhrt werden.
In der Statistik-Software R mussen diese”Rechenoperationen“ von
Regressoren bei der Modellformulierung in den Befehl”I()“ eingeschlossen
werden, da”
“ und”*“ bei der Notation von Modellgleichungen andere
Bedeutungen haben!
Okonometrie (SS 2019) Folie 299
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Breusch-Pagan-Test/White-Test IV
Man erhalt als OLS-Schatzergebnis:Call:lm(formula = uhat^2 ~ Ausbildung + Alter + I(Ausbildung^2) +
I(Alter^2) + I(Ausbildung * Alter))
Residuals:Min 1Q Median 3Q Max
-104762 -17524 -9639 29687 78007
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 5778.593 125459.783 0.046 0.9639Ausbildung -5788.874 23416.039 -0.247 0.8083Alter -6.682 6568.457 -0.001 0.9992I(Ausbildung^2) -6319.607 2139.021 -2.954 0.0105 *I(Alter^2) -58.640 92.777 -0.632 0.5375I(Ausbildung * Alter) 1826.589 549.299 3.325 0.0050 **---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 58820 on 14 degrees of freedomMultiple R-squared: 0.7093, Adjusted R-squared: 0.6055F-statistic: 6.831 on 5 and 14 DF, p-value: 0.002013
Okonometrie (SS 2019) Folie 300
4 Multiple lineare Regression Tests auf Heteroskedastie 4.11
Beispiel: Breusch-Pagan-Test/White-Test V
Unter Verwendung des Bestimmtheitsmaßes dieser Hilfsregression ergibt sichχ2 = n · R2
H = 20 · 0.7093 = 14.186 > χ25;0.95 = 11.07, also wird auch hier
zum Niveau α = 0.05 signifikante Heteroskedastie in den Storgroßenfestgestellt.
Schneller: mit dem Befehl bptest() im Paket lmtest:I
”Original“-Breusch-Pagan-Test (1. Beispiel):
> bptest(lm(Lohnhohe~Ausbildung+Alter),studentize=FALSE)
Breusch-Pagan test
data: lm(Lohnhohe ~ Ausbildung + Alter)
BP = 13.449, df = 2, p-value = 0.001201
I
”White“- bzw.
”Koenker“-Variante (2. Beispiel):
> bptest(lm(Lohnhohe~Ausbildung+Alter),
+ ~Ausbildung+Alter+I(Ausbildung^2)+I(Alter^2)+I(Ausbildung*Alter))
studentized Breusch-Pagan test
data: lm(Lohnhohe ~ Ausbildung + Alter)
BP = 14.186, df = 5, p-value = 0.01447
Okonometrie (SS 2019) Folie 301
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in den Regressoren 5.1
Inhaltsverzeichnis(Ausschnitt)
5 Nichtlineare RegressionsfunktionenNichtlinearitat in den RegressorenNichtlinearitat in einer VariablenModelle mit InteraktionenStrukturbruchmodelle
Okonometrie (SS 2019) Folie 302
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in den Regressoren 5.1
Nichtlinearitat in den Regressoren I
Eine Variable y hangt linear von einer Variablen x ab, wenn derDifferenzenquotient bzw. die Ableitung bzgl. dieser Variablen konstant ist,wenn also
∆y
∆x= c bzw.
∂y
∂x= c
fur eine Konstante c ∈ R gilt.
Im bisher betrachteten linearen Regressionsmodell
yi = β0 + β1x1i + . . .+ βK xKi + ui , i ∈ 1, . . . , n,
hangt y also linear von jedem Regressor xk (k ∈ 1, . . . ,K) ab, denn es gilt
∆y
∆xk= βk bzw.
∂y
∂xk= βk .
Die hier als”marginaler Effekt“ einer Anderung von xk auf y interpretierbare
(partielle) Ableitung ist also konstant und damit insbesondere unabhangigvon xk (sowie unabhangig von anderen Variablen).
Okonometrie (SS 2019) Folie 303
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in den Regressoren 5.1
Nichtlinearitat in den Regressoren II
Bereits im White-Test verwendet:”Regressionsfunktion“
y = β0 + β1x1 + β2x2 + β3x21 + β4x2
2 + β5x1x2 ,
die zwar linear in den Regressionsparametern β0, . . . , β5, aber nichtlinear inden Regressoren x1 und x2 ist.
Der marginale Effekt einer Anderung von x1 auf y betragt hier beispielsweise(abhangig vom Wert der Regressoren x1 und x2!)
∂y
∂x1= β1 + 2β3x1 + β5x2 .
Allgemein betrachten wir nun Regressionsmodelle, die sich in der Form
g(yi ) = β0+β1h1(x1i , . . . , xKi )+. . .+βM hM (x1i , . . . , xKi )+ui , i ∈ 1, . . . , n,
mit M Transformationen h1, . . . , hM der K Regressoren und (ggf.) einerTransformation g der abhangigen Variablen darstellen lassen.
Okonometrie (SS 2019) Folie 304
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in den Regressoren 5.1
Nichtlinearitat in den Regressoren III
Unter den ublichen Annahmen an die Storgroßen ui und unter derVoraussetzung, dass die Transformationen h1, . . . , hM zu einer
”neuen“
Regressormatrix
X :=
1 h1(x11, . . . , xK1) · · · hM (x11, . . . , xK1)1 h1(x12, . . . , xK2) · · · hM (x12, . . . , xK2)...
......
1 h1(x1n, . . . , xKn) · · · hM (x1n, . . . , xKn)
mit vollem Spaltenrang M + 1 fuhren, bleiben die bisher besprochenenEigenschaften der OLS-/KQ-Schatzung dieses Modells bestehen.
Bezeichnet y := (g(y1), . . . , g(yn))′ den transformierten (bzw. – fallsg(y) = y fur alle y ∈ R gilt – untransformierten) Vektor der abhangigenVariable, erhalt man beispielsweise den KQ-Schatzer als
β = (X′X)−1X′y .
Okonometrie (SS 2019) Folie 305
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in den Regressoren 5.1
Nichtlinearitat in den Regressoren IV
Weitere Beispiele fur Modelle mit Regressionsfunktionen, die nichtlinear inden (ursprunglichen) Regressoren xk sind:
1 yi = β0 + β1x1i + β2x21i + ui ,
2 yi = β0 + β1x1i + β2x21i + β3x3
1i + ui ,3 yi = β0 + β1 ln(x1i ) + ui ,4 ln(yi ) = β0 + β1x1i + ui ,5 ln(yi ) = β0 + β1 ln(x1i ) + β2 ln(x2i ) + ui .
Wichtig!
Unabhangig von der konkreten Form der Regressionsfunktion muss (wie auchbisher!) die Korrektheit der Spezifikation der Regressionsfunkion gewahrleistetsein, um die Ergebnisse der Schatzung uberhaupt sinnvoll verwerten zu konnen!
Im Folgenden werden zunachst Regressionsfunktionen untersucht, die nur voneiner unabhangigen Variablen x1 abhangen (wie in den Beispielen 1 – 4 ).
Okonometrie (SS 2019) Folie 306
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Polynomiale Modelle Iin nur einer Variablen x1
Die Modelle aus 1 bzw. 2 ,
yi = β0 + β1x1i + β2x21i + ui bzw. yi = β0 + β1x1i + β2x2
1i + β3x31i + ui ,
sind Beispiele fur polynomiale Modelle (in einer Variablen) der Form
yi = β0 + β1x1i + β2x21i + . . .+ βr x r
1i + ui
zu vorgegebenem Grad r ∈ 2, 3, . . . des Polynoms.
In polynomialen Modellen (in einer Variablen) sind die marginalen Effekteeiner Anderung von x1 auf y gegeben durch
∂y
∂x1= β1 + 2β2x1 + . . .+ rβr x r−1
1
und damit insbesondere nicht konstant, sondern abhangig vom Regressor x1.
Okonometrie (SS 2019) Folie 307
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Polynomiale Modelle IIin nur einer Variablen x1
Konfidenzintervalle fur die marginalen Effekte an einem vorgegebenen Wertx1 des Regressors konnen dann als Konfidenzintervalle furLinearkombinationen a′β bestimmt werden, wenn der Vektor a ∈ Rr+1
(abhangig von x1) entsprechend gewahlt wird, im polynomialen Modell mitPolynomgrad r also als
a =[0 1 2x1 . . . rx r−1
1
]′.
Bei einer sehr großen Wahl von r besteht die Gefahr des”Overfittings“: Sind
bei einer”Punktwolke“ aus n Beobachtungen (x1i , yi ) alle xi unterschiedlich,
so kann die Punktwolke durch ein Polynom vom Grad r = n − 1 perfekt
”interpoliert“ werden!
In der Praxis finden sich haufig polynomiale Modelle mit r = 2 oder r = 3.
Okonometrie (SS 2019) Folie 308
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Polynomiale Modelle IIIin nur einer Variablen x1
Gelegentlich wird – unter der Annahme, dass die wahre Regressionsfunktionein Polynom von unbekanntem Grad ist – zunachst ein Modell mit
”großem“
r geschatzt und dann sukzessive mit Hilfe von t-Tests uberpruft, ob βr
signifikant von Null verschieden ist, um ggf. den Grad r des Polynoms in derRegressionsfunktion um 1 zu reduzieren.
Die Nullhypothese eines linearen Zusammenhangs gegen die Alternative einespolynomialen Zusammenhangs (mit Polynomgrad r ≥ 2) kann offensichtlichdurch einen F -Test mit
H0 : β2 = . . . = βr = 0
uberpruft werden.
Naturlich konnen Tests bzw. Konfidenzintervalle auch unter der Annahmeheteroskedastischer Storgroßen durchgefuhrt werden, wenn die entsprechendeheteroskedastie-konsistente Schatzung Vhc(β) der Varianz-Kovarianzmatrix
V(β) und die dafur geeigneten Darstellungen der jeweiligen Tests verwendetwerden.
Okonometrie (SS 2019) Folie 309
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
(Semi-)logarithmische Modelle Iin nur einer Variablen x1
Log-Transformationen von x1i in ln(x1i ) und/oder yi in ln(yi ) bieten sichdann an, wenn anstelle der Annahme eines konstanten Effekts ∆y = β1∆x1
von absoluten Anderungen ∆x1 auf absolute Anderungen ∆y eher dann einkonstanter Effekt β1 erwartet wird, wenn relative, prozentuale Anderungenbei der Ursache ( ∆x1
x1) und/oder bei der abhangigen Variablen ( ∆y
y )betrachtet werden.
Grundlage dafur ist ∂ ln(x)∂x = 1
x bzw.
ln(x + ∆x)− ln(x) = ln
(1 +
∆x
x
)≈ ∆x
x, wenn |∆x | |x |.
Abhangig davon, ob nur die unabhangige Variable, nur die abhangige Variableoder beide Variablen transformiert werden, sind die folgenden Spezifikationenmoglich:
Okonometrie (SS 2019) Folie 310
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
(Semi-)logarithmische Modelle IIin nur einer Variablen x1
1 Linear-log-Spezifikation:
yi = β0 + β1 ln(x1i ) + ui .
Konstanter Effekt β1 der relativen Anderung von x1 auf eine absoluteAnderung von y , bzw. abnehmender marginaler Effekt bei steigendem x :
∆y ≈ β1∆x1
x1bzw.
∂y
∂x1=β1
x1
Bsp.: x1i Dungemitteleinsatz, yi Ernteertrag (auf Feld i).I Eine (relative) Erhohung des Dungemitteleinsatzes um 1% erhoht den
(absoluten) Ernteertrag (etwa) um 0.01 · β1.I Eine (absolute) Erhohung des Dungemitteleinsatzes um einen Betrag ∆x1 hat
dort mehr Wirkung, wo noch nicht so viel Dunger eingebracht wurde(”abnehmende Grenzertrage“).
Okonometrie (SS 2019) Folie 311
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
(Semi-)logarithmische Modelle IIIin nur einer Variablen x1
2 Log-linear-Spezifikation:
ln(yi ) = β0 + β1x1i + ui .
Konstanter Effekt β1 der absoluten Anderung von x1 auf eine relativeAnderung von y , bzw. steigender marginaler Effekt bei steigendem y :
∆y
y≈ β1∆x1 bzw.
∂y
∂x1= β1y
Bsp.: x1i Berufserfahrung von BWL-Absolventen (in Jahren), yi Einkommen.I Ein Jahr zusatzliche Berufserfahrung erhoht danach das mittlere Einkommen
um etwa 100β1%.I Eine (absolute) Erhohung der Berufserfahrung hat also einen hoheren
(absoluten) Effekt auf das Einkommen dort, wo das Einkommen ohnehinbereits ein hoheres Niveau hatte.
Okonometrie (SS 2019) Folie 312
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
(Semi-)logarithmische Modelle IVin nur einer Variablen x1
3 Log-log-Spezifikation:
ln(yi ) = β0 + β1 ln(x1i ) + ui .
Konstanter Effekt β1 (=Elastizitat) der relativen Anderung von x1 auf einerelative Anderung von y :
∆y
y≈ β1
∆x1
x1bzw.
∂y
∂x1
x1
y= β1
Bsp.: x1i Kapitaleinsatz pro Arbeitskraft, yi Output pro Arbeitskraft.I Erhohung des per-capita-Kapitaleinsatzes um 1% fuhrt zur Erhohung des
per-capita-Output um β1% (Cobb-Douglas-Produktionsfunktion).I Modellierung von
”konstanten Skalenertragen“.
Okonometrie (SS 2019) Folie 313
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
(Semi-)logarithmische Modelle Vin nur einer Variablen x1
Anmerkungen zu Log-transformierten abhangigen Variablen (ln(y))
Insbesondere Log-log-Spezifikationen konnen bei der sog.”Linearisierung“ von
Regressionsmodellen entstehen, die zunachst nichtlinear (auch!) in denRegressionsparametern sind, zum Beispiel erhalt man aus dem Modell (hier:mit mehreren Regressoren)
yi = β0 · xβ1
1i · xβ2
2i · eui , i ∈ 1, . . . , n,
durch Logarithmieren auf beiden Seiten mit
ln(yi ) = β0 + β1 ln(x1i ) + β2 ln(x2i ) + ui , i ∈ 1, . . . , n.
ein”linearisiertes“ Modell.
Okonometrie (SS 2019) Folie 314
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
(Semi-)logarithmische Modelle VIin nur einer Variablen x1
Bei der Prognose von y0 gegeben x0 bzw. der Bestimmung von yi auf Basisvon Modellen mit log-tranformierter abhangiger Variablen ln(y) ist zubeachten, dass wegen E (eui ) 6= eE(ui ) trotz der Annahme E(ui ) ≡ 0 im
Allgemeinen E (eui ) 6= 1 = e0 gilt. Fur uiiid∼ N(0, σ2) gilt insbesondere
E (eui ) = eσ2
2 , damit erhalt man fur ln(yi ) = h(x1i ) + ui mit uiiid∼ N(0, σ2)
E(yi ) = E(
e ln(yi ))
= E(
eh(x1i )+ui
)= E
(eh(x1i ) · eui
)= eh(x1i ) · E (eui ) = eh(x1i ) · e σ
2
2 > eh(x1i ) .
Wenn die abhangige Variable y in ln(y) transformiert wird, kann man dasBestimmtheitsmaß fur die geschatzte Regression nicht sinnvoll mit demBestimmtheitsmaß einer Regressionsgleichung fur y vergleichen!(Anteil der erklarten Varianz der ln(yi ) vs. Anteil der erklarten Varianz der yi )
Okonometrie (SS 2019) Folie 315
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Beispiel zur Nichtlinearitat in einer Variablen I
Im Folgenden soll am Beispiel der Abhangigkeit der Milchleistung von Kuhenvon der zugefuhrten Futtermenge die Schatzung einiger in den Regressorennichtlinearer Modelle illustriert werden.
Es liege hierzu folgender Datensatz vom Umfang n = 12 zu Grunde:
i 1 2 3 4 5 6
Milchleistung (Liter/Jahr) yi 6525 8437 8019 8255 5335 7236Futtermenge (Zentner/Jahr) x1i 10 30 20 33 5 22
i 7 8 9 10 11 12
Milchleistung (Liter/Jahr) yi 5821 7531 8320 4336 7225 8112Futtermenge (Zentner/Jahr) x1i 8 14 25 1 17 28
(vgl. von Auer, Ludwig: Okonometrie – Eine Einfuhrung, 6. Aufl., Tabelle 14.1)
Es wird nacheinander die Gultigkeit einer linearen, quadratischen, kubischen,linear-log-, log-linear- bzw. log-log-Spezifikation unterstellt und daszugehorige Modell geschatzt (unter Homoskedastieannahme).
Okonometrie (SS 2019) Folie 316
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Beispiel zur Nichtlinearitat in einer Variablen II
Lineares Modell: Milchi = β0 + β1Futteri + ui
Call:
lm(formula = Milch ~ Futter)
Residuals:
Min 1Q Median 3Q Max
-768.2 -275.0 -115.6 353.4 880.9
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4985.27 312.84 15.935 1.95e-08 ***
Futter 118.91 15.39 7.725 1.60e-05 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 527.9 on 10 degrees of freedom
Multiple R-squared: 0.8565, Adjusted R-squared: 0.8421
F-statistic: 59.68 on 1 and 10 DF, p-value: 1.597e-05
Okonometrie (SS 2019) Folie 317
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Beispiel zur Nichtlinearitat in einer Variablen III
Quadratisches Modell: Milchi = β0 + β1Futteri + β2Futter2i + ui
Call:
lm(formula = Milch ~ Futter + I(Futter^2))
Residuals:
Min 1Q Median 3Q Max
-699.14 -135.47 -2.44 179.63 490.67
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4109.445 290.487 14.147 1.87e-07 ***
Futter 271.393 38.626 7.026 6.14e-05 ***
I(Futter^2) -4.432 1.087 -4.076 0.00277 **
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 329.9 on 9 degrees of freedom
Multiple R-squared: 0.9496, Adjusted R-squared: 0.9384
F-statistic: 84.74 on 2 and 9 DF, p-value: 1.452e-06
Okonometrie (SS 2019) Folie 318
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Beispiel zur Nichtlinearitat in einer Variablen IV
Kubisches Modell: Milchi = β0 + β1Futteri + β2Futter2i + β3Futter
3i + ui
Call:
lm(formula = Milch ~ Futter + I(Futter^2) + I(Futter^3))
Residuals:
Min 1Q Median 3Q Max
-641.92 -117.82 5.13 202.86 447.31
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 3954.93841 389.73064 10.148 7.61e-06 ***
Futter 327.00926 97.73076 3.346 0.0101 *
I(Futter^2) -8.50791 6.63147 -1.283 0.2354
I(Futter^3) 0.07951 0.12747 0.624 0.5502
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 341.7 on 8 degrees of freedom
Multiple R-squared: 0.9519, Adjusted R-squared: 0.9339
F-statistic: 52.79 on 3 and 8 DF, p-value: 1.29e-05
Okonometrie (SS 2019) Folie 319
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Beispiel zur Nichtlinearitat in einer Variablen V
Linear-log-Modell: Milchi = β0 + β1 ln(Futteri ) + ui
Call:
lm(formula = Milch ~ log(Futter))
Residuals:
Min 1Q Median 3Q Max
-635.74 -287.21 33.02 373.09 517.67
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 3818.3 358.2 10.660 8.82e-07 ***
log(Futter) 1268.8 130.1 9.754 2.00e-06 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 429.8 on 10 degrees of freedom
Multiple R-squared: 0.9049, Adjusted R-squared: 0.8954
F-statistic: 95.14 on 1 and 10 DF, p-value: 1.996e-06
Okonometrie (SS 2019) Folie 320
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Beispiel zur Nichtlinearitat in einer Variablen VI
Log-linear-Modell: ln(Milchi ) = β0 + β1Futteri + ui
Call:
lm(formula = log(Milch) ~ Futter)
Residuals:
Min 1Q Median 3Q Max
-0.16721 -0.03642 -0.01678 0.05692 0.14677
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 8.523601 0.055220 154.358 < 2e-16 ***
Futter 0.018315 0.002717 6.741 5.1e-05 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 0.09318 on 10 degrees of freedom
Multiple R-squared: 0.8196, Adjusted R-squared: 0.8016
F-statistic: 45.44 on 1 and 10 DF, p-value: 5.098e-05
Okonometrie (SS 2019) Folie 321
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Beispiel zur Nichtlinearitat in einer Variablen VII
Log-log-Modell: ln(Milchi ) = β0 + β1 ln(Futteri ) + ui
Call:
lm(formula = log(Milch) ~ log(Futter))
Residuals:
Min 1Q Median 3Q Max
-0.076867 -0.028385 -0.004122 0.049235 0.066730
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 8.32264 0.04468 186.29 < 2e-16 ***
log(Futter) 0.20364 0.01622 12.55 1.91e-07 ***
---
Signif. codes:
0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 0.0536 on 10 degrees of freedom
Multiple R-squared: 0.9403, Adjusted R-squared: 0.9343
F-statistic: 157.5 on 1 and 10 DF, p-value: 1.912e-07
Okonometrie (SS 2019) Folie 322
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Geschatzte Regressions-/Prognosefunktionen I
0 5 10 15 20 25 30
5000
7000
Lineares Modell
Futter
Milc
h
0 5 10 15 20 25 30
5000
7000
Quadratisches Modell
Futter
Milc
h
0 5 10 15 20 25 30
5000
7000
Kubisches Modell
Futter
Milc
h
0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5
5000
7000
Linear−log−Modell
log(Futter)M
ilch
0 5 10 15 20 25 30
8.4
8.6
8.8
9.0
Log−linear−Modell
Futter
log(
Milc
h)
0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5
8.4
8.6
8.8
9.0
Log−log−Modell
log(Futter)
log(
Milc
h)
Okonometrie (SS 2019) Folie 323
5 Nichtlineare Regressionsfunktionen Nichtlinearitat in einer Variablen 5.2
Geschatzte Regressions-/Prognosefunktionen II
0 5 10 15 20 25 30
5000
6000
7000
8000
Vergleich der Prognosefunktionen
Futter
Milc
h
LinearQuadratischKubischLinear−logLog−linearLog−log
Okonometrie (SS 2019) Folie 324
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Modelle mit Interaktionsvariablen I
In der beim White-Test verwendeten Regressionsfunktion
y = β0 + β1x1 + β2x2 + β3x21 + β4x2
2 + β5x1x2 ,
ist – anders als bei den bisher naher betrachteten polynomialen oder(semi-)log-Modellen – der marginale Effekt einer Anderung von x1 auf y
∂y
∂x1= β1 + 2β3x1 + β5x2
nicht nur von der betrachteten Stelle x1 des 1. Regressors, sondern auch vomWert x2 des 2. Regressors abhangig!
Ursachlich hierfur ist die Verwendung des Produkts x1 · x2 als unabhangigeVariable. Man bezeichnet solche Produkte als Interaktionsvariablen oderInteraktionsterme.
Okonometrie (SS 2019) Folie 325
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Modelle mit Interaktionsvariablen II
Wir betrachten nun die folgenden drei Falle:1 Interaktion von zwei Dummyvariablen2 Interaktion einer Dummyvariablen mit einer kardinalskalierten Variablen3 Interaktion von zwei kardinalskalierten Variablen
Erinnerung: Dummyvariablen (auch 0,1-Indikatorvariablen genannt, imFolgenden auch mit dk statt xk bezeichnet) sind Regressoren, die nur dieWerte 0 und 1 annehmen.
Der Wert 1 einer Dummyvariablen dki kennzeichnet bei einem betrachtetenDatenpunkt i in der RegelI das Vorhandensein eines gewissen Charakteristikums/einer gewissen
Eigenschaft bzw.I die Zugehorigkeit zu einer gewissen Gruppe.
Der Wert 1 eines Produkts dki · dli von zwei Dummyvariablen dk und dl trittalso bei den Datenpunkten i auf, bei denen beide Charakteristika bzw.Gruppenzugehorigkeiten gleichzeitig vorliegen.
Okonometrie (SS 2019) Folie 326
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Interaktion von zwei Dummyvariablen I
Interaktionsvariablen zu 2 Dummyvariablen sind also beispielsweise dann inein Modell aufzunehmen, wenn der Effekt der Zugehorigkeit zu einer Gruppenicht unabhangig vom Vorliegen eines weiteren Charakteristikums ist.
Beispiel: Betrachte das Modell
yi = β0 + β1d1i + β2d2i + ui , i ∈ 1, . . . , n,
z.B. zu einer Stichprobe von Monatseinkommen (yi ) vonI 30-jahrigen Frauen (d2i = 1) und Mannern (d2i = 0)I mit akademischem Grad (d1i = 1) und ohne akademischen Grad (d1i = 0).
In dieser Spezifikation istI das Basiseinkommen (Absolutglied) fur Manner (β0) und Frauen (β0 + β2)
unterschiedlich, aberI der Effekt eines abgeschlossenen Studiums fur Manner und Frauen gleich (β1).
Okonometrie (SS 2019) Folie 327
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Interaktion von zwei Dummyvariablen II
Die Einfuhrung einer zusatzlichen Interaktionsvariablen d1i d2i ist hiergleichbedeutend damit, dass fur Manner und Frauen das Basiseinkommen(Absolutglied) und der Effekt des akademischen Grades unterschiedlich seinkonnen:
yi = β0 + β1d1i + β2d2i + β3d1i d2i + ui
⇐⇒ yi =
β0 + β1d1i + ui , falls i mannlich
(β0 + β2) + (β1 + β3)d1i + ui , falls i weiblich
In diesem Modell kann man mit (jeweils) einem t-Test uberprufen, obI das Basiseinkommen geschlechtsabhangig ist (H1 : β2 6= 0),I der Effekt des akademischen Grades geschlechtsabhangig ist (H1 : β3 6= 0).
Mit einem F -Test (H1 : (β2, β3)′ 6= (0, 0)′) kann außerdem (gemeinsam)uberpruft werden, ob das Geschlecht in dem Modell irgendeinen Einfluss aufdas Monatseinkommen hat.
Okonometrie (SS 2019) Folie 328
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Interaktion einer kardinalskalierten mit einer Dummyvariablen I
Eine Interaktionsvariable zu einer kardinalskalierten und einerDummyvariablen ist dann in ein Modell aufzunehmen, wenn der Effekt einerkardinalskalierten Variablen nicht unabhangig vom Vorliegen eines bestimmtenCharakteristikums bzw. der Zugehorigkeit zu einer bestimmten Gruppe ist.
Beispiel: Betrachte das Modell
yi = β0 + β1x1i + β2d2i + ui , i ∈ 1, . . . , n,
z.B. zu einer Stichprobe von Monatseinkommen (yi ) von MannernI mit (d2i = 1) und ohne (d2i = 0) akademischen GradI mit einer Anzahl von x1i Jahren an Berufserfahrung.
In dieser Spezifikation istI das Basiseinkommen (Absolutglied) der Nichtakademiker (β0) und der
Akademiker (β0 + β2) unterschiedlich, aberI der Effekt eines Jahres Berufserfahrung fur Nichtakademiker und Akademiker
gleich (β1).
Okonometrie (SS 2019) Folie 329
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Interaktion einer kardinalskalierten mit einer Dummyvariablen II
Die Einfuhrung einer zusatzlichen Interaktionsvariablen x1i d2i sorgt hierdafur, dass fur Nichtakademiker und Akademiker das Basiseinkommen(Absolutglied) und der Effekt der Berufserfahrung unterschiedlich seinkonnen:
yi = β0 + β1x1i + β2d2i + β3x1i d2i + ui
⇐⇒ yi =
β0 + β1x1i + ui , falls i Nichtakademiker
(β0 + β2) + (β1 + β3)x1i + ui , falls i Akademiker
Auch in diesem Modell kann man mit (jeweils) einem t-Test uberprufen, obI das Basiseinkommen vom Vorhandensein eines akademischen Grads abhangt
(H1 : β2 6= 0),I der Effekt der Berufserfahrung fur Nichtakademiker und Akademiker
unterschiedlich ist (H1 : β3 6= 0).
Mit einem F -Test (H1 : (β2, β3)′ 6= (0, 0)′) kann außerdem wiederum(gemeinsam) uberpruft werden, ob das Vorhandensein eines akademischenGrads in dem Modell irgendeinen Einfluss auf das Monatseinkommen hat.
Okonometrie (SS 2019) Folie 330
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Interaktion von zwei kardinalskalierten Variablen I
Eine Interaktionsvariable zu zwei kardinalskalierten Variablen ist dann in einModell aufzunehmen, wenn der Effekt einer kardinalskalierten Variablen nichtunabhangig vom Wert einer anderen kardinalskalierten Variablen ist.
Beispiel: Betrachte das Modell
yi = β0 + β1x1i + β2x2i + ui , i ∈ 1, . . . , n,
z.B. zu einer Stichprobe von Monatseinkommen (yi ) von MannernI mit einer Anzahl von x1i Jahren an Berufserfahrung undI einer Ausbildungszeit von x2i Jahren.
In dieser Spezifikation istI der Effekt eines (zusatzlichen) Jahres an Berufserfahrung unabhangig von der
Ausbildungszeit gleich β1 undI der Effekt eines (zusatzlichen) Jahres an Ausbildungszeit unabhangig von der
Berufserfahrung gleich β2.
Okonometrie (SS 2019) Folie 331
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Interaktion von zwei kardinalskalierten Variablen II
Die Einfuhrung einer zusatzlichen Interaktionsvariablen x1i x2i sorgt hierdafur, dass der Effekt eines (zusatzlichen) Jahres an Berufserfahrung bzw.Ausbildungszeit jeweils abhangig vom Niveau der anderen Variablen sein kann.
Fur die Regressionsfunktion
y = β0 + β1x1 + β2x2 + β3x1x2
zum Modellansatz
yi = β0 + β1x1i + β2x2i + β3x1i x2i + ui , i ∈ 1, . . . , n,
gilt namlich:
∂y
∂x1= β1 + β3x2 sowie
∂y
∂x2= β2 + β3x1
In diesem Modell kann mit einem t-Test uberpruft werden, ob tatsachlicheine signifikante Interaktion vorliegt und der Effekt eines (zusatzlichen)Jahres an Berufserfahrung bzw. Ausbildungszeit jeweils abhangig vom Niveauder anderen Variablen ist.
Okonometrie (SS 2019) Folie 332
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen I
Im”Lohnhohenbeispiel“ wurde bisher als Modell
Lohnhohei = β0 + β1Ausbildungi + β2Alteri + ui
angenommen, mit dem folgenden Schatzergebnis (unter Annahmehomoskedastischer Storgroßen):Call:lm(formula = Lohnhohe ~ Ausbildung + Alter)
Residuals:Min 1Q Median 3Q Max
-569.50 -120.79 -5.14 73.12 519.26
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 1027.806 164.473 6.249 8.81e-06 ***Ausbildung 62.575 21.191 2.953 0.0089 **Alter 10.602 4.577 2.317 0.0333 *---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 237.4 on 17 degrees of freedomMultiple R-squared: 0.6427, Adjusted R-squared: 0.6007F-statistic: 15.29 on 2 and 17 DF, p-value: 0.0001587
Okonometrie (SS 2019) Folie 333
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen II
Die Schatzung bei Hinzunahme einer Interaktionsvariablen fur dieRegressoren Ausbildung und Alter ergibt (unter Annahmehomoskedastischer Storgroßen):Call:lm(formula = Lohnhohe ~ Ausbildung + Alter + I(Ausbildung * Alter))
Residuals:Min 1Q Median 3Q Max
-470.03 -128.21 -29.24 61.99 541.43
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 817.924 288.786 2.832 0.0120 *Ausbildung 128.650 77.493 1.660 0.1164Alter 15.764 7.422 2.124 0.0496 *I(Ausbildung * Alter) -1.414 1.595 -0.887 0.3883---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 238.9 on 16 degrees of freedomMultiple R-squared: 0.6595, Adjusted R-squared: 0.5956F-statistic: 10.33 on 3 and 16 DF, p-value: 0.0005041
Okonometrie (SS 2019) Folie 334
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen III
Auch die Verwendung robuster Standardfehler (Vhc1(β)) andert dieSchatzergebnisse nicht wesentlich:
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 817.9240 257.6594 3.1744 0.005885 **
Ausbildung 128.6496 83.6652 1.5377 0.143669
Alter 15.7637 6.8998 2.2847 0.036323 *
I(Ausbildung * Alter) -1.4143 1.9546 -0.7236 0.479787
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Die Berechnung der Varianzinflationsfaktoren”offenbart“ das entstandene
Multikollinearitatsproblem:
> library(car)
> vif(lm(Lohnhohe~Ausbildung+Alter+I(Ausbildung*Alter)))
Ausbildung Alter I(Ausbildung * Alter)
18.757206 3.688704 27.428395
Okonometrie (SS 2019) Folie 335
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen IV
Betrachte nun die folgende”Erganzung“ des Datensatzes um die
Dummyvariablen Weiblich (mit Wert 1 fur weibliche und 0 fur mannlicheBetriebsangehorige) sowie Stamm (mit Wert 1 fur Beschaftigte mit uber 25Jahren Betriebszugehorigkeit, 0 sonst) zum Lohnhohenbeispiel:
i 1 2 3 4 5 6 7 8 9 10
Lohnhohe yi 1250 1950 2300 1350 1650 1750 1550 1400 1700 2000Ausbildung x1i 1 9 11 3 2 1 4 1 3 4Alter x2i 28 34 55 24 42 43 37 18 63 58Weiblich d3i 1 0 0 1 0 0 1 0 1 0Stamm d4i 0 0 0 0 0 0 0 0 0 1
i 11 12 13 14 15 16 17 18 19 20
Lohnhohe yi 1350 1600 1400 1500 2350 1700 1350 2600 1400 1550Ausbildung x1i 1 2 2 3 6 9 1 7 2 2Alter x2i 30 43 23 21 50 64 36 58 35 41Weiblich d3i 1 0 0 0 0 1 1 0 1 0Stamm d4i 0 0 0 0 0 1 0 1 0 0
Okonometrie (SS 2019) Folie 336
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen V
Eine erste Modellschatzung mit der zusatzlichen Dummyvariablen Stamm
ergibt:
Call:
lm(formula = Lohnhohe ~ Ausbildung + Alter + Stamm)
Residuals:
Min 1Q Median 3Q Max
-585.19 -120.69 -1.91 64.44 499.54
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1044.204 191.386 5.456 5.28e-05 ***
Ausbildung 62.034 22.017 2.818 0.0124 *
Alter 10.110 5.418 1.866 0.0805 .
Stamm 35.620 193.640 0.184 0.8564
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 244.4 on 16 degrees of freedom
Multiple R-squared: 0.6435, Adjusted R-squared: 0.5766
F-statistic: 9.626 on 3 and 16 DF, p-value: 0.0007201
Okonometrie (SS 2019) Folie 337
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen VI
Eine Modellschatzung mit der zusatzlichen Dummyvariablen Weiblich ergibt:
Call:
lm(formula = Lohnhohe ~ Ausbildung + Alter + Weiblich)
Residuals:
Min 1Q Median 3Q Max
-341.81 -63.29 -23.10 54.66 415.58
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1153.784 128.038 9.011 1.15e-07 ***
Ausbildung 49.842 16.277 3.062 0.00745 **
Alter 11.754 3.452 3.405 0.00362 **
Weiblich -312.816 83.257 -3.757 0.00172 **
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 178.3 on 16 degrees of freedom
Multiple R-squared: 0.8102, Adjusted R-squared: 0.7746
F-statistic: 22.76 on 3 and 16 DF, p-value: 5.128e-06
Okonometrie (SS 2019) Folie 338
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen VII
Eine Modellschatzung mit den zusatzlichen Dummyvariablen Stamm undWeiblich ergibt:Call:lm(formula = Lohnhohe ~ Ausbildung + Alter + Weiblich + Stamm)
Residuals:Min 1Q Median 3Q Max
-352.78 -63.15 -19.96 55.61 402.17
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 1164.906 147.862 7.878 1.04e-06 ***Ausbildung 49.484 16.931 2.923 0.01050 *Alter 11.416 4.095 2.788 0.01379 *Weiblich -312.513 85.926 -3.637 0.00243 **Stamm 24.423 145.819 0.167 0.86922---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 184 on 15 degrees of freedomMultiple R-squared: 0.8105, Adjusted R-squared: 0.76F-statistic: 16.04 on 4 and 15 DF, p-value: 2.7e-05
Okonometrie (SS 2019) Folie 339
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen VIII
Variante I: Hinzufugen der Interaktion von Weiblich und Stamm:Call:lm(formula = Lohnhohe ~ Ausbildung + Alter + Weiblich + Stamm +
I(Weiblich * Stamm))
Residuals:Min 1Q Median 3Q Max
-202.67 -76.43 -4.51 18.03 325.65
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 1084.687 112.439 9.647 1.46e-07 ***Ausbildung 64.889 13.324 4.870 0.000248 ***Alter 11.007 3.054 3.604 0.002877 **Weiblich -200.118 71.233 -2.809 0.013922 *Stamm 220.038 121.483 1.811 0.091603 .I(Weiblich * Stamm) -693.032 192.232 -3.605 0.002869 **---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 137.2 on 14 degrees of freedomMultiple R-squared: 0.9018, Adjusted R-squared: 0.8667F-statistic: 25.7 on 5 and 14 DF, p-value: 1.375e-06
Okonometrie (SS 2019) Folie 340
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen IX
Breusch-Pagan-Test (nach Koenker) im ursprunglichen Modell:
studentized Breusch-Pagan test
data: lm(Lohnhohe ~ Ausbildung + Alter)
BP = 7.4032, df = 2, p-value = 0.02468
Breusch-Pagan-Test (nach Koenker) im Modell mit Dummyvariablen:
studentized Breusch-Pagan test
data: lm(Lohnhohe ~ Ausbildung + Alter + Weiblich + Stamm)
BP = 9.6253, df = 4, p-value = 0.04724
Breusch-Pagan-Test (nach Koenker) im Modell mit Dummyvariablen undInteraktionsterm:
studentized Breusch-Pagan test
data: lm(Lohnhohe ~ Ausbildung + Alter + Weiblich + Stamm + I(Weiblich * Stamm))
BP = 6.9717, df = 5, p-value = 0.2228
Okonometrie (SS 2019) Folie 341
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen X
Variante II: Hinzufugen der Interaktion von Weiblich und Ausbildung:Call:lm(formula = Lohnhohe ~ Ausbildung + Alter + Weiblich + Stamm +
I(Weiblich * Ausbildung))
Residuals:Min 1Q Median 3Q Max
-160.32 -86.44 -23.71 69.83 305.85
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 1061.933 124.133 8.555 6.22e-07 ***Ausbildung 65.991 14.724 4.482 0.000517 ***Alter 11.725 3.306 3.547 0.003220 **Weiblich -41.731 113.671 -0.367 0.719016Stamm 154.349 125.352 1.231 0.238484I(Weiblich * Ausbildung) -81.946 27.259 -3.006 0.009436 **---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 148.5 on 14 degrees of freedomMultiple R-squared: 0.8849, Adjusted R-squared: 0.8437F-statistic: 21.52 on 5 and 14 DF, p-value: 4.073e-06
Okonometrie (SS 2019) Folie 342
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen XI
Variante III: Hinzufugen der Interaktion von Weiblich und Ausbildung
sowie von Weiblich und Alter :Call:lm(formula = Lohnhohe ~ Ausbildung + Alter + Weiblich + Stamm +
I(Weiblich * Ausbildung) + I(Weiblich * Alter))
Residuals:Min 1Q Median 3Q Max
-170.48 -79.35 -21.72 68.58 283.54
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 986.879 153.018 6.449 2.17e-05 ***Ausbildung 61.942 15.604 3.970 0.0016 **Alter 14.159 4.386 3.228 0.0066 **Weiblich 114.977 216.239 0.532 0.6039Stamm 114.635 134.825 0.850 0.4106I(Weiblich * Ausbildung) -60.144 37.519 -1.603 0.1329I(Weiblich * Alter) -5.713 6.681 -0.855 0.4080---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 149.9 on 13 degrees of freedomMultiple R-squared: 0.891, Adjusted R-squared: 0.8407F-statistic: 17.71 on 6 and 13 DF, p-value: 1.448e-05
Okonometrie (SS 2019) Folie 343
5 Nichtlineare Regressionsfunktionen Modelle mit Interaktionen 5.3
Beispiel: Modelle mit Interaktionen XII
Die Berechnung der Varianzinflationsfaktoren”offenbart“ erneut ein
Multikollinearitatsproblem:
> vif(lm(Lohnhohe~Ausbildung+Alter+Weiblich+Stamm+
+ I(Weiblich*Ausbildung)+I(Weiblich*Alter)))
Ausbildung Alter Weiblich
1.930386 3.270178 9.985942
Stamm I(Weiblich * Ausbildung) I(Weiblich * Alter)
2.062336 5.837059 18.249808
Die Hinzunahme von Interaktionstermen (und anderen in den Regressorennichtlinearen Variablen) lasst insgesamt eine sehr flexible Modellbildung zu.
Die Schatzungenauigkeiten (z.B. Standardfehler) werden aber (insbesondere –wie im Beispiel – bei Schatzung auf Basis kleiner Datensatze) mitzunehmender Variablenanzahl tendenziell immer großer!
Okonometrie (SS 2019) Folie 344
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Inhaltsverzeichnis(Ausschnitt)
5 Nichtlineare RegressionsfunktionenNichtlinearitat in den RegressorenNichtlinearitat in einer VariablenModelle mit InteraktionenStrukturbruchmodelle
Okonometrie (SS 2019) Folie 345
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Strukturbruchmodelle I
Ein Spezialfall von Modellen mit Dummyvariablen – insbesondere auch inInteraktionstermen – sind sogenannte Strukturbruchmodelle.
Als Strukturbruch wird eine (abrupte) Anderung der Parameterstruktur (imGanzen oder in Teilen) bezeichnet. Strukturbruchmodelle erlauben dieseAnderung der Parameterstruktur im Rahmen des formulierten Modells.
Die Anderung eines oder mehrerer Regressionsparameter kann dabei zumBeispielI beim Wechsel zwischen verschiedenen Gruppen des Datensatzes oderI insbesondere bei Zeitreihendaten beim Wechsel zwischen verschiedenen
Zeitraumen
auftreten.
Wird die mogliche Anderung der Parameter nicht in einem entsprechendenStrukturbruchmodell zugelassen, sondern stattdessen von konstantenParametern ausgegangen, handelt es sich im Fall eines tatsachlichvorliegenden Strukturbruchs um eine Annahmeverletzung, welche dieSchatzergebnisse (des dadurch fehlspezifizierten Modells) oft unbrauchbarmacht.
Okonometrie (SS 2019) Folie 346
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Strukturbruchmodelle II
Zur Formulierung eines einfachen Strukturbruchmodells mit zwei Phasen (1)und (2) oder Gruppen (1) und (2) seien die Indizes 1, . . . , n der nDatenpunkte gemaß der beiden Phasen/Gruppen durch die Mengen
∅ 6= I(1) ( 1, . . . , n und I(2) = 1, . . . , n\I(1)
partitioniert.
Die moglichen Parameterunterschiede in den beiden Phasen/Gruppen konnenoffensichtlich durch eine getrennte Schatzung der beiden Regressionsmodelle
yi = β(1)0 + β
(1)1 x1i + . . .+ β
(1)K xKi + ui , i ∈ I(1),
undyi = β
(2)0 + β
(2)1 x1i + . . .+ β
(2)K xKi + ui , i ∈ I(2),
berucksichtigt werden.(Die Rangbedingung an die Regressormatrix muss fur beide Modelle erfulltbleiben, insbesondere folgen hieraus Mindestgroßen von I(1) und I(2)!)
Okonometrie (SS 2019) Folie 347
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Strukturbruchmodelle III
Mit einer die Gruppen-/Phasenzugehorigkeit beschreibenden Dummyvariablen
di :=
0 falls i ∈ I(1)
1 falls i ∈ I(2)
lassen sich die beiden Einzelschatzungen alternativ jedoch auch in einem(großeren) Strukturbruchmodell der Gestalt
yi = β(1)0 +δ0di +β
(1)1 x1i +δ1di x1i +. . .+β
(1)K xKi +δK di xKi +ui , i ∈ 1, . . . , n,
mit 2K + 2 Regressionsparametern subsummieren, wobei zwischen denParametern dann die Beziehung
δk = β(2)k − β
(1)k bzw. β
(2)k = β
(1)k + δk fur k ∈ 0, . . . ,K
gilt.
Okonometrie (SS 2019) Folie 348
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Strukturbruchmodelle IV
Aus den Ergebnissen einer OLS-/KQ-Schatzung des Strukturbruchmodellslassen sich dann mit t-Tests bzw. F -Tests Ruckschlusse auf das (tatsachliche)Vorliegen von Parameterunterschieden ziehen.
Relevant sind hierbei insbesondereI t-Tests auf Signifikanz einzelner Parameter δk , k ∈ 0, . . . ,K, also
H1 : δk 6= 0, sowieI F -Tests auf Signifikanz von mindestens einem der Parameter δ0, δ1, . . . , δK ,
also H1 : δk 6= 0 fur mind. ein k ∈ 0, . . . ,K,denn wegen der bereits skizzierten Parameterzusammenhange gilt
δk = 0 ⇐⇒ β(1)k = β
(2)k fur alle k ∈ 0, . . . ,K .
Je nachdem, ob von homoskedastischen oder heteroskedastischen Storgroßenausgegangen werden soll, sind die entsprechenden Darstellungen derjeweiligen Tests zu verwenden.
Okonometrie (SS 2019) Folie 349
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Strukturbruchmodelle V
Fur die Durchfuhrung des F -Tests auf Signifikanz von mindestens einem derParameter δ0, δ1, . . . , δK besteht bei Annahme homoskedastischer Storgroßendie Moglichkeit, das ursprungliche Modell
yi = β0 + β1x1i + . . .+ βK xKi + ui
ohne die StrukturbruchkomponenteI einmal fur den Gesamtdatensatz (i ∈ 1, . . . , n) als restringiertes Modell
sowie zusatzlichI jeweils einmal fur die Phasen/Gruppen (i ∈ I(1) bzw. i ∈ I(2)) (als insgesamt
unrestringiertes Modell)
zu schatzen und die (Gesamt-)Summen der Residuenquadrate in derentsprechenden Darstellung der F -Statistik aus Folie 236 einzusetzen.(Beispiel: Ubungsblatt)
Zu beachten ist dabei, dass die ubrigen Ergebnisse dieser”Hilfsregressionen“
nur teilweise sinnvoll zu interpretieren sind!
Okonometrie (SS 2019) Folie 350
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Strukturbruchmodelle VI
Strukturbruchmodelle sind auch fur komplexere Situationen konstruierbar,insbesondere wenn mehr als zwei Gruppen/Phasen betrachtet werden sollen.Dazu ist dann eine allgemeinere Partitionierung der Beobachtungen1, . . . , n in M Teilmengen I(1), . . . , I(M) mit den Eigenschaften
M⋃j=1
I(j) = 1, . . . , n und I(j) ∩ I(l) = ∅ fur j 6= l
durchzufuhren.
Wahrend wir Strukturbruchmodelle als Spezialfall von Modellen mitDummyvariablen betrachten, werden (in der Literatur) gelegentlich auchModelle mit Dummyvariablen als spezielle Strukturbruchmodelle aufgefasst.
Okonometrie (SS 2019) Folie 351
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Beispiel: Strukturbruchmodell I
Fur ein Modell, welches im Lohnhohenbeispiel unterschiedliche Parameter furmannliche und weibliche Betriebsangehorige zulasst, erhalt man:Call:lm(formula = Lohnhohe ~ Weiblich + Ausbildung + I(Weiblich *
Ausbildung) + Alter + I(Weiblich * Alter))
Residuals:Min 1Q Median 3Q Max
-184.63 -77.76 -12.46 52.31 308.12
Coefficients:Estimate Std. Error t value Pr(>|t|)
(Intercept) 930.154 136.338 6.822 8.29e-06 ***Weiblich 142.514 211.674 0.673 0.511736Ausbildung 60.334 15.335 3.934 0.001497 **I(Weiblich * Ausbildung) -45.101 32.756 -1.377 0.190171Alter 16.196 3.637 4.453 0.000546 ***I(Weiblich * Alter) -7.669 6.209 -1.235 0.237113---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 148.4 on 14 degrees of freedomMultiple R-squared: 0.8849, Adjusted R-squared: 0.8438F-statistic: 21.53 on 5 and 14 DF, p-value: 4.056e-06
Okonometrie (SS 2019) Folie 352
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Beispiel: Strukturbruchmodell II
Eine Schatzung des Strukturbruchmodells unter Annahme heteroskedastischerStorgroßen (und Verwendung von Vhc1(β)) liefert:
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 930.1539 132.1236 7.0400 5.865e-06 ***
Weiblich 142.5142 146.5563 0.9724 0.3473445
Ausbildung 60.3345 16.1410 3.7380 0.0022052 **
I(Weiblich * Ausbildung) -45.1015 20.2299 -2.2294 0.0426748 *
Alter 16.1964 3.7428 4.3273 0.0006959 ***
I(Weiblich * Alter) -7.6693 4.1761 -1.8365 0.0876084 .
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Zum Niveau α = 0.05 ist nun wenigstens der Koeffizient zur Interaktion vonWeiblich mit Ausbildung, zum Niveau α = 0.10 daruberhinaus der zurInteraktion von Weiblich mit Alter signifikant von Null verschieden.
Okonometrie (SS 2019) Folie 353
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Beispiel: Strukturbruchmodell III
Obwohl unter Annahme homoskedastischer Storgroßen kein einziger der
”Strukturbruchparameter“ δk signifikant (α = 0.05) von Null verschieden ist,
erhalt man zum F -Test fur die (gemeinsame) Nullhypothese
H0 : δ0 = δ1 = δ2 = 0
das Ergebnis (Befehl linearHypothesis im R-Paket car):Linear hypothesis test
Hypothesis:Weiblich = 0I(Weiblich * Ausbildung) = 0I(Weiblich * Alter) = 0
Model 1: restricted modelModel 2: Lohnhohe ~ Weiblich + Ausbildung + I(Weiblich * Ausbildung) +
Alter + I(Weiblich * Alter)
Res.Df RSS Df Sum of Sq F Pr(>F)1 17 9576982 14 308438 3 649260 9.8233 0.0009567 ***---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Okonometrie (SS 2019) Folie 354
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Beispiel: Strukturbruchmodell IV
Eine Durchfuhrung des F -Tests unter Annahme heteroskedastischerStorgroßen (bei Verwendung von Vhc1(β)) liefert ein ahnliches Resultat:Linear hypothesis test
Hypothesis:Weiblich = 0I(Weiblich * Ausbildung) = 0I(Weiblich * Alter) = 0
Model 1: restricted modelModel 2: Lohnhohe ~ Weiblich + Ausbildung + I(Weiblich * Ausbildung) +
Alter + I(Weiblich * Alter)
Note: Coefficient covariance matrix supplied.
Res.Df Df F Pr(>F)1 172 14 3 11.485 0.0004565 ***---Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Okonometrie (SS 2019) Folie 355
5 Nichtlineare Regressionsfunktionen Strukturbruchmodelle 5.4
Beispiel: Strukturbruchmodell V
Dass die einzelnen t-Tests die jeweilige Nullhypothese nicht ablehnen konnen,scheint zumindest teilweise durch ein Multikollinearitatsproblem imStrukturbruchmodell begrundet zu sein, fur die Varianz-Inflations-Faktorenerhalt man:
Weiblich Ausbildung I(Weiblich * Ausbildung)
9.761929 1.902040 4.539092
Alter I(Weiblich * Alter)
2.293787 16.084175
Nicht uninteressant ist das Resultat des Breusch-Pagan-Tests (nach Koenker)im Strukturbruchmodell, bei dem die Regressoren des Strukturbruchmodellsauch fur die Hilfsregression verwendet werden:
studentized Breusch-Pagan test
data: fit
BP = 10.089, df = 5, p-value = 0.07275
Die Evidenz fur heteroskedastische Storgroßen ist also imStrukturbruchmodell erheblich schwacher als im urspunglichen Modell.
Okonometrie (SS 2019) Folie 356
6 Validitat
Validitat von Schlussfolgerungen einer Regressionsstudie
Aussagen und Schlussfolgerungen zu Kausalwirkungen, die auf Basis einerRegressionsstudie gezogen werden, haben generell nicht den Status vonBeweisen, wie z.B. die Ableitung von Eigenschaften von Schatzfunktionen(Konsistenz, Erwartungstreue, Effizienz, asymptotische Normalverteilung) ausModellannahmen.
Bei der Einschatzung der Validitat einer Regressionsstudie unterscheidet manzwischen interner und externer Validitat.
Interne Validitat bezieht sich dabei auf die Gultigkeit von Aussagen uber diePopulation, aus der die Stichprobe fur die Regressionsstudie stammt.
Externe Validitat bezieht sich hingegen auf die Gultigkeit vonverallgemeinernden Aussagen, die Ergebnisse auf andere Populationen undRahmenbedingungen ubertragen.
Okonometrie (SS 2019) Folie 357
6 Validitat Interne Validitat 6.1
Interne Validitat
Damit die interne Validitat gewahrleistet ist, mussen insbesondereI die Ursache-Wirkung-Beziehungen korrekt spezifiziert sein,I die relevanten Koeffizienten unverzerrt und konsistent geschatzt werden undI bei Verwendung von Konfidenzintervallen und Hypothesentests auch die
Standardfehler bzw. die Varianz-Kovarianzmatrix der Koeffizientenschatzerkonsistent geschatzt werden.
Verschiedene Verletzungen von Modellannahmen konnen die interne Validitatgefahrden bzw. machen zumindest besondere Maßnahmen erforderlich, umdie interne Validitat zu erhalten.
Im Folgenden (zum Teil Wiederholung):Exemplarische Auflistung einiger Konstellationen, unter denen notwendigeAnnahmen fur die Konsistenz und Unverzerrtheit der Koeffizientenschatzer βverletzt werden.
Okonometrie (SS 2019) Folie 358
6 Validitat Interne Validitat 6.1
Konsistenz/Unverzerrtheit der Koeffizientenschatzer I
1 Fehlende Variablen fuhren – wie bereits diskutiert – zur Verzerrung desOLS-Schatzers, wenn sie nicht nur die abhangige Variable y beeinflussen,sondern auch mit dem relevanten Regressor xk , ggf. auch mit mehrerenRegressoren, korreliert sind (
”omitted variable bias“). Grund dafur ist die
Verletzung der Annahme E(u) = 0. Daher sollte schon vor derRegressionsanalyse uberlegt werden:I Welche mit xk korrelierten Einflusse sind unberucksichtigt?I Gibt es eventuell Daten der fehlenden Variablen?I Gibt es wenigstens
”Kontrollvariablen“, deren Aufnahme in das Modell den
omitted variable bias reduziert?I Muss eventuell auf eine andere Datenerhebung (Paneldaten, Randomisierung)
oder ein anderes Schatzverfahren (Instrumentalvariablenschatzung)zuruckgegriffen werden?
Okonometrie (SS 2019) Folie 359
6 Validitat Interne Validitat 6.1
Konsistenz/Unverzerrtheit der Koeffizientenschatzer II
Bei der Aufnahme zusatzlicher Variablen ist zu beachten, dassI die Aufnahme zusatzlicher Variablen auch einen Preis hat, namlich die
Erhohung der Varianzen der OLS-Schatzer. Es ist also abzuwagen, ob dieReduktion von Verzerrung die Verringerung der Prazision aufwiegt.
I in der Prasentation der Ergebnisse einer Regressionsstudie nicht nur dieErgebnisse der letztlich favorisierten Spezifikation mit zusatzlichen Variablenangegeben werden sollten, sondern auch die der alternativen Regressionen.
2 Fehlspezifikation der funktionalen Form der Regressionsfunktion fuhrtdazu, dass der (moglicherweise vom xk -Niveau abhangige) marginale Effektvon xk auf y auch bei großer Stichprobe verzerrt geschatzt wird.( korrekte Spezifikation eventuell durch einen nichtlinearen Ansatz)
Okonometrie (SS 2019) Folie 360
6 Validitat Interne Validitat 6.1
Konsistenz/Unverzerrtheit der Koeffizientenschatzer III
3 Messfehler in den erklarenden Variablen fuhren dazu, dass dieOLS-Schatzung nicht konsistent ist.Im klassischen Fehler-in-den-Variablen-Modell wird angenommen, dassanstelle des tatsachlichen Regressors xki die Variable xki = xki + εi verwendetwird, wobei angenommen wird, dass die Messfehler εi unabhangig identischverteilt sind mit Erwartungswert Null und Varianz σ2
ε, unkorreliert mit xki undmit der Storgroße ui . In diesem FallI wird der zugehorige Koeffizient βk systematisch betragsmaßig unterschatzt,
I kann die Verzerrung ohne Probleme korrigiert werden, wenn das Verhaltnisσ2
xkσ2ε
bekannt ist,I muss ansonsten auf andere Schatzverfahren (Instrumentalvariablenschatzung)
zuruckgegriffen werden.
Okonometrie (SS 2019) Folie 361
6 Validitat Interne Validitat 6.1
Konsistenz/Unverzerrtheit der Koeffizientenschatzer IV
4 Wenn die Stichprobenauswahl von den y−Werten abhangig ist, z.B.wenn – beabsichtigt oder unbeabsichtigt – Beobachtungen ausgeschlossenwerden, bei denen yi unterhalb eines Schwellenwerts liegt, ist derOLS-Schatzer verzerrt und inkonsistent (
”sample selection bias“).
Schatzverfahren, die in dieser Situation konsistent sind, bauen aufMaximum-Likelihood-Verfahren in Modellen mit binaren abhangigenVariablen auf.
5 Simultane Kausalitat von xk nach y und von y nach xk fuhrt dazu, dassder Regressor xk (der dann auch nicht mehr als deterministische Großebetrachtet werden kann, sondern als Zufallsvariable aufgefasst werden muss!)mit der Storgroße korreliert und der OLS-Schatzer verzerrt und inkonsistentist (
”simultaneous equation bias“).
Okonometrie (SS 2019) Folie 362
6 Validitat Interne Validitat 6.1
Konsistenz/Unverzerrtheit der Koeffizientenschatzer V
Die Situation simultaner Kausalitat kann formalisiert erfasst werden, indemzur Regressionsbeziehung fur den Einfluss von xk auf y eine weitere Gleichungfur eine umgekehrte Regressionsbeziehung formuliert wird, also eininterdependentes System simultaner Regressionsgleichungen, z.B.
yi = β0 + β1x1i + β2x2i + ui und
x1i = γ0 + γ1yi + γ3x3i + vi .
Die konsistente Schatzung in simultanen Gleichungssystemen spielte einedominierende Rolle in der Entwicklung der Okonometrie, vor allem imKontext makrookonomischer Modelle.Ein Losungsansatz ist die Instrumentalvariablenschatzung.
Okonometrie (SS 2019) Folie 363
6 Validitat Interne Validitat 6.1
Konsistenz der Standardfehler der OLS-Schatzung
Wenn die Standardfehler nicht mit einem konsistenten Schatzverfahrenberechnet wurden, sind darauf beruhende Konfidenzintervalle und Tests nichtmehr valide.
Die Konsistenz der geschatzten Standardfehler hangt davon ab, welcheAnnahmen bezuglich der Varianzen und Kovarianzen der Storgroßen adaquatsind.
Wie bereits hervorgehoben wurde, wird man oft von Heteroskedastizitatausgehen mussen, in diesem Fall sind nur die entsprechenden robustenStandardfehler konsistent.
Daruberhinaus wurden Schatzer der Varianzen der OLS-Schatzer entwickelt,die auch bei korrelierten Storgroßen konsistent sind.
Korrelation in den Storgroßen tritt insbesondere dann haufig auf, wenn essich bei den untersuchten Daten um Zeitreihendaten handelt.
Okonometrie (SS 2019) Folie 364