6. Schatzung stationarer ARMA-Modelle

Problemstellung:

• Statistische Anpassung eines stationaren ARMA(p, q)-Prozes-ses an eine Stichprobe von t = 1, . . . , T Prozessbeobachtun-gen

• Es bezeichne x1, . . . , xT die realisierte Stichprobe (Trajekto-rie, Zeitreihe) der zufalligen Stichprobe X1, . . . , XT (Prozess-variablen)(vgl. Kapitel 4)

181

6.1 Die Box-Jenkins Methodologie

Vorwissen:

• Jeder datenerzeugende stationare Prozess kann beliebig genaudurch einen ARMA(p, q)-Prozess approximiert werden(vgl. Kapitel 3, Folie 42)

Zu klarende Aspekte:

• Wahl der Prozessordnungen p und q

• Schatzung aller Prozessparameter

182

Box-Jenkins Methodologie:(vgl. Box & Jenkins, 1976)

1. Modellidentifikation

2. Parameterschatzung

3. Modelldiagnose

4. Prognose

183

1. Modellidentifikation: (I)

• Uberprufung der Zeitreihe x1, . . . , xT auf Stationaritat

Visuelle Inspektion der Daten

Anwendung statistischer Stationaritatstests(vgl. Kapitel 7)

Ggf. Datentransformation zur Erreichung der Stationaritat. 1. Differenzen:

xt → ∆xt = (1− L)xt = xt − xt−1

. 1. Differenzen der logarithmierten Daten:

xt → ∆log(xt) = log(xt)− log(xt−1) = log

(

xt

xt−1

)

184

1. Modellidentifikation: (II)

• Bestimmung der Ordnungen p und q

Berechnung der geschatzten ACF/PACF

Visueller Vergleich der geschatzten ACF/PACF mit poten-ziellen theoretischen ACF/PACF(vgl. Tabelle auf Folie 175; Abb. auf Folien 178-180)

Statistische Selektionsverfahren fur p und q(vgl. Abschnitt 6.3)

185

2. Parameterschatzung:

• KQ-Schatzung, Maximum-Likelihood Schatzung(vgl. Abschnitt 6.2)

3. Modelldiagnose:

• Uberprufung, ob Autokorrelation in den Residuen des geschatz-ten Modells vorliegt(Anwendung des Ljung-Box Tests, vgl. Folie 164-165)

Autokorrelationsfreie Residuen−→ Gut spezifiziertes Modell

(Analyse der Parametersignifikanzen)Autokorrelierte Residuen

−→ Respezifikation des Modells(iteratives Vorgehen)

186

4. Prognose:

• Benutzung der geschatzten Parameterwerte des gut spezi-fizierten Modells zur Prognose zukunftiger Prozesswerte(kein Gegenstand der VL)

187

6.2 Die Schatzung eines ARMA(p, q)-Modells

Jetzt:

• Schatzung der Parameter c, φ1, . . . , φp, θ1, . . . , θq und σ2 einesstationaren ARMA(p, q)-Prozesses

Xt = c + φ1Xt−1 + . . . + φpXt−p + εt + θ1εt−1 + . . . θqεt−q

Bemerkungen:

• Es gibt verschiedene Schatztechniken(KQ-, ML-Schatzung; vgl. VL FS)

• Fur einen AR(p)-Prozess gibt es den Yule-Walker-Schatzer(vgl. Neusser, 2006)

188

Zunachst: (I)

• Beispiel einer KQ-Schatzung des AR(p)-Modells

Xt = c + φ1Xt−1 + . . . + φpXt−p + εt

• Fasse dafur den Prozess als Regressionsmodell auf mit

Xt als abhangiger Variable

Xt−1, . . . , Xt−p als Regressoren

εt als Storterm

189

Zunachst: (II)

• Modell in Martixschreibweise:

Xp+1Xp+2

...XT

=

1 Xp Xp−1 · · · X11 Xp+1 Xp · · · X2... ... ... . . . ...1 XT−1 XT−2 · · · XT−p

cφ1φ2...

φp

+

εp+1εp+2

...εT

y = Xβ + u

• KQ-Schatzer βKQ fur β =[

c φ1 φ2 · · · φp]′

ist

βKQ = (X′X)−1Xy

190

Zunachst: (III)

• σ2 wird mittels der KQ-Residuen u = y − XβKQ geschatztdurch

σ2 =u′u

T − p

(vgl. VL Okonometrie I)

Probleme: (I)

• Die bekannten Optimalitatseigenschaften der KQ-Schatzungerfordern diverse Voraussetzungen an das lineare Regressions-modell(vgl. Vorlesungen Okonometrie I + II)

191

Probleme: (II)

• Einige dieser Voraussetzungen sind hier verletzt:

Die Regressoren sind mit dem Storterm korreliert

Abhangigkeit der KQ-Schatzung von den StartwertenX1, . . . , Xp

Dennoch:

• In AR(p)-Modellen sind die KQ-Schatzer fur die Modellpa-rameter konsistent und asymptotisch effizient(vgl. Neusser, 2006, S. 81-84)

192

Jetzt:

• Schatzung eines allgemeinen ARMA(p, q)-Modells

Xt = c + φ1Xt−1 + . . . + φpXt−p + εt + θ1εt−1 + . . . θqεt−q

• Sammle alle Modellparameter im ([p + q + 2]× 1) Vektor

β =[

c φ1 · · · φp θ1 · · · θq σ2]′

Problem:

• KQ-Methode nicht ohne weiteres anwendbar, da die ”Regres-soren” εt, εt−1, . . . , εt−q des MA(q)-Teils nicht direkt beobacht-bar sind

193

Ausweg:

• Schatze die Modellparameter mit der (bedingten) Maximum-Likelihood-Methode(vgl. VL Fortgeschrittene Statistik)

ML-Methode: (I)

• Benotigen Verteilungsannahme der StichprobenvariablenX1, . . . , XT

• Berechnung der gemeinsamen Dichtefunktion

fX1,...,XT (x1, . . . , xT )

194

ML-Methode: (II)

• Betrachte die gemeinsame Dichtefunktion als eine Funktionim unbekannten Parametervektor β

L(β) = fX1,...,XT (x1, . . . , xT )

bzw.

L∗(β) = log[fX1,...,XT (x1, . . . , xT )]

(Likelihood-Funktion bzw. Log-Likelihood-Funktion)

• Maximiere L∗(β) bzgl. β

−→ Maximum-Likelihood-Schatzer

195

ML-Methode: (III)

• ML-Schatzer haben gunstige statistische Eigenschaften:

Konsistenz

Asymptotische Normalitat

Asymptotische Effizienz

Robustheit gegenuber Abweichungen von der NV(Quasi-ML-Schatzungen)

196

Verteilungsannahme:

• Betrachte einen Gaußschen ARMA(p, q)-Prozess

Xt = c + φ1Xt−1 + . . . + φpXt−p + εt + θ1εt−1 + . . . θqεt−q

mit εt ∼ GWR(0, σ2)

Log-Likelihood-Funktion: (I)• Berechnung der exakten Log-Likelihood-Fkt. unmoglich

• Stattdessen Berechnung der Log-Likelihood-Funktion unterBerucksichtigung gegebener Startwerte

x0 ≡[

x0 x−1 · · · x−p+1]′

,

ε0 ≡[

ε0 ε−1 · · · ε−q+1]′

−→ Bedingte Log-Likelihood-Funktion

197

Log-Likelihood-Funktion: (II)

• Die bedingte Log-Likelihood-Funktion ist gegeben durch

L∗(β|x0, ε0) = −T2

log(2π)−T2

log(σ2)−T

∑

t=1

ε2t2σ2

Bemerkungen: (I)

• Die bedingte Log-Likelihood-Funktion L∗(β|x0, ε0) ist einekomplizierte nichtlineare Funktion im Parametervektor β

• Es existieren keine analytisch geschlossenen Formeln fur diebedingten ML-Schatzfunktionen

−→ Numerische Optimierung von L∗(β|x0, ε0)

198

Bemerkungen: (II)

• Exakte und bedingte ML-Schatzer haben qualitativ ahnlicheEigenschaften

• EViews verfugt uber derartige numerische Optimierungsver-fahren

199

6.3 Die Schatzung der Ordnungen p und q

Frage:

• Wie sollen die Ordnungen p und q des anzupassenden ARMA-Modells gewahlt werden?

2 Fehlermoglichkeiten:

• p und q werden zu groß gewahlt(Overfitting)

• p und/oder q werden zu klein gewahlt(Underfitting)

200

Konsequenzen:

• Sowohl beim Overfitting als auch beim Underfitting ist derML-Schatzer i.A. nicht mehr konsistent fur die Modellparam-eter

−→ Korrekte Bestimmung der Ordnungen p und q ist zentral

Bestimmungsmoglichkeiten:

• Visuelle Inspektion der empirischen ACF und PACF(Box-Jenkins-Ansatz, in praxi meist schwierig)

• Automatische Selektionsverfahren

201

Idee der Selektionsverfahren: (I)

• Minimierung eines Informationskriteriums

• Prinzipielle Konstruktion der Kriterien:

Mit steigenden Ordnungen p und q nimmt die Anpassungdes ARMA-Modells zu (bzw. nicht ab)

Die Anpassung des Modells wird gemessen durch die ge-schatzte Varianz der Residuen σ2

p,q

Um die Tendenz zum Overfitting zu korrigieren, wird dasAnpassungsmaß σ2

p,q um einen Term erganzt, der hohereWahlen von p und q bestraft

202

Idee der Selektionsverfahren: (I)

• Die bekanntesten Informationskriterien lauten:

AIC(p, q) = log(

σ2p,q

)

+ (p + q)2T(Akaike-Informationskriterium)

SIC(p, q) = log(

σ2p,q

)

+ (p + q)log(T )T

(Schwarz-Informationskriterium)

HQIC(p, q) = log(

σ2p,q

)

+ (p + q)2 log[log(T )]T

(Hannan-Quinn-Informationskriterium)

• In praxi werden die Ordnungen p und q so gewahlt, dass sieeines der 3 Informationskriterien minimieren

203

Bemerkungen:

• In praxi wird meistens das AIC-Kriterium verwendet, obwohles tendenziell zum Overfitting fuhrt

• SIC und HQIC liefern konsistente Schatzungen der Ordnun-gen p und q

204

6.4 Modellierung eines stochastischen Prozesses

Jetzt:

• Anpassung eines ARMA(p, q)-Prozesses an eine erhobene Zeit-reihe in 4 Schritten

1. Transformationen zur Erreichung der Stationaritat: (I)

• Okonomische Zeitreihen sind oft nicht stationar(vgl. Kapitel 7)

−→ Daten sind in stationare Zeitreihen zu transformieren

205

1. Transformationen zur Erreichung der Stationaritat: (II)

• Mogliche Datentransformation:

Ubergang zu Differenzen

Yt = (1− L)dXt fur d = 1,2, . . .

(Differenzenfilter der Ordnung d)

Bereinigung von {Xt} um einen deterministischen Trend(vgl. Kapitel 7)

Ubergang zu logarithmierten Werten bzw. zu Differenzender logarithmierten Werte

Yt = (1− L) log(Xt) = log(Xt)− log(Xt−1)

(Wachstumsrate)

206

2. Wahl der Ordnungen p und q:

• Inspektion von ACF und PACF

• Anwendung von Selektionskriterien(vgl. Abschnitt 6.3)

3. Schatzung des Modells:

• ML-Schatzung des spezifizierten ARMA(p, q)-Modells

207

4. Prufung auf Plausibilitat:

• Sind die Parameterschatungen plausibel?

• Folgen die Residuen einem Weißen Rauschen?

• Gibt es Strukturbruche

• Ggf. Respezifikation des Modells und erneute Anpassung

Beispiel:

• Deutsches BIP zwischen 1970:Q1 und 2007:Q4

208

40

50

60

70

80

90

100

110

120

1970.1 1980.1 1990.1 2000.1

Zeit

BIP (preisbereinigt, Quartalsdaten)

 

 

-.04

-.02

.00

.02

.04

.06

.08

1970.1 1980.1 1990.1 2000.1

BIP Wachstumsrate

Schritt 1:

• Daten weisen offensichtlich

einen steigenden Trend auf

ein Saisonmuster auf

−→ Ubergang zu saisonalen Differenzen in Logarithmen

Xt = (1− L4) log(BIPt)

= log(BIPt)− log(BIPt−4)

(Wachstumsrate gegenuber Vorjahresquartal)

210

Schritt 2:

• Visuelle Inspektion von ACF und PACF(vgl. Abbildung auf Folie 212)

ACF langsam monoton abklingend

−→ AR-Modell

PACF hat signifikante Werte bis h = 4

−→ AR(4)-Modell

211

 

-1.0

-0.5

0.0

0.5

1.0

0 5 10 15 20 25 30

h

Geschätzte ACF

 

-1.0

-0.5

0.0

0.5

1.0

0 5 10 15 20 25 30

h

Geschätzte PACF

Schritt 2 (Fortsetzung):

• Selektionskriterien:

AIC-Werte fur alternative ARMA(p, q)-Modelle

p / q q = 0 q = 1 q = 2 q = 3 q = 4 q = 5p = 0 −5.6068 −5.6530 −5.9066 −5.9046 −5.9043p = 1 −5.8274 −5.8157 −5.8125 −5.9476 −5.9378 −5.9412p = 2 −5.8322 −5.8813 −5.8806 −5.9394 −5.9290 −5.9504p = 3 −5.8117 −5.8900 −5.8825 −5.9107 −5.9157 −5.9702p = 4 −5.8518 −5.8922 −5.8960 –5.9988 −5.9520 −5.9869p = 5 −5.8988 −5.8861 −5.9203 −5.9775 −5.9922 −5.9810

−→ ARMA(4,3)-Modell

213

SIC-Werte fur alternative ARMA(p, q)-Modelle

p / q q = 0 q = 1 q = 2 q = 3 q = 4 q = 5p = 0 −5.5663 −5.5923 −5.8256 −5.8034 −5.7828p = 1 −5.7867 −5.7546 −5.7311 –5.8458 −5.8157 −5.7988p = 2 −5.7709 −5.7996 −5.7785 −5.8168 −5.7860 −5.7870p = 3 −5.7296 −5.7874 −5.7593 −5.7670 −5.7514 −5.7855p = 4 −5.7487 −5.7684 −5.7516 −5.8338 −5.7664 −5.7806p = 5 −5.7745 −5.7411 −5.7546 −5.7910 −5.7850 −5.7531

−→ ARMA(1,3)-Modell

214

Schritt 3: (I)

• Schatzung des AR(4)-Modells

215

Dependent Variable: BIP_WACHSTUM Method: Least Squares Date: 22/05/08 Time: 16:10 Sample (adjusted): 1972Q1 2007Q4 Included observations: 144 after adjustments Convergence achieved after 3 iterations

Variable Coefficient Std. Error t-Statistic Prob.

C 0.021617 0.003267 6.616613 0.0000AR(1) 0.671162 0.082343 8.150788 0.0000AR(2) 0.091627 0.099346 0.922303 0.3580AR(3) 0.146818 0.098621 1.488713 0.1388AR(4) -0.234958 0.080608 -2.914812 0.0041

R-squared 0.549943 Mean dependent var 0.021520Adjusted R-squared 0.536992 S.D. dependent var 0.018744S.E. of regression 0.012754 Akaike info criterion -5.851775Sum squared resid 0.022612 Schwarz criterion -5.748656Log likelihood 426.3278 F-statistic 42.46246Durbin-Watson stat 1.877438 Prob(F-statistic) 0.000000

Inverted AR Roots .71-.26i .71+.26i -.38+.52i -.38-.52i

 

Schritt 3: (II)

• Hauptergebnisse:

Parameter φ2 und φ3 nicht signifikant

Varianz der Residuen:

σ2 = (0.012754)2 = 0.000163

216

Schritt 3: (III)

• Schatzung des ARMA(1,3)-Modells

217

Dependent Variable: BIP_WACHSTUM Method: Least Squares Date: 21/05/08 Time: 23:14 Sample (adjusted): 1971Q2 2007Q4 Included observations: 147 after adjustments Convergence achieved after 10 iterations Backcast: 1970Q3 1971Q1

Variable Coefficient Std. Error t-Statistic Prob.

C 0.021610 0.002912 7.421498 0.0000AR(1) -0.101970 0.113792 -0.896108 0.3717MA(1) 0.887698 0.084314 10.52848 0.0000MA(2) 0.654474 0.084773 7.720300 0.0000MA(3) 0.656299 0.062123 10.56447 0.0000

R-squared 0.582336 Mean dependent var 0.021547Adjusted R-squared 0.570571 S.D. dependent var 0.018559S.E. of regression 0.012162 Akaike info criterion -5.947550Sum squared resid 0.021004 Schwarz criterion -5.845835Log likelihood 442.1449 F-statistic 49.49651Durbin-Watson stat 2.010427 Prob(F-statistic) 0.000000

Inverted AR Roots -.10 Inverted MA Roots .02+.84i .02-.84i -.94

 

Schritt 3: (IV)

• Hauptergebnisse:

Parameter φ1 nicht signifikant

Varianz der Residuen:

σ2 = (0.012162)2 = 0.000148

−→ Bessere Anpassung als AR(4)-Modell

218

Schritt 4: (ARMA(1,3)-Modell) (I)

• Parameterwerte plausibel

• Eigenschaften des geschatzten ARMA(1,3)-Modells (I)(vgl. Abbildung 18, Folie 221)

Kehrwert der Nullstelle des AR-Polynoms innerhalb desEinheitskreises

−→ AR-Nullstelle außerhalb des Einheitskreises

−→ Geschatztes ARMA(1,3)-Modell ist stationar

219

Schritt 4: (II)

• Eigenschaften des geschatzten ARMA(1,3)-Modells (II)(vgl. Abbildung 18, Folie 221)

Kehrwert der Nullstellen des MA-Polynoms innerhalb desEinheitskreises

−→ MA-Nullstellen außerhalb des Einheitskreises

−→ Geschatztes ARMA(1,3)-Modell ist invertierbar

220

-1.0

-0.5

0.0

0.5

1.0

-1.0 -0.5 0.0 0.5 1.0

AR-Nullstellen MA-Nullstellen

Kehrwerte der Nullstellen der AR/MA Polynome

  Inverse Roots of AR/MA Polynomial(s) Specification: BIP_WACHSTUM C AR(1) MA(1) MA(2) MA(3) Date: 21/05/08 Time: 23:59 Sample: 1970Q1 2007Q4 Included observations: 147

AR Root(s) Modulus Cycle

-0.101970 0.101970

No root lies outside the unit circle. ARMA model is stationary.

MA Root(s) Modulus Cycle

-0.936859 0.936859 0.024581 ± 0.836616i 0.836977 4.076222

No root lies outside the unit circle. ARMA model is invertible.

 

Schritt 4: (II)

• Residualanalyse (I)

222

 

-1.0

-0.5

0.0

0.5

1.0

0 5 10 15 20 25 30

h

Geschätzte ACF der Residuen

Schritt 4: (III)

• Residualanalyse (II)

Keine signifikanten Autokorrelationen bis zum Lag h = 30

Ljung-Box-Test auf Autokorrelation in den Residuen:(vgl. Folien 164-165)

Lag Q-Statistik p-Wert10 7.6054 0.26820 15.348 0.49930 21.145 0.734

223

Schritt 4: (IV)

• Schlussfolgerung:

Residuen folgen annahernd einem Weißen RauschenKorrelation in den Daten wird vom ARMA(1,3)-Modell guterfasst

224