Pseude-Likelihood-Methode Seminar: Grundlagen der ... fileEinleitung Pseude-Likelihood-Methode Anwendungen und SimulationenZusammenfassung Ziel, Problemstellung (X t) t2N ein eindimensionaler

Einleitung Pseude-Likelihood-Methode Anwendungen und Simulationen Zusammenfassung

Pseude-Likelihood-MethodeSeminar: Grundlagen der Simulation und Statistik

von dynamischen Systemen

Andrei Durtca

Technische Universitat Dortmund

12. Januar 2015


Inhaltsverzeichnis

1 Einleitung

2 Pseude-Likelihood-MethodeEuler-ApproximationElerian-Approximation

3 Anwendungen und Simulationendas Black-Scholes-Merton-Modellder Ornstein-Uhlenbeck-Prozessdas Cox-Ingersoll-Ross-Modell

4 Zusammenfassung


Ziel, Problemstellung

(Xt)t∈N ein eindimensionaler Diffusionsprozess, der dieDifferenzialgleichung

dXt = b(Xt , θ)dt + σ(Xt , θ)dWt

lost, wobei

θ ∈ Θ ⊂ Rp unbekannter p-dimensionaler Paramatervektor,

b : R×Θ→ R der Driftkoeffizient,

σ : R×Θ→ (0,∞) der Diffusionskoeffizient,

(Wt)t∈N der Wiener-Prozess.


Ziel,Problemstellung

Ziel:der unbekannte Parameter θ auf Basis der Stichprobe {Xt1 , . . . ,Xtn}schatzen.

Wahl des Zeitintervalls 4 = ti − ti−1 zwischen Xti und Xti−1 ist konstant.

Konzentration auf n und 4.

Problem:die Ubergangsdichte bzw. die Verteilung oft nicht bekannt

=⇒ die Schatzung mit der ML-Methode zu kompliziert.


mogliche Auswege

Ausweg I: Euler-Methode, die auf dem Euler-Schema basiert.

Ausweg II: Elerian-Methode, fur die das Milstein-Schema

verwendet wird.

=⇒ die Pseude-Likelihood-Methoden.


Maximum-Likelihood-Methode

die Likelihood-Funktion:

Ln(θ) =n∏

i=1

pθ(xi |xi−1)pθ(x0).

die logarithmierte Likelihood-Funktion:

`n(θ) = log(Ln(θ)) =

tn∑i=t1

log(pθ(xi |xi−1)) + log(pθ(x0))︸︷︷︸=0

.

Parameterschatzung:

θ = argmaxθ∈Θ

ˆn(θ) = argmax

θ∈Θ

tn∑i=t1

log(pθ(xi |xi−1)),


Pseude-Likelihood-Methode

• Diskretisierung der Ubergangsdichte pθ(xi |xi−1) durch dieApproximationsschemas.

• Voraussetzungen fur konsistente Schatzer:

Voraussetzung 1 (Positivitat der Diffusionskoeffizient):

infx∈R

σ2(x , θ) > 0.

Voraussetzung 2 (beschrankte Momente): ∀ k > 0 existieren alle

Momente der Ordnung k des Diffusionsprozessesund sind so, dass

supt∈N

E(|Xt |k

)<∞.


Pseude-Likelihood-Methode

Voraussetzung 3 (Polynomielle Wachstumsbedingung): Es existieren vonθ ∈ Θ unabhangige L > 0 und m > 0, so dass

|b(x , θ)| ≤ L · (1 + |x |m).

Voraussetzung 4: Es muss gelten:

n · (4)3 → 0, fur 4→ 0, n→∞.

ML-Bedingung: n4→∞.


Euler-Approximation

Euler-Schema

basiert auf Euler-Schema.

Falls Drift- und Diffusionskoeffizient in kleinen Zeitintervallen [t, t +4]konstant, dann gilt fur t = t1, . . . , tn

Xt = Xt−1 + b(Xt−1, θ)4+ σ(Xt−1, θ)(Wt −Wt−1).

Wt −Wt−1 ∼ N (0,4)

=⇒ (Xt − Xt−1)|Xt−1 = xt−1 ∼ N(b(xt−1, θ)4, σ2(xt−1, θ)4

)=⇒ Xt |Xt−1 = xt−1 ∼ N

(xt−1 + b(xt−1, θ)4, σ2(xt−1, θ)4

).


Euler-Approximation

Euler-Ubergangsdichte

Behauptung

Die bedignte Ubergansdichte der Euler-Methode ist fur t ∈ {t1, . . . , tn}definiert als

pEulerθ (xt |xt−1) =

1

σ(xt−1, θ)√

2π4· exp

{− 1

2

(xt − xt−1 − b(xt , θ)4)2

4σ2(xt−1, θ)

}.


Euler-Approximation

Euler-Likelihood-Funktion

Die logarithmierte Likelihood-Funktion

Èulern (θ) =− 1

2

{tn∑

i=t1

(xi − xi−1 − b(xi−1, θ) · 4)2

σ2(xi−1, θ) · 4 + n · log(2π4)

+

tn∑i=t1

log(σ2(xi−1, θ))

}.

σ(x , θ) = σ > 0 ∀ x ∈ R ⇒

σ =

√√√√ 1

n · 4

tn∑i=t1

(xi − xi−1)2.

Die Funktion ist dann zu maximierentn∑

i=t1

(xi − xi−1)b(xi−1, θ)− 42

tn∑i=t1

b2(xi−1, θ).


Euler-Approximation

Euler-Likelihood-Funktion


Èulern (θ) =− 1

2

{tn∑

i=t1

(xi − xi−1 − b(xi−1, θ) · 4)2

σ2(xi−1, θ) · 4 + n · log(2π4)

+

tn∑i=t1

log(σ2(xi−1, θ))

}.

σ(x , θ) = σ > 0 ∀ x ∈ R ⇒

σ =

√√√√ 1

n · 4

tn∑i=t1

(xi − xi−1)2.

Die Funktion ist dann zu maximierentn∑

i=t1

(xi − xi−1)b(xi−1, θ)− 42

tn∑i=t1

b2(xi−1, θ).


Elerian-Approximation

Milstein-Schema

basiert auf Milstein-Schema

Falls ∂∂xσ(x , θ) =: σx (x , θ) existiert, dann gilt fur t = t1, . . . , tn

Xt =Xt−1 + b(Xt−1, θ)4+ σ(Xt−1, θ)(Wt −Wt−1)

+1

2σ(Xt−1, θ)σx (Xt−1, θ)((Wt −Wt−1)2 −4).

Fur σx (Xt−1, θ) ≈ 0 bzw. σx (Xt−1, θ) ≈ 0 = σ, reduziert sichMilstein-Schema auf Euler-Schema.



Elerian-Ubergangsdichte

Behauptung

Die bedignte Ubergansdichte der Elerian-Methode ist fur t ∈ {t1, . . . , tn}gegeben durch

pElerianθ (xt |xt−1) =

z− 1

2t cosh(

√Czt)

|A|√

2π· exp

(− C + zt

2

),

wobei

A =σ(xt−1, θ)σx (xt−1, θ)4

2,

B = − σ(xt−1, θ)

2σx (xt−1, θ)+ xt−1 + b(xt−1, θ)4− A,

zt =xt − B

A

C =1

σ2x (xt−1, θ)4 .

Die Ubergangsdichte ist fur zt > 0 und σx 6= 0 definiert.





Èleriann (θ) =− 1

2

tn∑i=t1

log(zi ) +

tn∑i=t1

log(cosh(

√Czi )

)−

tn∑i=t1

C + zi

2

− nlog(|A|)− n

2log(2π).

Der bedingte Erwartungswert

E(Xt |Xt−1 = xt−1) = xt−1 + b(xt−1, θ) · 4.

Die bedingte Varianz

Var(Xt |Xt−1 = xt−1) = σ2(xt−1, θ) · 4+1

2

(σ(xt−1, θ)σx (xt−1, θ) · 4

)2.





Èleriann (θ) =− 1

2

tn∑i=t1

log(zi ) +

tn∑i=t1

log(cosh(

√Czi )

)−

tn∑i=t1

C + zi

2

− nlog(|A|)− n

2log(2π).

Der bedingte Erwartungswert

E(Xt |Xt−1 = xt−1) = xt−1 + b(xt−1, θ) · 4.

Die bedingte Varianz

Var(Xt |Xt−1 = xt−1) = σ2(xt−1, θ) · 4+1

2

(σ(xt−1, θ)σx (xt−1, θ) · 4

)2.



Implementierung der Elerian-Ubergangsdichte

dcElerian <- function (xp, dt, xm , theta ,log=FALSE){

A <- ss(xm,theta) * sx(xm,theta) * dt/2

B <- -ss(xm,theta)/(2*sx(xm,theta)) + xm + b(xm,theta)*dt - A

z <- (xp-B)/A

z[z < 0] <- NA

C <- 1/((sx(xm,theta)^2)*dt)

tmp <- sqrt(C*z)

tmp2 <- numeric(length(tmp))

idx <- which(abs(tmp)>10)

tmp2[idx] <- tmp[idx] - log(2)

tmp2[-idx ] <- log(cosh(tmp[-idx]))

lik <- -log(abs(A)) - 0.5*log(2*pi) - 0.5*log(z)-(C + z)/2 + tmp2

if (!log)

lik <- exp(lik)

lik[is.infinite(lik)] <- NA

return(lik)

}


Drift- und Diffussionskoeffizienten

dXt = b(Xt , θ)dt + σ(Xt , θ)dWt

BS-Modell OU-Prozess CIR-Modell

b(x , θ) θ1x θ1 − θ2x θ1 − θ2xσ(x , θ) θ3x θ3 θ3

√x

σx (x , θ) θ3 0 θ32√

x

Tabelle: Drift-, Diffusionskoeffizienten und Ableitungen derDiffusionskoeffizienten fur verschiedene Modelle.



m(4, x) xeθ14 θ1θ2

+ (x − θ1θ2

)eθ24 θ1θ2

+ (x − θ1θ2

)eθ24

mEuler (4, x) x + θ1x4 x + (θ1 − θ2x)4 x + (θ1 − θ2x)4mElerian(4, x) x + θ1x4 x + (θ1 − θ2x)4 x + (θ1 − θ2x)4

Tabelle: Wahre bedingte und approximierte Erwartungswerte furverschiedene Modelle.

BS-Modell OU-Modell CIR-Modell

v(4, x)x2e2θ14(eθ

224 − 1)

θ23(1−e−2θ24)

2θ2xθ2

3θ2

(e−θ24 − e−2θ24)

+θ1θ

23

2θ22

(1− e−θ24)

v Euler (4, x) θ23x24 θ2

34 θ23x4

v Elerian(4, x) θ23x24+ 1

2(θ2

3x4)2 θ234 θ2

3x4+ 12( 1

2θ2

34)2

Tabelle: Wahre bedingte und approximierte Varianzen fur verschiedeneModelle.



m(4, x) xeθ14 θ1θ2

+ (x − θ1θ2

)eθ24 θ1θ2

+ (x − θ1θ2

)eθ24

mEuler (4, x) x + θ1x4 x + (θ1 − θ2x)4 x + (θ1 − θ2x)4mElerian(4, x) x + θ1x4 x + (θ1 − θ2x)4 x + (θ1 − θ2x)4

Tabelle: Wahre bedingte und approximierte Erwartungswerte furverschiedene Modelle.

BS-Modell OU-Modell CIR-Modell

v(4, x)x2e2θ14(eθ

224 − 1)

θ23(1−e−2θ24)

2θ2xθ2

3θ2

(e−θ24 − e−2θ24)

+θ1θ

23

2θ22

(1− e−θ24)

v Euler (4, x) θ23x24 θ2

34 θ23x4

v Elerian(4, x) θ23x24+ 1

2(θ2

3x4)2 θ234 θ2

3x4+ 12( 1

2θ2

34)2

Tabelle: Wahre bedingte und approximierte Varianzen fur verschiedeneModelle.


das Black-Scholes-Merton-Modell




Xt = Xt−1 + θ1Xt−14+ θ3Xt−1(Wt −Wt−1)

=⇒

θ1 =1

n4

tn∑i=t1

( xi

xi−1− 1)

und

θ3 =

√√√√ 1

n4

tn∑i=t1

( xi

xi−1− 1− θ14

)2

4 > 0 fest und n→∞ =⇒ Inkonsistenz.

4→ 0 gesetzt =⇒ konsistenter Schatzer.

4 > 0 fest und n→∞ =⇒ konsistenter Schatzer fur θ1 durch

θ1 =1

4 log(1 + θ1).



Xt = Xt−1 + θ1Xt−14+ θ3Xt−1(Wt −Wt−1)

=⇒

θ1 =1

n4

tn∑i=t1

( xi

xi−1− 1)

und

θ3 =

√√√√ 1

n4

tn∑i=t1

( xi

xi−1− 1− θ14

)2

4 > 0 fest und n→∞ =⇒ Inkonsistenz.

4→ 0 gesetzt =⇒ konsistenter Schatzer.

4 > 0 fest und n→∞ =⇒ konsistenter Schatzer fur θ1 durch

θ1 =1

4 log(1 + θ1).



Parameter von simulierten BS-Modellen:

x0 = 1,

θ = (0.25, 0.1),

n = 100, 1000, 2500,

4 = 0.001, 1.



Abbildung: Boxplots der Schatzer aus der Euler-Methode fur die Parameter des BS-Modells mitθ = (0.25, 0.1), den verschiedenen Stichprobenumfangen n und zwei verschiedenen Schrittgroßen 4.



Abbildung: Boxplots der Schatzern θ1 (links) und θ1 (rechts) aus der Euler-Methode fur den Parameter θ1des BS-Modells mit θ = (0.25, 0.1), den verschiedenen Stichprobenumfangen n und der Schrittgroße 4 = 1.


der Ornstein-Uhlenbeck-Prozess

Largeder Ornstein-Uhlenbeck-Prozess



Voraussetzungen fur die Konsistenz:

n4→∞

n · (4)3 → 0

Parameter von simulierten OU-Prozessen:

x0 = 1,

θ = (3, 1, 2),

n = 1000,

4 = 0.001, 0.01, 0.01, 1.



Abbildung: Boxplots der Schatzer aus der Euler-Methode und der ML-Methode fur den Parameter θ2 desOU-Modells mit θ = (3, 1, 2), dem Stichprobenumfang n = 1000 und verschiedenen Schrittgroßen 4.



Abbildung: Boxplots der Schatzern aus der Euler-Methode und der Maximum-Likelihood-Methode fur denParameter θ2 des OU-Modells mit θ = (3, 1, 2), dem Stichprobenumfang n = 10000 und Schrittgroße 4 = 0.001.









Abbildung: Boxplots der Schatzern aus der Euler-Methode und der Maximum-Likelihood-Methode fur dieParameter θ1 und θ3 des OU-Modells mit θ = (3, 1, 2), dem Stichprobenumfang n = 10000 und Schrittgroße4 = 0.001.



θ1 θ2 θ3

4 = 0.001

ML-Methode9.0764 6.3748 2.0041

(4.1437) (1.3288) (2.0013)

Euler-Methode9.0475 6.3545 2.0011

(4.1410) (1.3279) (2.0006)

4 = 0.01ML-Methode 4.0037 1.5032 2.0139

Euler-Methode 3.9737 1.4920 2.0065

4 = 0.1ML-Methode 3.8519 1.1453 2.1116

Euler-Methode 3.6395 1.0821 2.0529

4 = 1ML-Methode 9.4386 3.1005 4.9791

Euler-Methode 2.9072 0.9550 2.7629

Tabelle: Geschatzte Parameterwerte der Euler-Methode und der Euler-Methode am Beispiel von einerausgewahlten OU-Trajektorie mit θ = (3, 1, 2), dem Stichprobenumfang n=1000 (n=10000) und verschiedenenSchrittgroßen.



Wie sehen die Schatzer aus, wenn θ1 = 0 fest gesetzt wird?

dXt = −θ2Xt4+ θ3dWt

ML-Schatzer:

θML2 = − 1

4 log

( tn∑i=t1

xi xi−1

tn∑i=t1

x2i−1

), falls

tn∑i=t1

xi xi−1 > 0

θML3 =

(2θ2

n(1− e−24θ2 )

tn∑i=t1

(xi − xi−1e−4θ2 )2

) 12

.

Euler-Schatzer:

θEuler2 = −

tn∑i=t1

(xi − xi−1)xi−1

4tn∑

i=t1

x2i−1

θEuler3 =

√√√√ 1

n · 4

tn∑i=t1

(xi − xi−1)2.


das Cox-Ingersoll-Ross-Modell




Parameter von simulierten CIR-Modellen:

x0 = 1,

θ = (0.2, 0.06, 0.15),

n = 100, 1000, 10000,

4 = 0.1, 0.01, 0.001.



Warnmeldung bei der Parameterschatzung mit der Elerian-Methode:

In sqrt(diag(object@vcov)): NaNs werden erzeugt



Abbildung: Boxplots der Schatzer aus der Pseude-Likelihood-Methoden und der ML-Methode fur den

Parameter θ2 des CIR-Modells mit θ = (0.2, 0.06, 0.15)′.









Zusammenfassung

Euler- und Elerian-Methoden als Vertreter derPseude-Likelihood-Methode.

Euler-Ubergangsdichte als Dichte der Normalverteilung.

Elerian-Ubergangsdichte folgt der nicht-zentralen χ2-Verteilung.

Ubereinstimmung bedingter Erwartungswerte und bedingter Varianzen.

Konsistenz, falls Schrittgroße klein.

Approximation schlecht, falls Bedingungen verletzt.

kein großer Unterschied zwischen Methoden.

andere Methoden vom Vorteil.

Schrittgroße nicht konstant.


Zusammenfassung











Zusammenfassung











Literaturverzeichnis

Abbas, S. (2012): Pseudo-Likelihood-Methode, Seminararbeit, TechnischeUniversitat Dortmund.

Elerian, O. (1998): A note on the existence of a closed form conditionaldensity for the Milstein scheme, Working Paper, Nuffield College, OxfordUniversity.

Florens-Zmirou, D. (1989): Approximate discrete time schemes forstatistics of diffusion processes, Statistics 20, 547-557.

Iacus, S.M. (2008): Simulation and Inference for Stochastic DifferentialEquations - with R Examples, Springer-Verlag, New York.

Lo, A. (1988): Maximum likelihood estimation of generalized It?oprocesses with discretely sampled data, Econometric Theory 4, 231-247.

Perron, P., (1999): Testing consistency with varying sampling frequency,Econometric Theory 7, 341-368.

R Development Core Team (2014) : A language and environment forstatistical computing, R Foundation for Statistical Computing, Vienna,Austria. http://www.R-project.org/

Yoshida, N. (1992): “Estimation for diffusion processes from discreteobservation“, Journal of multivariate analysis 41, 220-242.


Vielen Dank fur Ihre Aufmerksamkeit!

Documents

Pseude-Likelihood-Methode Seminar: Grundlagen der ... fileEinleitung Pseude-Likelihood-Methode Anwendungen und SimulationenZusammenfassung Ziel, Problemstellung (X t) t2N ein eindimensionaler