Einfuhrung in die Maximum Likelihood Methodik

Thushyanthan Baskaranthushyanthan.baskaran@awi.uni-heidelberg.de

Alfred Weber InstitutRuprecht–Karls Universitat Heidelberg

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Gliederung

1 Einfuhrung

2 Grundlagen von ML

3 Beispiele

4 ML im Linearen Modell

2 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Einfuhrung

Maximum Likelihood (ML) ist in der Okonomie nach OLS daswohl beliebteste Verfahren, um die Parameter einesempirischen Modells zu schatzen

Hat eine Reihe von guten, aber auch viele problematischeEigenschaften

Gute der Schatzung hat viel mit der Große der Stichprobe undden richtigen Verteilungsannahmen zu tun

3 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Vorteile

Nichtlineare Modelle konnen relativ einfach geschatzt werden

Normalverteilungsannahme bzgl. des Fehlerterms nichtessentiell

Konsistent und asymptotisch effizient unter relativ schwachenAnnahmen

Flexibler als OLS

4 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Nachteile

Die Likelihood-Funktion muss explizit berechnet werden

Oft mussen numerische Verfahren verwendet werden, umMaxima zu finden

−→ Sensitiv gegenuber Startwerten

Kann in kleinen Samples extrem verzerrt sein

Viele wunschenswerte Eigenschaften gelten nur asymptotisch

5 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Gliederung

1 Einfuhrung

2 Grundlagen von ML

3 Beispiele

4 ML im Linearen Modell

6 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Idee

Man nimmt an, dass man ein Sample mit N Beobachtungenuber eine Zufallsvariable hat

Man hat also fur i = 1, ...,N Einheiten konkrete Werte derVariablen xi

Dise Variable konnte beispielsweise sein

Das Einkommen eines IndividuumsWieviele Patienten in einem bestimmten Krankenhaus inletzten Jahr gestorben sind...

7 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Idee

Da jede dieser Beobachtungen per Annahme eineZufallsvariable ist, hat jede auch eine stochastische Verteilung

Also gibt es prinzipiell eine Wahrscheinlichkeit, mit der diei−te Beobachtung, i = 1, ..,N, genau den Wert xi annimmt

Bei kontinuierlichen ZV hat kann man einem konkreten xi denentsprechenden Werte der Dichtefunktion zuordnen

Wir machen im folgenden zur terminologischen Vereinfachungkeinen Unterschied zwischen Wahrscheinlichkeits- undDichtefunktionen

8 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Beispiele

Beispiel

Wenn xi Bernoulli-verteilt ist mit p = 0.3, dann nimmt xi denWert 1 mit Wahrscheinlichkeit 0.3 und den Wert 0 mitWahrscheinlichkeit 0.7 anWenn xi Standardnormalverteilt ist, nimmt xi den Wert −2mit Wahrscheinlichkeit 0.054 an

9 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Die i.i.d. Annahme

Wir machen jetzt eine entscheidende Annahme:

Alle xi sind identisch und unabhangig verteilt (i.i.d.)

Konkret bedeutet das, dass alle xi derselben Verteilungentstammen, wie immer sie auch aussehen mag

... Und die Wahrscheinlichkeit, die wir einem konkreten xi

zuordnen, nicht davon abhangt, welche Werte alle anderenxj 6=i angenommen haben

Wie realistisch sind diese Annahmen?

Warum machen wir sie?

10 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Likelihoodfunktion

Unter der i.i.d-Annahme konnen wir nun einen einfachenAusdruck fur die Wahrscheinlichkeit angeben, mit der wir einbeliebiges Sample erhalten

Lass also f (xi |Θ) die Wahrscheinlichkeit sein, mit der die i−teBeobachtung den Wert xi annimmt

Die Wahrscheinlichkeit ergibt sich aus einerWahrscheinlichkeitsfunktion, die von bestimmten ParameternΘ abhangt

Bei Bernoulli also p, Bei Normalverteilung µ und σ

11 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Likelihoodfunktion

Die so genannte Likelihoodfunktion ist also

Die Likelihoodfunktion

L =f (x1|Θ) · f (x2|Θ) · f (x3|Θ)... · f (xN |Θ) (1)

=N∏

i=1

f (xi |Θ) (2)

12 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Maximum

Die Idee ist nun, die Parameter so zu wahlen, dass dieLikelihoodfunktion maximal ist

Man wahlt also die Parameter so, dass die Wahrscheinlichkeitfur das tatsachlich vorhandene Sample maximal ist

Ein ziemlich “indirektes” Argument...

Denn man kann die Wahrscheinlichkeit nicht beobachten,sondern nur die konkrete Auspragung des Samples

13 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Log-Likelihood

Da man schwerer mit Produkten als mit Summen rechnenkann, transformiert man die Likelihoodfunktion

Unter einer monotonen Transformation andert sich dasMaximum einer Funktion nicht

Daher wird mit dem Logarithmus der Likelihoodfunktiongerechnet

14 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Log-Likelihood

Die Log-Likelihoodfunktion ist

Die Log-Likelihoodfunktion

ln L = ln (f (x1|Θ) · f (x2|Θ) · f (x3|Θ)... · f (xN |Θ))

= ln (f (x1|Θ)) + ln(f (x2|Θ)) + ln(f (x3|Θ)) + ... + f (xN |Θ))

=N∑i

ln (f (xi |Θ))

15 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Gliederung

1 Einfuhrung

2 Grundlagen von ML

3 Beispiele

4 ML im Linearen Modell

16 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Likelihoodfunktionen

Im folgenden werden wir konkrete Likelihoodfunktionenherleiten

Das Ziel ist zunachst nur, Parameter einerWahrscheinlichkeitsfunktion zu schatzen

Wir schatzen also hier noch nicht “lineare Modelle”

Aber enger Zusammenhang...

17 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Normalverteilung

Wir fangen mit der Normalverteilung an

Die Wahrscheinlichkeitsfunktion ist

f (xi |µ, σ) =1

σ√

2πexp−

(xi−µ)2

2σ2 (3)

Die Likelihoodfunktion ist

L =

(1

σ√

2π

)N

exp−∑N

i (xi−µ)2

2σ (4)

Warum?

18 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Normalverteilung

Die Log-Likelihoodfunktion ist

ln L = N ln(1)− N ln(σ√

2π)−

(∑Ni (xi − µ)2

2σ2

)(5)

Viel einfacher zu differenzieren als die Likelihoodfunktion...

19 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Der Mittelwert

Ableiten nach µ ergibt:

d ln L

dµ: 2

∑Ni (xi − µ)

2σ2= 0 (6)

µ =N∑i

xi/N (7)

Der Erwartungswert µ wird also unverzerrt mit demStichprobenmittelwert geschatzt

20 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Sum of Squares

Ableiten nach σ ergibt:

d ln L

dσ: − N

σ+ 4

σ∑N

i (xi − µ)2

4σ4= 0 (8)

σ2 =N∑i

(xi − µ)2/N (9)

Die Varianz wird konsistent, aber nicht erwartungstreugeschatzt

Der Schatzer ist also nur asymptotisch effizient

21 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Bernoulli

Jetzt schatzen wir die Parameter einer Bernoulli-Verteilung

Es gibt nur einen: p

Die Likelihoodfunktion kann man folgendermaßen schreiben

L =n∏

i=1

pxi (1− p)1−xi (10)

p∑

i xi (1− p)N−∑

i xi (11)

22 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Bernoulli

Die Log-Likelihoodfunktion ist

ln L =∑

i

xi ln(p) + (N −∑

i

xi ) ln(1− p) (12)

23 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Der Mittelwert, schon wieder

Ableiten ergibt:

d ln L

dp:

∑i xi

p−

N −∑

i xi

1− p= 0 (13)

p =∑

i

xi/N (14)

Der Parameter p wird also mit dem Stichprobenmittelwertgeschatzt

Was ist dann der geschatzte Erwartungswert, was diegeschatzte Varianz einer Bernoulli-Verteilung?

24 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Gliederung

1 Einfuhrung

2 Grundlagen von ML

3 Beispiele

4 ML im Linearen Modell

25 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Der Fehlerterm

Die Parameter im linearen Modell

yi = a + bxi + εi (15)

werden nach demselben Prinzip geschatzt

Entscheidend ist hier, welche Verteilungsannahme man uberden Fehlerterm macht

Illustration des Sachverhaltes anhand eines normalverteiltenFehlerterms im linearen Modell

26 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Normalverteilung

Wir nehmen also an, dass der Fehlerterm normalverteilt ist

Ausserdem nehmen wir wie immer an, dass E (εi ) = 0

Die Wahrscheinlichkeit fur ein konkretes εi ist also

f (εi |µ, σ) =1

σ√

2πexp−

ε2i2σ2 (16)

Also ergibt sich fur die Likelihoodfunktion

L =∏i

f (εi |µ, σ) =

(1

σ√

2π

)N

exp−∑

i ε2i2σ2 (17)

27 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Normalverteilung

Bekanntlich gilt εi = yi − a− bxi

Also:

L =

(1

σ√

2π

)N

exp−∑

i (yi−a−bxi )2

2σ2 (18)

Das Aufstellen der Log-Likelihoodfunktion und das Ableitennach a, b und σ funktioniert wie in dem Beispiel, wo wir µbestimmt haben

28 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

a und b

Man erhalt

a =y − Cov(x , y)

Var(x)x (19)

b =Cov(x , y)

Var(x)(20)

Also identisch zu den OLS Schatzern, von denen wir wissen,dass sie erwartungstreu sind

29 / 31

EinfuhrungGrundlagen von ML

BeispieleML im Linearen Modell

Die Varianz

Fur die Varianz ergibt sich aber

σ2 =

∑i (yi − a− bxi )

2

N=

∑i e

2i

N(21)

Zwar konsistent, aber nicht erwartungstreu

30 / 31

Hausaufgabe

Herleitung der Log-Likelihoodfunktion fur dasProbit-Modell!!!