31
Statistik II —————————————————————————————————————————————————— Fakult¨ at Verkehrswissenschaften ”Friedrich List” Professur f¨ ur ¨ Okonometrie und Statistik, insb. im Verkehrswesen —————————————————————————————————————————————————— Statistik II 7. Anpassungstests (goodness-of-fot test): 7.1 Einelementige Verteilungsklassen: (a) Test von Kolmogorov–Smirnov, (b) χ 2 –Anpassungstest; 7.2 Mehrelementige Verteilungsklassen: (a) Graphische Methode, (b) Der Test von Shapiro und Wilk, (c) Modifizierter Test von Kolmogorov, (d) Der modifizierte χ 2 -Anpassungstest von Pearson. Prof. Dr. Ostap Okhrin Ostap Okhrin 1 of 31

Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

  • Upload
    others

  • View
    6

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II

——————————————————————————————————————————————————Fakultat Verkehrswissenschaften ”Friedrich List” Professur fur Okonometrie und Statistik, insb. im Verkehrswesen——————————————————————————————————————————————————

Statistik II

7. Anpassungstests (goodness-of-fot test):7.1 Einelementige Verteilungsklassen:

(a) Test von Kolmogorov–Smirnov,(b) χ2–Anpassungstest;

7.2 Mehrelementige Verteilungsklassen:(a) Graphische Methode,(b) Der Test von Shapiro und Wilk,(c) Modifizierter Test von Kolmogorov,(d) Der modifizierte χ2-Anpassungstest von Pearson.

Prof. Dr. Ostap OkhrinOstap Okhrin 1 of 31

Page 2: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests

MotivationI Um ein Konfidenzinterval zu berechnen und um einen Test

durchzufuhren, muss man die Verteilung der Prufstatistik kennen.I Dies ist im Fall einer endlichen Stichprobe nur moglich, falls die

Verteilungsklasse des zugrunde liegenden Merkmals bekannt ist.I Fur ein stetiges Merkmal bedeutet dies, dass eine geeignete

Verteilungsklasse ausgewahlt werden muss, die geeignet ist, diewahre (unbekannte) Verteilungsstruktur des Merkmals wieder zugeben.

I Eine Vorstellung hieruber liefern die Kenngroßen und vor allemdie graphische Datenanalyse mittels eines Histogramms.

I Bisher haben wir fast ausschließlich die Normalverteilungzugrunde gelegt.

I Wie kann dies uberpruft werden?I Ob die ausgezeichnete Verteilungsklasse die Daten nicht sinnvoll

beschreibt, kann mittels eines Anpassungstests (goodness-of-fittest) uberpruft werden.

Ostap Okhrin 2 of 31

Page 3: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1 Einelementige Verteilungsklassen

7.1 Anpassungstests fur einelementige Verteilungsklassen

Annahme: Es sei X ∼ F . Die Stichprobenvariablen X1, .., Xn seienunabhangig und identisch verteilt.

Zunachst gehen wir davon aus, dass die Verteilungsklasse von Xunter der Nullhypothese F0 = {Fϑ : ϑ ∈ Θ0} einelementig ist.

Testproblem: H0 : F = F0 gegen H1 : F 6= F0.

Dabei ist F0 eine bekannte Verteilungsfunktion.

Ostap Okhrin 3 of 31

Page 4: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.a Test von Kolmogorov–Smirnov

(a) Der Test von Kolmogorov–Smirnov

Idee: Vergleiche F mit F0, d. h. betrachte |F (x)− F0(x) |.Da F unbekannt ist, schatzt man F durch die empirischeVerteilungsfunktion F .Dabei gibt F (x) die relative Anzahl von Beobachtungen an, diekleiner oder gleich x sind.

Teststatistik: D = supx∈IR

∣∣ F (x)− F0(x)∣∣

Entscheidung: D > c H0 abgelehnen.

Definition: Supremum einer Menge ist gleich der kleinsten oberenSchranke der Menge. Existiert das Maximum, so ist es gleich demSupremum.

Ostap Okhrin 4 of 31

Page 5: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.a Test von Kolmogorov–Smirnov

Eigenschaften der Teststatistik D:

I Es kann gezeigt werden, dass die Verteilung von D unter H0

nicht von F0 abhangt, wenn F0 stetig ist. Man spricht vonverteilungsinvariant.

Motivation:I F0 ist stetig, F (−∞) = 0, F (∞) = 1, F0(x) ∈ (0, 1)

I x = F−10 (y) ⇒ D = supy∈(0,1)

∣∣∣F{F−10 (y)} − y∣∣∣.

I

F{F−10 (y)} =1

n

n∑i=1

I(−∞,F−10 (y)](Xi) =

1

n

n∑i=1

I(0,y]{F0(Xi)}.

I Da die Zufallsvariable F0(Xi) gleichverteilt auf (0, 1) ist, ist dieVerteilung von D gleich der Verteilung von

supy∈(0,1)

∣∣∣∣∣ 1nn∑

i=1

I(0,y](Ui)− y

∣∣∣∣∣ .Dabei bezeichnen U1, .., Un unabhangige Variable, die auf (0, 1)gleichverteilt sind. Damit ist die Verteilungsinvarianz bewiesen.

Ostap Okhrin 5 of 31

Page 6: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.a Test von Kolmogorov–Smirnov

I Damit ist nur eine Tabelle erforderlich. Die kritischen Werte sindtabelliert (siehe Formelsammlung).

I Bezeichnet c1−α das (1− α)-Quantil dieser Verteilung, so wirdH0 abgelehnt, falls D > c1−α ist.

I Kolmogorov (1933) leitete die asymptotische Verteilung von D:

limn→∞

P(√nD ≤ x

)=

∞∑k=−∞

(−1)k e−2 k2 x2

fur x > 0.

Ostap Okhrin 6 of 31

Page 7: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.a Test von Kolmogorov–Smirnov

Da zur Berechnung von D das Supremum einer Funktion uber allereellen Zahlen zu bestimmen ist, scheint die Berechnung schwierig zusein. Dies ist aber nicht der Fall. Es gilt fur F0 stetig undx1 ≤ x2 ≤ . . . ≤ xn

D = max1≤i≤n

{F (xi)− F0(xi), F0(xi)− F (xi−1)

}.

Dabei setzt man F (x0) := 0.

Ostap Okhrin 7 of 31

Page 8: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.a Test von Kolmogorov–Smirnov

Praktische Berechnung von D

0.5

0.6

0.7

0.8

0.9

1.0

0.0 0.5 1.0 1.5 2.0

F (x)

x

F (x15)

F (x16)

F (x17)

F (x18)

Φ(x16)

Φ(x17)

Φ(x18)

x16 x17 x18

• • •

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

. ........................................................................ .......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

.......

......

........................................................................

........................................................................

........................................................................

............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

..............................

..................................

.......................................

...............................................

...................................................

ccc

cc

cc

qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq

qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq

qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq

Ostap Okhrin 8 of 31

Page 9: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.a Test von Kolmogorov–Smirnov

Beispiel: Test auf eine Standardnormalverteilung (F0 = Φ).

Stichprobe: x1 = −1.0, x2 = 0.5, x3 = 0.5, x4 = 1.5

i xi F (xi) Φ(xi) F (xi−1) maxi

1 -1.0 0.25 0.159 0 0.159

2 0.5 0.75 0.691 0.25 0.441

3 0.5 0.75 0.691 0.75 0.059

4 1.5 1 0.933 0.75 0.183

Hypothesen: H0 : F = Φ vs. H0 : F 6= Φ

Prufgroße: d = 0.441.

kr. Wert: α = 0.1→ c0.9 = 0.565.

Entscheidung: d ≤ c0.9 H0 nicht abgelehnen.

Ostap Okhrin 9 of 31

Page 10: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

(b) Der χ2–Anpassungstest von Pearson

Allgemein: Das Merkmal X sei diskret. Es nehme r verschiedeneWerte t1, . . . , tr an. Die unterstellten Wahrscheinlichkeiten P (X = t1)bis P (X = tr) seien p1, . . . , pr.

Annahme: Es sei X ∼ Fϑ. Die Stichprobenvariablen X1, .., Xn seienunabhangig und identisch verteilt.

Strategie: Vergleiche die beobachtete Anzahl der jeweiligen Augenzahlmit der (theoretisch) erwarteten Anzahl.

Ostap Okhrin 10 of 31

Page 11: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

Testproblem: H0 : P (X = ti) = pi fur i = 1, .., r

gegen

H1 : P (X = ti) 6= pi fur ein i

Si gebe die Anzahl der Beobachtungen an, die gleich ti sind. Dieerwartete Anzahl ist gleich n pi.

Prufgroße: Q =

r∑i=1

(Si − n pi

)2n pi

Vert. der Prufgroße: Es gilt unter der Nullhypothese

limn→∞

P(Q ≤ x

)= χ2

r−1(x)

kritische Wert: χ2r−1;1−α

Entscheidung: Q > χ2r−1;1−α H0 abgelehnen.

Ostap Okhrin 11 of 31

Page 12: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

Beachte:

I Damit die asymptotische Verteilungsannahme gerechtfertigt ist,sollte n pi ≥ 5 (unter H0) fur alle i gelten.

I Im Gegensatz zum Test von Kolmogorov kann dieser Test auchzur Uberprufung diskreter Verteilungen angewendet werden.

Ostap Okhrin 12 of 31

Page 13: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

Beispiel: Symmetrie eines Wurfels.

Das Ergebnis von n = 120 Wurfen lautet

1 2 3 4 5 624 12 15 25 16 28

Testproblem: H0 : P (X = i) =1

6fur i = 1, .., 6 gegen

H1 : P (X = i) 6= 1

6fur ein i;

Prufgroße: q =16

20+

64

20+

25

20+

25

20+

16

20+

64

20=

210

20= 10.5;

kritische Wert: χ2r−1;1−α = χ2

5;0.9 = 9.236 fur α = 0.1;

Entscheidung: q > χ2r−1;1−α H0 abgelehnen.

⇒ Der Wurfel ist nicht symmetrisch (zum Niveau α = 0.1).

Ostap Okhrin 13 of 31

Page 14: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

Motivation: Anwendung des χ2–Anpassungstests von Pearson aufstetige Verteilungen

Tagliche Aktienrendite eines Jahres vs. Normalverteilung

0.1

0.2

0.3

0.4

0.5

0.6

0.7

−3 −2 −1 0 1 2 3

f(x)

x

Ostap Okhrin 14 of 31

Page 15: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

Motivation: Anwendung des χ2–Anpassungstests von Pearson aufstetige Verteilungen

Tagliche Aktienrendite eines Jahres vs. t3-Verteilung

0.1

0.2

0.3

0.4

0.5

0.6

0.7

−3 −2 −1 0 1 2 3

f(x)

x

Ostap Okhrin 15 of 31

Page 16: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

jetzt: χ2–Anpassungstest von Pearson angewandt auf stetigeVerteilungen

I Testproblem: H0 : F = F0 gegen H1 : F 6= F0.

I Der Testsverlauf ist genauso gleich wie fur diskrete Verteilungen.

I Unterschied 1: Man zerlegt den Wertebereich des Merkmals X inr disjunkte Klassen T1, . . . , Tr.Unter H0 sei pi = P (X ∈ Ti) > 0 fur i = 1, . . . , r.

I Unterschied 2: Si gebe die Anzahl der Stichprobenelemente an,die in der Klasse Ti liegen.

Beachte:

I Bei diesem Test kann die Nullhypothese auf Grund seinerKonstruktion nicht bestatigt werden!

I T1, . . . , Tr durfen nicht von den Daten abhangen.

Ostap Okhrin 16 of 31

Page 17: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

Beispiel: Test auf Standardnormalverteilung.Gegeben sei die Stichprobe −1.2,−1.1,−0.6,−0.3, 0.2, 0.5, 0.8, 1.4.

Testproblem: H0 : F (x) = Φ gegen H1 : F (x) 6= Φ.

Wir wahlen r = 3 Klassen

T1 = (−∞,−1),

T2 = [−1, 1],

T3 = (1,∞),

⇒ S1 = 2, p1 = Φ(−1) = 0.1587,

S2 = 5, p2 = Φ(1)− Φ(−1) = 0.8413− 0.1587 = 0.6826,

S3 = 1, p3 = 1− Φ(1) = 0.1587.

Ostap Okhrin 17 of 31

Page 18: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.1.b χ2–Anpassungstest

Beispiel:

Prufgroße: q =(2− 8 · 0.1587)2

8 · 0.1587+

(5− 8 · 0.6826)2

8 · 0.6826

+(1− 8 · 0.1587)2

8 · 0.1587= 0.5163.

kritische Wert: χ2r−1;1−α = χ2

2;0.9 = 4.605 fur α = 0.1;

Entscheidung: q < χ2r−1;1−α H0 nicht abgelehnen.

⇒ Die Normalverteilung kann nicht abgelehnt werden (zum Niveauα = 0.1).

Ostap Okhrin 18 of 31

Page 19: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

7.2. Mehrelementige VerteilungsklassenAnnahme: Es sei X ∼ F . Die Stichprobenvariablen seien unabhangigund identisch verteilt. Ferner sei die Verteilungsklasse unter derNullhypothese gegeben durch

F0 =

{F0

(· − µσ

): µ ∈ IR, σ > 0

}.

Dabei sei F0 bekannt.

Beispiel: Ist F0 = Φ, dann ist unter H0.

F (x) = Φ

(x− µσ

)= N(µ, σ2)(x).

Testproblem:

H0 : F ∈ F0 gegen H1 : F ∈ D − F0

Ostap Okhrin 19 of 31

Page 20: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

(a) Graphische Methode

Idee: Ist F (x) = F0

(x−µσ

), so ist

F−10

(F (x)

)= F−10

{F0

(x− µσ

)}=x− µσ

.

F−10 (·) heißt Quantilfunktion.

Ersetze F (x) durch F (x(i)) und betrachte F−10

(F (x(i))

).

Problem: F−10 (1) =∞ , deshalb: pi =

{(i− 1/2)/n

(i− 3/8)/(n+ 1/4)

Ostap Okhrin 20 of 31

Page 21: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

Idee:I Sind alle Beobachtungen verschieden, so ist F (x(i)) = i/n.

I Mit vi = F−10 (pi) gilt somit vi ≈ (x(i) − µ)/σ.I Dies ist aquivalent zu x(i) ≈ µ+ σvi.I Ist H0 richtig, so liegen also die Punkte

(vi, x(i)

)in etwa auf

einer Geraden. Das Schaubild dieser Punktepaare heißtQuantil-Plot (QQ-Plot).

I Diese Gerade kann mittels der Methode der kleinstenFehlerquadrate bestimmt werden (vgl. Kapitel 2):

n∑i=1

(x(i) − a− bvi

)2 != min

a,b x = x− σv︸ ︷︷ ︸

=a

+ σ=bv,

mit σ =

n∑i=1

(x(i) − x

) (vi − v

)/

n∑i=1

(vi − v

)2I Betrachte die Ausgleichsgerade x = x− σv + σv.

v = 0 Schatzer fur µ : x− σvv = 1 Schatzer fur µ+ σ : x+ σ − σv

Ostap Okhrin 21 of 31

Page 22: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

Beispiel: WIG

1200

016

000

2000

024

000

day

wig

04.02 11.02 05.03 12.03

Zeitraum: 01.01.2002 – 31.12.2003 (# 499)

Ostap Okhrin 22 of 31

Page 23: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

Beispiel: WIG-Rendite

−0.

04−

0.02

0.00

0.02

0.04

day

rWIG

04.02 11.02 05.03 12.03

Zeitraum: 01.01.2002 – 31.12.2003 (# 498)

Ostap Okhrin 23 of 31

Page 24: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

Beispiel: Q-Q-Plot fur die WIG-Rendite (F0 = Φ)

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●●

●●

●●

●●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

−3 −2 −1 0 1 2 3

−0.

04−

0.02

0.00

0.02

0.04

Normal Q−Q Plot

Theoretical Quantiles

Sam

ple

Qua

ntile

s

0.00

07960.0119

vi = Φ−1(i−1/2n

), x = 0.000796 , s = 0.0120, σ = 0.0119

Zeitraum: 01.01.2002 – 31.12.2003 (# 499)

Ostap Okhrin 24 of 31

Page 25: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

Beispiel: Q-Q-Plot fur Pseudo-Zufallszahlen zu Φ

●●

●●

●●●

●●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●●

●●

●●●

●●●●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

−3 −2 −1 0 1 2 3

−0.

04−

0.02

0.00

0.02

0.04

Normal Q−Q Plot

Theoretical Quantiles

Sam

ple

Qua

ntile

s

(# 499)

Ostap Okhrin 25 of 31

Page 26: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

Beispiel: Q-Q-Plot fur die WIG-Rendite (F0 = t5)

● ● ●●●●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●

●●●●●

●●●●●

● ●

−4 −2 0 2 4

−0.

04−

0.02

0.00

0.02

0.04

Student t (5 df) Q−Q Plot

v

rWIG

0.00

07960.012

vi = t−15

(i−1/2n

)/√

5/(5 − 2) , x = 0.000796 , s = 0.0120, σ = 0.0120

Zeitraum: 01.01.2002 – 31.12.2003 (# 499)

Ostap Okhrin 26 of 31

Page 27: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

(b) Der Test von Shapiro und Wilk (1965)

Testproblem: H0 : F (x) = Φ

(x− µσ

)gegen

H1 : F (x) 6= Φ

(x− µσ

)

Teststatistik: W =

(n∑i=1

(X(i) − X

)Φ−1

((i− 1/2)/n

))2

n∑i=1

(X(i) − X

)2 n∑i=1

Φ−1((i− 1/2)/n

)2Entscheidung: W < c H0 abgelehnen.

Die kritischen Werte c sind tabelliert.

Ostap Okhrin 27 of 31

Page 28: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

Idee:

I W ist gleich dem Quadrat des PearsonschenKorrelationskoeffizienten angewandt auf (Φ−1((i− 1/2)/n), x(i))

I deshalb ist W ein Schatzer fur ρ2, wobei ρ die Korrelationzwischen den beiden Variablen bezeichne.

I Die Punktepaare sollten in etwa auf einer Geraden liegen, wennH0 zutrifft,

I d.h. W sollte groß sein.

Ostap Okhrin 28 of 31

Page 29: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

Beispiel: Fur rWIG ist W = 0.987 und der p-Wert ist gleich0.0001951. Damit wird die Normalverteilungshypothese abgelehnt.

Beachte: Der Test von Shapiro und Wilk kann auch auf beliebigeVerteilungsklassen F0 vom obigen Typ angewandt werden. DieFunktion F0 muss allerdings bekannt sein. Die kritischen Wertehangen allerdings von F0 ab.

Ostap Okhrin 29 of 31

Page 30: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

(c) Modifizierter Test von Kolmogorov

Die Verteilungsklasse unter H0 ist gegeben durchF0 = {F0(

·−µσ ) : µ ∈ IR, σ > 0}. Die unbekannten Parameter µ und σ

werden nun durch X und S geschatzt.Prufgroße:

D∗ = supx∈IR

∣∣∣∣F (x)− F0(x− XS

)

∣∣∣∣Entscheidung: Ist D∗ > c∗, so wird H0 abgelehnt.Problem: Die Verteilung von D∗ hangt jetzt von F0 ab!

Tabelle fur c∗(α, n)

H0 : F ∈ α 0.1 0.05 0.01{N (µ, σ2)

} √n(

1− 0.01√n

+ 0.85n

)c∗ 0.819 0.895 1.035{

Exp(λ)} √

n(

1 + 0.26√n

+ 0.5n

) (c∗ − 0.2

n

)0.990 1.094 1.308

Es ist c∗ < c. Der p-Wert ist gleich PH0

(D∗ > d∗

).

Ostap Okhrin 30 of 31

Page 31: Statistik II - tu-dresden.de · Anpassungstests7.1.a Test von Kolmogorov{Smirnov Da zur Berechnung von Ddas Supremum einer Funktion uber alle reellen Zahlen zu bestimmen ist, scheint

Statistik II 7. Anpassungstests 7.2 Mehrelementige Verteilungsklassen

(d) Der modifizierte χ2-Anpassungstest von Pearson

Annahmen:

I Es sei X ∼ F .

I X sei diskret.

I X nehme die Werte t1, .., tr an.

I Es sei P (X = ti) = pi(ϑ) mit ϑ ∈ Θ.

Testproblem: H0 : ϑ ∈ Θ0 gegen H1 : ϑ ∈ Θ1.

Zunachst werden die Parameter geschatzt. Es wird die Prufstatistik Qverwendet, allerdings wird pi durch pi(ϑ) ersetzt. Ist Θ einl-dimensionaler Parameterraum, so ist die asymptotische Verteilungder Teststatistik Q unter H0 eine χ2

r−1−l-Verteilung.

Ostap Okhrin 31 of 31