Prof. Dr. Rainer DahlhausStatistik 1

Wintersemester 2016/2017

Vorbereitungsblatt für die Klausur

0.1 Lineares Modell, KQ-Schätzer, F-Tests, Konfidenzintervalle

Lösungen: (a) (i) Es ist X =

0

BBBBBBBB@

1 0

......

1 0

0 x1

......

0 xn

1

CCCCCCCCA

und Y = (Y11

, ..., Y1n

, Y21

, ..., Y2n

)

0, daher

ˆ� = (X 0X)

�1X 0Y =

✓n 0

0

Pn

i=1

x2

i

◆�1

✓ Pn

i=1

Y1iP

n

i=1

xi

Y2i

◆=

�Y1

n,xY

2

x2

�0 ⇡ (4.6/8, 148/214)0 ⇡ (0.6, 0.7)0.

(ii) Es ist = C� mit C = (0, x⇤). Damit ist der Gauß-Markov-Schätzer ˆ = C ˆ� = 7·0.7 = 4.9.

Es gilt ` = Rang(C) = 1 und r = Rang(X) = 2. Es ist

B = C 0(X 0X)

�1C =

(x⇤)

2

x2

.

Laut Vorlesung ist ein (1� ↵)-Konfidenzintervall von gegeben durch (beachte: wir haben 2nBeobachtungen):

K(Y ) = {| ˆ � |2 �2B`F`,2n�r,1�↵

},

wobei �2

=

R

20

2n�r

und

R2

0

= kY �X�k22

=

nX

i=1

(Y1i

� ˆ�1

)

2

+

nX

i=1

(Y2i

� ˆ�2

xi

)

2

=

⇣Y 2

1

� Y1

2

n

⌘+

⇣Y 2

2

� xY2

2

x2

⌘

= 3.5 + 104.2� 102.4� 2.7 = 2.6

Es ist also �2B`F`,2n�r,1�↵

⇡ 2.6

14

· 7

2

214

·4.6 ⇡ 0.2 undp0.2 ⇡ 0.4 und daher das Konfidenzintervall

gegeben durchK(Y ) = [4.5, 5.3].

(iii) Im reduzierten Modell gilt ˜X = (1, ..., 1, x1

, ..., xn

)

0 und ˜� = a, und daher für den KQ-Schätzer

ˆ

˜� = (

˜X 0˜X)

�1

˜X 0Y =

�n+ x2

��1

�Y1

+ xY2

�

und daher

R2

1

= kY� ˜X ˆ

˜�k22

=

nX

i=1

(Y1i

�ˆ

˜�)2+

nX

i=1

(Y2i

�ˆ

˜�xi

)

2

= Y 2

1

+Y 2

2

�(Y1

+ xY2

)

2

n+ x2

= 3.5+104.2�105.0 = 2.7

1

Für die F-Statistik folgt

F =

R2

1

�R2

0

`

. R2

0

2n� r=

0.1

1

.2.6

14

=

1.4

2.6⇡ 0.5 < 4.6 = F

1,14,0.95

.

Daher lehnen wir H0

nicht ab. Es ist also zu vermuten, dass a = b gilt.(b) (i) Es ist Y = (Y

11

, ..., Y1n

, Y21

, ..., Y2n

)

0 und

X =

0

BBBBBBBB@

1 x1

0 0

......

......

1 xn

0 0

0 0 1 x1

......

......

0 0 1 xn

1

CCCCCCCCA

Für den KQ-Schätzer erhalten wir ˆ� = (a1

,ˆb1

, a2

,ˆb2

)

0 mit

(aj

,ˆbj

)

0=

✓n x

x x2

◆�1

·✓

Yj

xYj

◆=

1

nx2 � x2

✓x2 �x�x n

◆·✓

Yj

xYj

◆=

1

nx2 � x2

✓x2 · Y

j

� x · xYj

n · xYj

� x · Yj

◆,

d.h. (siehe auch Rechnung in (c)(i)): ˆ�j

=

S

xY

j

S

xx

und aj

= Yj

� x · ˆbj

.

(ii) Es ist H0

: H 0� = 0 mit H =

0

BB@

1 0

0 1

�1 0

0 �1

1

CCA und ` = Rang(H) = 2. Weiter ist Rang(X) = 4.

Die F -Statistik lautet (beachte: 2n Beobachtungen)

F =

R2

1

�R2

0

`

. R2

0

2n� r⇠ F

`,2n�r

,

mit

R2

0

= kY �X ˆ�k22

=

2X

j=1

nX

i=1

(Yji

� aj

� ˆbj

xi

)

2

siehe Rechnung in (c)(ii)= n

�SY1Y1 � S2

xY1/S

xx

�+ n

�SY2Y2 � S2

xY2/S

xx

�.

und R2

1

= kY � ˜X ˆ

˜�k22

, wobei

˜X =

0

BBBBBBBB@

1 x1

......

1 xn

1 x1

......

1 xn

1

CCCCCCCCA

und

ˆ

˜� = (

˜X 0˜X)

�1

˜X 0Y =

1

2

1

nx2 � x2

✓x2 · (Y

1

+ Y2

)� x · (xY1

+ xY2

)

n · (xY1

+ xY2

)� x · (Y1

+ Y2

)

◆

=

1

2

✓ �SxY1 + S

xY2

�/S

xx�Y1

� xˆb1

�+

�Y2

� xˆb2

�◆

=

1

2

✓ˆb1

+

ˆb2�

Y1

� xˆb1

�+

�Y2

� xˆb2

�◆.

2

(c) (i) Es ist Y = (Y1

, ..., Yn

)

0 und X =

0

B@1 sin(t

1

)

......

1 sin(tn

)

1

CA. Für den KQ-Schätzer erhalten wir (kürze

ab xi

:= sin(ti

)):

ˆ� = (X 0X)

�1X 0Y =

✓n

Pn

i=1

xiP

n

i=1

xi

Pn

i=1

x2

i

◆�1

✓ Pn

i=1

YiP

n

i=1

xi

Yi

◆=

1

nx2 � x2

✓x2 �x�x n

◆·✓

YxY

◆

=

1

n2x2 � n2x2

✓n2x2 · Y � n2x · xYn2 · xY � n2x · Y

◆

Nun istˆb =

n2 · xY � n2x · Yn2x2 � n2x2

=

SxY

Sxx

.

(beachte z.B. Sxx

=

1

n

Pn

i=1

(xi

� x)2 = 1

n

Pn

i=1

x2

i

� 2

1

n

Pn

i=1

xi

· x+ x2

= x2 � x2), und

a =

x2Y ± x2Y � xxY

Sxx

= Y � x · xY � xY

Sxx

= Y � x · ˆb.

Eingesetzt erhalten wir: ˆ� = (a,ˆb)0 = (6.8� 51 · 1

12

, 1

12

)

0 ⇡ (2.55, 1

12

)

0.(ii) Es gilt

R2

0

= kY �X ˆ�k22

=

nX

i=1

(Yi

� a� ˆbxi

)

2

=

nX

i=1

(Yi

� Y +

ˆb(x� xi

))

2

= nSY Y

� 2

ˆbnSxY

+

ˆb2nSxx

ˆ

b=S

xY

/S

xx

= n�SY Y

� S2

xY

/Sxx

�.

Im reduzierten Modell mit b = 0 gilt ˜� = a und ˜X = (1, ..., 1)0. Dann ist der KQ-Schätzer

ˆ

˜� = (

˜X 0˜X)

�1

˜XY = Y ,

und

R2

1

= kY � ˜X ˆ

˜�k22

=

nX

i=1

(Yi

� Y )

2

= nSY Y

.

Für die F-Statistik folgt mit r = Rang(X) = 2:

F =

R2

1

�R2

0

`

. R2

0

n� r= 8 · S2

xY

/Sxx

SY Y

� S2

xY

/Sxx

= 8 · 2.5

3.5� 2.5= 20 > F

`,n�r,1�↵

= F1,8,0.95

= 5.32,

wir lehnen also die Hypothese H0

ab, es gilt also b 6= 0.

0.2 Suffizienz und Vollständigkeit, Lemma von Basu, UMVU-Schätzer

Lösungen: (a) (i) Dichte von P✓

bzgl. �n ist

p✓

(x) =1p

2⇡✓2n

exp

⇣� 1

2✓2

nX

i=1

x2

i

⌘,

d.h. P✓

ist strikt einparametrige Exponentialfamilie in natürlichem Parameter ⌘(✓) = � 1

2✓

2 mitStatistik T (x) =

Pn

i=1

x2

i

. ⌘ : ⇥ ! ⌘(⇥) ist bijektiv und ⌘(⇥) ist der natürliche Parameterraum,

3

daher ist T (x) suffizient und vollständig für {P✓

: ✓ 2 ⇥}.(ii) Aufgrund der Transformationseigenschaften für Normalverteilungen gilt Y

i

=

X

i

✓

iid⇠ N(0, 1).Damit ist

V =

X2

1Pn

i=1

X2

i

=

Y 2

iPn

i=1

Y 2

i

nur eine Funktion der i.i.d. Zufallsvariablen Yi

iid⇠ N(0, 1). Die Verteilung von V ist also unab-hängig von ✓, d.h. V ist verteilungsfrei für ✓.(iii) Das Lemma von Basu liefert: T (X) und V sind unabhängig. Daher gilt E[V T (X)] =

E[V ]E[T (X)] bzw.

E[V ] =

E[V T (X)]

E[T (X)]

=

E[X2

1

]Pn

i=1

E[X2

i

]

i.i.d.=

1

n.

(b) (i) Es ist mit Yi

:=

1

b

Xi

nach dem Transformationssatz für Dichten:

fY

i

(z) = b · fX

i

(b · z) = b · 1

�(k)bk(bz)k�1e�

bz

b

(0,1)

(z) =1

�(k)zk�1e�z

(0,1)

(z),

d.h. Yi

iid⇠ �(k, 1). Nun ist

M =

1

n

nX

i=1

Xi

= b · 1n

nX

i=1

Yi

, U =

n

vuutnY

i=1

Xi

= b · n

vuutnY

i=1

Yi

,

daher ist U

M

=

n

pQn

i=1 Yi

1n

Pn

i=1 Yi

eine Funktion von i.i.d. Zufallsvariablen Yi

, deren Verteilung nicht vonb abhängt. Entsprechend ist auch die Verteilung von U

M

verteilungsfrei für b.(ii) Betrachte nun k > 0 als fest vorgegeben. Es ist dann die Dichte von P

b

:= PX1,...,Xn bzgl.des Lebesgue-Maßes �n gegeben durch

dPn

d�n(x) =

nY

i=1

pk,b

(xi

) =

1

�(k)nbnk| {z }=:C(⌘(b))

· exp⇣� 1

b

nX

i=1

xi

⌘· exp

⇣(k � 1)

nX

i=1

log(xi

)

⌘·

(0,1)

n

(x)

| {z }=:h(x)

,

d.h. {Pb

: b > 0} = {P�1/⌘

: ⌘ < 0} ist eine einparametrige natürlich parametrisierte Exponen-tialfamilie und daher ist

Pn

i=1

xi

bzw. die bijektive Transformation M(x) = 1

n

Pn

i=1

xi

suffizientund vollständige für {P

b

: b > 0}.Zusammen mit dem Ergebnis von (i) folgt mit dem Lemma von Basu: M, U

M

sind unabhängig.(iii) Wegen der Unabhängigkeit gilt EU = E[ U

M

·M ] = E[ UM

] ·EM , d.h. E[ UM

] =

EUEM . Es gilt hier

gemäß Hinweis EM = EX1

= k · b, und

EU X

i

i.i.d.=

nY

i=1

E[X1/n

i

] = E[X1/n

1

]

n.

4

Es ist

E[X1/n

1

] =

Z

R

1

�(k)bkx

1n

+k�1e�x

b

(0,1)

(x) dx

=

�(k +

1

n

)bk+1n

�(k)bk

Z

R

1

�(k +

1

n

)bk+1n

· x 1n

+k�1e�x

b

(0,1)

(x)

| {z }Dichte einer �(k+

1n

,b)

dx

| {z }=1

=

�(k +

1

n

)b1/n

�(k),

damit insgesamt

Eh UM

i=

EUEM =

⇣�(k+

1n

)b

1/n

�(k)

⌘n

k · b =

⇣�(k+

1n

)

�(k)

⌘n

k.

(c) Die Dichte von P✓

bzgl. dem Lebesguemaß �n lautet

p✓

(x) =

nY

i=1

⇣[✓,✓+1]

(xi

)

⌘= {x1,...,xn

�✓} · {x1,...,xn

✓+1}

= {min(x1,...,xn

)�✓} · {max(x1,...,xn

)✓+1} = g✓

(T (x)) · h(x)

mit h(x) = 1 und g✓

(t) = {t1�✓} · {t2✓+1} und (siehe Aufgabenstellung)

T (x) = (min(x1

, ..., xn

),max(x1

, ..., xn

)).

Mit dem Neyman-Faktorisierungskriterium folgt T (x) ist suffizient für {P✓

: ✓ 2 ⇥}. T (x) istaber nicht vollständig, denn mit der Funktion s(t) = t

1

� t2

� n�1

n+1

gilt offensichtlich: s(t) 6⌘ 0

PT

✓

-f.s. (für jedes ✓), aber für jedes ✓ 2 ⇥ gilt:

E✓

[S�T ] = E[max(X1

, ..., Xn

)]�E[min(X1

, ..., Xn

)]�n� 1

n+ 1

=

⇣✓+

n

n+ 1

⌘�⇣✓+

1

n+ 1

⌘�n� 1

n+ 1

= 0,

Widerspruch zur Vollständigkeitsdefinition.(Standard-Berechnung Dichten: Für x 2 [✓, ✓ + 1] gilt P(max(X

1

, ...., Xn

) x) = P(X1

x)n = (x� ✓)n, d.h. f

max(X

i

)

(z) = n(z� ✓)n�1

[✓,✓+1]

(z) und daher E[max(Xi

)] = nR

✓+1

✓

z · (z�✓)n�1 dz = n

R1

0

(w + ✓)wn�1 dw =

⇥n

n+1

wn+1

+ ✓wn

⇤1

0

= ✓ + n

n+1

. Analog folgt E[min(Xi

)] =

✓ + 1

n+1

.(d) Es ist mit Transformationseigenschaften der Normalverteilung: T (X) = X

1

�X2

⇠ N(0, 2�2

),d.h. die Verteilung von T (X) ist unabhängig von µ 2 R. Damit ist T (X) verteilungsfrei für{P

µ

: µ 2 R}.(e) Die Dichte von P

�,✓

bzgl. �n lautet (siehe Hinweis):

p�,✓

(x) =

nY

i=1

f�,✓

(xi

) = �n exp(��nX

i=1

xi

+ n✓) · {min(x1,...,xn

)�✓} = g✓

(T (x)) · h(x),

wobei h(x) = 1, g✓

(t) = �n exp(��t1

+ n✓) ·t2�✓} und T (x) = (

Pn

i=1

xi

,min(x1

, ..., xn

)) wie inder Aufgabenstellung. Mit dem Neymanschen Faktorisierungskriterium folgt die Behauptung.(f) Eine suffiziente und vollständige Statistik für p ist T (X) =

Pn

i=1

Xi

⇠ Bin(n, p). Da g(p)jeweils einfacher quadratischer Ausdruck in p, liegt Momentenansatz nahe. Es ist

E[T (X)] = np, E[T (X)

2

] = Var(T (X)) + E[T (X)]

2

= np(1� p) + (np)2 = np+ n(n� 1)p2.

5

daher ist S⇤(X) :=

T (X)

2�T (X)

n(n�1)

eine Funktion einer vollständigen und suffizienten Statistik mitES⇤

(X) = p2, d.h. S⇤ ist UMVU-Schätzer für g(p) = p2.Alternativ: Bedingungsmethode. Es ist S(X) = {X1=X2=1} ein erwartungstreuer Schätzer fürg(p) = p2, denn E[S(X)] = P(X

1

= 1) · P(X2

= 1) = p2. Daher ist

S⇤(t) = E[S(X)|T (X) = t] = P(X

1

= X2

= 1|T (X) = t) =P(X

1

= X2

= 1, T (X) = t)

P(T (X) = t)

=

P(P

n

i=3

Xi

= t� 2)P(X1

= X2

= 1)

P(T (X) = t).

Wegen T (X) ⇠ Bin(n, p) und analogP

n

i=3

Xi

⇠ Bin(n�2, p) können wir in Zähler und Nennerdie Dichten von Binomialverteilungen einsetzen und erhalten:

S⇤(t) =

p2 ·✓n� 2

t� 2

◆pt�2

(1� p)n�t

✓nt

◆pt(1� p)n�t

=

t(t� 1)

n(n� 1)

,

damit ist auch hier S⇤(T (X)) =

T (X)(T (X)�1)

n(n�1)

.(g) Es ist T (X) =

Pn

i=1

Xi

suffizient und vollständig für �.(i) Für g(�) = � verwenden wir direkt die Momentenmethode: Es ist T (X) ⇠ Poi(n�), daherET (X) = n�. Entsprechend ist S⇤

(X) =

T (X)

n

erwartungstreu für g(�) = � und Funktion einervollständigen und suffizienten Statistik, also UMVU-Schätzer.Alternativ: Koeffizientenvergleichsmethode liefert

1X

k=0

s(k)(�n)k

k!e��n

= E[s(T (X))] = g(�) = �

,1X

k=0

s(k)(�n)k

k!= �e� =

1

n

1X

k=0

(�n)k+1

k!=

1X

k=1

1

n

(�n)k

(k � 1)!

links und rechts sind Polynome in �n, d.h. es muss gelten s(0) = 0 und �

k

(k�1)!

=

1

n

s(k)�

k

k!

,s(k) = k

n

. Damit ist also S⇤(X) = s(T (X)) =

T (X)

n

gesuchter UMVU.(ii) (Koeffizientenvergleichsmethode ist auch möglich, geht wie in (i); Momentenmethode istschwierig). Wir verwenden die Bedingungsmethode: Es ist P(X

1

= 0) = e��, d.h. P(X1

= X2

=

0) = e�2�, d.h. S(X) = {X1=X2=0} ist erwartungstreu. Es ist

S⇤(t) = E[S(X)|T (X) = t] = P(X

1

= X2

= 0|T (X) = t) =P(X

1

= X2

= 0, T (X) = t)

P(T (X) = t)

=

P(P

n

i=3

Xi

= t)P(X1

= X2

= 0)

P(T (X) = t).

Es istP

n

i=3

Xi

⇠ Poi((n� 2)�) und T (X) ⇠ Poi(�), daher

S⇤(t) =

(�(n�2))

t

t!

e��(n�2) · e�2�

(�n)

t

t!

e�(�n)

=

⇣n� 2

n

⌘t

,

d.h. S⇤(T (X)) =

⇣n�2

n

⌘T (X)

ist der gesuchte UMVU-Schätzer.(h) Hier ist bekanntermaßen T (X) = max{X

1

, ..., Xn

} eine suffiziente und vollständige Statis-tik. Die Bedingungsmethode ist in diesem Setting nicht zu empfehlen, da max{X

1

, ..., Xn

} = Xi

6

mit Wahrscheinlichkeit 1/n und somit keine bedingten Lebesgue-Dichten existieren (d.h. Be-rechnung von bedingten Erwartungswerten ist aufwendig).(i) Momentenmethode: Die Dichte von T (X) ist f

T (X)

(z) = n z

n�1

✓

n [0,✓]

(z) (Berechnung überVerteilungsfunktion P(T (X) z) = P(X

1

z)n =

�z

✓

�n für z 2 [0, ✓]), daher ET (X) =R

zfT (X)

(z) dz =

n

n+1

✓. Daher ist S⇤(X) =

n+1

n

T (X) eine Funktion einer vollständigen undsuffizienten Statistik sowie erwartungstreu und daher nach dem Satz von Lehmann-Scheffe einUMVU-Schätzer.(ii) Koeffizientenvergleichsmethode (auch möglich in (i)): Es soll gelten

n

✓n

Z✓

0

s(t)tn�1 dt =Z

s(t)fT (X)

(t) dt = E[s(T (X))] = g(✓) = e�✓ ,Z

✓

0

s(t)tn�1 dt =✓n

ne�✓.

Ableiten nach ✓ auf beiden Seiten bringt

s(✓)✓n�1

=

1

n

�n✓n�1 � ✓n

�e�✓ ) s(✓) = (1� ✓

n)e�✓,

d.h. S⇤(X) = s(T (X)) = (1� T (X)

n

)e�T (X) ist der gesuchte UMVU-Schätzer.(j) T (X) =

Pn

i=1

Xi

ist vollständig und suffizient für �. Es ist bekanntermaßen EX1

=

1

�

undE[X2

1

] =

2

�

2 sowie Var(X1

) =

1

�

2 . Es ist weiter ET (X) =

Pn

i=1

EXi

=

n

�

und E[T (X)

2

] =

Pn

i=1

E[X2

i

] =

n

�

2 (beachte Unabhängigkeit der Xi

). Es ist also S⇤(X) =

T (X)

2

n

ein erwartungs-treuer Schätzer für g(�) = Var(X

1

) =

1

�

, der nur von einer vollständigen und suffizientenStatistik abhängt, daher UMVU-Schätzer.(ii) Ein erwartungstreuer Schätzer für g(�) = P(X

1

x) ist S(X) = {X1x}. Damit mussS⇤

(X) = E[S(X)|T (X)] ein UMVU-Schätzer sein. (—DIESEN TEIL BEIM VORRECHNENNICHT AUSFÜHREN—) Zur Berechnung (im Stetigen nicht so leicht wie im Diskreten) be-stimmen wir die gemeinsame Verteilung von X

1

, T (X) = X1

+

Pn

i=2

Xi

mittels Faltung undTransformation: Für t > x ist

FX1,T (X)

(x, t) = P(X1

x, T (X) t) = P(X1

x,X1

+

nX

i=2

Xi

t)

=

Zx

0

Zt�x

0

0

fX1(x

0)f

T (X)�X1(t0) dt0 dx0.

Ableiten erst nach x, dann nach t ergibt die Dichte

fX1,T (X)

(x, t) = @t

@x

FX1,T (X)

(x, t) = @t

Zt�x

0

fX1(x)fT (X)�X1(t

0) dt0

= fX1(x)fT (X)�X1(t� x).

(— ENDE —) Die bedingte Dichte ist entsprechend fX1|T (X)=t

(x) =f

X1,T (X)(x,t)

f

T (X)(t). Wir erhalten

nun

s⇤(t) = P(X1

x|T (X) = t) =

Zx

0

fX1|T (X)=t

(y) dy =

Zx

0

fX1,T (X)

(y, t)

fT (X)

(t)dy

=

Rx^t0

�e��y · �

n�1

(n�2)!

(t� y)n�2e��(t�y) dy�

n

(n�1)!

tn�1e��t

=

(n� 1)

tn�1

Zx^t

0

(t� y)n�2 dy

= �t�n+1

h(t� y)n�1

ix^t

0

=

8<

:1, t < x,

1�⇣

t�x

t

⌘n�1

, t � x,

7

d.h. S⇤(X) = s⇤(T (X)) ist der gesuchte UMVU-Schätzer.

(k) Eine vollständige und suffiziente Statistik für {Pµ

:= N(µ, �2

)

n

: µ 2 R} lautet T (x) =Pn

i=1

xi

. Der Schätzer S(x) = {x1t} (kürze ab: x = (x1

, ..., xn

)

0) ist ein erwartungstreuerSchätzer für g(µ), denn

Eµ

S = P(X1

t) = g(µ).

Nach dem Satz von Lehmann-Scheffe ist damit

S⇤= E

µ

[S|T ]

ein UMVU-Schätzer für g(µ). Es gilt

✓X

1Pn

i=1

Xi

◆=

✓1 0 ... 0

1 1 ... 1

◆

| {z }=:A

·

0

B@X

1

...X

n

1

CA

| {z }⇠N

�(µ, ..., µ)0| {z }

=:b

,�2 · In⇥n| {z }

=:⌃

�

⇠ N(Ab,A⌃A0) = N

⇣µ·✓1

n

◆, �2

✓1 1

1 n

◆⌘.

Mit dem Hinweis folgt:

X1

��T (X) ⇠ N⇣µ+

�2

n�2

· (T (X)� nµ), �2 � �4

n�2

⌘= N

⇣T (X)

n, �2 ·

�1� 1

n

�⌘.

Wir erhalten schließlich für S⇤(X):

S⇤(X) = E[S(X)|T (X)] = P(X

1

t|T (X)) = �

⇣ t� T (X)

n

� ·q1� 1

n

⌘= �

⇣ t�Xn

� ·q1� 1

n

⌘.

0.3 Äquivariante und Bayes-Schätzer

Lösungen: (a) (i) Es ist mit Standardargumenten und der Tatsache, dass FX1(s) = (1 �

e��(x�✓)

) {x�✓}:

FS(X)

(s) = P(S(X) s) = 1� (1� FX1(s))

n

=

�1� e��n(s�✓)

�{s�✓},

d.h. S(X) ⇠ vExp(✓, n�).(ii) Da P

✓

:= PX1,...,Xn eine Lokationsfamilie in ✓ 2 R ist, ist die Verteilung von Y unabhängigvon ✓ (genauer: Ist (X

1

, ..., Xn

) ⇠ P✓

, so gilt (X1

� ✓, ..., Xn

� ✓) ⇠ P0

. Daher ist auch Y =

(X1

�Xn

, ..., Xn�1

�Xn

)

0= ((X

1

� ✓)� (Xn

� ✓), ..., (X1

� ✓)� (Xn

� ✓))0 eine Funktion vonZufallsvariablen, deren Verteilung unabhängig von ✓ ist, d.h. die Verteilung von Y ist ebenfallsunabhängig von ✓). Das bedeutet, Y ist verteilungsfrei für ✓. Mit dem Lemma von Basu folgt:S(X), Y sind unabhängig.(iii) Es gilt wegen der Unabhängigkeit E

0

[L(S(x), v⇤(y))|Y = y] = E0

[L(S(x), v⇤(y))], d.h. derMinimierer v⇤(y) dieser Größe ist unabhängig von y. Für die absolute Verlustfunktion muss alsov 7! E

0

[|S(x) � v|] minimiert werden, d.h. v⇤ ist ein Median von PS(x)

0

. Für die quadratischeVerlustfunktion muss v 7! E

0

[|S(x)� v|2] minimiert werden, d.h. v⇤ = E0

S(x). Wir berechnennun diese beiden Größen mit dem Ergebnis von (i). Achtung: Die vorherrschende Verteilung istP0

, d.h. setze bei der Berechnung ✓ = 0. Quadratische Verlustfunktion:

v = E0

S(X) =

Z 1

0

x · �ne��nx dx =

1

�n.

8

(Erwartungswert Exponentialverteilung).Absolute Verlustfunktion: v ist Lösung von

1

2

=

Zv

�1�ne��nx

{x�0} dx =

Zv

0

�ne��nx dx =

⇥� e��nx

⇤v

0

= 1� e��nv,

d.h. v =

ln(2)

�n

.(iv) Nach Vorlesung gilt S⇤

(X) = S(X) � v⇤(Y ) mit den Größen aus (i) und (iii), d.h.S⇤

(X) = min{X1

, ..., Xn

}� 1

�n

für quadratischen Verlust und S⇤(X) = min{X

1

, ..., Xn

}� ln(2)

�n

für absoluten Verlust.(b) Die gemeinsame Dichte von X

1

, ..., Xn

unter ✓ = 0 ist gegeben durch

f(x) =nY

i=1

⇣1

a+ b{�ax

i

b}

⌘=

1

(a+ b)n{�amin(x1,...,xn

)} · {max(x1,...,xn

)b},

und damit (vorbereiten des Terms für Integration bzgl. u):

f(x1

� u, ..., xn

� u) =1

(a+ b)n{max(x1,...,xn

)�bumin(x1,...,xn

)+a}.

Für den quadratischen Verlust nutzen wir die Pitman-Formel (Vorfaktoren Dichte fallen weg):

S⇤(x) =

Ruf(x

1

� u, ..., xn

� u) duRf(x

1

� u, ..., xn

� u) du=

Rmin(x1,...,xn

)+a

max(x1,...,xn

)�b

u duR

min(x1,...,xn

)+a

max(x1,...,xn

)�b

1 du

=

[

1

2

u2

]

min(x1,...,xn

)+a

max(x1,...,xn

)�b

(max(x1

, ..., xn

)� b)� (min(x1

, ..., xn

) + a)

=

1

2

�(max(x

1

, ..., xn

)� b) + (min(x1

, ..., xn

) + a) .

Letzter Schritt: 3. Binomische Formel.Für den absoluten Verlust nutzen wir den Hinweis. Es ist

f(y1

+ t, ..., yn�1

+ t, t) =1

(a+ b)n{�a�min(y1,...,yn�1,0)tb�max(y1,...,yn�1,0)}.

Eingesetzt in den Hinweis folgt (wir nehmen oBdA an, dass �a � min(y1

, ..., yn�1

, 0) v b�max(y

1

, ..., yn�1

, 0)):

v + a+min(y1

, ..., yn�1

, 0) =

Zv

�a�min(y1,...,yn�1,0)

dt =Z

b�max(y1,...,yn�1,0)

v

dt = b�max(y1

, ..., yn�1

, 0)� v,

d.h.v⇤(y) =

1

2

��max(y

1

, ..., yn�1

, 0)�min(y1

, ..., yn�1

, 0) + b� a�,

und daher S⇤(X) = X

n

� v⇤(Y ) =

1

2

�max(X

1

, ..., Xn�1

, Xn

) + min(X1

, ..., Xn�1

, Xn

) � b + a�

wie beim quadratischen Verlust.(c) Wir nutzen die Formel aus der Vorlesung. Die gemeinsame Dichte unter µ = 0 lautet

f(x) =⇣

2

⇡�2

⌘n/2

· exp⇣� 1

2�2

nX

i=1

x2

i

⌘{min{x1,...,xn

}�0}.

9

Es folgt

µ(x) =

Ruf(x

1

� u, ..., xn

� u) duRf(x

1

� u, ..., xn

� u) du=

Rmin{x1,...,xn

}�1 u · exp(�1

2

Pn

i=1

(xi

� u)2) duR

min{x1,...,xn

}�1 exp(�1

2

Pn

i=1

(xi

� u)2) du

= ... = xn

� exp(�n(min{x1

, ..., xn

}� xn

)

2/2p2⇡n�(

pn(min{x

1

, ..., xn

}� xn

))

(d) Hier ist die gemeinsame Dichte von X1

, ..., Xn

unter µ = 0:

f(x) =nY

i=1

⇣e�x

i

exp(�e�x

i

)

⌘= e�

Pn

i=1 xi

exp

⇣ nX

i=1

e�x

i

⌘.

Entsprechend ist

f(x1

� u, ..., xn

� u) = enu · e�P

n

i=1 xi

exp

⇣� eu ·

nX

i=1

e�x

i

⌘.

Pitman-Formel liefert mit c = c(x) :=P

n

i=1

e�x

i und Substitution v := ceu , u = ln(v/c) undv�1dv = du:

S⇤(x) =

Ruf(x

1

� u, ..., xn

� u) duRf(x

1

� u, ..., xn

� u) du=

Ruenu exp(�ceu) duRenu exp(�ceu) du

v:=ce

u

=

R10

ln(v/c) · vn�1e�v dvR10

vn�1e�v dv.

Nach Hinweis istR10

xn�1e�x dx = (n � 1)! undR10

ln(x)xn�1e�x dx = (n). Damit erhaltenwir

S⇤(x) =

(n)

(n� 1)!

� ln(c) = (n)

(n� 1)!

� ln

⇣ nX

i=1

e�x

i

⌘.

(e) Die Dichte pX1|⇥=✓

ist gegeben durch

pX1|⇥=✓

(x) = ↵ exp(�↵(x� ✓)) {x�✓}

bzgl. des Lebesgue-Maßes auf R. Es gilt daher für die Likelihood von X geg. ⇥ bzgl. n-dim.Lebesgue-Maßes auf Rn:

pX|⇥=✓

(x) =

nY

i=1

⇣↵ exp(�↵(x

i

� ✓)) {xi

�✓}

⌘= ↵n

exp

⇣� ↵

nX

i=1

xi

⌘en↵✓ {min{x1,...,xn

}�✓}.

Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:

p⇥|X=x

(✓) ⇠ pX|⇥=✓

(x) · p⇥

(✓)

= �e��✓

{✓>0} · ↵n

exp

⇣� ↵

nX

i=1

xi

⌘en↵✓ {min{x1,...,xn

}�✓}

⇠ e(n↵��)✓

{0<✓min{x1,...,xn

}.

Berechnung der Normierungskonstante der Posteriori:

c =

Zmin{x1,...,xn

}

0

e(n↵��)✓ d✓ =e(n↵��)min{x1,...,xn

} � 1

n↵� �,

10

d.h. die vollständige Wahrscheinlichkeitsdichte der Posteriori lautet:

p⇥|X=x

(✓) =1

ce(n↵��)✓

{0<✓min{x1,...,xn

}.

Der Bayes-Schätzer bzgl. absoluter Verlustfunktion ist ein Median von P⇥|X=x, d.h. m = S⇤(x)

ist Lösung der Gleichung (beachte, dass die Posteriori Träger [0,min{x1

, ..., xn

}] besitzt. Dahermuss ein Median m garantiert ebenfalls in diesem Intervall liegen, daher ist ✓ 2 [0,m] diestärkere Bedingung als ✓ 2 [0,min{x

1

, ..., xn

}]):

1

2

=

Zm

�1p⇥|X=x

(✓) d✓ =1

c

Zm

0

e(n↵��)✓ d✓ =1

c

e(n↵��)m � 1

n↵� �,

d.h.

e(n↵��)min{x1,...,xn

} � 1

2

= e(n↵��)m � 1 , m =

1

n↵� �ln

⇣e(n↵��)min{x1,...,xn

}+ 1

2

⌘.

Der Bayes-Schätzer bzgl. quadratischer Verlustfunktion lautet (beachteRxeDx dx =

1

D

(x �1

D

)eDx, D = (n↵� �)):

S⇤(x) =

Z✓p

⇥|X=x

(✓) =1

c

Zmin{x1,...,xn

}

0

✓ · e(n↵��)✓ d✓

=

1

c

1

n↵� �

h�✓ � 1

n↵� �

�e(n↵��)✓

imin{x1,...,xn

}

0

=

�e(n↵��)min{x1,...,xn

} � 1

��1 ·h�

min{x1

, ..., xn

}� 1

n↵� �

�e(n↵��)min{x1,...,xn

}+

1

n↵� �

i.

(f) Die Dichte pX1|⇥=✓

ist gegeben durch

pX1|⇥=✓

(x) = ✓ · e�✓x

{x>0}

bzgl. des Lebesgue-Maßes auf R. Es gilt daher für die Likelihood von X geg. ⇥ bzgl. n-dim.Lebesgue-Maßes auf Rn:

pX|⇥=✓

(x) =nY

i=1

⇣✓ · e�✓x

i

{xi

>0}

⌘= ✓ne�✓

Pn

i=1 xi

{min{x1,...,xn

}>0}.

Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:

p⇥|X=x

(✓) ⇠ pX|⇥=✓

(x) · p⇥

(✓)

= ✓ne�✓

Pn

i=1 xi

{min{x1,...,xn

}>0} · �e��✓

{✓>0}

⇠ ✓ne�✓(

Pn

i=1 xi

+�)

{✓>0}.

Berechnung der Normierungskonstante der Posteriori:

D =

Z 1

0

✓ne

�✓

=:cz }| {

(

nX

i=1

xi

+ �)

d✓ Hinweis= n!c�(n+1).

11

d.h. die vollständige Wahrscheinlichkeitsdichte der Posteriori lautet:

p⇥|X=x

(✓) =1

D✓ne�✓(

Pn

i=1 xi

+�)

{✓>0}.

Der Bayes-Schätzer bzgl. quadratischer Verlustfunktion lautet nun

S(x) =

Z✓p

⇥|X=x

(✓) d✓ =1

D

Z 1

0

✓n+1e�✓(

Pn

i=1 xi

+�) d✓ Hinweis=

1

D(n+1)!c�(n+2)

=

n+ 1

c=

n+ 1

�+

Pn

i=1

xi

.

Anmerkung: (f) ist ein Spezialfall von (g) mit ↵ = 1, � = �.(g) Die Dichte p

X1|⇥=✓

ist gegeben durch

pX1|⇥=✓

(x) = ✓ · e�✓x

{x>0}

bzgl. des Lebesgue-Maßes auf R. Es gilt daher für die Likelihood von X geg. ⇥ bzgl. n-dim.Lebesgue-Maßes auf Rn:

pX|⇥=✓

(x) =nY

i=1

⇣✓ · e�✓x

i

{xi

>0}

⌘= ✓ne�✓

Pn

i=1 xi

{min{x1,...,xn

}>0}.

Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:

p⇥|X=x

(✓) ⇠ pX|⇥=✓

(x) · p⇥

(✓)

= ✓ne�✓

Pn

i=1 xi

{min{x1,...,xn

}>0} ·�↵

�(↵)✓↵�1e��✓

{✓>0}

⇠ ✓n+↵e�✓(

Pn

i=1 xi

+�)

{✓>0},

d.h. P⇥|X=x

= �(n+↵,P

n

i=1

xi

+�) ist wieder Gamma-verteilt. Der Bayes-Schätzer ist gegebendurch

S(x) = E[⇥|X = x] = E�(n+ ↵,nX

i=1

xi

+ �)Hinweis

=

n+ ↵Pn

i=1

xi

+ �.

(h) Die Dichte pX1|⇥=✓

ist gegeben durch

pX1|⇥=✓

(x) = ✓x(1� ✓)1�x

{0,1}(x)

bzgl. des Zählmaßes µZ

auf N0

. Es gilt daher für die Likelihood von X = (X1

, ..., Xn

)

0 gegeben⇥ bzgl. des n-dim. Zählmaßes auf Nn

0

:

pX|⇥=✓

(x) =

nY

i=1

⇣✓xi

(1� ✓)1�x

i

{0,1}(xi

)

⌘= ✓

Pn

i=1 xi

(1� ✓)n�P

n

i=1 xi

{0,1}n(x).

Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:

p⇥|X=x

(✓) ⇠ pX|⇥=✓

(x) · p⇥

(✓)

= ✓P

n

i=1 xi

(1� ✓)n�P

n

i=1 xi

{0,1}n(x) · [0,1]

(✓)

⇠ ✓P

n

i=1 xi

(1� ✓)n�P

n

i=1 xi

[0,1]

(✓).

Berechnung der Normierungskonstante der Posteriori:

c :=

Z✓P

n

i=1 xi

(1� ✓)n�P

n

i=1 xi

[0,1]

(✓) d✓ =Z

1

0

✓P

n

i=1 xi

(1� ✓)n�P

n

i=1 xi d✓

Hinweis=

(

Pn

i=1

xi

)! · (n�P

n

i=1

xi

)!

(n+ 1)!

.

12

Der Bayes-Schätzer bzgl. quadratischer Verlustfunktion lautet:

S(x) = E[⇥|X = x] =

Z✓p

⇥|X=x

(✓) d✓ =1

c

Z1

0

✓P

n

i=1 xi

+1

(1� ✓)n�P

n

i=1 xi d✓

Hinweis=

1

c

(

Pn

i=1

xi

+ 1)! · (n�P

n

i=1

xi

)!

(n+ 2)!

=

1 +

Pn

i=1

xi

n+ 2

.

(j) (i) Die Dichte pX1|⇥=✓

ist gegeben durch

pX1|P=p

(x) =1

2✓[�✓,✓]

(x)

bzgl. des Lebesgue-Maßes auf R. Es gilt daher für die Likelihood von X geg. ⇥ bzgl. n-dim.Lebesgue-Maßes auf Rn:

pX|P=p

(x) =nY

i=1

⇣1

2✓[�✓,✓]

(xi

)

⌘=

1

(2✓)n{�✓min{x1,...,xn

}} · {max{x1,...,xn

}✓}.

Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:

p⇥|X=x

(✓) ⇠ pX|⇥=✓

(x) · p⇥

(✓)

=

1

(2✓)n{�✓min{x1,...,xn

}} · {max{x1,...,xn

}✓} · [0,1]

(✓)

⇠ 1

✓n· {max{�min{x

1

, ..., xn

},max{x1

, ..., xn

}}| {z }=:M

✓1}.

Beachte: die Bedingungen mit Maximum/Minimum sind stärkere Bedingungen als 0 ✓, dadie Realisierungen (X

i

|⇥ = ✓) ⇠ U [�✓, ✓] zwischen �✓ und ✓ liegen müssen und ✓ 2 [0, 1] nachPriori. Im letzten Schritt haben wir noch den konstanten Faktor 2

�n weggelassen.Es muss nun noch die Normierungskonstante der Posteriori berechnet werden:

c :=

Zp⇥|X=X

(✓) d✓ =Z

1

M

1

✓nd✓ =

1

n� 1

�M�n+1 � 1

�,

d.h.p⇥|X=x

(✓) =1

c

1

✓n{M✓1}.

(ii) Für den Bayes-Schätzer bzgl. quadratischer Verlustfunktion berechnen wir:

S(x) = E[⇥|X = x] =

Z✓·p

⇥|X=x

(✓) d✓ =1

c

Z1

M

✓�n+1 d✓ =1

c

1

n� 2

�M�n+2�1

�=

n� 1

n� 2

M�n+2 � 1

M�n+1 � 1

.

Für den Bayes-Schätzer bzgl. linearer Verlustfunktion muss ein Median von P⇥|X=x bestimmtwerden, d.h. ein m 2 (M, 1) mit

1

2

=

Z 1

m

p⇥|X=x

(✓) d✓ =1

c

Z1

m

✓�n d✓ =1

c

1

n� 1

�m�n+1 � 1

�.

Umstellen ergibt

S(x) = m =

⇣1 + (n� 1)

c

2

⌘n�1

=

⇣1 +M�n+1

2

⌘n�1

.

13

0.4 Bedingte Tests, Kontingenztafeln

Lösungen: (a) P✓,⌘

:= P(X1,Y1),...,(Xn

,Y

n

) bilden zweiparametrige natürlich parametrisierte Expo-

nentialfamilie (�2n das Lebesgue-Maß auf R2n, und ⌃ := �2

✓1 ⇢⇢ 1

◆und ⌃

�1

=

1

�

2(1�⇢

2)

✓1 �⇢�⇢ 1

◆):

dP✓,⌘

d�2n(x, y) =

nY

i=1

⇣1

(2⇡ det(⌃))1/2· exp

⇣� 1

2

✓xi

yi

◆0

⌃

�1

✓xi

yi

◆⌘⌘

= C(�2, ⇢) · exp⇣� 1

2�2

(1� ⇢2)

⇣ nX

i=1

x2

i

� 2⇢

nX

i=1

xi

yi

+

nX

i=1

y2i

⌘⌘

= C(�2, ⇢) · exp⇣ ⇢

�2

(1� ⇢2)| {z }=:✓

nX

i=1

xi

yi

| {z }=:U(x,y)

� 1

2�2

(1� ⇢2)| {z }=:⌘

⇣ nX

i=1

x2

i

+

nX

i=1

y2i

⌘

| {z }=:T (x,y)

⌘.

Nun ist H0

: ✓ ✓0

:= 0 , ⇢ 0 und entsprechend H1

: ✓ > ✓0

, ⇢ > 0. Ein gleichmäßigbester unverfälschter Test zum Niveau ↵ lautet also nach Vorlesung

�⇤(x, y) =

(1, U(x, y) > c(T (x, y))

0, U(x, y) c(T (x, y)),

wobei c(t) bestimmt wird aus ↵ = P✓0,⌘(�

⇤= 1|T = t) = P

✓0,⌘(U > c(T )|T = t) (beachte: DerFall U(x, y) = c(T (x, y)) tritt nur mit Wahrscheinlichkeit Null auf, da U, T stetig verteilt sindunter P

✓0,⌘).Schritt 2: Umwandlung des Tests mittels monotoner Transformation. Es gilt ✓ = 0 , ⇢ = 0

und daherdP

✓0,⌘

d�2n(x, y) = C(�2

) · exp⇣� 1

2�2

T (x, y)⌘,

d.h. {P✓0,⌘ : ⌘ < 0} = {P

✓0,�1/2�

2: � > 0} ist einparametrige Exponentialfamilie und daher ist

T (x, y) vollständig und suffizient für �. Im zweiten Schritt zeigen wir, dass V (x, y) :=

U(x,y)

T (x,y)

verteilungsfrei für � > 0 ist: Definiere ˜Xi

:=

1

�

und ˜Yi

:=

1

�

Yi

, dann gilt unter P✓0,⌘: ˜X

i

, ˜Yi

iid⇠N(0, 1) und daher ist

V (X, Y ) =

Pn

i=1

Xi

YiP

n

i=1

X2

i

+

Pn

i=1

Y 2

i

=

Pn

i=1

˜Xi

˜YiP

n

i=1

˜X2

i

+

Pn

i=1

˜Y 2

i

(⇤)

eine Funktion von unabhängig und identisch N(0, 1)-verteilten Zufallsvariablen; die Verteilungvon V (X, Y ) ist also unabhängig von � > 0. Mit dem Lemma von Basu folgt: V (x, y) undT (x, y) sind unabhängig unter P

✓0,⌘. Wegen T > 0 P✓0,⌘-f.s. gilt (teile durch T )

�⇤(x, y) =

(1, V (x, y) > c(T (x,y))

T (x,y)

=: c⇤

0, V (x, y) c⇤,

wobei c⇤ bestimmt wird durch ↵ = P✓0,⌘(V > c(T )

T

|T = t)V, T unabh.

= P✓0,⌘(V > c(t)

t

), d.h.c(t) hängt nicht von t ab und wir können stattdessen ↵ = P

✓0,⌘(V > c⇤) schreiben. Wir habenschon in (*) gesehen, dass V (x, y) unter P

✓0,⌘ genau die gewünschte Form hat, sodass c⇤ das(1� ↵)-Quantil von V (

˜X, ˜Y ) sein muss.

14

(b) Definiere P✓,⌘

:= PX1,...,Xn

,Y1,...,Yn . Dies ist dann eine zweiparametrige Exponentialfamilie,denn mit dem 2n-dim. Zählmaß µ2n

Z

auf N2n

0

gilt:

dP✓,⌘

dµ2n

Z

(x, y) =

nY

i=1

⇣�xi

1

xi

!

e��1

⌘·

mY

j=1

⇣�yj2

yj

!

e��2

⌘

= e��1n��2m

| {z }=:C(✓,⌘)

exp

⇣log(�

1

)

nX

i=1

xi

+ log(�2

)

mX

j=1

yj

⌘·

nY

i=1

1

xi

!

mY

j=1

1

yj

!

| {z }=:h(x,y)

= C(✓, ⌘) exp⇣log(�

1

/�2

)| {z }=:✓

nX

i=1

xi

| {z }=:U(x,y)

+ log(�2

)| {z }=:⌘

⇣ nX

i=1

xi

+

mX

j=1

yj

⌘

| {z }=:T (x,y)

⌘.

Außerdem ist H0

: ✓ ✓0

:= 0 , �1

�2

und entsprechend H1

: ✓ > ✓0

, �1

> �2

. Eingleichmäßig bester unverfälschter Test zum Niveau ↵ ist daher nach Vorlesung gegeben durch

�⇤(x, y) =

8><

>:

1, U(x, y) > c(T (x, y))

�(T (x, y)), U(x, y) = c(T (x, y))

0, U(x, y) c(T (x, y)),

wobei c(t), �(t) bestimmt wird aus ↵ = E✓0,⌘(�

⇤= 1|T = t) = �⇤(t)P

✓0,⌘(U = c(T )|T = t) +P✓0,⌘(U > c(T )|T = t). Um die Aussage der Aufgabenstellung zu zeigen, muss nur noch diese Be-

stimmungsgleichung umgeformt werden. Dazu genügt es zu zeigen, dass PU |T=t

✓0,⌘= Bin(t, t

n+m

).Hier ist (für t � u):

P✓0,⌘(U = u|T = t) =

P✓0,⌘(U = u, T = t)

P✓0,⌘(T = t)

=

P✓0,⌘(

Pn

i=1

xi

= u,P

m

j=1

yj

= t� u)

P✓0,⌘(T = t)

=

P✓0,⌘(

Pn

i=1

xi

= u) · P✓0,⌘(

Pm

j=1

yj

= t� u)

P✓0,⌘(T = t)

.

Beachte: Unter P✓0,⌘ (d.h. � := �

1

= �2

) gilt:P

n

i=1

xi

⇠ Poi(n�),P

m

j=1

yj

⇠ Poi(m�) undPn

i=1

xi

+

Pm

j=1

yj

⇠ Poi((m+ n)�) (Faltungseigenschaft Poisson-Verteilung). Damit gilt

P✓0,⌘(U = u|T = t) =

(�n)

u

u!

e��n · (�m)

t�u

(t�u)!

e��m

(�(n+m))

t

t!

e��(n+m)

=

✓tu

◆·⇣ n

n+m

⌘u

·⇣ m

n+m

⌘t�u

= Bin(t,n

n+m)(u)

das ist gerade die Zähldichte einer Binomialverteilung Bin(t, n

n+m

) an der Stelle u.(c) Mit ✓ := (� � 1) und ⌘ := (� � 1) und P

✓,⌘

:= PX1,...,Xn gilt

dP✓,⌘

d�(x) =

⇣�(� + �)

�(�)�(�)

⌘n

· exp⇣(� � 1)| {z }

=:⌘

·nX

i=1

log(xi

)

| {z }=:T (x)

+(� � 1)| {z }=:✓

·nX

i=1

log(1� xi

)

| {z }=:U(x)

⌘·

[0,1]

n

(x).

Der gleichmäßig unverfälschte Test für H0

: ✓ ✓0

(✓0

:= �0

� 1) gegen H1

: ✓ > ✓0

lautet dannnach Vorlesung

�⇤(x) =

(1, U(x) > c(T (x)),

0, U(x) c(T (x)),

15

mit ↵ = E✓0,⌘[�

⇤|T = t] = P✓0(U > c(T )|T = t) (da U, T stetig verteilt unter P

✓0,⌘, muss derFall U(x) = c(T (x)) nicht in den Test mit aufgenommen werden).(d) (a) P

✓,⌘

:= P(X1,Y1),...,(Xn

,Y

n

) bilden zweiparametrige natürlich parametrisierte Exponential-

familie (�2n das Lebesgue-Maß auf R2n, und ⌃ :=

✓1 ⇢⇢ 1

◆und ⌃

�1

=

1

1�⇢

2

✓1 �⇢�⇢ 1

◆):

dP✓,⌘

d�2n(x, y) =

nY

i=1

⇣1

(2⇡ det(⌃))1/2· exp

⇣� 1

2

✓xi

� µ1

yi

� µ2

◆0

⌃

�1

✓xi

� µ1

yi

� µ2

◆⌘⌘

= C(⇢) · exp⇣� 1

2(1� ⇢2)

⇣ nX

i=1

(xi

� µ1

)

2 � 2⇢nX

i=1

(xi

� µ1

)(yi

� µ2

) +

nX

i=1

(yi

� µ2

)

2

⌘⌘

=

˜C(µ1

, µ2

, ⇢) · exp⇣� 1

2(1� ⇢2)

⇣ nX

i=1

x2

i

� 2µ1

nX

i=1

xi

+ nµ2

1

� 2⇢nX

i=1

xi

yi

+ 2⇢µ1

nX

i=1

yi

+2⇢µ2

nX

i=1

xi

� 2⇢nµ1

µ2

+

nX

i=1

y2i

� 2µ2

nX

i=1

yi

+ nµ2

2

⌘⌘

=

˜

˜C(µ1

, µ2

, ⇢) · exp⇣

1

(1� ⇢2)

⇣µ1

nX

i=1

xi

+ µ2

nX

i=1

yi

� ⇢µ1

nX

i=1

yi

� ⇢µ2

nX

i=1

xi

⌘⌘· h(x, y)

=

˜

˜C(µ1

, µ2

, ⇢) · exp⇣(1 + ⇢)

1� ⇢2(µ

1

� µ2

)

| {z }=:✓

nX

i=1

xi

| {z }=:U(x,y)

+

(µ2

� ⇢µ1

)

1� ⇢2| {z }=:⌘

⇣ nX

i=1

xi

+

nX

i=1

yi

⌘

| {z }=:T (x,y)

⌘· h(x, y)

(Ansatz: Erzeuge zunächst den Term (µ1

�µ2

)

Pn

i=1

xi

im exp(...). Der Rest muss dann geeignetumgeformt werden, sodass nur noch ein weiterer Summand im exp(...) entsteht. Man kann auchzunächst ⇢ = 0 setzen, dann ist der Exponent von wesentlich einfacherer Gestalt und man kannleicht die Statistiken U, T herausfinden).Nun gilt H

0

: ✓ ✓0

:= 0 , µ1

µ2

und damit auch H1

: ✓ > ✓0

, µ1

> µ2

. Laut Vorlesungist damit ein gleichmäßig bester unverfälschter Test zum Niveau ↵:

�⇤(x, y) =

(1, U(x, y) > c(T (x, y)),

0, U(x, y) c(T (x, y)),

wobei c(t) bestimmt wird durch ↵ = E✓0,⌘[�

⇤= 1|T = t] = P

✓0,⌘(U > c(T )|T = t). Weil U, Toffensichtlich unter P

✓0,⌘ stetig verteilt sind (es sind Normalverteilungen), brauchen wir kein�(t) bzw. keinen Fall U(x, y) = c(T (x, y)) im Test.Wir werden nun die Bedingung U(x, y) > c(T (x, y)) im Test mit einer monotonen Transforma-tion äquivalent umformen. Definiere dazu

V (x, y) =nX

i=1

xi

�nX

i=1

yi

= U(x, y)� T (x, y).

Es giltdP

✓0,⌘

d�2n(x, y) =˜C(µ

1

, µ2

, ⇢) · exp⇣

⌘|{z}=

µ

1+⇢

T (x, y)⌘· h(x, y),

d.h. {P✓0,⌘ : ⌘ 2 R} = {P

✓0,µ

1+⇢

: µ 2 R} ist eine natürlich parametrisierte einparametrigeExponentialfamilie und daher ist die Statistik T (x, y) suffizient und vollständig für µ 2 R.

16

Außerdem gilt unter P✓0,⌘ (d.h. µ := µ

1

= µ2

), dass ( ˜Xi

, ˜Yi

) := (Xi

�µ, Yi

�µ)0iid⇠ N(0,⌃) und

daher ist

V (X, Y ) =

nX

i=1

Xi

�nX

i=1

Yi

=

nX

i=1

˜Xi

�nX

i=1

˜Yi

(⇤)

eine Funktion von i.i.d. Zufallsvariablen, deren Verteilung unabhängig von µ ist. Daher istV (x, y) verteilungsfrei für µ unter P

✓0,⌘. Mit dem Lemma von Basu folgt: V, T sind unabhängigunter P

✓0,⌘ (für alle ⌘ 2 R). Wir formen nun �⇤ um:

�⇤(x, y) =

(1, V (x, y) > c(T (x, y))� T (x, y) =: c⇤,

0, V (x, y) c⇤,

wobei c⇤ bestimmt wird durch ↵ = P✓0,⌘(V > c(T )

T

|T = t)V, T unabh.

= P✓0,⌘(V > c(t)

t

), d.h. c(t)hängt nicht von t ab und wir können stattdessen ↵ = P

✓0,⌘(V > c⇤) schreiben. Unter P✓0,⌘ gilt

aber (siehe (*)):

V (X, Y ) =

nX

i=1

(

˜Xi

� ˜Yi

)| {z }

=

⇣1 �1

⌘0

@Xi

Yi

1

A⇠N(0,

⇣1 �1

⌘⌃

⇣1 �1

⌘0)=N(0,2(1+⇢))

⇠ N(0, 2n(1 + ⇢),

(es sind n i.i.d. Summanden, daher werden die Varianzen in der Normalverteilung addiert).

Damit gilt also ↵ = P(V (X, Y ) > c⇤) = P( V (X, Y )p2n(1 + ⇢)| {z }⇠N(0,1)

> c

⇤p2n(1+⇢)

), d.h. c⇤ =p

2n(1 + ⇢)q1�↵

,

wobei q1�↵

ein (1� ↵)-Quantil der N(0, 1)-Verteilung.(e)(f) Wähle Merkmale A = Übergewicht, Bc = Fußballfan. Es ist p

1

= P(A|B), p2

= P(A|Bc

).In diesem Fall entsprechen die HypothesenH

0

: p2

p1

Fußballfans leiden gleich oder weniger häufig an Übergewicht v.s. H1

: p2

> p1

.

Die Kontingenztafel lautet ausgefüllt wie folgt:A Ac

B 6 8 14 = MBc

6 = U 2 8 = N12 = T 10 22 = N +M

Laut Vorlesung ist ein gleichmäßig bester unverfälschter Test zum Niveau ↵ = 0.01 gegebendurch

�⇤(u, t) =

8><

>:

1, u > c(t),

p, u = c(t),

0, u < c(t),

mit ↵ = Ep1=p2 [�

⇤(U, T )|T = t] und PU |T=t

p1=p2 = Hypergeo(M + N,N, T ) = Hypergeo(22, 8, 12),d.h. c(T ) muss minimal gewählt werden sodass noch

↵ �X

u>c(T )

Hypergeo(22, 8, 12)(u)

gilt. Aus der Tabelle lesen wir ab: c(T ) = 7, d.h. U < c(T ). Daher kann die Behauptungstatistisch nicht gesichert werden. D.h. der Test liefert nicht, dass Fußballfans übergewichtigersind.

17

0.5 Nichtparametrik

Lösungen: (a) (i) Es gilt

E[ ˆfh

(ch)]X

i

iid=

1

hEK

✓X

i

� ch

h

◆�

supp(f) = [0, 1]=

1

h

Z1

0

K

✓z � ch

h

◆f(z) dz

Subst. u = (z � ch)/h=

Z 1h

�c

�c

K(u)f(h(c+ u)) du

supp(K) = [�1, 1], h klein=

Z1

�c

K(u)f(h(c+ u)) du.

Wegen der Stetigkeit von f gilt f(ch), f(h(c+u)) ! f(0). Mit dem Satz von den majorisiertenKonvergenz (maj. Funktion |K(u)| · C, beachte K ist integrierbar und f als stetige Funktionauf [0, 1] beschränkt durch C):

E[ ˆfh

(ch)]� f(ch) =

Z1

�c

K(u)f((c+ u)h) du� f(ch)

! f(0) ·Z

1

�c

K(u) du� f(0)

= f(0) ·✓Z

1

�c

K(u) du� 1

◆.

Weil der (nicht abgeschlossene) Träger von K dem Intervall [�1, 1] entspricht und c < 1, istR1

�c

K(u) du 6= 1. Damit ist die Behauptung gezeigt.(ii) Zunächst erhalten wir wie in (i):

E"

1

nh

nX

i=1

K

✓Yi

� x

h

◆#X

i

iid=

1

hEK

✓�X

i

� ch

h

◆�

supp(f) = [0, 1]=

1

h

Z1

0

K

✓�z � ch

h

◆f(z) dz

Subst. u = (�z � ch)/h= �

Z � 1h

�c

�c

K(u)f(�h(c+ u)) du

supp(K) = [�1, 1], h klein=

Z �c

�1

K(u)f(�h(c+ u)) du.

Für h klein gilt damit insgesamt wieder mit dem Satz von der majorisierten Konvergenz:

E[f ⇤h

(ch)]� f(ch) =

Z1

�c

K(u)f((c+ u)h) du+

Z �c

�1

K(u)f(�h(c+ u)) du� f(ch)

! f(0) ·Z

1

�c

K(u) du+ f(0) ·Z �c

�1

K(u) du� f(0)

= f(0) ·Z

1

�1

K(u) du| {z }K Kern

= 1

�f(0)

= 0.

18

(b) Da K einen kompakten Träger besitzt, können wir annehmen, dass Träger(K) ⇢ [�C,C]

mit einem C > 0. Dann ist

cov( ˆfh

(x1

), ˆfh

(x2

)) =

1

(nh)2

nX

i,j=1

cov✓K

✓X

i

� x1

h

◆, K

✓X

j

� x2

h

◆◆

Xi

unabh.=

1

(nh)2

nX

i=1

cov✓K

✓X

i

� x1

h

◆, K

✓X

i

� x2

h

◆◆

Xi

id. vert.=

1

h · (nh)cov✓K

✓X

1

� x1

h

◆, K

✓X

1

� x2

h

◆◆.

Sei nun n so groß, dass |x1

� x2

| > 2Chn

. Diese Wahl ist möglich wegen hn

! 0. Dann gilt:

K

✓X

1

� x1

h

◆6= 0 ) X

1

� x1

h2 [�C,C] ) X

1

2 [x1

� Ch, x1

+ Ch]

) X1

62 [x2

� Ch, x2

+ Ch] ) X1

� x2

h62 [�C,C] ) K

✓X

1

� x2

h

◆= 0

und somitEK

✓X

1

� x1

h

◆·K

✓X

1

� x2

h

◆�= 0.

Außerdem ist f stetig auf [�C,C] und daher dort beschränkt, |f | D. Damit können wir

E����K

✓X

1

� x1

h

◆����

�=

Z ����K✓z � x

1

h

◆���� f(z) dzSubst. u = (z � x

1

)/h= h ·

Z|K(u)|f(x

1

+ uh) du

= h ·Z

C

�C

|K(u)| f(x1

+ uh)| {z }D

du h ·D ·Z

C

�C

|K(u)| du| {z }

< 1 (K intbar, da Kern)

.

beschränken. Es folgt:����cov

✓K

✓X

1

� x1

h

◆, K

✓X

1

� x2

h

◆◆����

����E

K

✓X

1

� x1

h

◆·K

✓X

1

� x2

h

◆�����+ E����K

✓X

1

� x1

h

◆����

�· E

����K✓X

1

� x2

h

◆����

�

0 + h2 ·✓D ·

ZC

�C

|K(u)| du◆

2

.

Insgesamt:

���cov( ˆfh

(x1

), ˆfh

(x2

))

��� 1

n

1

h2

����cov✓K

✓X

1

� x1

h

◆, K

✓X

1

� x2

h

◆◆���� 1

n

✓D ·

ZC

�C

|K(u)| du◆

2

! 0.

(d) Sei x ein Stetigkeitspunkt von m und f mit f(x) > 0.Zunächst schreiben wir

mh

(x) =1

nh

Pn

i=1

Yi

·K�X

i

�x

h

�

1

nh

Pn

i=1

K�X

i

�x

h

�=

ˆZh

(x)

ˆfh

(x), ˆZ

h

(x) :=1

nh

nX

i=1

Yi

·K✓X

i

� x

h

◆.

19

Die Voraussetzungen für die Konvergenz des Kerndichteschätzers aus der Vorlesung sind erfüllt.Daher gilt:

ˆfh

(x)P! f(x).

(im Übrigen ist der folgende Beweis für die Konvergenz von ˆZh

(x) komplizierter; der Beweisfür die Konvergenz von ˆf

h

(x) kann mit einigen Vereinfachungen genauso geführt werden). Esgenügt also zu zeigen, dass

ˆZh

(x)P! m(x)f(x), (1)

dann folgt:

mh

(x) =ˆZh

(x)

ˆfh

(x)

P! m(x)f(x)

f(x)= m(x).

Wir zeigen (1) über die beiden Aussagen

b(x) = E[ ˆZh

(x)]�m(x)f(x) ! 0, �2

(x) = Var( ˆZh

(x)) ! 0.

Bias: Es ist mit Yi

= m(Xi

) + "i

:

E[ ˆZh

(x)]X

i

, "i

iid= E

⇣m(X

i

) + "i

⌘· 1hK

✓X

i

� x

h

◆����

Xi

von "i

unabh.= E

m(X

i

) · 1hK

✓X

i

� x

h

◆�+ E

1

hK

✓X

i

� x

h

◆�· E["

i

]|{z}=0

=

Zm(z)

1

hK

✓z � x

h

◆f(z) dz

Subst. u = (z � x)/h=

ZK(u) ·

hf(x+ uh)m(x+ uh)

idu.

Für den Bias folgt (K besitzt kompakten Träger, d.h. es ex. N > 0 mit 8u 2 [�N,N ]

c

: K(u) =0):

|b(x)|RK(u) du=1

=

����Z

K(u) ·hf(x+ uh)m(x+ uh)� f(x)m(x)

idu����

Z

N

�N

|K(u)| ·���f(x+ uh)m(x+ uh)� f(x)m(x)

��� du.

Aufgrund der Stetigkeit von f,m in x gibt es � > 0, sodass

|s� t| < � )���f(s)m(s)� f(t)m(t)

��� < 1.

Wegen h ! 0 können wir annehmen, dass |h| < �

N

. Damit ist für alle u 2 [�N,N ]:

|(x+ uh)� x| |uh| N · �N

< �, d.h.���f(x+ uh)m(x+ uh)� f(x)m(x)

��� < 1.

Entsprechend lässt sich der Satz von der majorisierten Konvergenz anwenden mit integrierbarerMajorante |K(u)|, und es folgt

|b(x)| Z

N

�N

|K(u)| ·���f(x+ uh)m(x+ uh)� f(x)m(x)

���| {z }

!0

du ! 0.

20

Varianz: Wieder gilt

Var( ˆZh

(x))X

i

, "i

iid.=

1

nh2

Var✓Yi

·K✓X

i

� x

h

◆◆

1

nh2

EY 2

i

·K2

✓X

i

� x

h

◆�

Y

i

=m(X

i

)+"

i

=

1

nh2

E⇣

m(Xi

)

2

+ 2m(Xi

)"i

+ "2i

⌘·K2

✓X

i

� x

h

◆�

Xi

unabh. von "i

=

1

nhEm2

(Xi

) · 1hK2

✓X

i

� x

h

◆�

+

2

nh2

E[m(Xi

)K2

✓X

i

� x

h

◆] · E["

i

]|{z}=0

+

1

nhE1

hK2

✓X

i

� x

h

◆�· E["2

i

]|{z}=1

=

1

nh

Z ⇣m2

(z) + 1

⌘· 1hK2

✓z � x

h

◆· f(z) dz

Subst. u = (z � x)/h=

1

nh

ZN

�N

⇣m2

(x+ uh) + 1

⌘·K2

(u)f(x+ uh) du.

Wegen der Stetigkeit von m, ⌧, f gibt es wieder � > 0 mit

|s� t| < � )���⇣m2

(s) + 1

⌘· f(s)�

⇣m2

(t) + 1

⌘· f(t)

��� < 1.

Da h ! 0, können wir |h| < �

N

annehmen. Somit ist für u 2 [�N,N ]:

|(x+ uh)� x| |uh| N · �N

< �,

d.h.���⇣m2

(x+ uh) + 1

⌘· f(x+ uh)�

⇣m2

(x) + 1

⌘· f(x)

��� < 1.

Damit können obiges Integral weiter abschätzen:

Var( ˆZh

(x)) 1

nh

ZN

�N

h⇣m2

(x) + 1

⌘f(x) + 1

i·K2

(u) du| {z }

=const.

! 0.

Damit ist alles gezeigt.

Homepage der Vorlesung:http://math.uni-heidelberg.de/stat/studinfo/teaching_stat/Statistik1_WS201617/

21