38

Mathematische Statistik eilT III estenT · Likelihood-Ratio Statistik esttheoTrie Mathematische Statistik eilT III estenT R. Kovacevic 1 1 Institut für Statistik und Decision Support

  • Upload
    others

  • View
    14

  • Download
    0

Embed Size (px)

Citation preview

Likelihood-Ratio StatistikTesttheorie

Mathematische Statistik Teil III

Testen

R. Kovacevic1

1Institut für Statistik und Decision Support Systeme

Universität Wien

Wintersemester 2009

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Dieses Werk ist urheberrechtlich geschützt. Jede Vervielfältigungohne Zustimmung des Autors ist verboten.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Gliederung

1 Likelihood-Ratio Statistik

2 TesttheorieEinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Gliederung

1 Likelihood-Ratio Statistik

2 TesttheorieEinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Likelihood Ratio Statistik

Im folgenden betrachten wir parametrische Modelle Pθ wobei θ ein Parameter der Dimension p

mit wahrem Wert θ0 ist. θ sei der Maximum-Likelihoodschätzer für θ0.

DenitionDie Likelihood-Ratio Statistik ist dann durch

W (θ0) =−2 · log L(θ0)

L(

θ

) = 2[l(θ)−l(θ0)

]

gegeben.

SatzDie Likelihood-Ratio Statistik konvergiert unter den Regularitätsbedingungen in Verteilung gegen eineχ2p verteilte Zufallsvariable:

W (θ0)D−→ χ

2p ,

wenn I (θ0)→ ∞.

Für eindimensionale Verteilungen: χ21

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Pivots

Beobachtung: Die Likelihood-Ratio Statistik ist eine zufälligeFunktion von θ0, deren (asymptotische) Verteilung nicht von θ

abhängt ...

Denition

Ein exaktes Pivot ist eine Funktion der Daten und des wahrenParameters, deren Verteilung bekannt ist, also nicht vomunbekannten wahren Parameter abhängt.Ein näherungsweises Pivot ist eine Funktion der Daten und deswahren Parameters, deren asymptotische Verteilung bekannt ist,also nicht vom unbekannten wahren Parameter abhängt.

Exakte Pivots sind rar, aber asymptotische Pivots sind sehrhäug.Die Likelihood-Ratio Statistik ist also ein asymptotisches Pivot.R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Pivots und Kondenzbereiche

Pivots spielen eine wichtige Rolle bei der Konstruktion vonKondenzintervallen.Vorgehensweise für eindimensionale Parameter, zweiseitiges(1−α)−Kondenzintervall:

Sei T (θ) ein Pivot mit Verteilung P [T (θ0)≤ t] = F (t)

P[t α2≤ T (θ0)≤ t

1− α2

]= 1−α, wobei tγ = F−1(γ)

P[t α2≤ T (θ0)≤ t

1− α2

]= 1−α

Auösen der Ungleichung t α2≤ T (θ0)≤ t

1− α2nach θ gibt

einen Kondenzbereich für θ .

Interpretation: Ein Zufallsexperiment (zB. mit Daten X1, . . . ,Xn)liefert ein Pivot, das die Konstruktion eines Kondenzbereicheserlaubt. Bei oftmaliger Wiederholung des Experimentes, würde derKondenzbereich den wahren Parameter θ0 mit Wahrscheinlichkeit1−α überdecken.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Kondenzintervalle für θ

Die Likelihood-Ratio Statistik ist ein asymptotisches Pivot undkann somit zur Konstruktion von Kondenzintervallen für θ0

verwendet werden.

Wenn asymptotisch W (θ0)∼ χ2p gilt und cp(1−α) das

1−α-Quantil der χ2p Verteilung bezeichnet, dann gilt

P [W (θ0)≤ cp(1−α)] = 1−α

und

K =

θ : l(θ)≥ l(θ)− 1

2cp(1−α)

ist ein 1−α-Kondenzbereich für θ0.

Ein einfacher Test für die Hypothese θ0 ∈ H0: Lehne dieHypothese ab, falls H ∩K = /0.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Parameters of Interest

Bisher haben wir stets alle Komponenten einesParametervektors gleichwertig behandelt.

Nun: θT =(ψT ,λT

), wobei ψ (p×1) die primär

interessanten Parameterkomponenten (parameter odinterest) enthält. λ (q×1) heisst auch nuisance-Parameter.

Das Hauptaugenmerk liegt auf ψ , aber λ kann nichtvermieden werden ...

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Genestete Modelle

Denition

Zwei Modelle heissen genestet, wenn eines der beiden Modelle sichauf das andere reduziert, wenn ein Teil der Parameter xiert wird.

Ein Modell mit Parametern (ψ0,λ )ist in das allgemeinereModell mit Parametern (ψ,λ ) genestet. Die Parameterräumesind dann Ψ0×Λ und Ψ×Λ.

Für das restriktivere Modell bezeichnet λψ0 jenen Wert von λ

der die Log-Likelihood l(ψ0,λ )maximiert. Der Schätzer λ

maximiert die Likelihood über beide Parameterteile: l(ψ, λ ).

Es gilt: l(ψ, λ )≥ l(ψ0, λ )

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Verallgemeinerte Likelihood-Ratio Statistik

Eine natürliche Statistik um zwei genestete Modelle zu vergleichen:

Wp(ψ0) = 2l(ψ, λ )−l(ψ0, λ )

Auch wenn nuisance-Parameter geschätzt werden, folgt dieLikelihood-Ratio Statistik unter den Regularitätsbedingungenasymptotisch einer χ2 Verteilung:

Wp (ψ0)D−→ χ

2p

Die Funktionlp(ψ) =max

λ

l(ψ,λ ) = l(ψ, λψ )

heiÿt Prol-Log-Likelihood.(1−α)Kondenzbereiche für ψ0 sind durch die Menge

ψ : lp(ψ)≥ lp(ψ)− 12cp(1−α)

gegeben.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Modellanpassung

Bisher haben wir stets angenommen, dass das Modell bis aufden Parameterwert bekannt ist.

In der Praxis ist das aber selten der Fall und es ist wichtig, dieModellannahmen zu Überprüfen.

Eine Vorgehensweise ist es, das Untersuchte Modell in eingröÿeres Modell (mit mehr Parametern) zu nesten und zuuntersuchen, ob das gröÿere Modell signikant besser an dieDaten angepasst ist.

Idee: Wir suchen einen möglichst guten t, aber auch mitmöglichst wenig zu schätzenden Parametern!

Durch eine solche Vorgehensweise kann natürlich das RIsikoeines fundamentalen Fehlers in der spezizierten Modellklassenicht beseitigt werden ...

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

Modellanpassung

Eine Vorgehensweise ist wiederum der Vergleich der verallgemeinertenLikelihood-Ratio Statistik.

Alternative: Der Score-Test

ψ hat Dimension p und λ hat Dimension q

Wir schreiben Iψ,λ = E[− ∂ 2l

∂λ∂ψT

], etc.

Idee: Wenn das restringierte Modell stimmt, sollte die maximale

Log-Likelihood l

(ψ0, λψ0

)nicht zu stark in Richtung ψ ansteigen:

Der Gradient ∂l(ψ,λ)∂ψ

, ausgewertet in(

ψ0, λψ0

)sollte klein sein ...

Asymptotisch gilt:∂l

(ψ0,λψ0

)∂ψ

∼ Np

(0, Iψψ − Iψλ I

−1λλ

Iλψ

)Daraus folgt (asymptotisch):

∂l

(ψ0, λψ0

)∂ψT

(Iψψ − Iψλ I

−1λλ

Iλψ

) ∂l

(ψ0, λψ0

)∂ψ

∼ χ2p

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Gliederung

1 Likelihood-Ratio Statistik

2 TesttheorieEinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Testproblem

Statistisches Experiment:(Ω,Σ,(Pθ )

θ∈Θ

)Welches θ?

Ein Testproblem liegt vor, wenn die Menge der möglichenVerteilungen (Pθ )

θ∈Θ in zwei disjunkte Teilmengen P0 undP1 zerfällt und die Frage beantwortet werden soll, ob dietatsächliche Verteilung Pθ0 aus P0 oder aus P1stammt.

P0 heiÿt auch (Null-)Hypothese und P1Alternative oderAlternativhypothese.

Ein Experiment heisst binär, wenn sowohl P0, als auchP1jeweils genau eine Verteilung enthalten: (Ω,Σ,P.Q)

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Erwartungswerte: Schreibweise

Im Folgenden setzen wir stets voraus, dass Pθ eine Dichtebezüglich eines Wahrscheinlichkeitsmaÿes ν besitzt.

EPθ[h (X )] =

∫h(x)dPθ (x) =

∫h(x)fθ (x)dν(x)

Spezialfälle:1 Ω = Rn, ν ist das Lebesguemaÿ, P hat die Lebesguedichte f :∫

h(x)dP(x) =∫h(x)f (x)dx =

∫. . .∫h(x1, . . . ,xn)f (x1, . . . ,xn)dx1 . . .dxn

2 Ω = N0, ν ist ein Zählmaÿ, f (i) eine Zähldichte∫h(x)dP(x) = ∑h(i)f (i)

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Testfunktion

Denition

Eine Abbildung ϕ : Ω→ [0,1] heiÿt Testfunktion oder kurz Test.

Randomisierung

nicht-randomisierte Testfunktion: Ω→0,1randomisierte Testfunktion: Ω→ [0,1]

Interpretation:

ϕ (x) = 0=⇒Entscheidung für Nullhypothese P0

ϕ (x) = 1=⇒Entscheidung für Alternative P1

0< ϕ (x) < 1=⇒Entscheidung für Alternative P1 mitWahrscheinlichkeit ϕ (x)

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Testfehler

DenitionTestfehler:

1 Fehler erster Art: Entscheidung für die Alternative Q (d.h. ϕ (x) = 1), obwohl P die wahreVerteilung ist. Die Wahrscheinlichkeit des Fehlers erster Art ist durch

α (ϕ,P) =∫

ϕ(x)dP(x)

gegeben.

2 Fehler zweiter Art: Entscheidung für die Nullhypothese P (d.h. ϕ (x) = 0), obwohl Q die wahreVerteilung ist. Die Wahrscheinlichkeit des Fehlers erster zweiter Art ist durch

β (ϕ,Q) =∫

(1−ϕ(x))dQ(x)

gegeben.

3 Die Güte (power) eines Tests beträgt

p(ϕ,Q) = 1−β (ϕ,Q) =∫

ϕ(x)dQ(x)

und kann als die Wahrscheinlichkeit, richtigerweise die Alternative anzunehmen interpretiertwerden.

Testkonstruktion: ϕ muss so gewählt werden, dass

1 Die Güte∫

ϕ(x)dQ(x) möglichst groÿ

2 und der Fehler erster Art∫

ϕ(x)dP(x) möglichst klein wird.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Testparadigmen

Es gibt zwei grundlegende Herangehensweisen, um Tests fürdas binäre Testproblem zu konstruieren.

1 Neyman-Pearson Theorie: Ein Signikanzniveau α wird festvorgegeben. Gesucht wird dann ein ϕ mit∫

ϕ(x)dQ(x) →max

s.t.∫

ϕ(x)dP(x) ≤ α

2 Bayes-Testtheorie: Sei 0≤ λ ≤ 1 eine a-priori Gewichtung derbeiden Ziele. Gesucht wird dann ein ϕ mit

(1−λ )∫

ϕ(x)dP(x) + λ

∫(1−ϕ(x))dQ(x)→min

ϕ

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Neyman-Pearson Tests

Sei (Ω,Σ,(P,Q)) ein statistisches Experiment. P habeDichte f und Q habe Dichte g .

Bereiche:

N = x : f (x) = 0 ∧ g(x) > 0M = x : f (x) = 0 ∧ g(x) > 0A = x : f (x) = 0 ∧ g(x) > 0

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Neyman-Pearson Tests

Denition

Nicht randomisierte Neyman-Pearson Tests haben die Form

ϕ(x) = 0 für X ∈M

ϕ(x) = 1 für X ∈ N

ϕ(x) =

1 falls g(x)

f (x) > γ

0 sonstfür X ∈ A und ein γ > 0

N (P,Q) bezeichnet die Familie der Neyman Pearson Tests mit

Hypothesen P und Q.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Neyman Pearson Tests

Satz

Wenn ϕ ∈N (P,Q) ein Neyman-Pearson Test ist, so gilt

1 0≤∫

ϕ dP ≤ 1−P (M)

2 Sei ψ ein beliebiger anderer Test, so gilt∫ϕ dQ−

∫ψ dQ ≥ γ ·

[∫ϕ dP−

∫ψ dP

]3 Q (N)≤

∫ϕ dQ ≤ 1

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Neyman Pearson Tests randomisiert

DenitionRandomisierte Neyman-Pearson Tests haben die Form

ϕ(x) = 0 für X ∈M

ϕ(x) = 1 für X ∈ N

ϕ(x) =

1 falls g(x)

f (x)> γ

b(γ) falls g(x)f (x)

= γ

0 sonstfalls g(x)f (x)

< γ

für X ∈ A und ein γ > 0

Konstruktion von Tests die genau den vorgeschriebenen Fehler 1. ArterreichenKonvexizierung der Menge aller Tests: Wenn ϕ1 und ϕ2 Tests sind, soist auch λϕ1+(1−λ )ϕ2 für 0≤ λ ≤ 1 ein randomisierter Test.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Neyman-Pearson Lemma

Satz

(Lemma) Für jedes 0≤ α ≤ 1−P(M) gibt es einen

(randomisierten) Neyman-Pearson Test zum Niveau (Fehler 1. Art)

α .

Satz

(Neyman-Pearson Lemma) Sei ϕ ein Neyman-Pearson Test und ψ

ein beliebiger anderer Test.

1 Falls∫

ψ dP ≤∫

ϕ dP so folgt∫

ψ dQ ≤∫

ϕ dQ .2 Falls

∫ϕ dQ ≤

∫ψ dQ so folgt

∫ϕ dP ≤

∫ψ dP .

3 Also gilt:∫ϕα dQ = sup

∫ψ dQ : ψ ist ein Test mit

∫ψ dP ≤ α

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Beste Tests

Denition

Ein test ϕ heisst bester Test (most powerful), falls es keinenTest ψ gibt mit ∫

ϕ dP ≥∫

ψ dP

und ∫ϕ dQ ≤

∫ψ dQ.

In diesem Sinne sind alle Neyman-Pearson Tests beste Tests.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Gütefunktion

Verteilung des Likelihoodquotienten unter der Alternative P:

GP (γ) = P

(g(X )

f (X )≤ γ

)

Fehler 1. Art:

1−GP (γ) = α

Verteilung des Likelihoodquotienten unter der Alternative Q:

GQ (γ) = Q

(g(X )

f (X )≤ γ

)

Fehler 2. Art:

GQ (γ)

Gütefunktion

1−GQ (γ)

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Bemerkungen

Neyman-Pearson Tests beruhen auf dem Dichtequotienten T (x) = g(x)f (x)

als Teststatistik. Dieser spielte auch im Likelihood-ratio Kapitel einewirkliche Rolle. Dort ging es allerdings aum asymptotischeTests/Kondenzintervalle, während in der Neyman-Pearson Testtheoriedie Verteilung des Quotienten bei endlichem Stichprobenumfangentscheidend ist.Es gibt zwei Versionen der Ablehnregel:

Ablehnung von H0, falls T (X )> γ(α) mit Randomisierung für denFall T (X ) = γ(α).Ablehnung von H0, falls 1−F (T (X ))< α, wobei F dieVerteilungsfunktion des Dichtequotienten unter P ist. DiesesVorgehen wird insbesondere in statistischen Programmpaketengewählt: Der ausgegebene Wert ist 1−F (T (X )), dieÜberschreitungswahrscheinlichkeit, oder p-Wert des Tests. Dabeiwird zu jedem gegebenen α automatisch der konservative Testausgeführt, es wird keine Randomisierung vorgenommen.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Eziente Randfunktion

Denition

Unter der (ezienten) Randfunktion des Testproblems versteht man

h(α) = sup

∫ϕ dQ :

∫ϕ dP ≤ α

.

Falls P ≈ Q, so gilt h(α) = 1−GQ(G−1P (1−α)

)Satz

(Lemma) Die eziente Randfunktion hat folgende Eigenschaften:

1 h ist strikt monoton wachsend in [0,1−P (M)]

2 h ist nichtnegativ, konkav und stetig

3 h(0) = Q(N) und h(α) = 1 für α ≥ 1−P(M)

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Bayes Test

Sei 0≤ λ ≤ 1 eine a-priori Gewichtung der beiden Ziele.Gesucht wird dann ein ϕ mit

(1−λ )∫

ϕ(x)dP(x) + λ

∫(1−ϕ(x))dQ(x)→min

ϕ(1)

Satz

(Lemma) Die Lösung ϕ∗ des Optimierungsproblems (1) ist durchden Neyman-Pearson Test

ϕ∗(x) =

1 falls g

f > 1−λ

λ

0 falls gf ≤

1−λ

λ

gegeben.

Der Quotient der Kosten übernimmt die Rolle des α-Niveaus.Randomisierung ist für Bayes-Tests nicht notwendig.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Fehlerfunktion

Denition

Die bayesianische Fehlerfunktion k(λ ) eines binären Testproblems(P,Q) ist durch

k(λ ) = infϕ

(1−λ )

∫ϕ(x)dP(x) + λ

∫(1−ϕ(x))dQ(x)

gegeben.

Entspricht dem Bayes-Risiko (Entscheidungstheorie)

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Zusammengesetzte Alternativen

Denition

Ein Testexperiment(Ω,Σ,H0 : .Pθθ∈Θ0

H1 : Qθθ∈Θ1

)wird

als Testexperiment mit zusammengesetzten Alternativenbezeichnet.

Insbesondere: H0 : θ ≤ θ0, H1 : θ > θ0 etc.

Problem: Die Testfehler und alle darauf beruhenden Begriehängen jetzt prinzipiell noch von unterschiedlichen Werten diein Null- und Alternativhypothese möglich sind, ab.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Denitionen

Denitionen

Sei ϕ ein Test für das Problem H0 : .Pθθ∈Θ0H1 : Qθθ∈Θ1

1 ϕ hat Niveau (level) α , falls

maxθ∈Θ0

∫ϕ dPθ = α.

2 Die Gütefunktion (power function) von ϕ ist

θ 7→∫

ϕ dPθ .

3 Ein Test ϕ heiÿt unverfälscht (unbiased), wenn er Niveauα hat und ∫

ϕ dPθ ≥ α, ∀θ ∈Θ1R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Denitionen

DenitionenSei ϕ ein Test für das Problem H0 : .Pθ θ∈Θ0

H1 : Qθ θ∈Θ1

1 ϕ wird als gleichmäÿig bester Test (uniformly most powerful test - UMP) zum Niveau α

bezeichnet, falls ∫ϕ dPθ = sup

ψ

∫ψ dPθ :

∫ψ dPθ ≤ α ∀θ ∈Θ0

∀θ ∈Θ1

2 ϕ heiÿt zulässig (admissible), falls es keinen Test ψ mit Niveau α gibt mit

∫ϕ dPθ ≤

∫ψ dPθ ∀θ ∈Θ1

und ∫ϕ dPθ <

∫ψ dPθ

für mindestens ein θ ∈Θ1.

3 ϕ heiÿt Maximin-Test, falls

infθ∈Θ1

∫ϕ dQθ

= sup

ϕ

inf

θ∈Θ1

∫ϕ dPθ

:∫

ϕ dPθ′ ≤ α ∀θ

′∈Θ0

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Familien mit monotonem Dichtequotienten

Denition

Sei (Pθ )θ∈[a,b] eine Familie von Verteilungen mit Dichte (WF) fθ .

Solch eine Familie hat monotonen Dichtequotienten (Monotonelikelihood ratio), falls eine Statistik S(x) und für θ0 < θ1 einestreng monoton wachsende Funktion x 7→ hθ0,θ1(x) gibt, sodaÿ

fθ1(x)

fθ0(x)= hθ0,θ1(S(x)).

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Familien mit monotonem Dichtequotienten

Satz

Sei (Pθ )θ∈[a,b] eine Familie mit monotonem Dichtequotienten. Für dasTestproblem

H0 : θ ≤ θ0 vsH1 : θ > θ0

gibt es einen gleichmäÿig besten (UMP) Test ϕ∗. Dieser ist durch denNeyman-Pearson test für das Problem

H0 : θ = θ0 vsH1 : θ = θ1

für irgendein θ1 > θ0 gegeben. Der resultierendeTest hat - mit S(X ) ausDenition (20) - die Form

ϕ(x) =

1 S(x)> γ∗

b S(x) = γ∗

0 S(x)< γ∗.

R. Kovacevic Mathematische Statistik Teil III Testen

Likelihood-Ratio StatistikTesttheorie

EinführungBinäre TestsNeyman-Pearson TheorieBayesianische TesttheorieZusammengesetzte AlternativenFamilien mit monotonem Dichtequotienten

Einparametrige Exponentialfamilien

Satz

Einparametrige Exponentialfamilien mit suzienter Statistik T (X )sind Familien mit monotonem Dichtequotienten. Der UMP Test für

H0 : θ ≤ θ0 vsH1 : θ > θ0 ist durch

ϕ(x)

1 T (x) > γ∗

b T (x) = γ∗

0 T (x) < γ∗.

Beispiel

Seien X1, . . . ,Xni.i.d. N(θ ,σ2

). Teste

H0 : θ ≤ θ0 vsH1 : θ > θ0.

R. Kovacevic Mathematische Statistik Teil III Testen

Anhang

Beste unverzerrte Tests

Für zweiseitige Tests H0 : θ = θ0 vsH1 : θ 6= θ0 existieren keine gleichmäÿig besten Tests.Unter Umständen können beste unverzerrte Tests konstruiert werden.

SatzSei fθ eine einparametrige (θ) Exponentialfamilie mit suzienter Statistik T (X ). Für das Testproblem

H0 : θ = θ0 vsH1 : θ 6= θ0

gibt es einen gleichmäÿig besten unverfälschten test (uniformly most powerful unbiased test, UMP),der durch durch eine Testfunktion der Form

ϕ(x)

1 T (x) > γ2 ∨T (x) < γ1

b∗1

T (x) = γ2

b∗2

T (x) = γ1

0 γ1 <T (x) < γ2

.

gegeben ist. Die Konstanten γ1 ,γ2 bestimmen sich aus den Gleichungen

∫ϕ(x)dPϑ0

(x) = α ,∫T (x)ϕ(x)dPϑ0

(x) = α

∫T (x)dPϑ0

(x)

R. Kovacevic Mathematische Statistik Teil III Testen

Anhang Weiterführende Literatur

Weiterführende Literatur I

R. Kovacevic Mathematische Statistik Teil III Testen