View
0
Download
0
Category
Preview:
Citation preview
Proportions-Tests
Proportions Tests
● Proportions Test können in zwei Fällen benutzt werden Vergleich von beobachteten vs. erwarteten Proportionen
Test der Unabhängigkeit von 2 Faktoren
● kann auch zum Vergleich von 2 Populationen benutzt werden(Goodness-of-fit)
● Test : Fishers Exact Test : exakter Test für alle Probengrößen, wird meistens für
kleine Anzahlen benutzt
Pearson χ2 – Test : gilt für große Anzahlen (>5 in jeder Kategorie)
für große beobachtete Anzahlen sind beide Tests gleich
Fishers Exact Test
● Testet ob 2 Eigenschaften unabhängig voneinander sind.
● 2 x 2 Kontingenztafel
iPhone kein iPhone
Damen 4 1 5
Herren 2 3 5
6 4 10
Wieviele Permutationen von 10 Elementen ergeben solche oder grössere/kleinere Verhältnisse und erhalten die Randsummen ?
Verhältniss iPhone/kein Iphone ist● 4/1 = 4 bei Damen● 2/3 bei Herren
→ Quotenverhältnis : 4/1 / 2/3 = 6(„odds-ratio“)
Fishers Exact Test
iPhone kein iPhone
Damen 4 1 5
Herren 2 3 5
6 4 10
iPhone kein iPhone
Damen 5 0 5
Herren 1 4 5
6 4 10
iPhone kein iPhone
Damen 3 2 5
Herren 3 2 5
6 4 10
Fishers Exact Test
iPhone kein iPhone
Damen 2 3 5
Herren 4 1 5
6 4 10
iPhone kein iPhone
Damen 1 4 5
Herren 5 0 5
6 4 10
Der Fischer Test untersucht alle möglichen Permutationender Daten und bestimmt wie oft die beobachtete Kontingenztabelle auftritt → exakter Test
Beobachtet BeobachtetiPhone kein iPhone iPhone kein iPhone
Damen 14 30 44 Damen 31.82% 68.18% 100.00%Herren 5 20 25 Herren 20.00% 80.00% 100.00%
19 50 69 27.54% 72.46% 100.00%
H0iPhone kein iPhone
Damen 27.54% 72.46% 100.00%Herren 27.54% 72.46% 100.00%
27.54% 72.46% 100.00%
Fishers Exact Test
H0: Quotenverhältnis (odds-ratio=OR) ist 1 :
Fisher's Exact Test in R
> fisher.test(table(smartPhone))
Fisher's Exact Test for Count
Data
data: table(smartPhone)
p-value = 0.4027
alternative hypothesis: true odds ratio
is not equal to 1
95 percent confidence interval:
0.5216129 7.6273675
sample estimates:
odds ratio
1.850454
BeobachtetiPhone kein iPhone
Damen 14 30 44Herren 5 20 25
19 50 69
H0 : das Verhältnis iPhone/kein iPhoneist unabhängig vom Geschlecht
→ kann nicht verworfen werden...
Jahrgang 2013/2014
Fisher's Exact Test
Nebenwirkung Nebenwirkung
Leicht Mittel Stark Leicht Mittel Stark
Drug A 25 11 13 49 Drug A 51.02% 22.45% 26.53% 100.00%
Drug B 9 14 11 34 Drug B 26.47% 41.18% 32.35% 100.00%
34 25 24 83 40.96% 30.12% 28.92% 100.00%
H0Nebenwirkung
Leicht Mittel Stark
Drug A 40.96% 30.12% 28.92% 100.00%
Drug B 40.96% 30.12% 28.92% 100.00%
40.96% 30.12% 28.92% 100.00%
> table(sideeffect)
SideEffect
Drug Leicht Mittel Schwer
A 25 11 13
B 9 14 11
> fisher.test(table(sideeffect))
Fisher's Exact Test for Count Data
data: table(sideeffect)
p-value = 0.06375
alternative hypothesis: two.sided
Für Kontingenztabellen größerals 2x2 wird kein OR gerechnet
Unterscheiden sich 2 Medikamente hinsichtlich der Nebeneffekte ?
Chi-Quadrat Tests
● der chi-Quadrat Test vergleicht beobachtete (O) mit erwarteter (E)Anzahl von Ereignissen (keine Proportionen !!)
● unter H0 folgt die Verteilung der chi2 Verteilung mit m-1 Freiheitsgraden für m unabhängige Beobachtungen.
● Anwendungsbereich :
Oi ≥ 2
80% der Beobachtungen sollten Oi ≥ 5
Chi-Quadrat Tests : Unabhängigkeitstest
Beobachtet BeobachtetiPhone kein iPhone iPhone kein iPhone
Damen 14 30 44 Damen 31.82% 68.18% 100.00%Herren 5 20 25 Herren 20.00% 80.00% 100.00%
19 50 69 27.54% 72.46% 100.00%
H0 H0iPhone kein iPhone iPhone kein iPhone
Damen 12.1 31.9 44 Damen 27.54% 72.46% 100.00%Herren 6.9 18.1 25 Herren 27.54% 72.46% 100.00%
19 50 69 27.54% 72.46% 100.00%
Achtung : Anzahl der Freiheitsgrade ist (Reihen -1) x (Spalten -1)
Tabelle der kritischen Werte chi2-Test
Chi2 Verteilung mit 5 (blau)Und 10 (rot) Freiheitsgraden
Chi-Quadrat Test
Nebenwirkung Nebenwirkung
Leicht Mittel Stark Leicht Mittel Stark
Drug A 25 11 13 49 Drug A 51.02% 22.45% 26.53% 100.00%
Drug B 9 14 11 34 Drug B 26.47% 41.18% 32.35% 100.00%
34 25 24 83 40.96% 30.12% 28.92% 100.00%
H0Nebenwirkung
Leicht Mittel Stark
Drug A 40.96% 30.12% 28.92% 100.00%
Drug B 40.96% 30.12% 28.92% 100.00%
40.96% 30.12% 28.92% 100.00%
Unterscheiden sich 2 Medikamente hinsichtlich der Nebeneffekte ?
> table(sideeffect) SideEffectDrug Leicht Mittel Schwer A 25 11 13 B 9 14 11
> chisq.test(table(sideeffect)) Pearson's Chi-squared testdata: table(sideeffect) X-squared = 5.5257, df = 2, p-value = 0.06311
> fisher.test(table(sideeffect)) Fisher's Exact Test for Count Datadata: table(sideeffect) p-value = 0.06375alternative hypothesis: two.sided
df = (3-1) x (2-1) = 2
Goodness of fit
● Weicht eine Verteilung signifikant von einer theoretischenVerteilung (hier : Gleichverteilung?
> chisq.test(bin.t)
Chi-squared test for
given probabilities
data: bin.t
X-squared = 83.344, df = 9, p-
value = 3.491e-14
> chisq.test(bin.w)
Chi-squared test for
given probabilities
data: bin.w
X-squared = 13.85, df = 9, p-
value = 0.1278
signifikante Abweichung keine signifikante Abweichung
10 unabhängigeBeobachtungen→ df = 10-1=9
Multiples Testen
Russisches Roulette:wenn 1 von 12 Kugelkammern eine Kugel enthält ...
… was ist die Wahrscheinlichkeit, daß in einer 10-köpfigen Gruppe jemanddieses Spiel zum letzten Mal spielt ?
Genexpressions Daten
10000 Gene p-value = 0.001389
p-value = 0.00271
445 signifikant diff. exprimierte
Gene alpha = 0.05
Welche Gene sind differenziel exprimiert zwischen den beiden Bedingungen ?
diff. Expression wird mit einemt-Test bestimmt(alpha = 0.05)
H0 : kein Unterschiedzwischen den MittelwertenDisease / Healthy
„ Ein blindes Huhnfindet auch mal ein Korn“
alles rein zufällige Daten…H0 gilt in ALLEN 10.000 Fällen→ alle positiven sind Falsch-Positive !
X <- matrix(rnorm(n=100000,sd=3),nrow=10000)
Multiple Testen
● der p-Wert gibt an, mit welcherWahrscheinlichkeit man unter H0 einvergleichbares/extremeres Ergebnisbekommen hätte.
● α ist das Risiko, zu unrecht H0 zuverwerfen (falsch Positiv oder Typ IFehler)
● umgekehrt ist 1-α die Wahrscheinlichkeit,keinen Typ I Fehler zu begehen.
● bei mehreren Tests :
2 Tests: (1-α)² → pTypI = 1-(1-α)²
k Tests : (1-α)k
→ pTypI = 1-(1-α)k
10000 Tests : → p = 1-1e-223 = 1 !!!
Bei mehreren unabhängigen Tests steigtdie Wahrscheinlichkeit einen Typ I Fehler zubegehen.
Achtung Verwechslungsgefahr !
● 1-(1-α)k ist dieWahrscheinlichkeit, daß unterH0 irgend einer der k Testsp<α hat→ Family-Wise error rate
● α ist die Falsch positiv Rate d.h. Anteil der Tests die bei H0 trotzdem als positiv bewertetwerden
Wahrscheinlichkeit, mindestens einen Punkt links der Linie zu bekommen
Anteil der Punktelinks der Linie
Fehlerquellen
H0 gilt( = negative)
H0 gilt nicht( = positive)
H0 wirdverworfen
(p < α)V S
R(= positiv
vorhergesagt)
H0 wird nichtverworfen
(p > α)U T
m-R(= negativ
vorhergesagt)
m0 m-m0 m
V = Typ I Fehler, Falsch-PositivT = Typ II Fehler, Falsch-Negativ
Fehlerquellen
H0 gilt( = negative)
H0 gilt nicht( = positive)
H0 wirdverworfen
(p < α)445 0
445(= positiv
vorhergesagt)
H0 wird nichtverworfen
(p > α)9.555 0
9.555(= negativ
vorhergesagt)
10.000 0 10.000
V = Typ I FehlerT = Typ II Fehler
Kontrolle der Typ I Fehler
● Gesamtheit der durchgeführten Testswird als „Familie“ bezeichnet : m Tests
● Wahrscheinlichkeit eines Typ I Fehlersin allen Test = Family Wise Error Rate :
FWER = P(V ≥ 1)
● Anteil der Falsch Positiven unter denNegativen= False Positive Rate
FPR = V / m0
● Anteil der falsch-positiven in densignifikanten (bei denen H0 verworfenwird)= False Discovery Rate
FDR = V / R
H0 giltH0 giltnicht
H0 wirdverworfen
V S R
H0 wirdnicht
verworfenU T m-R
m0 m-m0 m
Bonferroni Korrektur
● Kontrolle der FWER
● das Signifikanzniveau α wirdangepasst an die Anzahl von Tests
● bei N Tests :α → α / Np → padj = min(Np,1)
● Wahrscheinlichkeit einen Typ I Fehlerzu begehen bleibt konstant aufNiveau α
● sehr stringente Korrektur ! Erhöhtes Typ II Fehler Risiko !!
● z.B. Genexpressions Daten : 10.000Gene werde auf diff. Expressiongetestet:α = 0.05 → α/N = 5e-6
False Discovery Rate
● Bei einer großen Anzahl von Tests (typ. bei Genomdaten) ist dieBonferroni Korrektur zu stringent
● zu viele Typ II ( = falsch negative) Fehler !
● man kann eine gewisse Anzahl von FP tolerieren, solange derenAnteil kontrolliert wird : False Discovery Rate
● False Discovery Rate = Anteil der FP in den von mir als positivegewerteten Ergebnisse
● FDR = 10% : 10% der von mir als positiv betrachteten Ereignisse (H0 verworfen) sind falsch Positive.
Benjamini Hochberg
● Kontrolle des FDR Niveaus
● Prozedur alle p-Werte werden in
steigender Reihenfolge geordnetp1 ≤ p2 … ≤ pN
man bestimmt den höchstenRang j bei dem
pj ≤ δ j/N
alle Tests 1,2,...j werden alssignifikant erklärt
Beispiel bei FDR δ = 10%
Von den 4 signifikanten Tests sind 10% falsch Positive
q-Wert = N pj / j
Pval threshold Pass Qval
1 0.000853528 0.01 TRUE 0.00853528
2 0.004802111 0.02 TRUE 0.02401055
3 0.024180546 0.03 TRUE 0.08060182
4 0.030346760 0.04 TRUE 0.07586690
5 0.091403930 0.05 FALSE 0.18280786
6 0.127264255 0.06 FALSE 0.21210709
7 0.199171664 0.07 FALSE 0.28453095
8 0.202888447 0.08 FALSE 0.25361056
9 0.719389689 0.09 FALSE 0.79932188
10 0.910390445 0.10 FALSE 0.91039045
q-Wert = kleinste FDR δ, bei der dieser p-Wertsignifikant ist
Vergleich der multiple Testing Prozeduren
● Wir simulieren das Ergebnis von 1000 Tests (t-test) Bei 900 stimmt H0 (kein Unterschied zwischen den Mittelwerten der untersuchten
Proben)
Bei 100 stimmt H0 NICHT (es gibt einen signifikanten Unterschied)
● Wir vergleichen Alpha = 5%
Bonferroni Korrektur mit alpha = 5%/1000 = 0.005 %
Benjamini-Hochberg FDR = 5%
● FPR = falsch Positive / Negative
● FNR = falsch Negative / Positive
● FDR = falsch Positive / (Wahre Positive + falsch Positive)
Vergleich der multiple Testing Prozeduren
● Bonferroni Korrektur : sehr stringent → hoher Anteil an Typ IIFehlern (falsch negative)
● Benjamini-Hochberg : kontrolliert die FDR auf ein bestimmtesLevel; reduziert die Anzahl der falsch negativen
H0 gilt (900 Tests) H0 gilt nicht (100 Tests)
FPR FNR FDR
Alpha = 0.05 44 856 84 16
1 899 18 82
2 898 46 54
H0 verworfen(falsch positive)
H0 nicht verworfen(wahre negative)
H0 verworfen(wahre positive)
H0 nicht verworfen(falsche negative)
44 / (44+856) =4.8 %
16 / (16+84) =16%
44 / (44+84)= 34%
Bonferroni : alpha =0.05/1000
1 / (899+1) =0.11 %
82 / (82+18) =82%
1 / (1 + 18) =5 %
Benjamini-HochbergFDR = 5 %
2/(2+898) =0.2%
54/(54+46) =54 %
2 / (2+46) =4.1%
Beispiel: keine Korrektur
## Signifikanzniveau
> alpha <- 0.05
## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3
> x <- c(rnorm(900),rnorm(100,mean=3))
## Berechnung der p-Werte nach t.test ob m=0
> p <- pnorm(x,lower.tail=F)
## Anzahl der Tests, bei denen H0 verworfen wird
> test <- p < alpha
> table(test[1:900])
TRUE FALSE
44 856
> table(test[901:1000])
TRUE FALSE
84 16
hier gilt H0
hier gilt H0 nicht
falsch PositiveFPR = 44/900 = 4.8%
falsch Negative; FNR = 16/100 = 16%
wahre Negative
wahre Positive
Beispiel : Bonferroni Korrektur
## Signifikanzniveau Bonferroni
> alpha <- 0.05 / 1000
## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3
> x <- c(rnorm(900),rnorm(100,mean=3))
## Berechnung der p-Werte nach t.test ob m=0
> p <- pnorm(x,lower.tail=F)
## Anzahl der Tests, bei denen H0 verworfen wird
> test <- p < alpha
> table(test[1:900])
TRUE FALSE
1 899
> table(test[901:1000])
TRUE FALSE
18 82
hier gilt H0
hier gilt H0 nicht
falsch PositiveFPR = 1/900= 0.11%
falsch Negative; FNR = 82/100 = 82% !!!
wahre Negative
wahre Positive
Beispiel : FDR Prozedur## FDR
> fdr <- 0.05
## 900 Daten mit Mittelw. 0, 100 mit Mittelw. 3
> x <- c(rnorm(900),rnorm(100,mean=3))
## Berechnung der p-Werte nach t.test ob m=0
> p <- pnorm(x,lower.tail=F)
## Anzahl der Tests, bei denen H0 verworfen wird
> test <- p < max.p
> table(test[1:900])
TRUE FALSE
2 898
> table(test[901:1000])
TRUE FALSE
46 54
hier gilt H0
hier gilt H0 nicht
falsch PositiveFPR = 2/900 = 0.2%
falsch Negative; FNR = 54/100 = 54%
wahre Negative
wahre Positive
FDR = 2/(46+2) = 4.1%
Recommended