Varianzanalyse – ANOVA

Johannes Hain

Lehrstuhl fur Mathematik VIII – Statistik

1 / 23

Einfaktorielle Varianzanalyse (ANOVA)

Bisher war man lediglich in der Lage, mit dem t-Test einenMittelwertsvergleich fur zwei unabhangige Stichprobendurchzufuhren.

Hat man nun aber mehr als zwei Stichproben vorliegen, stellt dert-Test nicht mehr die geeignete Auswertungsmoglichkeit dar. Indiesem Fall muss es also noch eine andere Moglichkeit derstatistischen Auswertung geben – die Varianzanalyse (Analyis ofVariance).

Gegeben sind also I > 2 Stichproben xi ,1, . . . , xi ,ni , i = 1, . . . , I ,wobei alle auftretenden Zufallsvariablen voneinander unabhangigsind. Ferner sei der Gesamtumfang n der Stichprobe definiert durchn := n1 + · · ·+ nI .

2 / 23

Einfaktorielle Varianzanalyse (ANOVA)

Beispiel: Vier verschiede Unterrichtsarten sollen untersuchtwerden. Dazu werden 32 Personen zufallig auf vier Gruppen a 8Personen aufgeteilt. Am Ende des Kurses wird eineAbschlussprufung durchgefuhrt und die Punkte jedes Teilnehmersdokumentiert:

Gruppe 1 Gruppe 2 Gruppe 3 Gruppe 4

16 16 2 518 12 10 820 10 9 815 14 10 1120 18 11 115 15 9 923 12 10 519 13 9 9

18.25 13.75 8.75 7.00

Gibt es signifikante Unterschiede zwischen den Gruppen?3 / 23

Einfaktorielle Varianzanalyse (ANOVA)

Die unabhangige Variable, die in I Kategorien vorliegt, nennt manauch Faktor, die einzelnen Kategorien Faktorstufen. Da man denEinfluss von nur einem Faktor auf die abhangige Variableuntersucht, spricht man auch von einer einfaktoriellenVarianzanalyse.

Die zu untersuchende Nullhypothese lautet:

H0 : µ1 = . . . = µI ,

also dass keine Unterschiede in den Mittelwerten der IFaktorstufen vorliegen.

4 / 23

Einfaktorielle Varianzanalyse (ANOVA)

Um die Ergebnisse einer ANOVA verwenden zu konnen, mussen diefolgenden drei Voraussetzungen fur das obige Modell erfullt sein:

Voraussetzungen der ANOVA

1 Die Stichproben mussen unabhangig voneinander erhobenworden sein

2 Die i -te Stichprobe (i = 1, . . . , I ) folgt einerN(µi , σ

2)-Verteilung

3 Die Varianz ist in allen I Stichproben gleich(Varianzhomogenitat)

=⇒ Diese Voraussetzungen sind zu uberprufen!!

5 / 23

Einfaktorielle Varianzanalyse (ANOVA)

Uberprufung der Normalverteilungsannahme bei der ANOVA

→ Analysieren

→ Deskriptive Statistiken

→ Explorative Datenanalyse. . .

→ Ziehe die zu untersuchende Variable in das Feld Abhangige

Variablen, die Gruppierungsvariable in das Feld Faktorenliste

→ Wahle das Feld Diagramme aus und klicke dort das FeldNormalverteilungsdiagramm mit Tests an

Der Test zur Voraussetzung der Varianzhomogenitat wird direktbei der Durchfuhrung der ANOVA mit ausgegeben.

6 / 23

Einfaktorielle Varianzanalyse (ANOVA)Grundlegende Idee

Sei xij die j-te Beobachtung der i -ten Stichprobe und x dasGesamtmittel, sowie xi das i-te Gruppenmittel. Dann gilt:

xij = x + (xi − x)︸ ︷︷ ︸

Abweichung Gruppenmittel

vom Gesamtmittel

+ (xij − xi)︸ ︷︷ ︸

Abweichung Beobachtung

vom Gruppenmittel

Gilt H0 nicht, wird die Abweichung der Gruppenmittel zumGesamtmittel hoch sein im Vergleich zur Abweichung derBeobachtungen zum Gruppenmittel.

7 / 23

Einfaktorielle Varianzanalyse (ANOVA)Grundlegende Idee

Auf diesen Uberlegungen basiert auch die Teststatistik

F0,α :=1

I−1 · SSA1

n−1 · SSR=

1I−1 · J

∑Ji=1(xi − x)2

1n−1 ·

∑Ii=1

∑Jj=1(xij − xi )2

.

Je weiter die Mittelwerte der einzelnen Faktorstufen vomGesamtmittel abweichen, desto großer wird der Wert fur SSA, imVergleich zum Wert fur SSR . Unter H0 sollte also der Quotient SSA

SSRnahe bei Null liegen. Je großer SSA wird – und somit auch jegroßer der Quotient wird – desto unwahrscheinlicher ist dieGultigkeit von H0. Bei zu großen Werten von F wird H0 verworfen.

8 / 23

Einfaktorielle Varianzanalyse (ANOVA)Grundlegende Idee

SST º SSR SST à SSR

9 / 23

Einfaktorielle Varianzanalyse (ANOVA)Varianzhomogenitat

Einfaktorielle ANOVA in SPSS

→ Analysieren

→ Mittelwerte vergleichen

→ Einfaktorielle ANOVA. . .

→ Ziehe die zu untersuchende Variable in das Feld Abhangige

Variablen und die Gruppierungsvariable in das Feld Faktor

→ Klicke zusatzlich das Feld Optionen an und aktiviere das FeldTest auf Homogenitat der Varianzen um die Voraussetzungder Varianzhomogenitat mit dem Levene-Test zu uberprufen.

10 / 23

Einfaktorielle Varianzanalyse (ANOVA)Varianzheterogenitat

Ist der p-Wert des Levene-Tests kleiner als 0.05, wird dieVoraussetzung der Varianzgleichheit in den Stichproben verworfen.In diesem Fall muss man, wie beim t-Test, auf einen bedingtenTest ausweichen (Behrens-Fisher-Problem), den Welch-Test.

Welch-Test in SPSS

→ Analysieren

→ Mittelwerte vergleichen

→ Einfaktorielle ANOVA. . .

→ Ziehe die zu untersuchende Variable in das Feld Abhangige

Variablen und die Gruppierungsvariable in das Feld Faktor

→ Klicke zusatzlich das Feld Optionen an und aktiviere das FeldWelch um den Welch-Test durchzufuhren.

11 / 23

ANOVA – Posthoc-Analyse

Zusammenfassung ANOVA

Der durchgefuhrte Test (F -Test) bei der Varianzanalyse ist einsogenannter globaler Test (oder auch Omnibustest).

Es wird also nur uberpruft, ob uberhaupt ein Unterschied zwischenden einzelnen Faktorstufen vorliegt, aber nicht wo eventuellvorhandene Unterschiede liegen.

=⇒ Wie geht es also nach der ANOVA weiter?

bzw.

−→ Wie findet man bei einem signifikanten globalen Testergebnisauch noch heraus, wo genau die Unterschiede zwischen denFaktorstufen liegen?

12 / 23

ANOVA – Posthoc-Analyse

Die intuitive Herangehensweise an dieses Thema lautet:

−→ Warum macht man nicht mit jeder Faktorkombination einent-Tests?

Antwort:

Mit dieser Vorgehensweise steigt der Fehler 1. Art sehr schnell an!

Hat man z.B. 5 Faktorstufen, gibt es 10Kombinationsmoglichkeiten. Werden diese 10 t-Tests durchgefuhrtsteigt die Fehlerwahrscheinlichkeit auf uber 40%!

13 / 23

ANOVA – Posthoc-Analyse

Die Losung dieses Problems stellen die sogenanntenPosthoc-Tests dar:

Definition: Posthoc-Tests

Posthoc-Analysen sind paarweise Vergleichsprozeduren, mitdenen nach einem signifikanten Ergebnis des globalen Tests durchsog. multiple Mittelwertsvergleiche nach signifikantenUnterschieden zwischen den einzelnen Faktorstufen gesucht werdenkann.

Achtung:

Posthoc-Verfahren gibt es in der Statistik sehr viele. Im Folgendensoll jedoch nur der sog. Tukey-Test vorgestellt werden. DerTukey-Test ahnelt dem t-Test, hat aber die besondere Eigenschaft,dass er das Fehlerniveau konstant nahe 5% halt.

14 / 23

ANOVA – Posthoc-Analyse

Tukey-Test SPSS

→ Analysieren

→ Mittelwerte vergleichen

→ Einfaktorielle ANOVA. . .

→ Ziehe die zu untersuchende Variable in das Feld Abhangige

Variablen und die Gruppierungsvariable in das Feld Faktor

→ Klicke den Schalter Post Hoc an und wahle dort im FeldVarianz-Gleichheit angenommen die Option Tukey aus

15 / 23

Der Kruskal-Wallis-Test als nichtparametrische Altervative

Folgen die untersuchten Daten keiner Normalverteilung, stellt dieANOVA nicht das geeignete Auswertungsverfahren dar.

Eine nichtparametrische Alternative zur Varianzanalyse stelltder Kruskal-Wallis-Test dar, der kaum Voraussetzungen an dasModell fordert. Er kann als eine Verallgemeinerung desMann-Whitney-U-Tests angesehen werden.

Genau wie der U-Test betrachtet auch der Kruskal-Wallis-Testnicht konkreten Realisierungen xi ,j selbst, sondern nur ihrejeweiligen Range Ri ,j .

16 / 23

Der Kruskal-Wallis-Test als nichtparametrische Altervative

Voraussetzungen

Gegeben sind I > 2 Stichproben. Die ZufallsvariablenXi ,j , j = 1, . . . , ni , der i -ten Stichprobe besitzen die gleiche stetigeVerteilung, i = 1, . . . , I . Es sei n := n1 + . . .+ nI . Ferner sind alleZufallsvariablen unabhangig voneinander.

Es soll nun die folgende Nullhypothese untersucht werden:

H0 : Die I Stichproben entstammen der gleichen Grundgesamtheit

Gilt H0 dann bedeutet dies, dass dann insbesondere auch ihreErwartungswerte ubereinstimmen.

17 / 23

Der Kruskal-Wallis-Test als nichtparametrische AltervativeVorgehen beim Kruskal-Wallis-Test

Alle Beobachtungen werden zu einer Stichprobe zusammengefasst.Diese wird der Große nach aufsteigend angeordnet und jedem Wertxi ,j wird sein entsprechender (zufalliger) Rang Ri ,j zugeordnet. Mitdem Rang-Gesamtmittel R und dem i-ten Rang-Gruppenmittel

Ri bildet man die Teststatistik

SRSA =J∑

i=1

J(Ri − R)2.

Unterscheiden sich die Gruppen stark voneinander, ist SRSAtendenziell groß. Je großer SRSA, desto unwahrscheinlicher wirddamit auch H0.

18 / 23

Der Kruskal-Wallis-Test als nichtparametrische Altervative

Der Kruskal-Wallis-Test ist kein exakter Test – unter H0 ist dieTeststatistik

12

n(n + 1)SRSA

approximativ χ2-verteilt mit I − 1 Freiheitsgraden.

Damit die Naherung hinreichend gute Ergebnisse liefert sollten dieStichprobenumfange wieder groß genug sein:

Faustregeln fur den Kruskal-Wallis-Test

Falls I = 3: n1, n2, n3 ≥ 5.

Falls I ≥ 4: n1, . . . , nI ≥ 4.

19 / 23

Der Kruskal-Wallis-Test als nichtparametrische AltervativeEntweder . . .

Der Kruskal-Wallis-Test in SPSS

→ Analysieren

→ Nichtparametrische Tests

→ Unabhangige Stichproben. . .

→ Aktiviere das Feld Felder

→ Ubertrage die unabhangigen Variablen in das Feld Testfelder

→ Ubertrage die abhangige Variable in das Feld Gruppen undbestatige mit Ausfuhren

Bei diesem Analyseweg wird im Output-Viewer das Testergebnis imsog. Model Viewer angezeigt. Dort findet man auch unter

”Paarweise Vergleiche“ Posthoc-Analysen.

20 / 23

Der Kruskal-Wallis-Test als nichtparametrische Altervativeoder . . .

Der Kruskal-Wallis-Test in SPSS

→ Analysieren

→ Nichtparametrische Tests

→ Alte Dialogfelder

→ K unabhangige Stichproben. . .

→ Ziehe die zu untersuchende Variable in das Feld Testvariablen

und die Gruppierungsvariable in das Feld Gruppenvariable

→ Klicke den Schalter Bereich definieren an und bestimme dortin den Feldern Minimum und Maximum den gewunschtenUntersuchungsbereich der Gruppierungsvariable

21 / 23

ANOVAAufgaben I

Cholesterin.sav

Der Datensatz enthalt den Blut-Cholesterin-Spiegel vonProbanden, die einem deutlich erhohten Wert (>250 mg/dl)aufgefallen sind. Seit diesem Befund erfuhren die Testpersonen eineder folgenden drei Behandlungsarten: kein Medikament (0),Medikament A oder Medikament B. Aufgezeichnet werden dieCholesterinwerte einen bestimmten Zeitraum nach Gabe derMedikamente.Verringert die Gabe eines Medikaments den Cholesterin-Wert imVergleich zur Kontrolle? Wirkt eines der beiden Medikamentebesser?

22 / 23

ANOVAAufgaben II

ph.sav

Der Datensatz untersucht (unter anderem) den Einfluss desFaktors Beregnung (sauer, normal, keine) auf den pH-Wert vonWaldboden.Gibt es (signifikante) Unterschiede zwischen den dreiBeregnungsarten bezuglich des pH-Werts der Waldbodenproben?Falls ja, wo liegen die Unterschiede?

Wein.sav

Zur Pramierung von Weinen werden diese von Prufern bewertet. Jehoher die Bewertung, desto besser die Qualitat des Weins. Es wirdvermutet, dass die einzelnen Weinprufer unterschiedlicheWertungen abgeben.Untersuche ob es Prufer gibt, die die Weine (signifikant) andersbewerten als andere Prufer und identifiziere diese mit einemPosthoc-Testverfahren.

23 / 23