ReliabilitätsanalysenReliabilitätsanalysen

Seminar: Testtheorie und -konstruktion

Dozent: R. Leonhart

Referentinnen: Anne-Maria Müller, Michaela Nagl

24. Mai 2006

GliederungGliederung

• A) Theoretischer Hintergrund• 1. Einführung• 2. Methoden zur Reliabilitätsbestimmung• 3. Formeln zur Schätzung der Reliabilität• 4. Minderungskorrekturen• 5. Faktoren, die die Reliabilität beeinflussen

• B) Durchführung mit SPSS

A)A) Theoretischer Hintergrund – Theoretischer Hintergrund – 1. Einführung1. Einführung

• Reliabilität: Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte

• Äquivalenz: Gleichwertigkeit von Messungen

– Können variieren bezüglich:1. Mittelwert2. Standardabweichung3. Reliabilität

1. Einführung1. Einführung

• Arten der Äquivalenz von Messungen– Streng parallel

• T` = T und σ²`(E) = σ²(E)

– Im Wesentlichen parallel• T` = T + γ und σ²`(E) = σ²(E)

– Tau-äquivalent• T` = T

– Im Wesentlichen tau-äquivalent• T` = T + γ

– Kongenerisch• T`= β * T + γ

T`= wahrer Wert in Test A

T = wahrer Wert in Test B

σ²`(E) = Fehlervarianz in Test A

σ²(E) = Fehlervarianz in Test B

γ = additive Konstante

β = multiplikative Konstante

2. Methoden der 2. Methoden der ReliabilitätsbestimmungReliabilitätsbestimmung

• Testhalbierungsmethode

• Innere (interne) Konsistenz

• Retestmethode

• Paralleltestmethode

2. Methoden der 2. Methoden der ReliabilitätsbestimmungReliabilitätsbestimmung

• Testhalbierung– Einmalige Durchführung eines Tests an einer

Stichprobe– Aufteilung in zwei oder mehrere Teile– Berechnung: Korrelation der Rohwerte der

Testhälften– Aufteilungstechniken:

• Odd even• Zufällige Aufteilung• Itemzwillinge• Aufteilung nach Testzeit

2. Methoden der 2. Methoden der ReliabilitätsbestimmungReliabilitätsbestimmung

• Anwendung der Testhalbierungsmethode:– Schnelligkeitstests

• Ermüdungseffekte verteilen sich gleichmäßig auf die Testteile

• Erhöhung der Reliabilität

– Bei gleichem Messanspruch: • Beide Testteile erfassen das gleiche Merkmal

2. Methoden der 2. Methoden der ReliabilitätsbestimmungReliabilitätsbestimmung

• Innere (interne) Konsistenz:– An einer Stichprobe durchgeführt– Überprüfung des inneren Zusammenhangs– Tests in so viele Teile zerlegt wie Items– Berechnung:

• Itemstreuung• Korrelation• Kovarianzen

– Anwendung der inneren Konsistenz:• Erfassen von homogenen Merkmalsbereichen

2. Methoden der 2. Methoden der ReliabilitätsbestimmungReliabilitätsbestimmung

• Retestmethode:– Wiederholte Darbietung desselben Tests an einer

Stichprobe mit Zeitabstand– Berechnung:

• Korrelation der Rohwertpaare der beiden Testungen

– Anwendung:• Schnelligkeitstests• Persönlichkeitstests• generell bei Unabhängigkeit von Übungseinflüssen

2. Methoden der 2. Methoden der ReliabilitätsbestimmungReliabilitätsbestimmung

• Paralleltestmethode:– Parallelformen eines Tests werden einer

Stichprobe dargeboten– Berechnung: Korrelation der Rohwerte aus

beiden Testformen– Anwendung:

• Niveautests• Schnelligkeitstests

3. Formeln zur Schätzung der 3. Formeln zur Schätzung der ReliabilitätReliabilität

• Testhalbierungs- und Konsistenzkoeffizient sind gute Schätzer der Reliabilität

• Retest- und Paralleltestkoeffizienten über- bzw. unterschätzen die wahre Reliabilität

3. Formeln zur Schätzung der 3. Formeln zur Schätzung der ReliabilitätReliabilität

• Testhalbierungskoeffizienten– Spearman-Brown-Formel

• rtt = 2 * r12 / 1+ r12

• Voraussetzung: gleiche Itemanzahl und Parallelität

– Guttman• rtt = 2 * [ 1- (s1² + s2²)/ sx²]

– Kristof (bei kleinen Stichproben)– Feldt (bei ungleich großen Testteilen)

3. Formeln zur Schätzung der 3. Formeln zur Schätzung der ReliabilitätReliabilität

• Konsistenzkoeffizienten:– Cronbach-alpha– Guttman`s Lambda3

• Voraussetzung: tau-äquivalente Messungen

3. Formeln zur Schätzung der 3. Formeln zur Schätzung der ReliabilitätReliabilität

• Cronbach-alpha:

– Cronbach-alpha erhöht sich mit zunehmender Anzahl an positiv korrelierenden Items

– Cronbach-alpha-Koeffizient gibt also in Abhängigkeit von der Itemanzahl die Höhe der mittleren Itemzusammenhänge an

3. Formeln zur Schätzung der 3. Formeln zur Schätzung der ReliabilitätReliabilität

• Guttman`s Lambda3:

– Anwendung bei negativen Itemkovarianzen

4. Minderungskorrekturen4. Minderungskorrekturen

• Die Reliabilität beeinflusst die Korrelation zweier Kennwerte in unterschiedlichen Stichproben– Bsp.

5. Faktoren, die die Reliabilität 5. Faktoren, die die Reliabilität beeinflussenbeeinflussen

• Homogenität

• Streuung der Testkennwerte

• Messfehler– Zufällige Antwortmessfehler– Vorübergehende Fehler von Messungen– Systematische Fehler– Spezifische Fehler

5. Faktoren, die die Reliabilität 5. Faktoren, die die Reliabilität beeinflussenbeeinflussen

• Klare Testinstruktionen• Klare Formulierung der Items• Auswertungsobjektivität• Keine Items mit geringen Trennschärfen• Testverlängerung mit homogenen Items

– Spearman-Brown-Korrekturformel:

Beurteilung der Höhe von Beurteilung der Höhe von TestkennwertenTestkennwerten

B) Durchführung mit SPSS

• Berechnung:– Analysieren Skalieren Reliabilitätsanalyse

B) Durchführung mit SPSS• Verfügbare Modelle zur Berechnung der

Reliabilität:1. Alpha (voreingestellt): Cronbach-Alpha

2. Split-Half: Testhalbierungskoeffizient (Spearman-Brown Formel)

3. Guttman: Konsistenzkoeffizient, Lambda3

4. Parallel: Voraussetzungen des parallelen Modells müssen gelten ( gleiche Varianzen und Fehlervarianzen)

5. Streng parallel: zusätzlich gefordert: Gleichheit der Mittelwerte

B) Durchführung mit SPSS• Itemlabels anzeigen: Darstellung der Itemnamen• Schaltfläche Statistik:

– Item: Itemmittelwerte (Schwierigkeiten), Streuungen, Anzahl gültiger Fälle

– Skala wenn Item gelöscht: korrigierte Item-Trennschärfen– Skala: Mittelwerte und Standardabweichungen für die gesammte

Skala

• Ausgabe:– Deskriptive Statistiken– Inter-Item correlations: mittlere Itemkorrelation (Homogenitätsindex,

i.d.R. zwischen .2 und .4)– Corrected item-total correlation: part-whole korrigierte Trennschärfe– Squared multiple correlation: quadrierte multiple Korrelation der

restlichen Items mit dem vorliegenden– Alpha if Item deleted: Reliabilität der verbleibenden Items ohne das

vorliegende– Alpha: Gesamtreliabilität– Standardized Item Alpha: bei stark unterschiedlichen Itemstreuungen