Embed Size (px)
Citation preview
Reliabilität von Ratings
Logik der 2-Weg-Varianzanalyse für die Berechnung von Intraklassenkorrelationen
Reliabilität von Ratings 2
Reliabilität von Ratings – ein Beispiel
WS01-02 Reliabilität von Ratings 3
Reliabilität von Ratings – ein BeispielEbel- und Horst-Koeffizient und Reliabilität eines typischen Raters
WS01-02 Reliabilität von Ratings 4
1. Ebel-Koeffizient (Frage nach Abstands- und Relationsgleichheit)N Proben (oder Personen) k Rater
1. Ebel-Koeffizient (Frage nach Abstands- und Relationsgleichheit) N Proben (oder Personen) k Rater
X p p rr 1
k
X
/ k
P X .1 X .2 X .3 k X t
Q S k X Xp p t2
n 1
N
k X p
N Proben (oder Personen) k Rater Wenn gleiches Urteil der Rater bezügl. Abstand u. Relation dann:
1 2 3
für eine Probe P Xp1 Xp2 Xp3 für jede Probe
Abstände jeweils 6
und 2, Relation
jeweils 2
Beispiel für P 2 4 6 4 = 12 / 3 3 * 4
Beispiel für P 8 10 12 3 * 10
Beispiel für P 10 12 14
XX
k * N
X
Nt
p
Q S k X Xp p t2
n 1
N
V = k X X N 1p p t
2
n 1
N
eine mittlere Probe für eine mittlere Probe
für die Varianz aller Proben
Quadratsumme
Vp = QSp / N-1 = QS / df
Varianz
r 1s
sx xe
2
x2 r 1
V
V
V
V
V
V
V V
Vk ke
p
p
p
e
p
p e
p
r 1Q S / (N 1) * (k 1)
Q S / (N 1)1
Q S(k 1) * Q Skk
e
p
e
p
Beurteilen Rater nicht vergleichbar, dann ergibt sich Fehlervarianz. Diese ist hier die gesamte Restvarianz (Ve = Vtotal-Vp-Vr). Reliabilitätsdefinition:
rkk(E) zeigt den %-Satz, zu dem die Ratings hinsichtlich Abstände und Relationen austauschbar sind, d.h. inwiefern die Proportionen übereinstimmen (Proportionalitätsindex), nicht aber, in wiefern die Niveaus der Rater übereinstimmen.
WS01-02 Reliabilität von Ratings 6
2. HORST-Koeffizient (für Frage nach Niveaugleichheit) N Proben (oder Personen) k Rater
WS01-02 Reliabilität von Ratings 7
3. Reliabilität eines typischen RatersN Proben (oder Personen) k Rater
WS01-02 Reliabilität von Ratings 8
Anhang: Herleitung der Rechenformeln in 2-Weg-Varianzanalyse
Noch zu beweisen ist:
WS01-02 Reliabilität von Ratings 9
Anhang: Herleitung der Rechenformeln in 2-Weg-Varianzanalyse
WS01-02 Reliabilität von Ratings 10
Anhang: Herleitung der Rechenformeln in 2-Weg-Varianzanalyse
