Das Multifacetten-Korrekturverfahrenbeim DSD

Fehleranfälligkeit bei Leistungsbeurteilungen

1

18

51

16

2

0

10

20

30

40

50

60

1 2 bis 3+ 3 bis 4+ 4 bis 5+ 5

Noten von 88 Lehrern für ein und denselben Aufsatz (nach Birkel & Birkel, 2002)

Häufigkeit

Fehleranfälligkeit

Metaanalyse von 79 Einzelstudien (Hoyt & Kerns, 1999)

37% der Urteilsvarianz gingen auf Urteilsfehler zurück

Bei nicht direkt beobachtbaren Merkmalen (z.B. Fähigkeiten) waren es gar 49%

Zeitlich ausgedehnte Beurteilertrainings hatten nicht den angestrebten Effekt

Fehleranfälligkeit

Vergleich der Einstufungen zweier Beurteiler mit relativ hoher Übereinstimmung

Beurteiler 16

Beurteiler 13 unter TDN 3 TDN 3 TDN 4 TDN 5 Zeilensumme

unter TDN 3 8 8

TDN 3 1 1 2

TDN 4 5 2 3 10

TDN 5 1 1

Spaltensumme 9 6 2 4 21

Anmerkung. Die prozentuale Übereinstimmung bei 21 beurteilten Personen beträgt 57% (12 Übereinstimmungen, 9 Nichtübereinstimmungen; gew. Kappa = .65). TestDaF-Prüfung vom Oktober 2001.

Fehleranfälligkeit

Prozentuale Übereinstimmungsraten und Interraterreliabilitäten beim TestDaF

Beurteiler Anzahl

beurteilter Personen

Prozentuale Übereinstimmung

Interrater-reliabilität

07 – 10 20 70% .66

13 – 16 21 57% .65

12 – 03 20 55% .31

17 – 11 19 53% .42

14 – 08 23 52% .50

08 – 12 24 50% .53

09 – 17 28 46% .26

05 – 18 22 45% .50

02 – 04 27 44% .32

10 – 09 20 40% .39

15 – 07 27 33% .16

13 – 03 21 24% .21

05 – 07 20 20% .22

01 – 14 18 11% –.03

Anmerkung. Leistungsbewertungen erfolgten durch je zwei unabhängige Beurteiler (TestDaF-Prüfung vom Oktober 2001). Die Interraterreliabilität wurde ermittelt nach dem gewichteten Kappa-Koeffizienten (Cohen, 1968).

VorbedingungenVorbedingungen

1. Es gibt 4 Kriterien zur Bewertung von SK beim DSD.

2. Die Bewertungs-Skala umfasst 0 bis 6 Punkte.

3. Es existieren drei Aspekte der Beurteilungssituation, die die

Bewertung beeinflussen (Facetten): - die Fähigkeit des Kandidaten - die Strenge bzw. Milde des Bewerters - die Schwierigkeit eines einzelnen Kriteriums

Ziel ist es, die Fähigkeit des Kandidaten zu isolieren und hierzu die

Einflüsse der anderen beiden Facetten zu Eliminieren.

Das ZielDas Ziel

Das Verfahren besteht aus mehreren Schritten. Am Ende steht

im Ergebnis eine Bewertung, die ein idealer, durchschnittlich

strenger Beurteiler, auf mittelschweren Kriterien abgegeben

hätte.

Der Weg – Schritt 1Der Weg – Schritt 1

Alle Elemente jeweils einer Facette werden auf einer Skala angeordnet.

Hierfür ist für jede Facette ein gemeinsames Bindeglied notwendig.– Teilnehmerfacette:

Anordnung aller Teilnehmer auf einer Skala anhand der mittleren Bewertung (Mittelwert) in den vier Kriterien (Bindeglied: Jeder Teilnehmer ist in den gleichen vier Kriterien bewertet worden)

– Kriterienfacette: Anordnung der vier Kriterien auf einer Skala anhand der mittleren Ergebnisse (Mittelwert) aller Teilnehmer in jedem der Kriterien (Bindeglied: Jedes Kriterium hat eine Bewertung von jedem Teilnehmer bekommen)

– Beurteilerfacette: Problem – Hier fehlt ein gemeinsames Bindeglied, da jeder Beurteiler andere Teilnehmer beurteilt hat

Schritt 1: BeurteilerSchritt 1: Beurteiler

• Um Beurteiler in Hinblick auf ihre Teilnehmerbewertungen vergleichbar zu machen, muss ein Bindeglied geschaffen werden.

• Hierfür werden Vergleichsbewertungen eingeführt.• Aus dem Testlauf werden 7 Leistungen von Teilnehmern

ausgewählt, die exemplarisch das ganze Leistungsspektrum abdecken.

• Diese 7 Leistungen bekommt jeder der Bewerter zur Beurteilung vorgelegt. Sie bilden den Vergleichsmaßstab für die Anordnung der Beurteiler auf einer Skala von mild nach streng.

Schritt 2Schritt 2

• Die 3 Facetten werden auf eine gemeinsame Skala gebracht, um sie miteinander verrechnen zu können.

• Die 7stufige Skala (Werte 0-6) der Kriterien ist aber in der Realität nicht linear und daher für Rechnungen ungeeignet.

• Daher werden die Werte in die Logit-Skala transformiert. Dies stellt eine komplizierte Rechnung dar, die im Detail hier nicht erläutert wird.

• Mit dieser Logit-Skala können jetzt alle Facetten in einem gemeinsamen Raum angeordnet werden (Facettenraum).

Schritt 2: der Facettenraum

+------------------------------------------------+|Logit|Teilnehmer |Bewerter |Kriterium |Skala||-----+------------+---------+-------------+-----|| 8 + ***. + + + (6) || | . | | | || 7 + . + + + || | . | | | || 6 + . + + + || | . | | | || 5 + *. + + + || | *. | | | --- || 4 + *. + + + || | ***. | | | 5 || 3 + ****. + + + || | ***. | | | --- || 2 + *****. + . + + || | ******. | * | | 4 || 1 + ********. + *** + Korrektheit + || | *********. | ** | | --- |* 0 * *********. * ******. * SprachMitt * 3 *| | ********. | ****. | Inhalt | || -1 + *********. + *. + Textaufbau + --- || | ******. | . | | 2 || -2 + ******. + . + + || | *****. | | | --- || -3 + ***. + + + || | **. | | | 1 || -4 + *. + + + || | *. | | | || -5 + . + + + || | . | | | || -6 + . + + + || | . | | | || -7 + *. + + + (0) ||-----+------------+---------+-------------+-----||Measr| * = 18 | * = 2 |-Criterion |Scale|+------------------------------------------------+

Ein * steht für 18 Teilnehmer oder 2 Bewerter

Je höher der Logit desto:- besser der Teilnehmer- strenger der Bewerter- schwerer das Kriterium

Schritt 3 die BerechnungSchritt 3 die Berechnung

Jede einzelne Bewertung jedes Bewerters für jeden Teilnehmer

in jedem der Kriterien wird jetzt wie folgt verrechnet:

Korrigierter Logit = L(T) + L(B) + L(K)

– L(T) Logit des Teilnehmers in dem Kriterium K– L(B) Logit des Beurteilers (Strenge)– L(K) Logit des Kriteriums (Schwierigkeit)

Der so ermittelte korrigierte Logit wird dann wieder in die

ursprüngliche 7stufige Skala zurück transformiert und ergibt die

faire Bewertung des Teilnehmers.

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Skala

6

5

4

3

2

1

0

Wir haben unsere 7stufige (0-6) Skala, auf der die Bewerter jedes der Kriterien beurteilen

Teilnehmer Beurteiler KriteriumSkala

6

5

4

3

2

1

0

Teilnehmer, Beurteiler und Kriterien werden auf dieser Skala angeordnet

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

Die Kriterienskala wird in die Logit-Skala umgerechnet um weitere Berechnungen vornehmen zu können

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

Beispiel: Ein Teilnehmer hat in Kriterium X eine Bewertung von 4 Punkten erhalten was einem Logit von ca. 1,3 entspricht

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

Dieser Teilnehmer wurde von einem eher strengen Beurteiler bewertet der einen Logit von 1,0 hat

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

Der Bewerterlogit wird zum Teilnehmerlogit hinzuaddiert

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

Das Kriterium, in dem der Teilnehmer bewertet wurde, ist ebenfalls ein eher schweres Kriterium mit einem Logit von 1,0

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

Der Kriteriumslogit wird zum Teilnehmerlogit hinzuaddiert

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

Der Krieriumslogit wird zum Teilnehmerlogit und Bewerterlogit hinzuaddiert

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Logit Teilnehmer Beurteiler KriteriumSkala

8

7

6

5

4

3

2

1

0

-1

-2

-3

-4

-5

-6

-7

6

5

4

3

2

1

0

In der Summe entsteht der neue korrigierte Teilnehmerlogit mit einem Wert von 3,2 der umgerechnet in die 7stufige Kriterienskala einem fairen Punktwert von 5 entspricht.

Schritt 3 VeranschaulichungSchritt 3 Veranschaulichung

Schritt 3Schritt 3

• Genauso wird verfahren wenn die Beurteiler eher milde bzw. die Kriterien eher leicht sind. Nur wird dann der Teilnehmerlogit nach unten statt nach oben verschoben, um eine faire Bewertung zu erhalten

• Dieses Prozedere wird für jede einzelne Bewertung jedes Beurteilers in jedem Kriterium durchgeführt und aus den dann ermittelten neuen Einstufungen die Gesamtbewertung des Teilnehmers gebildet.