Zermelo, Schrödinger, Rasch

Zermelo – Rasch – SchrödingerEin stoffdidaktischer Zugang zur probabilistischen

Modellierung mathematischer Leistung

Assoz. Prof. Dr. Andreas Vohns

Institut für Didaktik der Mathematik

49. GDM JahrestagungFHNW Basel, 12.02.2015

Einführung Einkleidung: Zermelo Anwendung: Rasch Reflexion: Schrödinger Literatur

Einführung und Motivation


Problemlage:

• Zunehmende Bedeutung probabilistischer Testmodelle(v. a. Rasch-Modell) für mathematische Leistungsmessungen

• Seltene Thematisierung des Modellcharakters

• Kaum Beschäftigung mit dem „math. Kern der Sache“(Kirsch 1977)

• In Kritik wie Verteidigung Vermischung der eigentlichen Modellierungmit davon unabhängigen Ergänzungen

Zielsetzungen:

• Präsentation einer Einkleidung (Spielstärke im Schach)

• Kontrastierung mit mathematikdid. Anwendungsfall (Leistungsmessung)

• Diskussion epistemologischer Hürden (Stichprobenunabhängigkeit,Lösungswahrscheinlichkeit)

Zermelo, Rasch, Schrödinger – Ein stoffdidaktischer Zugang Andreas Vohns




Problemlage:

• Zunehmende Bedeutung probabilistischer Testmodelle(v. a. Rasch-Modell) für mathematische Leistungsmessungen

• Seltene Thematisierung des Modellcharakters

• Kaum Beschäftigung mit dem „math. Kern der Sache“(Kirsch 1977)

• In Kritik wie Verteidigung Vermischung der eigentlichen Modellierungmit davon unabhängigen Ergänzungen

Zielsetzungen:

• Präsentation einer Einkleidung (Spielstärke im Schach)

• Kontrastierung mit mathematikdid. Anwendungsfall (Leistungsmessung)

• Diskussion epistemologischer Hürden (Stichprobenunabhängigkeit,Lösungswahrscheinlichkeit)



Einkleidung: Zermelos Schach-Turnier

Zermelos Schach-Turnier: Problem

Ein Schach-Verein mit 14 Mitgliedern will die 5 spielstärksten Mitglieder zueinem internationalen Turnier schicken.

Mitglieder: Unterteilt in zwei Teilmengen:5 Vorjahresteilnehmer des Turniers (Teilmenge , „Meister“),9 weitere Mitglieder (Teilmenge P, „Stümper“).

Vorauswahl-Turnier:Alle Meister () treten gegen jeden Stümper (P) an (1. Runde),Meister und Stümper treten untereinander an (2. Runde).Zum internationalen Turnier fahren die mit den meisten Siegen

Vorauswahl-Turnier muss nach 1. Runde abgebrochen werden

Wie gelangt man zu einem zuverlässigen Maß für die Spielstärkesämtlicher Mitglieder?

Gesucht: Anordnung (auch: Prognose nicht realisierter Partien)
























Zermelos Schach-Turnier: Lösungsidee

Vier Regeln zur Sortierung: (Remis-Partien vernachlässigt)

1 Personen aus Menge P gleich spielstark, wenngleiche Anzahl von Siegen (gegen Personen aus Menge )

2 Personen aus Menge gleich spielstark, wenngleiche Anzahl von Siegen (gegen Personen aus Menge P)

3 Teilmenge Pn gleichstarker Personen besser als Person k ∈ ,wenn Anteil Siege gegen k ∈ in Pn größer als 50%

4 Person k ∈ besser als Teilmenge gleichstarker Personen Pn,wenn Anteil Siege k ∈ gegen Pn größer als 50%

Problem: Erlaubt i. A. keine eindeutige Sortierung

Lösung: Glättung durch probabilistische Modellierung

























Anwendung: Rasch-Modellierung von Leistungsdaten

Rasch-Modellierung von Leistungsdaten: Problem

Gegeben:

• Wiederum: Zwei Mengen (5 Aufgaben), P (9 Personen)

• Paarvergleich: p beantwortet korrekt (zustimmend)

• Interner Paarvergleich hier per se ausgeschlossen

Gesucht:

• Anordnung Personen nach „Fähigkeit“ (Zustimmungsgrad)

• Anordnung Aufgaben nach „Schwierigkeit“ (Ablehnungsgrad)

• Gemeinsame Anordnung Personen und Aufgaben (Wonach?)




Rasch-Modellierung von Leistungsdaten: Problem

Gegeben:

• Wiederum: Zwei Mengen (5 Aufgaben), P (9 Personen)

• Paarvergleich: p beantwortet korrekt (zustimmend)

• Interner Paarvergleich hier per se ausgeschlossen

Gesucht:

• Anordnung Personen nach „Fähigkeit“ (Zustimmungsgrad)

• Anordnung Aufgaben nach „Schwierigkeit“ (Ablehnungsgrad)

• Gemeinsame Anordnung Personen und Aufgaben (Wonach?)




Rasch-Modellierung von Leistungsdaten: Lösungsidee

Vier Regeln zur Sortierung: (teilweise richtige Lsg. vernachlässigt)

1 Personen aus Menge P gleich fähig, wenngleiche Anzahl an richtigen Lösungen aus Aufgabenmenge

2 Aufgaben aus Menge gleich schwer, wenngleiche Anzahl an falschen Lösungen in Personenmenge P

3 Teilmenge Pn gleich fäh. Personen „besser“ als Aufgabe k ∈ ,wenn Anteil korrekter Lösungen von k ∈ in Pn größer als 50%

4 Aufgabe k ∈ „besser“ als Teilmenge gleich fäh. Personen Pn,wenn Anteil falscher Lösungen von k ∈ in Pn größer als 50%






Ein Zahlenbeispiel

Ausgangspunkt: Wertetabelle (Datenmatrix)

1 2 3 4 5

∑

p

p1 0 1 1 1 1

4

p2 1 1 1 1 0

4

p3 0 1 1 0 1

3

p4 0 1 1 0 1

3

p5 1 0 1 1 0

3

p6 0 0 0 1 1

2

p7 0 0 0 1 1

2

p8 0 0 0 1 0

1

p9 0 0 0 0 1

1∑

2 4 5 6 6

(Tabelle bereits vorsortiert)




Ein Zahlenbeispiel


1 2 3 4 5∑

p

p1 0 1 1 1 1 4

p2 1 1 1 1 0 4

p3 0 1 1 0 1 3

p4 0 1 1 0 1 3

p5 1 0 1 1 0 3

p6 0 0 0 1 1 2

p7 0 0 0 1 1 2

p8 0 0 0 1 0 1

p9 0 0 0 0 1 1

∑

2 4 5 6 6

Ordnung auf P: Zeilensumme∑

p

Einkleidung Schach: Anzahl Siege des Stümpers gegen 5 MeisterAnwendung Test: Anzahl von einer Person korrekt gelöster Aufgaben




Ein Zahlenbeispiel


1 2 3 4 5∑

p

p1 0 1 1 1 1 4

p2 1 1 1 1 0 4

p3 0 1 1 0 1 3

p4 0 1 1 0 1 3

p5 1 0 1 1 0 3

p6 0 0 0 1 1 2

p7 0 0 0 1 1 2

p8 0 0 0 1 0 1

p9 0 0 0 0 1 1∑

2 4 5 6 6

Ordnung auf : Spaltensumme∑

Einkleidung Schach: Anzahl Niederlagen 9 Stümper gegen den MeisterAnwendung Test: Anzahl eine Aufgabe falsch lösender Personen




Ein Zahlenbeispiel


1 2 3 4 5∑

p

p1 0 1 1 1 1 4

p2 1 1 1 1 0 4

p3 0 1 1 0 1 3

p4 0 1 1 0 1 3

p5 1 0 1 1 0 3

p6 0 0 0 1 1 2

p7 0 0 0 1 1 2

p8 0 0 0 1 0 1

p9 0 0 0 0 1 1∑

2 4 5 6 6

Ordnung auf G = P ∪ : i. A. nicht eindeutig (Paarvergleiche nicht transitiv)




Ein Zahlenbeispiel


1 2 3 4 5∑

p

p1 0 1 1 1 1 4

p2 1 1 1 1 0 4

p3 0 1 1 0 1 3

p4 0 1 1 0 1 3

p5 1 0 1 1 0 3

p6 0 0 0 1 1 2

p7 0 0 0 1 1 2

p8 0 0 0 1 0 1

p9 0 0 0 0 1 1∑

2 4 5 6 6

Reihenfolge {p1, p2} > {p3, p4, p5} > 3 > {p6, p7} > {p8, p9} eindeutig




Ein Zahlenbeispiel


1 2 3 4 5∑

p

p1 0 1 1 1 1 4

p2 1 1 1 1 0 4

p3 0 1 1 0 1 3

p4 0 1 1 0 1 3

p5 1 0 1 1 0 3

p6 0 0 0 1 1 2

p7 0 0 0 1 1 2

p8 0 0 0 1 0 1

p9 0 0 0 0 1 1∑

2 4 5 6 6

Reihenfolge zwischen pk und 5 nicht eindeutig




Ein Zahlenbeispiel

Glättung 1 (Ohne Rasch-Modellierung):

Zusammenfassung: Teilmengen gleich oft gewinnender bzw. p,Übergang zu relativen Anteilen gewonnener Paarvergleiche

Rel. Anteile {1} {2} {3} {4, 5}∑

p (%)

{p1, p2} 0,5 1,00 1,00 0,75 4 (80%)

{p3, p4, p5} 0,33 0,67 1,00 0,50 3 (60%)

{p6, p7} 0,00 0,00 0,00 1,00 2 (40%)

{p8, p9} 0,00 0,00 0,00 0,50 1 (20%)∑

(%) 2 (22%) 4 (44%) 5 (56%) 6 (66%)

Problem: Relative Anteile nicht zwingend monoton




Ein Zahlenbeispiel

Glättung 2 (Mit Rasch-Modellierung):

Zusammenfassung: Teilmengen gleich oft gewinnender bzw. p,ML-Schätzung der Rasch-Argumente (

∑

p), y(∑

)Übergang zu ƒ (, y) als geschätzten relativen Anteilen

Schätzer {1} {2} {3} {4, 5} (∑

p)

{p1, p2} 0,57 0,78 0,85 0,90 1,54

{p3, p4, p5} 0,31 0,54 0,65 0,75 0,44

{p6, p7} 0,15 0,32 0,43 0,55 -0,47

{p8, p9} 0,06 0,14 0,21 0,30 -1,53

y(∑

) 1,258 0,27 -0,188 -0,67

Lösung (Rasch-Modell): ƒ (, y) = e−y1+e−y Werte sind immer monton




Das Rasch Modell

. . . ist im Kern schlicht eine Funktion ƒ : R2 → R mit

ƒ (, y) =e−y

1 + e−y




Das Rasch Modell


ƒ (, y) =e−y

1 + e−y

-4-3

-2-1

01

23

4-4-3-2-101234

0

0.2

0.4

0.6

0.8

1

ƒ (, y)

y

ƒ (, y)

00.10.20.30.40.50.60.70.80.91

1




Das Rasch Modell


ƒ (, y) =e−y

1 + e−y

-4 -3 -2 -1 0 1 2 3 4

-4

-3

-2

-1

0

1

2

3

4

y

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

2




Das Rasch Modell


ƒ (, y) =e−y

1 + e−y

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

-4 -3 -2 -1 0 1 2 3 4

ƒ(,y)

y=-2y=-1y=0y=1y=2

3

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

-4 -3 -2 -1 0 1 2 3 4

ƒ(,y)

y

x=-2x=-1x=0x=1x=2

4




Rasch-Modellierung: Interpretation beim Schachspiel

−1.5

−1.0

−0.5

0

0.5

1.0

1.5 {p1, p2}

{1}

{p3, p4, p5}{2}

{p6, p7}

{3}

{4, 5}

{p8, p9}

Gewinnwahrscheinlichkeiten (Spielstärke)

(p) = y(): P(„p gewinnt gegen “ ) = 0,5Qualitativ: oder p ist egal

(p) < y(): P(„p gewinnt gegen “ ) < 0,5Qualitativ:: ist „spielstärker“ als p

(p) > y(): P(„p gewinnt gegen “ ) > 0,5Qualitativ: p ist „spielstärker“ als




Rasch-Modellierung: Interpretation beim Leistungstest

−1.5

−1.0

−0.5

0

0.5

1.0

1.5 {p1, p2}

{1}

{p3, p4, p5}{2}

{p6, p7}

{3}

{4, 5}

{p8, p9}

Lösungswahrscheinlichkeiten (Kompetenzen?)

(p) = y(): P(„p löst Aufgabe “ ) = 0,5Qualitativ: Völlig offen, ob p beherrscht oder nicht

(p) < y(): P(„p löst Aufgabe “ ) < 0,5Qualitativ: p „beherrscht nicht“

(p) > y(): P(„p löst Aufgabe “ ) > 0,5Qualitativ: p „beherrscht“




Konsequenzen der Rasch-Modellierung

Aufgaben und Personen landen auf gemeinsamer Skala

Erfüllungsnorm: Eindimensionalität

1 Fähigkeit Person: nur wie viele, nicht welche Aufgaben richtig gelöst

2 Schwierigkeit Aufgabe: nur wie viele, nicht welche Personen lösen falsch

Passt, wenn gleiche Anzahl ehedem i. W. selbe Aufgaben/Personen bedeutet



















Abweichende Lösungsmuster („Pattern“) als Residuen, d. h.

• zufällige Abweichungen (Messfehler) und/oder

• nicht modellierte Mehrdimensionalität (Passungsprobleme)










Zur Itemselektion (Goldstein 2008)

Indeed, much of the ‘item analysis’ activity in the test development stage is concernedwith rejecting items that do not conform to this assumption, so creating a test structurein terms of dimensionality that is largely self-fulfilling.




Gründe für eine Rasch-Modellierung

Prüfen: Landen Aufgaben und Personen auf eindimensionaler Skala?

• Sind Population und „Aufgabenuniversum“ hinreichend homogen?(Ermessenssache)

• Itemselektion: Lässt sich „repräsentative“ Aufgabenauswahl finden, diefür Population hinreichend homogen? (Ermessenssache)

Wollen: Aufgaben und Personen sollen auf eindimensionaler Skala landen

1 Aufgabengeheimhaltung, „Anforderungsmerkmale“ typischerweisegelöster Aufgaben beschreiben Personengruppen (Kompetenzstufen)

2 nicht alle Personen bearbeiten alle Aufgaben (Rasch-Modell auchfür unvollständige Daten möglich)

3 zu verschiedenen Testzeitpunkten können/sollen nicht genau dieselbenAufgaben gestellt werden (siehe 2.)





































Rasch-Modellierung: Multi-Matrix-Design

Einfacher Fall:

Block 1 Block 2 Block 3

Testheft 1 x xTestheft 2 x xTestheft 3 x x

Wichtige Änderungen:

• Rasch-Werte treffen auch Aussagen zu Aufgaben-Personen-Paaren, dienicht aufeinander getroffen sind (für alle Aufgaben/Personen)

• Testhefte dürfen unterscheidlich schwer sein (Gleiche Anzahl Lösungenin verschiedenen Testheften 6= gleicher Rasch-Wert)

• Passungsprobleme (nicht modellierte Mehrdimensionalität) nochproblematischer (Verzerrung der Schätzwerte)





Einfacher Fall:

Block 1 Block 2 Block 3

Testheft 1 x xTestheft 2 x xTestheft 3 x x









Realistischer Fall (TIMSS 2011):







Reflexion: Schrödinger’s Katze, Stichprobenunabhängigkeit & Lösungswahrscheinlichkeit

Spezifische Objektivität = Stichprobenunabhängigkeit?

Spezifische Objektivität (wikipedia 2014)Im Rasch-Modell erfolgt eine Trennung des Einflusses der Personenfähigkeit vom Einfluss der Testaufgabe y. Damit wird eine Messung gemäß derMesstheorie etabliert.

Vergleiche von Personen (bzw. Aufgaben), die von den Aufgaben (bzw.Personen) unabhängig sind, werden möglich.

(Auch in „seriöseren“ Quellen so zu finden.)




Spezifische Objektivität = Stichprobenunabhängigkeit?

Spezifische Objektivität (Kubinger 1999)Der Unterschied in den Fähigkeiten und zwischen je zwei Personen und kann unabhängig davon bestimmt werden, welche Items des Testsdafür herangezogen werden;

bzw. umgekehrt und wichtiger: der Vergleich je zweier Aufgaben und jbezüglich der Schwierigkeiten y und yj ist unabhängig davon, welcheStichprobe dafür verwendet wird.

„Stichprobenunabhängigkeit“ meint im IdealfallInvarianz gegenüber jeglicher Teilmengenbildung




Stichprobenunabhängigkeit = Teilmengeninvarianz

Für einen Datensatz, für den das Rasch-Modell nicht verworfen werdenkann, gilt näherungsweise

• Schätzung der „Fähigkeit“ für Personengruppe in jeder Teilmenge vonAufgaben näherungsweise gleich

• bzw.: „Fähigkeitsreihenfolge“ der Personen in jeder Teilmenge vonAufgaben näherungsweise gleich (ideal: kein Platztausch)

• Schätzung der „Schwierigkeit“ y für Aufgaben in jeder Teilmenge vonPersonen näherungsweise gleich

• bzw.: „Schwierigkeitsreihenfolge“ der Aufgaben in jeder Teilmenge vonPersonen näherungsweise gleich (ideal: kein Platztausch)

→ i. W. wieder Homogenitäts-/Eindimensionalitätsanforderung




Stichprobenunabhängigkeit = Teilmengeninvarianz

Für einen Datensatz, für den das Rasch-Modell nicht verworfen werdenkann, gilt näherungsweise

• Schätzung der „Fähigkeit“ für Personengruppe in jeder Teilmenge vonAufgaben näherungsweise gleich

• bzw.: „Fähigkeitsreihenfolge“ der Personen in jeder Teilmenge vonAufgaben näherungsweise gleich (ideal: kein Platztausch)

• Schätzung der „Schwierigkeit“ y für Aufgaben in jeder Teilmenge vonPersonen näherungsweise gleich

• bzw.: „Schwierigkeitsreihenfolge“ der Aufgaben in jeder Teilmenge vonPersonen näherungsweise gleich (ideal: kein Platztausch)

→ i. W. wieder Homogenitäts-/Eindimensionalitätsanforderung




Teilmengeninvarianz = Stichprobenunabhängigkeit?

. . . is an illusion. Item parameters and subject abilities are alwaysestimated relative to a population, even if this fact may beobscured by the mathematical properties of the models used.

Holland (1990)

Epistemologische Hürde: Lösungswahrscheinlichkeit

• eine Person löst eine einzelne Aufgabe oder nicht• eine Gruppe von Personen hat einen relativen Lösungsanteil für eine

einzelne Aufgabe• eine Gruppe von Aufgaben hat einen relativen Lösungsanteil bei einer

einzelnen Person• Personen/Aufgaben sind überhaupt erst gruppierbar durch gleichen

Lösungsanteil bei mehreren Aufgaben/Personen• „Lösungswahrscheinlichkeit“ einzelner Person für einzelne Aufgabe

ohne weitere Aufgaben/Personen weder schätzbar noch interpretierbar(→ Schrödingers Katze, Kopenhagener Deutung (?))




Teilmengeninvarianz = Stichprobenunabhängigkeit?

. . . is an illusion. Item parameters and subject abilities are alwaysestimated relative to a population, even if this fact may beobscured by the mathematical properties of the models used.

Holland (1990)

Epistemologische Hürde: Lösungswahrscheinlichkeit

• eine Person löst eine einzelne Aufgabe oder nicht• eine Gruppe von Personen hat einen relativen Lösungsanteil für eine

einzelne Aufgabe• eine Gruppe von Aufgaben hat einen relativen Lösungsanteil bei einer

einzelnen Person• Personen/Aufgaben sind überhaupt erst gruppierbar durch gleichen

Lösungsanteil bei mehreren Aufgaben/Personen• „Lösungswahrscheinlichkeit“ einzelner Person für einzelne Aufgabe

ohne weitere Aufgaben/Personen weder schätzbar noch interpretierbar(→ Schrödingers Katze, Kopenhagener Deutung (?))




Lösungswahrscheinlichkeit: Interpretationen

Rasch ca. 1960 (cit. acc. to Wainer 2010)Certain human acts can be described by a model of chance. [...] Even if weknow a person to be very capable, we cannot be sure he will solve a certaindifficult problem, nor even a much easier one. There is always a possibilitythat he fails.

Knoche & Lind 2000Bei der Modellierung von Testsituationen kann man unterstellen, dass dieBearbeitung einer Testaufgabe unter Zeitdruck ein Zufallsexperiment ist, indem der Proband und die Aufgabe zusammen ein Zufallsgerät bilden, dasdie Bewertung der gezeigten Reaktionen als Ergebnis hat.

Birnbaum 1968 (cit. acc. to Wainer 2010)Item scores [...] are related to an ability by functions that give theprobability of each possible score on an item for a randomly selectedexaminee of given ability.


















Kognitive Dissonanz: Subskalen-Bildungoder: Den Kuchen essen und behalten wollen?

GesamtZahlen und Operationen

Raum und FormMuster und Strukturen

Größen und Messen

Daten, Häufigkeiten und Wahrschein.

Bayern 519 515 538 516 509 510Sachsen 517 511 528 506 513 513Sachsen‐Anhalt 517 511 524 500 517 516Baden‐Württemberg 512 510 510 506 518 511Thüringen 502 501 504 493 503 500Nordrhein‐Westfalen 497 505 482 508 498 501Niedersachsen 496 495 494 497 498 498Mecklenburg‐Vorpommern 494 489 500 482 497 494Rheinland‐Pfalz 494 489 497 491 496 493Saarland 492 495 470 492 509 493Brandenburg 491 483 505 481 488 494Schleswig‐Holstein 487 484 487 486 491 490Hessen 484 486 476 484 491 485Hamburg 470 474 476 481 464 475Bremen 452 454 464 459 448 459Berlin 451 451 459 455 448 461Korrelation mit "Gesamt" 0,979 0,888 0,926 0,959 0,992

Datenquelle: IQB-Ländervergleich 2011



Literatur

Goldstein, H. (2008). How may we use international comparative studies toinform education policy? http://goo.gl/rhshqi

Holland, P. W. (1990). On the sampling theory foundations of item response theorymodels. Psychometrika, 55, 577–601.

Kirsch, A. (1977). Aspekte des Vereinfachens im Mathematikunterricht. Didaktikder Mathematik, 5, 87–101.

Knoche, N. & Lind, D. (2000). Eine Analyse der Aussagen und Interpretationenvon TIMSS unter Betonung methodologischer Aspekte. Journalfür Mathematik-Didaktik, 21 (1), 3–27.

Kubinger, K. D. (1999). Replik auf Jürgen Rost: „Was ist aus dem Rasch-Modellgeworden?“ http://goo.gl/XMFffn

Rost, J. (1996). Lehrbuch Testtheorie Testkonstruktion. Bern: Hans Huber.

Schreiber, A. (1980). Idealisierungsprozesse – ihr logisches Verständnis und ihredidaktische Funktion. Journal für Mathematik-Didaktik, 1 (1-2),42-61.

Stanat, P. et al. (2012). Kompetenzen von Schülerinnen und Schülern am Endeder vierten Jahrgangsstufe in den Fächern Deutsch undMathematik. Ergebnisse des IQB-Ländervergleichs 2011.Münster: Waxmann.

Wainer, H. (2010). Schrödinger’s Cat and the Conception of Probability in ItemResponse Theory. Chance, 23 (19), 53-56.

Zermelo, E. (1929). Die Berechnung der Turnier-Ergebnisse als einMaximumproblem der Wahrscheinlichkeitsrechnung.Mathematische Zeitschrift, 29 (1), 436–460.

Folien:

http://goo.gl/y2sifb


Education

Zermelo, Schrödinger, Rasch