Prof. Dr. Olaf KöllerHumboldt-Universität zu Berliniqboffice@iqb.hu-berlin.dewww.iqb.hu-berlin.de

Institute forEducational Progress

Leistungsdiagnose und Leistungsüberprüfung

in der Schule

Klett-Symposium, Essen, 25.04.2009

Überblick

Institute forEducational Progress

Warum ein Fokus auf Schulleistungen und Lernen? Ein Plädoyer für Assessment in der Schule Formatives und summatives Assessment Bildungsstandards als Basis für summatives Assessment Bildungsstandards und Kompetenzstufenmodelle Bildungsstandards, Kompetenzstufenmodelle,

Ländervergleiche und Vergleichsarbeiten

Warum ein Fokus auf Leistung?

Individuum Höheres Einkommen über die Lebensspanne Höhere psychische und physische Gesundheit Höhere Lebenserwartung

Gesellschaft Geringere Kosten im Justizsystem Geringere Kosten im Gesundheitssystem Höheres Wirtschaftswachstum

Effekte hoher Leistungsstände

Erfolgreicher Durchlauf

Abbruch

.50

.33

.41

.35/.21

.20

.15

.06Lernstrategien

Interesse der Eltern an Schule

Finanzielle Absicherung

Zukunftsoptimismus (Schule / Ausbildungsplatz)

Fähigkeit zum schlussfolgernden Denken

(weibliches) Geschlecht

Allgemeine Fachleistung

Relevanz von Fachleistungen imberufsbildenden Bereich: Befunde aus ULME II (Lehmann et al., 2006)

Ein Plädoyer für die Vermessung der Welt/Schule

Wiliam (2008)

Teachers do not create learning

Learners create learning

Teaching is the engineering of

effective learning environments

Assessment bridges the gap between

instruction and learning

Zur Notwendigkeit von Schulleistungsmessungen

Lehrkräfte bieten ihren Schülerinnen und Schülern im Unterricht Lerngelegenheiten

Folgt man moderat konstruktivistischen Lerntheorien, so ist Lernen ein aktiver Prozess -> Schülerinnen und Schüler bestimmen selbst, was sie lernen

Folge: Formatives und summatives Assessment zur Überprüfung, was auf Seiten der Schülerinnen und Schüler tatsächlich gelernt wurde

Messung also als Verbindung zwischen Unterricht und Lernerfolg

Formatives Assessment(Black & Wiliam, 1998)

Aktivitäten der Lehrkräfte und der Schüler, aus denen Informationen gewonnen werden können, um die Lehr- und Lernkultur im Unterricht zu verbessern.

Assessment in diesem Sinne umfasst die Beobachtung des Lerners, des Unterrichtsgespräches und die Analyse von Schülerarbeiten, wie Hausaufgaben und Tests.

Formatives Assessment ist dann die Nutzung dieser gewonnenen Informationen, um den Lehr- und Lernvorgang im Unterricht an die Lernstände der Schüler anzupassen (Mikro-Adaptivität).

Formatives Assessment

Assessment is not an add-on to teaching

and learning, it can be integral.

Richard Shavelson (Stanford University)

Varianten Formativen Assessments

Längerfristig• Über längere Unterrichtseinheiten hinweg• Zeitraum: Vier Wochen und länger• Absicht: Schüler-Monitoring; Erreichung curricularer Vorgaben

Mittelfristig• Innerhalb von Unterrichtseinheiten• Zeitraum: Eine bis vier Wochen• Absicht: Zeitnahe Rückmeldung über Lernfortschritte, Adaptation des

weiteren Vorgehens

Kurzfristig• Innerhalb von Unterrichtsstunden• Zeitraum: Meistens wenige Sekunden/Minuten• Absicht: Verständnisvolles Lernen anbahnen

Summatives Assessment

(standardisierte) Messung von Lernergebnissen, die über einen langen Zeitraum aufgebaut wurden

Individuelle Schülerleistungen oft nicht im Fokus der Messung

Ergebnisse werden eher auf Systemebene genutzt, um im Bildungssystem zu optimieren (Bildungsmonitoring)

Beispiele: PISA, IGLU, Ländervergleiche

Summatives Assessment auf der Basis von Bildungsstandards

Idee der Bildungsstandards

Bildungsstandards …

sind fachspezifische Leistungsstandards

beschreiben leistungsthematisches Handeln, das Schülerinnen und Schüler bis zu einem bestimmten Zeitpunkt ihres Bildungsganges erfolgreich zeigen sollten

sollen helfen „den Einzelnen zur Bewältigung von Lebens-situationen auszustatten“ (Robinsohn, 1973)

„Can do Statements“ in Englisch (MSA; Hör- und Hör-/Sehverstehen)

Die Schülerinnen und Schüler können... im Allgemeinen den Hauptpunkten von längeren Gesprächen folgen,

die in ihrer Gegenwart geführt werden,

Vorträge verstehen, wenn die Thematik vertraut und die Darstellung unkompliziert und klar strukturiert ist,

Ankündigungen und Mitteilungen zu konkreten Themen verstehen, die in normaler Geschwindigkeit in Standardsprache gesprochen werden,

vielen Filmen folgen, deren Handlung im Wesentlichen durch Bild und Aktion getragen wird,

den Informationsgehalt der meisten Rundfunksendungen und Tonaufnahmen über Themen von persönlichem Interesse verstehen,

das Wesentliche in vielen Fernsehsendungen zu Themen von persönlichem Interesse, z.B. Interviews, kurze Vorträge oder Nachrichtensendungen verstehen.

8 Schritte von den Standards zum summativen Assessment

1. Fachdidaktische und lernpsychologische Präzisierung der Standards; Entwürfe von Kompetenzmodellen

2. Erarbeitung von Richtlinien zur Entwicklung von Testaufgaben

3. Aufgabenentwicklung durch geschulte Lehrkräfte

4. Begutachtung der Aufgaben durch Fachdidaktiker und Psychometriker

5. Pilotstudien zu den psychometrischen Eigenschaften der Aufgaben

6. Normierung der Aufgaben auf der Basis national repräsentativer Stichproben

7. Erarbeitung von Kompetenzstufenmodellen und Definition von Mindest-, Regel- und Optimalstandards

8. Stichprobenbasierte Ländervergleiche (Summatives Assessment)

Von Kompetenzskalen zu Kompetenzstufen

Kontinuierliche Kompetenzskala

300 400 500 600 700Skalenwert

SD = 2SD = 2 SD = 1SD = 1

Nationaler Mittelwert

2,3% 15,9% 84,1% 97,7% Prozentrang50,0%

Definition von KompetenzstufenStandard-setting

Schulleistungen/Kompetenzen sind typischerweise kontinuierliche Merkmale

Prozedur: Einteilung des Kontinuums in Intervalle zur besseren Interpretation von Testwerten

Ziel der Niveaustufensetzung müssen plausibel interpretierbare und kommunizierbare Kompetenzstufen sein

Hierzu sollten Experten unterschiedlicher Gruppen eingebunden werden

Wichtige Voraussetzung: Aufgaben und Personen liegen auf dem selben Maßstab

Illustration des Standard-settings

ST 5

ST 4

ST 3

ST 2

ST 1

xxx

xxx

xxx

xxx

AufgabenLeistungs-SkalaM = 500SD = 100

Schritte im Standard-setting Prozess

1. Auswahl von Experten

2. Training von Experten (sofern nötig)

3. Entwicklung von Bezeichnungen für die einzelnen Kompetenzstufen

4. Entwicklung von Deskriptoren für die einzelnen Kompetenzstufen

5. Bestimmung von Schwellenwerten in mehreren Runden

(a) ohne Feedback und Diskussionsmöglichkeit

(b) mit Feedback und Diskussionsmöglichkeit

(c) mit « Impact Data » und Diskussionsmöglichkeit

6. Endgültige Setzung der Schwellenwerte durch politische Entscheidungsträger

7. Evaluation der Effektivität des Standard-setting Prozesses

8. Dokumentation des Standard-setting Prozesses

Mindest-, Regel- und Maximal-standards

Mindeststandards beschreiben Kompetenzniveaus, bei denen die standardbasierten Vorgaben noch nicht erreicht werden, die vorhandenen Kompetenzen aber vermuten lassen, dass bei Unterstützungsmaßnahmen der erfolgreiche Übergang in die Sekundarstufe I/in die berufliche Erstausbildung gelingt. Ziel eines Bildungssystems muss sein, dass alle Schülerinnen und Schüler wenigstens die Mindeststandards erreichen.

Regelstandards beschreiben Kompetenzniveaus, die im Einklang mit den durch die KMK verabschiedeten Kompetenzerwartungen sind.

Regelstandards plus beschreiben Kompetenzniveaus, die in einem gelingenden Unterricht langfristig erreicht werden sollten

Optimal- bzw. Maximalstandards beschreiben Kompetenz-niveaus, die deutlich über die curricularen Anforderungen hinaus gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der Schüler und gelungenen Unterrichts sind.

Beispiel: Grundschule Mathematik

Stufe Werte-bereich

Beschreibung Anteil im 4. Jg.

I < 390 Routineprozeduren auf Grundlage ein-fachen begrifflichen Wissens

10%

II 390 - 459 Einfache Anwendungen von Grundlagen-wissen

21%

III 460 - 529 Erkennen und Nutzen von Zusammen-hängen in einem vertrauten (mathe-matischen und sachbezogenen) Kontext

33%

IV 530 - 599 Sicheres und flexibles Anwenden von begrifflichem Wissen und Prozeduren im curricularen Umfang

21%

V ≥ 600 Modellierung komplexer Probleme unter selbstständiger Entwicklung geeigneter Strategien

15%

Kompetenzstufe I

Einfache mathematische Begriffe und Prozeduren sind bekannt und können in einem innermathematischen Kontext bzw. in einem aus dem Alltag vertrauten oder gut geübten Kontext korrekt reproduziert werden.

Insbesondere werden grundlegende Begriffe der ebenen Geometrie und gängige Repräsentanten standardisierter Einheiten richtig verwendet.

Zahldarstellungen in Stellentafeln werden sicher gelesen. Die Grundaufgaben des kleinen Einspluseins und Einmaleins

werden beherrscht und bei halbschriftlichen und schriftlichen Rechenverfahren genutzt, wenn die Aufgabenstellungen keine besonderen Schwierigkeiten aufweisen.

Klar strukturierten Diagrammen, Schaubildern und Tabellen mit Bezug zur Lebenswirklichkeit können relevante Daten entnommen werden.

Kompetenzstufe V

Mathematische Problemstellungen werden auch in einem unbekannten Kontext angemessen, sicher und flexibel bearbeitet.

Dabei werden geeignete Strategien, sinnvolle Bewertungen oder Verallgemeinerungen auf hohem Niveau geleistet.

Umfangreiches curricular verankertes Wissen wird in ungewohnten Situationen flexibel genutzt.

Das Vorgehen kann sicher und nachvollziehbar kommuniziert und begründet werden.

Komplexe Sachsituationen werden modelliert und bearbeitet, wobei besondere Schwierigkeiten wie die Verwendung von Tabellen, der Umgang mit zusammengesetzten Größen oder das Rechnen mit Zahlen in Kommaschreibweise auftreten können.

Es können auch ungewohnte funktionale Zusammenhänge analysiert und genutzt werden.

Die Lösung von Aufgaben kann ein hohes Maß an räumlichem Denken oder entsprechende analytische Fähigkeiten voraussetzen.

Beispielaufgaben: Zahlen und Operationen

V

IV

III

II

I

600

530

460

390

M = 500;SD = 100

Rechne schriftlich.

348 + 87 + 609 = _____________

Beispielaufgaben: Zahlen und Operationen

V

IV

III

II

I

600

530

460

390

M = 500;SD = 100

Beispielaufgaben: Zahlen und Operationen

V

IV

III

II

I

600

530

460

390

M = 500;SD = 100

Welche Zahl ist um 4 größer als das Produkt aus 9 und 3?10

16

31

39

63

Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie 25 Bilder. Tina hat 7 Bilder mehr als Esther.Wie viele Bilder hat Esther?7 9

16

18

Nutzen von Kompetenzstufen-modellen in Ländervergleichen (KMK-Gesamtstrategie)

Regelmäßige stichprobenbasierte Ländervergleiche in der 3. und 9. Jahrgangsstufe auf der Basis der Standards

9. Jahrgangsstufe Grundlage: Standards für den Mittleren Schulabschluss und

Hauptschulabschluss

Alle sechs Jahre Deutsch/Englisch/Französisch (2009, 2015, ...)

Alle sechs Jahre Mathematik/Naturwissenschaften (2012, 2018, ...)

Länderrepräsentative Stichproben (ca. 2.500 Schülerinnen und Schüler pro Land)

3. Jahrgangsstufe Alle 5 Jahre (2011, 2016,...)

Deutsch und Mathematik

Nutzen von Kompetenzstufen-modellen in Vergleichsarbeiten (KMK-Gesamtstrategie)

VERA-3: Vergleichsarbeiten in Deutsch und Mathematik in der dritten Jahrgangsstufe

VERA-8:Vergleichsarbeiten in Deutsch, Mathematik und 1. Fremdsprache in der 8. Jahrgangsstufe

Flankiert durch didaktische Materialien

Schulen bekommen widergespiegelt, welche Kompetenzstände ihre Schülerinnen und Schüler im Hinblick auf die Standards bereits erreicht haben.

Telefon +49[30]2093-5335

Telefax +49[30]2093-5336

IQBoffice@IQB.hu-berlin.de

www.IQB.hu-berlin.de

PostadresseHumboldt-Universität zu BerlinUnter den Linden 610099 Berlin

SitzLuisenstraße 5610117 Berlin

Vielen Dank für Ihre Aufmerksamkeit!

Institute forEducational Progress