Lernstandserhebungen in Nordrhein-Westfalen

Ergebnisse und Konsequenzen für Schulen und Lehrkräfte

Stand: Mai 2005

Dobbelstein, Pallack, Peek

Unterrichtsentwicklung und Medieneinsatz in den Kernlehrplan-Fächern

Welche Aufgabe haben die e-teams NRW?

Fachtagung am 18.5.2005 im Medienzentrum Rheinland

Erfahrungen 2004Ablauf

Kommunikation mit Schulen (Schulmails, Servermails, Hotline, FAQs,learn:line, Moderator/innen)

Bereitstellung von Materialien (ca. 2.100 Schulen, 210.000 Schüler/innen, 1,2 Millionen Aufgabenhefte, Auswertungsmanuale, Versand innerhalb von 3 Tagen; eine weitere Woche für Korrektur von Fehllieferungen und Annahmeproblemen an den Schulen)

prozessbegleitende Erstellung des Datenerfassungs- und Rückmeldesystems (Lernstandsserver, Eingabe-/Ausgabeformate)

insgesamt reibungsloser Ablauf in den Schulen (bewährt hat sich das „Koordinatoren-Modell“)

guter Datenrücklauf: Von 25.097 wurde die Dateneingabe vollständig abgeschlossen

Erfahrungen 2004

ProblemfelderInformation der Fachkolleg/innen

Elternrückmeldung (Volumen, Aussagekraft)

Stellenwert individualbezogener Ergebnisrückmeldungen in Bezug auf die zentrale Intention (Unterrichtsentwicklung)

Arbeitsbelastung in den Schulen (Auswertung, Umgang mit Ergebnissen

Kritik an Einzelaufgaben und Auswertungshinweisen

Standardüberprüfung (Vergewisserung einer Schule über die eigene Wirksamkeit)

Feststellung des Lern- und Förderbedarfs in den überprüften fachlichen Bereichen

Stärkung der diagnostischen Kompetenz von Lehrkräften

Impulse für die didaktische und methodische Weiterentwicklung des Unterrichts

Unterstützung der Umsetzung der neuen Kernlehrpläne

Bereitstellung von Informationen für das Systemmonitoring

(perspektivisch) Identifikation von Schulen mit unbefriedigender Wirksamkeitim Hinblick auf Unterstützungsmöglichkeit

Ziele

System der Standardsetzung und Standardüberprüfungen in NRW

Jahr-gang

Lernstandsüberprüfungen

Curriculare Standards

1 2 3 Parallelarbeiten (auf freiwilliger Basis) 4

(1. Halb-jahr)

Zentrale Lernstandserhebungen (Ver-gleichsarbeiten) in Deutsch und Mathematik

Übergangsprofil KMK-Bildungsstandards Ende 4. Jg.

5 6 Anforderungen am Ende der Jahrgangsstufe

6 in den Kerncurricula 7

(2. Halb-jahr)

Parallelarbeiten (schulische Aufgabenstel-lungen) in Deutsch, Englisch und Mathema-tik

8 Anforderungen am Ende der Jahrgangsstufe 8 in den Kerncurricula

9 (1. Halb-

jahr)

Zentrale Lernstandserhebungen) in Deutsch, Englisch, Mathematik

10 (2. Halb-

jahr)

Abschlussprüfungen mit zentralen Aufga-ben (ab dem Schuljahr 2006/2007)

Anforderungen am Ende der Jahrgangsstufe 10 in den Kerncurricula KMK-Bildungsstandards

Jahr-gang

Lernstandsüberprüfungen

Curriculare Standards

1 2 3 Parallelarbeiten (auf freiwilliger Basis) 4

(1. Halb-jahr)

Zentrale Lernstandserhebungen (Ver-gleichsarbeiten) in Deutsch und Mathematik

Übergangsprofil KMK-Bildungsstandards Ende 4. Jg.

5 6 Anforderungen am Ende der Jahrgangsstufe

6 in den Kerncurricula 7

(2. Halb-jahr)

Parallelarbeiten (schulische Aufgabenstel-lungen) in Deutsch, Englisch und Mathema-tik

8 Anforderungen am Ende der Jahrgangsstufe 8 in den Kerncurricula

9 (1. Halb-

jahr)

Zentrale Lernstandserhebungen) in Deutsch, Englisch, Mathematik

10 (2. Halb-

jahr)

Abschlussprüfungen mit zentralen Aufga-ben (ab dem Schuljahr 2006/2007)

Anforderungen am Ende der Jahrgangsstufe 10 in den Kerncurricula KMK-Bildungsstandards

System der Standardsetzung und Standardüberprüfungen in NRW

• Testarrangement und Testaufgabenversus Lernarrangements und Lernaufgaben

• Bestandsaufnahme von LernergebnissenversusDiagnose von Lernprozessen und Lernentwicklungen

• Bestandsaufnahme von fachlichen Stärken und Schwächen in der Klasse / in der Schule versusLeistungsbeurteilung und Benotung der einzelnen Kinder

• Rückmeldung für alle Lerngruppen und alle SchülerInnen mit Angaben von VergleichswertenversusSystemmonitoring / Schulleistungsstudie (Systemdaten, Ländervergleiche etc.)

• Feedback bezogen auf Bereiche fachlichen LernensversusTestergebnisse als Ausweis von Schulqualität im Fokus einer Rankingdebatte

„Grundsatzklärungen“

• Tests als Verfahren zur Selbstvergewisserung darüber,inwieweit eine Schule ihre Ziele erreicht

Hinweise auf Stärken und Schwächen der eigenen Schule im fachlichen Lernen

differenziertere Wahrnehmung von Schülerleistungen in vergleichender Perspektive(bezogen auf Bezugsgruppen und Kriterien)

Zielsetzung: Standardüberprüfung

Klasse / Kurs

Parallelklassen

vergleichbare Schulen

landesweite Orientierung

Bezugsgruppen-/ Normorientierung

Kriterienorientierung

differenziertere Wahrnehmung von Schülerleistungen in vergleichender Perspektive

fachliche und fachdidaktische

Kriterien

empirisch geklärte Schwierigkeitsgrade

Zuordnung zu Kompetenzniveaus

Gymnasium

Gesamtschule

Realschule

Hauptschule

Was bedeutet „vergleichbare Schule“?

Gymnasium

Gesamtschule

Realschule

Hauptschule

IMigrationshintergrund (+++)Bildungsnähe der Elternhäuser (+++)Sozialtopographie (---)… ...

IIMigrationshintergrund (+)Bildungsnähe der Elternhäuser (+)Sozialtopographie (-) ... III

Migrationshintergrund (-)Bildungsnähe der Elternhäuser (-)Sozialtopographie (+)...

Was bedeutet „vergleichbare Schule“?

Schulleiterfragebogen

zur Bildung von Standorttypen

- Beispiel: Hauptschulen

Hauptschulen(N = 731)

Gesamtschulen(N = 213)

Realschulen(N = 539)

Gymnasien(N = 624)

Standorttyp1

N = 27838,0%

N = 6631,0%

N = 20738,4%

N = 16125,8%

Standorttyp2

N = 33445,7%

N = 11754,9%

N = 33261,6%

N = 46374,2%

Standorttyp3

N = 11916,3%

N = 3014,1%

Standorttypen – Verteilung der Schulen (N = 2107)

Schulleistungsstudien (z.B. PISA) durch

flächendeckende Einbeziehung der Schulen (nicht nur Stichprobe)

die enge Bindung an curriculare Standards

die Konzentration auf ausgewählte Teilleistungsbereiche der Fächer

eine Korrektur/Auswertung durch Lehrkräfte

die systematische Einbindung in einen schulischen Entwicklungsprozess

einheitliche Aufgabensätze für Lerngruppen (kein „Multimatrix-Sampling“)

Lernstandserhebungen (in NRW) unterscheiden sich von

Gute Testaufgaben sind nicht zugleich auch immer gute Lernaufgaben für den Unterricht!

Ja Nein Peter wohnt am weitesten von der Schule entfernt. Zusammen mit Maria geht Paula schneller als alleine. Maria ist noch nicht fertig, als Paula bei ihr vorbei kommt.

Peter, Paula und Maria sind Klassenkameraden und wohnen an der gleichen Straße. Am Ende derStraße liegt ihre Schule. Jeden Morgen gehen sie zu Fuß zur Schule, die um 8:15 Uhr beginnt. Die Zeichnung zeigt, wo sie sich gestern zu verschiedenen Zeiten befunden haben.

Aufgabe Schulweg

Schülerinnen und Schüler können die zur Lösung der Aufgabe notwendigen Kompetenzen nicht durch die Bearbeitung von „ähnlichen“ Aufgaben erwerben.

Aufgaben zum Prüfen Aufgaben zum Lernen

Aufgabe für den UnterrichtAuch für deinen Schulweg kann man solche Diagrammeerstellen. Beschreibe deinen Schulweg und zeichne einentsprechendes Diagramm.

Aufgabe SchulwegAufgaben zum Erwerb von Kompetenzen

• Testergebnisse als Ansatzpunkt für Aussagen überspezifische Stärken und Schwächen und damit den Förderbedarf von Schülerinnen und Schülern

Verknüpfung mit Beobachtungen von Lernentwicklungen und -prozessen(schwedisches Modell der „diagnostischen Materialien“)

diagnostische Potentiale der Aufgaben: Lernstände differenziert bezogen auf bestimmteKompetenzen und Teilleistungsbereiche erkennen

Zielsetzung: Feststellung von Lern- und Förderbedarf

Auswertungsmöglichkeiten

Ergebnisse im Hinblick auf kriterial beschreibbare Kompetenzniveaus

Vergleich der Ergebnisse von parallelen Klassen

Vergleich der Ergebnisse mit schulübergreifenden Referenzwerten

Analyse von Lösungshäufigkeiten der einzelnen Aufgaben: Beschreibung von fachlichen Stärken und Schwächen in der Klasse / im Kurs

Aufgabenbezogene Rückmeldung (LSE 9)

Kompetenzbezogene Rückmeldung (LSE 9)

fachbezogene Kompetenzen

prozessbezogene Kompetenzen inhaltsbezogene Kompetenzen

Argumentieren Argumentieren und Kommunizieren

Arithmetik/ Algebra

mit Zahlen und Symbolen umgehen

Problemlösen Probleme erfassen, erkunden und lösen Funktionen

Beziehungen und Veränderung beschreibenund erkunden

Modellieren Modelle erstellenund nut-zen Geometrie

ebene und räumlicheStrukturen nach Maß und Form erfassen

Werkzeuge Medien und Werkzeugeverwenden Stochastik mit Daten und Zufall arbeiten

Kernlehrpläne und Lernstandserhebungen

Werden zu gleichen Teilen berücksichtigt

fachbezogene Kompetenzen

prozessbezogene Kompetenzen inhaltsbezogene Kompetenzen

Argumentieren Argumentieren und Kommunizieren

Arithmetik/ Algebra

mit Zahlen und Symbolen umgehen

Problemlösen Probleme erfassen, erkunden und lösen Funktionen

Beziehungen und Veränderung beschreibenund erkunden

Modellieren Modelle erstellenund nutzen Geometrie

ebene und räumlicheStrukturen nach Maß und Form erfassen

Werkzeuge Medien und Werkzeugeverwenden Stochastik mit Daten und Zufall arbeiten

Kernlehrpläne und Lernstandserhebungen

Werden zu gleichen Teilen berücksichtigtJährlich wechselnder Schwerpunkt

2004

2005

2006

2007

2004: Modellieren:

• Schülerinnen und Schüler nutzen Mathematik als Werkzeug zum Erfassen von Phänomenen der realen Welt.

• Sie übersetzen Realsituationen in mathematische Modelle (Terme, Gleichungen, Funktionen, Figuren, Diagramme, Tabellen, Zufallsversuche) und ordnen mathematischen Modellen passende Realsituationen zu.

• Sie überprüfen und interpretieren die im mathematischen Modell gewonnene Lösung in der jeweiligen realen Situation, bewerten und verändern gegebenenfalls ihren Lösungsweg oder das Modell.

Kompetenzniveaus (Mathematik/Modellieren)

• Tests prüfen empirisch, ob vorliegende Modelletatsächlich die Aspekte der Kompetenzen von Lernenden, ihre Niveaustufung und ggf. ihreEntwicklung angemessen widerspiegeln

Ansatzpunkte für die Reflexion über kumulatives Lernen und für die Kommunikation von Lernentwicklungen

Referenzpunkte für die Weiterentwicklung von Bildungsstandards und Lehrplänen

Zielsetzungen

Verteilung der Schüler auf die Kompetenzniveaus (Mathematik: Modellieren)

5

14

7

1

8

17

14

6

36

50

49

40

12

38

18

26

46

52

13

1

4

7

1 35

0% 20% 40% 60% 80% 100%

Nordrhein-Westfalen

Hauptschule

Gesamtschule

Realschule

Gymnasium

Nicht auswertbare Leistung Niveau 1 (Kontextbezogenes Rechnen)

Niveau 2 (Elementares Situationsverständnis) Niveau 3 (Einschrittiges Modellieren)

Niveau 4 (Komplexes Modellieren / Modelle entwickeln) * inkl. 4% über Niveau 4 ** inkl. 1% über Niveau 4

*

**

Mathematik Modellieren nach Schulformen

Perzentilbänder Mathematik (Modellieren)

240 260 280 300 320 340

NRW

HS G-Kurs S1HS G-Kurs S2HS G-Kurs S3

HS E-Kurs S1HS E-Kurs S2HS E-Kurs S3

GS G-Kurs S1GS G-Kurs S2GS G-Kurs S3

GS E-Kurs S1GS E-Kurs S2GS E-Kurs S3

RE S1RE S2

GYM S1GYM S2

Perzentile5 % 10 % 25 % 75 % 90 % 95 %

Mittelwert

Perzentile5 % 10 % 25 % 75 % 90 % 95 %

Mittelwert

M1 M2 M3 M4 M4+

Verteilung der Schüler auf die Kompetenzniveaus (Englisch: Lesen)

1

3

1

13

33

24

2

20

37

33

17

1

31

21

30

52

19

21

5

9

23

14

1

3

6

3941

0% 20% 40% 60% 80% 100%

Nordrhein-Westfalen

Hauptschule

Gesamtschule

Realschule

Gymnasium

Nicht auswertbare LeistungNiveau 1 (Auffinden bzw. Wiedererkennen von Informationen auf der Textoberfläche)Niveau 2 (Einfaches Verstehen)Niveau 3 (Grundlegendes Verstehen und einfaches Schlussfolgern)Niveau 4 (Differenziertes Verstehen und Schlussfolgern)Niveau 5 (Differenziertes Verstehen, Schlussfolgern und Restrukturieren)

Leseverstehen Englisch nach Schulformen

Verteilung der Schüler auf die Kompetenzniveaus (Deutsch: Lesen)

2

5

2

7

19

13

2

10

19

16

9

1

45

45

51

60

28

9

23

13

3

4

6

32

14

39

23

0% 20% 40% 60% 80% 100%

Nordrhein-Westfalen

Hauptschule

Gesamtschule

Realschule

Gymnasium

Nicht auswertbare Leistung Niveau 1 (Einfache Informationsentnahme)Niveau 2 (Einfaches Leseverstehen) Niveau 3 (Grundlegendes Leseverstehen)Niveau 4 (Differenziertes Leseverstehen) Niveau 5 (Komplexes Leseverstehen)

Leseverstehen Deutsch nach Schulformen

Kompetenzmodelle: Beispiel Leseverstehen

Kompetenzmodelle: Beispiel Leseverstehen

Auswertung von Ergebnissen

Möglicher idealtypischer Ablauf eines Umgangs mit Ergebnissen

Individuelle Auswertung auf der Ebene der Fachlehrkräfte

Auswertung auf der Ebene der Fachgruppe (Lehrkräfte der Jahrgangsstufe)

Diskussion und Überlegungen zu Konsequenzen durch die Fachkonferenz

Vorlage für den Bericht an die Gremien/Schulaufsicht

FachkonferenzAufarbeitung der Ergebnisse aus der Lernstandserhebung

Ziele

• fachliche Vorarbeiten für die Berichterstattung an die Gremien / die Schulaufsicht

• Vereinbarungen über konkrete Handlungsschritte zur Umsetzung der anvisierten Konsequenzen

Fachkonferenz

Leitperspektive

Stärken und Schwächen bei den Ergebnissen- bezogen auf fachliche Anforderungen der Aufgaben- im schulinternen Vergleich- im schulübergreifenden Vergleich

Besprechungsaspekte- Bestandsaufnahme / Beschreibung der Ergebnisse- mögliche Ursachen / Erklärungen- Konsequenzen

Fachkonferenz

Arbeitsfragen

1. Welche Aufgaben schauen wir uns genauer an?(Auffälligkeiten / erwartungswidrige Ergebnisse, Extremwerte, Parallelklassenvergleich, Jahrgangsstufenvergleich, Referenzwerte)

2. Welche Auffälligkeiten bestehen bei den Kompetenzniveaus?(Bezugsgruppenvergleiche, genauere Betrachtung der inhaltlichen Dimensionen der einzelnen Kompetenzniveaus,erwartungswidrige Ergebnisse einzelner Schüler/innen)________________________________________________

• Mögliche Ursachen

• Welche Konsequenzen ergeben sich für die Jahrgangsstufe 9 / für das Fach in den vorausgehenden Jahrgangsstufen?

Fachkonferenz

Welcher Fortbildungsbedarf zeichnet sich bei der Umsetzung der LSE in den Schulen ab? Eine erste Bilanz – (1) Vorbereitung und Durchführung

• Probleme beim Umgang mit den internetgestützten Verfahren „Damit habe ich ein Unternehmen beauftragt.“

• Gestaltung des schulinternen Arbeitsprozesses„Davon habe ich gar nichts mitbekommen, das machen bei uns nur die 9er“.

• Missverständnisse über die Zielstellungen der Lernstandserhebungen„Da würde doch eine Stichprobe reichen, warum müssen wir das alle machen?“

• Einbindung in den Unterricht und Vorbereitung der Schülerinnen und Schüler„Nicht bei uns, aber in anderen Schulen wurden die Aufgaben gezielt geübt!“

• Unterschied zwischen Aufgabenformaten und Aufgabentypen der Lernstandserhebungen und Lernaufgaben bzw. Aufgaben in Klassenarbeiten„Da wird nur das Ergebnis gewertet, die richtige Antwortalternative könnten die Schüler auch erraten haben.“

• Lehrplan-/Standardbezug der Lernstandserhebungen„Das haben wir noch gar nicht behandelt.“

Welcher Fortbildungsbedarf zeichnet sich bei der Umsetzung der LSE in den Schulen ab? Eine erste Bilanz – (2) Umgang mit Ergebnissen

• Anwendung der zentralen Bewertungskriterien bei der Auswertung„Bei 10 Lehrkräften kreuzt jeder etwas anderes an.“

• Sachgerechte Interpretation von Ergebnisübersichten und Schaubildern„Können Sie mir sagen, ob wir nun gut oder schlecht abgeschnitten haben?“

• Umgang mit Kompetenzmodellen„Was bedeutet es, wenn ein Viertel meiner Klasse nur Niveau 1 erreicht?Entsprechen diese Schüler den Standards oder nicht?

• Schulinterner Umgang mit den Ergebnissen und Information der Eltern„Die Ergebnisse der Klassen und der Schule geben wir den Eltern nicht.“

• Analyse von Ergebnissen und Nutzen der diagnostischen Potentiale„Dass unsere Schülerinnen und Schüler das nicht können, wussten wir auch schon vorher.“

• Erarbeiten von Handlungsmöglichkeiten und Konsequenzen„Und welche Fördermöglichkeiten können Sie uns jetzt bieten?“

Aufgaben der Fortbildung im Zusammenhang der Kernlehrpläne und Lernstandserhebungen

1. Orientierungs- und Basiswissen

• Vermittlung der Grundlagen des mit systematischer Standardsetzung und Standardsicherung verbundenen neuen Steuerungssystems für schulische Arbeit („Ergebnisorientierung“)

• Thematisierung des curricularen „Paradigmenwechsels“, der mit derEinführung von Bildungsstandards und Kerncurricula verbunden ist

• Funktionen von Bildungsstandards, Kernlehrplänen, Kompetenzmodellenvermitteln

• Formen und Ziele von Standardüberprüfungen und von Lernstandserhebungenvermitteln

Aufgaben der Fortbildung im Zusammenhang der Kernlehrpläne und Lernstandserhebungen

2. Unterstützung der Prozessgestaltung

• Umgang mit den Ergebnissen von Lernstandserhebungen in der schulischen Arbeit a) methodische Grundlagen: sachlich richtige Interpretation, Analyse von

auffälligen Unterschieden zwischen parallelen Klassen, Fehleranalysen ...b) Gestaltung der schulinternen Arbeitsprozesse: Rückmeldung an die

Lerngruppen, Arbeit in den Fachgruppen / -konferenzen, Information der Schüler/innen und Eltern ...

• Standardsicherung als Teil der Schulprogrammarbeit: Umsetzung der Kern-lehrpläne in der Schule, Einbindung der Standards und der Lernstandserhebungenin die interne Evaluation und die Weiterentwicklung des Schulprogramms ..

• Standardüberprüfung als Teil des Schulmanagements: Aufgaben der Schulleitung beim Umgang mit Standards und Lernstandsergebnissen

Aufgaben der Fortbildung im Zusammenhang der Kernlehrpläne und Lernstandserhebungen

3. Fachspezifisches Handlungswissen

• Einführung in die fachspezifischen Standards (Kernlehrpläne) und in die Bedeutung von Kompetenzmodellen

• Aufgabenkultur und Aufgabentypen (komplexe Lernaufgaben - Testaufgaben)

• Fachspezifische Unterrichtsentwicklung (Interpretation und Umgang mit Ergebnissen der Lernstandserhebungen, Selbstevaluation des Fachunterrichts ...)

• Weiterentwicklung der Lehr- und Lernkultur (selbstständiges Lernen, Lern- und Arbeitstechniken, diagnostische Kompetenzen ...)

• Fachspezifische Förderstrategien (insb. auch für Schüler/innen der unteren Kompetenzniveaus

Planungsstand LSE 2005

Mathematik

Diskussionsstand: • Schwerpunkt: prozessbezogene Kompetenz Problemlösen (50% der Aufgaben)

- weiterhin Streuung über alle Inhaltsbereiche;allerdings: Akzentsetzung Geometrie/Raumvorstellung

• Auswertungsformate: - falsch / richtig / nicht bearbeitet- zusätzlich bis zu drei unabhängige Kategorien zur Erfassung von Teillösungen

T/A, T/B, T/C (Abstufung von Lösungsgraden und zur Erfassung typischer Fehler)- statistische Auswertungen, die über den Bezugsrahmen Schule hinausgehen,

beschränken sich weiterhin auf die Kategorien nicht bearbeitet / falsch / richtig

Planungsstand beim Durchgang 2005

Deutsch

Diskussionsstand: • weiterhin: thematische Einstimmung und Einbindung über ein Textheft

• Schwerpunkte:- Lesen (Referenzwerte und Kompetenzniveaus)- Schreiben mit Fokus auf eine ausgewählte Dimension;

testsetübergreifende Aufgabenstellung; „Checklisten“ zur Beurteilung (Referenzwerte und ggf. Kompetenzniveaus)

- neu hinzu tritt der Lernbereich Zuhören und Verarbeiten von Informationen (Hörtext – in der Erprobung mit ca. 18 Items)

Planungsstand beim Durchgang 2005

EnglischDiskussionsstand:• Schwerpunkte:

- integrative Berücksichtigung der interkulturellen und methodischen Kompetenzensowie der Bereiche sprachliche Mittel und Korrektheit

- explizite Schwerpunktsetzung bei den Teilbereichen des Gesamtkomplexes Kommunikative Kompetenzen (Lesen, Schreiben, Hörverstehen)

- angestrebt wird eine Rückmeldung von Kompetenzniveaus im rezeptiven und produktiven Bereich; also auch im Bereich Schreiben neben dem Hörverstehen in 2005 und Lesen in 2006)

• Testkonstruktion: - stärkere thematische Diversifizierung als 2004

Planungsstand beim Durchgang 2005

- Schulbefragung des Landesinstituts zu den Erfahrungen mit den Lernstandserhebungen (Online-Befragungen)

- Präpilotierung der Aufgaben April / Mai Pilotierungsstudie (Überprüfung der Aufgaben, der Auswertungsanweisungen, der Kodierung, des Zeitaspekts und des Auswertungsverfahrens) im Juni zur Erprobung neuer Aufgaben

- Berichte der Schulen an die Schulaufsicht bis Ende des Schuljahres

- Evaluationsprojekte

- Durchführung 2005 nach den Herbstferien: 26.10. (Mathematik), 3.11. (Deutsch), 8.11. (Englisch)

Weiterer Zeitplan LSE 9