Tischvorlage zu TOP 4 - kieler … · A2 358 372 365 10 350 360 355 7 ... Optimal-Optimal---bzw. ... Standardisiertes Testheft pro SchStandardisiertes Testheft pro Schü üüüler

Tischvorlage zu TOP 4

Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel

Prof. Dr. Olaf Köller

SchSchSchSchüüüülerleistungen und lerleistungen und lerleistungen und lerleistungen und KompetenzstufenmodelleKompetenzstufenmodelleKompetenzstufenmodelleKompetenzstufenmodelle

Olaf KOlaf KOlaf KOlaf KööööllerllerllerllerLeibnizLeibnizLeibnizLeibniz----Institut fInstitut fInstitut fInstitut füüüür die Pr die Pr die Pr die Päääädagogik der Naturwissenschaften dagogik der Naturwissenschaften dagogik der Naturwissenschaften dagogik der Naturwissenschaften

und Mathematik (IPN)und Mathematik (IPN)und Mathematik (IPN)und Mathematik (IPN)

4. Kieler Schulleitungssymposium: Leistung und Leistungsmessung in der Schule



� Die KMK-Gesamtstrategie der Qualitätssicherung

� Von Kompetenzskalen zu Kompetenzstufen: Standard-Setting

� Ein Beispiel: Definition von Kompetenzstufen im Fach Englisch

� Nutzung von Kompetenzstufen zur Definition von Mindest-,

Regel- und Idealstandards

� Kompetenzstufen im Ländervergleich 2009

� Nutzung von Kompetenzstufenmodellen bei der

Lernausgangslagendiagnostik zu Beginn der Sekundarstufe I

� Zusammenfassung

ÜÜÜÜberblickberblickberblickberblick



� Beteiligung an internationalen Studien auf Stichprobenbasis

(internationales Benchmarking)

-PISA in der Sekundarstufe I (15jährige)

-PIRLS und TIMSS in der Grundschule (4. Jahrgangsstufe)

� Nationaler Vergleich (Ländervergleich) durch das IQB auf

der Basis der länderübergreifenden Bildungsstandards

-4. Jahrgangsstufe für den Primarbereich

-9. Jahrgangsstufe für den Mittleren Abschluss

� Flächendeckende Vergleichsarbeiten (Stufen 3 und 8) zum

Zwecke der intermediären Feststellung von Leistungs-

ständen; Anbindung an die Standards (VERA 3 und VERA 8)

Standards, LStandards, LStandards, LStandards, Läääändervergleiche und Vergleichsndervergleiche und Vergleichsndervergleiche und Vergleichsndervergleiche und Vergleichs----arbeiten: Beschlarbeiten: Beschlarbeiten: Beschlarbeiten: Beschlüüüüsse der KMKsse der KMKsse der KMKsse der KMK




KMKKMKKMKKMK----Gesamtstrategie zum BildungsmonitoringGesamtstrategie zum BildungsmonitoringGesamtstrategie zum BildungsmonitoringGesamtstrategie zum BildungsmonitoringZeitliche PerspektivenZeitliche PerspektivenZeitliche PerspektivenZeitliche Perspektiven

2009200920092009 2010201020102010 2011201120112011 2012201220122012 2013201320132013 2014201420142014 2015201520152015 2016201620162016

PIRLS � �

TIMSS � �

PISA � � �

LV-GS � �

LV-Sek. � � �

VERA � � � � � � � �

NBB � � � �

LV-GS: Ländervergleich in der 4. Jahrgangsstufe (Deutsch, Mathematik)LV-Sek.: Ländervergleich in der 9. Jahrgangsstufe (abwechselnd Sprachen vs. Mathe + Nawi)VERA: Vergleichsarbeiten in der 3. und 8. JahrgangsstufeNBB: Nationaler Bildungsbericht



� Ergebnisse müssen verständlich/nachvollziehbar sein

� Welche Leistung muss erreicht werden, damit die

Schule/Klasse bzw. die Schülerinnen und Schüler im Soll

sind?

� Wie kann ich die Ergebnisse für Unterrichtsentwicklung und

individuelle Förderung nutzen?

Forderungen, die aus der Praxis an TestsForderungen, die aus der Praxis an TestsForderungen, die aus der Praxis an TestsForderungen, die aus der Praxis an Testsgestellt werdengestellt werdengestellt werdengestellt werden



Kompetenzstufenmodelle als Kompetenzstufenmodelle als Kompetenzstufenmodelle als Kompetenzstufenmodelle als Interpretationshilfe Interpretationshilfe Interpretationshilfe Interpretationshilfe

� Schulleistungen/Kompetenzen sind typischerweise kontinuierliche Merkmale

� Prozedur: Einteilung des Kontinuums in Intervalle zur besseren Interpretation von Testwerten

� Ziel der Niveaustufensetzung müssen plausibel interpretierbare und kommunizierbare Kompetenzstufen sein

� Hierzu sollten Experten unterschiedlicher Gruppen eingebunden werden

� Wichtige Voraussetzung: Aufgaben und Schüler liegen auf dem selben Maßstab




Kontinuierliche Kompetenzskala Kontinuierliche Kompetenzskala Kontinuierliche Kompetenzskala Kontinuierliche Kompetenzskala ((((MMMM = 500 und = 500 und = 500 und = 500 und SDSDSDSD = 100) = 100) = 100) = 100)

300300300300 400 500 600 700400 500 600 700400 500 600 700400 500 600 700

SkalenwertSkalenwertSkalenwertSkalenwert

SDSDSDSD = 2= 2= 2= 2SDSDSDSD = 2= 2= 2= 2 SDSDSDSD = 1= 1= 1= 1SDSDSDSD = 1= 1= 1= 1

Nationaler Nationaler Nationaler Nationaler MittelwertMittelwertMittelwertMittelwert

2,3%2,3%2,3%2,3% 15,9%15,9%15,9%15,9% 84,1%84,1%84,1%84,1% 97,7% Prozentrang97,7% Prozentrang97,7% Prozentrang97,7% Prozentrang50,0%50,0%50,0%50,0%



Schritte im StandardSchritte im StandardSchritte im StandardSchritte im Standard----setting Prozesssetting Prozesssetting Prozesssetting Prozess

1. Auswahl von Experten

2. Training von Experten (sofern nötig)

3. Entwicklung von Bezeichnungen für die einzelnen Kompetenzstufen

4. Entwicklung von Deskriptoren für die einzelnen Kompetenzstufen

5. Bestimmung von Schwellenwerten in mehreren Runden

(a) ohne Feedback und Diskussionsmöglichkeit

(b) mit Feedback und Diskussionsmöglichkeit

(c) mit « Impact Data » und Diskussionsmöglichkeit

6. Endgültige Setzung der Schwellenwerte durch politische Entscheidungsträger

7. Evaluation der Effektivität des Standard-setting Prozesses

8. Dokumentation des Standard-setting Prozesses



StandardStandardStandardStandard----setting im Fach Englisch fsetting im Fach Englisch fsetting im Fach Englisch fsetting im Fach Englisch füüüür r r r den Mittleren Schulabschlussden Mittleren Schulabschlussden Mittleren Schulabschlussden Mittleren Schulabschluss

� Insgesamt vier Panels

- Lehrkräfte mit klassischer Bookmark-Methode (homogen)

- Lehrkräfte mit modifizierter Bookmarkmethode (Computer-Programm Criterion Map; homogen)

- Fachdidaktiker/Bildungsforscher/Lehrkräfte mit klassischer Bookmark-Methode (heterogen)

- Fachdidaktiker/Bildungsforscher/Lehrkräfte mit modifizierter Bookmarkmethode (Computer-Programm Criterion Map; heterogen)

� Fünftägiger Workshop

� Festlegung von vier Cut Scores




BookmarkBookmarkBookmarkBookmark----MethodeMethodeMethodeMethode

OrderedItem

Booklet

1

2

3

19

109

8

76

5

4

18

17

16

15

14

13

12

11

22

21

20

OrderedItem

Booklet

1

2

3

19

109

8

76

5

4

18

17

16

15

14

13

12

11

22

21

20

Items sind nachaufsteigender

Schwierigkeit sortiert

Items oberhalb der Bookmark sind zu schwer für Schüler der Stufe X

Items unterhalb der Bookmark erfordern Operationen, die con Schüler auf Stufe X beherrscht werden

Bookm

ark

X

Y



Modifizierte BookmarkModifizierte BookmarkModifizierte BookmarkModifizierte Bookmark----MethodeMethodeMethodeMethode

CriterionMap 1.27CriterionMap 1.27CriterionMap 1.27CriterionMap 1.27

BEAR Assessment Center BEAR Assessment Center BEAR Assessment Center BEAR Assessment Center

(University of California at (University of California at (University of California at (University of California at Berkeley)Berkeley)Berkeley)Berkeley)

C1C1C1C1

680680680680

B2B2B2B2

560560560560

B1B1B1B1

430430430430

A2A2A2A2

350350350350

A1A1A1A1



Befunde im LesenBefunde im LesenBefunde im LesenBefunde im Lesen

Level HomogenHeterogen Mean SD HomogenHeterogen Mean SD

C1 647 655 651 6 640 735 688 67

B2 499 557 528 41 580 540 560 28

B1 426 437 432 8 450 450 450 0

A2 358 372 365 10 350 360 355 7

CriterionMapBookmark

Level Grand Mean SD Adjusted Mean Interval Cuts after Rescaling

C1 681,13 44,26 650 100 700

B2 539,00 34,19 550 100 600

B1 440,75 11,59 450 100 500

A2 361,25 9,09 350 400

Level HomogenHeterogen Mean SD HomogenHeterogen Mean SD

C1 647 655 651 6 640 735 688 67

B2 499 557 528 41 580 540 560 28

B1 426 437 432 8 450 450 450 0

A2 358 372 365 10 350 360 355 7

CriterionMapBookmark

Level Grand Mean SD Adjusted Mean Interval Cuts after Rescaling

C1 681,13 44,26 650 100 700

B2 539,00 34,19 550 100 600

B1 440,75 11,59 450 100 500

A2 361,25 9,09 350 400




Verteilung der SchVerteilung der SchVerteilung der SchVerteilung der Schüüüüler auf die Stufenler auf die Stufenler auf die Stufenler auf die Stufen

C1

B2

B1

A2

A1



MindestMindestMindestMindest----, Regel, Regel, Regel, Regel---- und Maximalstandardsund Maximalstandardsund Maximalstandardsund Maximalstandards� MindeststandardsMindeststandardsMindeststandardsMindeststandards beschreiben Kompetenzniveaus, bei denen die

Vorgaben der Standards nicht erreicht werden, die vorhandenen Kompetenzen aber vermuten lassen, dass bei Unterstützungs-maßnahmen der erfolgreiche Übergang in die berufliche Erst-ausbildung gelingt. Ziel eines Bildungssystems muss sein, dass alle Schülerinnen und Schüler wenigstens die Mindeststandards erreichen.

� RegelstandardsRegelstandardsRegelstandardsRegelstandards beschreiben Kompetenzniveaus, die im Einklang mit den durch die KMK verabschiedeten Kompetenzerwartungen sind.

� Regelstandards plus Regelstandards plus Regelstandards plus Regelstandards plus beschreiben Kompetenzniveaus, die in einem gelingenden Unterricht langfristig erreicht werden sollten

� OptimalOptimalOptimalOptimal---- bzw. Maximalstandards bzw. Maximalstandards bzw. Maximalstandards bzw. Maximalstandards beschreiben Kompetenzniveaus, die deutlich über die curricularen Anforderungen hinaus gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der Schüler und gelungenen Unterrichts sind.



MindestMindestMindestMindest----, Regel, Regel, Regel, Regel---- und Maximalstandards fund Maximalstandards fund Maximalstandards fund Maximalstandards füüüür r r r den MSA iden MSA iden MSA iden MSA in Englischn Englischn Englischn Englisch

LesenLesenLesenLesen HHHHöööörenrenrenren LesenLesenLesenLesen HHHHöööörenrenrenren

A1A1A1A1A2.1A2.1A2.1A2.1

Unter MindestUnter MindestUnter MindestUnter Mindest----standardstandardstandardstandard

< 450< 450< 450< 450 < 415< 415< 415< 415 < 385< 385< 385< 385 < 365< 365< 365< 365

A2A2A2A2 A2.2A2.2A2.2A2.2B1.1B1.1B1.1B1.1

MindestMindestMindestMindest----standardstandardstandardstandard

450 450 450 450 –––– 549549549549 415 415 415 415 ---- 544544544544 385 385 385 385 –––– 494494494494 365 365 365 365 ---- 494494494494

B1B1B1B1 B1.2B1.2B1.2B1.2 RegelstandardRegelstandardRegelstandardRegelstandard 550 550 550 550 ---- 599599599599 545 545 545 545 ---- 609609609609 495 495 495 495 ---- 549549549549 495 495 495 495 ---- 559559559559

B2.1B2.1B2.1B2.1Regelstandard Regelstandard Regelstandard Regelstandard plusplusplusplus

600 600 600 600 ---- 649649649649 610 610 610 610 ---- 674674674674 550 550 550 550 ---- 604604604604 560 560 560 560 ---- 624624624624

B2B2B2B2C1C1C1C1

B2.2B2.2B2.2B2.2 MaximalMaximalMaximalMaximal----standardstandardstandardstandard

≥≥≥≥ 650650650650 ≥≥≥≥ 675675675675 ≥≥≥≥ 605605605605 ≥≥≥≥ 625625625625

GERGERGERGER----NiveauNiveauNiveauNiveau

UnterUnterUnterUnter----stufestufestufestufe

KriteriumKriteriumKriteriumKriterium EnglischEnglischEnglischEnglisch FranzFranzFranzFranzöööösischsischsischsisch




SchSchSchSchüüüüleranteile im Hleranteile im Hleranteile im Hleranteile im Höööörverstehen (in %) nach rverstehen (in %) nach rverstehen (in %) nach rverstehen (in %) nach LLLLäääändergruppe und Stufen (Lndergruppe und Stufen (Lndergruppe und Stufen (Lndergruppe und Stufen (Läääändervergleich 2009)ndervergleich 2009)ndervergleich 2009)ndervergleich 2009)

≤≤≤≤ A2.2A2.2A2.2A2.2 A2.2/A2.2/A2.2/A2.2/B1.1B1.1B1.1B1.1

B1.2B1.2B1.2B1.2 B2.1B2.1B2.1B2.1 ≥≥≥≥ B2.2B2.2B2.2B2.2

SonstigeSonstigeSonstigeSonstige 14,314,314,314,3 62,762,762,762,7 17,917,917,917,9 4,64,64,64,6 0,50,50,50,5

Alte Alte Alte Alte LLLLäääändernderndernder

GymnasiumGymnasiumGymnasiumGymnasium 0,70,70,70,7 24,724,724,724,7 37,137,137,137,1 27,627,627,627,6 9,99,99,99,9

GesamtGesamtGesamtGesamt 8,38,38,38,3 46,246,246,246,2 26,226,226,226,2 14,614,614,614,6 4,64,64,64,6

SonstigeSonstigeSonstigeSonstige 42,742,742,742,7 51,751,751,751,7 5,05,05,05,0 0,60,60,60,6 0,10,10,10,1

Neue Neue Neue Neue LLLLäääändernderndernder

GymnasiumGymnasiumGymnasiumGymnasium 3,03,03,03,0 47,747,747,747,7 33,833,833,833,8 13,113,113,113,1 2,32,32,32,3

GesamtGesamtGesamtGesamt 25,225,225,225,2 50,050,050,050,0 17,717,717,717,7 6,16,16,16,1 1,11,11,11,1

GERGERGERGER----StufeStufeStufeStufe



ZwischenfazitZwischenfazitZwischenfazitZwischenfazit

� Kompetenzstufen werden in erster Linie definiert, um die

Kommunikation über Leistungen aus Schulleistungs-

studien zu erleichtern

� Sie sind das Resultat eines konsensuellen Prozesses in

Abstimmung zwischen Fachdidaktik, Psychometrie und

Politik

� Kompetenzstufen können in einem Assessment-System

auch die Basis zur Definition von Mindest-, Regel- und

Idealstandards sein

� Die Befunde für das Fach Englisch zeigen, dass in solch

einem System substanzielle Schüleranteile die gesetzten

Ziel verpassen können



Nutzung von Kompetenzstufenmodellen Nutzung von Kompetenzstufenmodellen Nutzung von Kompetenzstufenmodellen Nutzung von Kompetenzstufenmodellen ffffüüüür Lernausgangslagenuntersuchungenr Lernausgangslagenuntersuchungenr Lernausgangslagenuntersuchungenr Lernausgangslagenuntersuchungen

� Projekt an Bremer Schulen (Sekundarschulen, Integrierte

Gesamtschulen, Gymnasien), 687 Schülerinnen und

Schüler aus 9 Schulen und 34 Klassen

� Finanzierung durch die Bremer Senatsbehörde

� Feststellung der Lernausgangslagen zu Beginn der 5.

Jahrgangsstufe im Fach Mathematik auf der Basis der

Bildungsstandards

� Nutzung des Kompetenzstufenmodells für das Fach

Mathematik am Ende der 4. Jahrgangsstufe

� Identifikation von Förderbedarf zu Beginn der 5.

Jahrgangsstufe




Kompetenzstufen Mathematik, Kompetenzstufen Mathematik, Kompetenzstufen Mathematik, Kompetenzstufen Mathematik, 4. Jahrgangsstufe4. Jahrgangsstufe4. Jahrgangsstufe4. Jahrgangsstufe

StufeStufeStufeStufe WerteWerteWerteWerte----bereichbereichbereichbereich

BeschreibungBeschreibungBeschreibungBeschreibung Anteil im Anteil im Anteil im Anteil im 4. Jg. 4. Jg. 4. Jg. 4. Jg.

I < 390 Routineprozeduren auf Grundlage ein-fachen begrifflichen Wissens

10%

II 390 - 459 Einfache Anwendungen von Grundlagen-wissen

21%

III 460 - 529 Erkennen und Nutzen von Zusammen-hängen in einem vertrauten (mathe-matischen und sachbezogenen) Kontext

33%

IV 530 - 599 Sicheres und flexibles Anwenden von begrifflichem Wissen und Prozeduren im curricularen Umfang

21%

V ≥ 600 Modellierung komplexer Probleme unter selbstständiger Entwicklung geeigneter Strategien

15%



Beispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und Operationen

V

IV

III

II

I

600

530

460

390

M = 500;

SD = 100

Rechne schriftlich.

348 + 87 + 609 = _____________



V

IV

III

II

I

600

530

460

390

M = 500;

SD = 100





V

IV

III

II

I

600

530

460

390

M = 500;

SD = 100

Welche Zahl ist um 4 größer als das Produkt aus 9 und 3?

� 10

� 16

� 31

� 39

� 63

Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie 25 Bilder. Tina hat 7 Bilder mehr als Esther.

Wie viele Bilder hat Esther?� 7

� 9

� 16

� 18




Standardisiertes Testheft pro SchStandardisiertes Testheft pro SchStandardisiertes Testheft pro SchStandardisiertes Testheft pro Schüüüüler 1 ler 1 ler 1 ler 1 €€€€



� Zwei Testhefte für das Fach Mathematik in der Grundschule

� Ein Handbuch informiert über die Bildungsstandards und gibt Auswertungs- und Interpretationshilfen

� Normierte Aufgaben für die Klassenstufen 3 und 4

� Lehrkräfte erhalten Hinweise, welche Aufgaben konkret hinter den Leistungserwartungen der Bildungsstandards stehen

� Lehrkräfte können die Hefte einsetzen (wann immer sie wollen) um zu testen, ob die Schülerinnen und Schüler die in den Standards formulierten Erwartungen erfüllen

� Ergebnisse bleiben in der Schule, gehen nicht an die Schulaufsicht

� Tests sind als Screening-Instrumente geeignet

Zu den TestheftenZu den TestheftenZu den TestheftenZu den Testheften




SchulrSchulrSchulrSchulrüüüückmeldung: Schckmeldung: Schckmeldung: Schckmeldung: Schüüüüler nach ler nach ler nach ler nach Kompetenzstufen in 2008Kompetenzstufen in 2008Kompetenzstufen in 2008Kompetenzstufen in 2008

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Nationale Norm (Ende

4. Jg.)

SMS 2008

SMS-Sekundarschulen

SMS-Gesamtschulen

SMS-Gymnasien

Ihre Schule

Schüler in %

Stufe I

Stufe II

Stufe III

Stufe IV

Stufe V



SchulrSchulrSchulrSchulrüüüückmeldung: Lernstand 2008 in Ihren ckmeldung: Lernstand 2008 in Ihren ckmeldung: Lernstand 2008 in Ihren ckmeldung: Lernstand 2008 in Ihren KlassenKlassenKlassenKlassen

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Klasse 5a

Klasse 5b

Ihre Schule

Schüler in %

Stufe I

Stufe II

Stufe III

Stufe IV

Stufe V



Was folgt aus den Ergebnissen?Was folgt aus den Ergebnissen?Was folgt aus den Ergebnissen?Was folgt aus den Ergebnissen?

checkcheckcheckcheck

LernstandserhebungLernstandserhebungLernstandserhebungLernstandserhebung

actactactact

planplanplanplan

dodododo

DurchfDurchfDurchfDurchfüüüührung der Vergleichsarbeitenhrung der Vergleichsarbeitenhrung der Vergleichsarbeitenhrung der VergleichsarbeitenAnalyse der Ergebnisse: Analyse der Ergebnisse: Analyse der Ergebnisse: Analyse der Ergebnisse: Systematische Betrachtung der quantitativen Ergebnisse

Interpretation der Ergebnisse:Interpretation der Ergebnisse:Interpretation der Ergebnisse:Interpretation der Ergebnisse:Bewertung und Erklärung der aus der Analyse hervorgegangenen Erkenntnisse

Formulierung von Zielen und Planung der MaFormulierung von Zielen und Planung der MaFormulierung von Zielen und Planung der MaFormulierung von Zielen und Planung der Maßßßßnahmen:nahmen:nahmen:nahmen:Vereinbarung von vorrangigen aus der Interpretation entstandenenZielen und Planung von entsprechenden Maßnahmen

Umsetzung der MaUmsetzung der MaUmsetzung der MaUmsetzung der Maßßßßnahmen:nahmen:nahmen:nahmen:Durchführung schulischer und unterrichtlicher Maßnahmen basierend auf den Zielen und Planungen




Zusammenfassung

� Kompetenzstufenmodelle als Orientierungshilfe bei

Lernausgangslagenuntersuchungen

� Feststellung individuellen Förderbedarfs (Stufen I und II)

� Ergebnisse nicht als Assessment der abgebenden

Grundschulen

� Idealerweise bei Fördermaßnahmen Prozessevaluation

� Und nicht vergessen: Von Daten zu Taten!!!



Herzlichen Dank für Ihre Aufmerksamkeit!

Documents

Tischvorlage zu TOP 4 - kieler … · A2 358 372 365 10 350 360 355 7 ... Optimal-Optimal---bzw. ... Standardisiertes Testheft pro SchStandardisiertes Testheft pro Schü üüüler