Checks und Mindsteps Erfassen der Kompetenzen in … · Hören und Lesen 3. Sprechen 4. Schreiben 5. ... auf der Grenze zwischen A1 und A2 beziehungsweise A2 und B1 liegen?» Institut

Institut für Bildungsevaluation

Assoziiertes Institut der Universität Zürich

Checks und Mindsteps

Erfassen der Kompetenzen in den Fremdsprachen

Ein Projekt in Zusammenarbeit mit den Kantonen des

Bildungsraums Nordwestschweiz

Nicole Bayer und Lynn Williams

1. September 2017



Übersicht

1. Checks und Mindsteps

2. Hören und Lesen

3. Sprechen

4. Schreiben

5. Standard Setting

6. Ergebnisrückmeldungen



1. Checks und Mindsteps



Leistungsmessung im Bildungsraum Norwestschweiz

N 100’000 Schülerinnen

und Schüler



Standardisierte Tests

Summative Beurteilung

www.check-dein-wissen.ch

Aufgabensammlung

Formative Beurteilung

www.mindsteps.ch

Zwei verschiedene Testinstrumente



Testzeitpunkte (3. bis 9. Klasse)

3 4 5 6 7 8 9

Standardisierter Test (Check)

Aufgabensammlung (Mindsteps)

Schuljahr



Zusammenhang zwischen Lehrplan und Skala (IRT)

3 4 5 6 7 8 9 Schuljahre

300 400 500 600 700 800 900 1000 1100 1200

Kompetenzniveau

(lehrplanabhängig) a b c d e f g h i j



Ziele der Checks

Standortbestimmung für die Schülerinnen und Schüler

– Klassenunabhängige Ergebnisrückmeldung

– Kompetenzorientierte Ergebnisrückmeldung

– Sozialer Vergleich im Kanton, im Bildungsraum

– Vergleich über die Zeit hinweg (P3, P6, S2, S3)

Nutzung der Ergebnisse für die Planung der Lernprozesse und

die Beurteilung der Kompetenzen



Ziele der Checks

Standortbestimmung für die Klassen und Schulen

– Unabhängiger Vergleich mit anderen Klassen und Schulen

(Sozialer Vergleich)

– Stärken und Schwächen in einzelnen Kompetenzbereichen

Nutzung der Ergebnisse für die Schul- und

Unterrichtsentwicklung



Erfasste Fachbereiche und Kompetenzbereiche

• Hören

• Lesen

• Sprechen

• Schreiben

in Englisch und Französisch

=> Als Grundlage dient der Lehrplan 21 und die Beschreibungen

im GER



Zeitlicher Aufwand zur Erfassung einer

Fremdsprache

Hören 40 Minuten

Lesen 40 Minuten

Sprechen (freiwillig) 8-10 Minuten pro Schülerin/pro Schüler

Schreiben (nur Sek I) 40 Minuten



Durchführungsart

Primarstufe Sekundarstufe I

Rezeptive Kompetenzen:

Hören und Lesen

Produktive Kompetenzen:

Sprechen (freiwillig)

Schreiben



Aufgabenentwicklung

Fachspezifische Perspektive:

• Mitarbeitende der Pädagogischen Hochschulen

• Lehrpersonen der entsprechenden Fächer, Stufen, Kantone

Testspezifische (psychometrische) Perspektive:

• Mitarbeitende des IBE



2. Hören und Lesen



Hören und Lesen

• Erfassung am Computer

• Kürzere und längere Hör- bzw. Lesetexte auf unterschied-

lichem Niveau (A1 bis B2)

• Meistens mehrere Aufgaben/Fragen pro Text (ökonomischer)

• Mindestens 30 zu bearbeitende Aufgaben/Fragen (Items) pro

Schüler

• Aufgabenformate: Multiple-Choice, Multiple-Response,

Dropdown, Drag & drop, Ordering, Kurzantworten (max. 3

Wörter)



Hören und Lesen

• Multi-Stage-Test (Art des adaptiven Testens)

• Die Kompetenzen der Schülerinnen und Schüler werden

laufend berechnet (auch summativ über die Testteile hinweg).

• Birnbaummodell (Zwei-Parameter-Modell)

• Hohe Reliabilitäten (beispielsweise Check S3 2017:

Hören: 0.88 , Lesen: 0.92)

Diese erlauben eine zuverlässige Einschätzung der

Kompetenzen auf der Individualebene.



Stage 1: Einstiegstests

1 A 9 Items

1 B 9 Items

10 Min

Stage 2 9 Items

9 Items

10 Min

9 Items

9 Items

9 Items

Stage 3 9 Items

9 Items

10 Min

9 Items

9 Items

9 Items

Stage 4 9 Items

9 Items

9 Items

9 Items

9 Items

10 Min

Total: 36 Items 36 Items 36 Items 40 Min

einfach schwierig

1 C 9 Items

1 D 9 Items

36 Items 36 Items



Beispielaufgabe Hören

Audio (Ausschnitt)

Valentines Day

It‘s that time of the year when couples show their

love for each other by sending cards, flowers

and chocolates. (...)

However, the traditions often differ from place to

place. In Japan, for example, it is customary

for the woman to send chocolates to the man,

whilst in Korea April 14th is known as ‚Black

Day‘ and is when the unfortunate men who

received nothing on Valentine‘s Day gather to

eat noodles and commiserate with each other.

Technological developments have also played

their part in keeping Valentine‘s Day relevant

in the 21st century. (...)

Aufgabe:

What happens in Korea on the 14th of April?

All the men who didn‘t get a Valentine‘s

present...

Choose the answer.

dress in black and cry.

feel unfortunate and drink beer.

meet and eat noodles together.

send each other black cards.



Beispielaufgabe Lesen

Text (Ausschnitt)

Kelly

Kelly is a girl who is 14 years old. She lives in

Dublin with her parents. She is an only child, but

she misses a brother or a sister. She has got a

dog, which is a real friend for her. They go on long

walks together, she plays with him, and he sits

next to her when she does her homework or learns

for school in the kitchen. (...)

She plays the piano and in her free time she also

reads a lot. Actually, she really loves writing, and

she does it anytime she can: she writes her own

diary, she writes letters and e-mail to friends and

relatives, and she also writes stories for little

children. She has many friends but she doesn‘t

meet them often because they go to different

schools, so they meet only at weekends. (...)

Aufgabe:

Kelly likes writing...

Choose the answer.

crime stories.

fairy tales for children.

journey reports.

stories from the past.



Sprechen

• Einzelassessment (Schüler/Schülerin und Lehrperson)

• Eine dialogische und eine monologische Sprechaufgabe

• Zwei voneinander unabhängige Sprechaufgaben

• Die Lehrpersonen bewerten die Sprechproduktionen ihrer

Schülerinnen und Schüler anhand von Ankerbeispielen.

• Produktion der Beispielaufnahmen mit Schülerinnen und

Schülern der gleichen Schuljahre und der gleichen

Fremdsprachenmodelle (N = 30).

• Rating aller Beispielaufnahmen am IBE, Skalierung, anhand

der Ergebnisse werden die Ankerbeispiele ausgewählt



Beurteilung Sprechen durch die Lehrperson



Beispielaufgabe Sprechen



Schülerblatt Sprechen





Schreiben

• Erfassung auf Papier

• Zwei verschiedene Schreibaufgaben/Schüler

• Zwei unterschiedliche Versionen (einfach/schwierig mit

Überschneidung)

• Bewertung der Texte anhand eines analytischen Ratings

• Bewertung der Texte durch Teams (8-10 Personen) am IBE

• Rückversand der Texte inkl. Bewertungsraster



Korrektur Schreiben

• Rater: Personen mit Studium in der entsprechenden Sprache

oder Lehrpersonen mit Lehrdiplom im entsprechendem Fach und

Stufe

• Zweitägige Schulung der Rater (ausführliches Manual,

Beispieltexte)

• Während der ganzen Korrekturphase: tägliche Doppelkorrekturen

• Analytisches Rating mit mehreren Kriterien zum Inhalt und zur

Sprachrichtigkeit

• Auswertung mittels Multifacetten-Modell (Linacre, 1989)



Beispielaufgabe Schreiben



Beurteilung Schreiben

Inhaltliche Kriterien

• Erfüllung der Aufgabenstellung

• Verständlichkeit

• Originalität (inhaltliches Wagnis/Kreativität)

• Logischer Zusammenhang (Roter Faden)



Beurteilung Schreiben

Kriterien zur Sprachrichtigkeit

• Satzbau

• Grammatik

• Orthographie

• Wortschatz



3. Standard Setting



Ziele des Standard Settings

Die Testaufgaben den Niveaustufen (A1, A2, B1 etc.) des GER

zuzuordnen

=> Dies erlaubt erst eine Beurteilung der Kompetenzen der

Schülerinnen und Schüler mit Bezug zum Lehrplan/GER



Ablauf des Standard Settings

• Fachbereiche: Englisch und Französisch

• Kompetenzbereiche: Hören und Lesen

• Panel von 15 bis 20 Expertinnen und Experten (international,

Personen aus Praxis, Verwaltung, Wissenschaft)

• Leitung: Experte von Cito (Institute of Educational

Measurement)




3DC-Methode (Data-Driven Direct Consensus):

• Aufgaben/Teilaufgaben werden auf verschiedene Cluster

verteilt

• Setzung der Cut-Scores A1/A2 und A2/B1

• Zentrale Frage: «Wie viele Aufgaben würde ein Schüler in

diesem Cluster richtig lösen, wenn seine Fähigkeiten genau

auf der Grenze zwischen A1 und A2 beziehungsweise A2 und

B1 liegen?»




Iteratives Verfahren aus Einzelurteilen und Gruppendiskussionen

zur Festlegung der Cut-Scores:

1. Runde: individuelle Beurteilung zu A1/A2

dazwischen Diskussion der Schwierigkeit der Aufgaben

unter den Expertinnen und Experten

2. Runde: individuelle Beurteilung zu A1/A2 anpassen

Die Mittelwerte der zweiten Runden werden danach als

Grenzwerte (Cut-Scores) für die Zuteilung der Niveaus auf der

IRT-Skala verwendet.

A2/B1

A2/B1




• Hohe Interrater-Reliabilität (Gower’s Koeffizient >= 0.9)

• Allenfalls werden für das Berechnen der Mittelwerte die

Extremwerte (tiefste und höchste Einschätzung) der Rater

weggelassen.



Standard Setting bei Sprechen und Schreiben

Neu:

• Sprechen: Beurteilung der Ankerbeispiele durch die

Expertengruppe

• Schreiben: Beurteilung der Aufgabenstellungen sowie

ausgewählter Schülertexte unterschiedlicher Komplexität

durch die Expertengruppe



4. Ergebnisrückmeldung



Ergebnisse

• Sachliche/Inhaltliche Bezugsnorm (z.B.

Kompetenzbeschreibungen)

• Soziale Bezugsnorm (z.B. Prozentränge, Klassen mit

ähnlichen Lernvoraussetzungen)

• Individuelle Bezugsnorm (gleiche Skala, 5.-9. Klasse)



Ergebnisrückmeldung Schülerin/Schüler





Ergebnisrückmeldung Klasse









Weitere Infos finden Sie auf

www.check-dein-wissen.ch

www.mindsteps.ch

www.ibe.uzh.ch

Vielen Dank für Ihre Aufmerksamkeit!

http://www.check-dein-wissen.ch/





http://www.mindsteps.ch/

http://www.ibe.uzh.ch/

Documents

Checks und Mindsteps Erfassen der Kompetenzen in … · Hören und Lesen 3. Sprechen 4. Schreiben 5. ... auf der Grenze zwischen A1 und A2 beziehungsweise A2 und B1 liegen?» Institut