Kopie von Workshop komplett final2

1

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung

Auftaktveranstaltung des Programms SINUS an Grundschulen29. – 31.Oktober 2009 / SoltauNils Berkemeyer / Nils van Holt

Workshop

Rückmeldungen von Leistungsdaten. Was können sie für die

Unterrichtsentwicklung leisten?

Nils Berkemeyer / Nils van Holt

2

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Ablauf

Erwartungen an Datenrückmeldungen aus Leistungsmessungen

Einstieg: (15 Min.)

Technische Grundlagen und Schlüsselbegriffe für den Umgang mit Rückmeldungen

Impulsvortrag: (20 Min.)

Umgang mit Rückmeldungen aus Leistungsmessungen

Arbeitsphase: (30 Min.)

Diskussion der Ergebnisse und ZwischenfazitDiskussion: (20 Min.)

Data driven school development - Chancen und Grenzen von Leistungsrückmeldungen für die Unterrichtsentwicklung

Impulsvortrag: (20 Min.)

Rückmeldungen analysieren und in Aktionen überführen

Übung undPlenumsdiskussion:

(40 Min.)

Veranstaltungsfeedback und offene FragenSchlussbemerkung: (5 Min.)

mit PosterrundgangPause: (30 Min.)

3

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Technische Grundlagen und Schlüsselbegriffe

für den Umgang mit Rückmeldungen

4

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Gliederung

� Einleitung

� Studien mit Leistungsrückmeldungen

� Rückmeldungsformate• Beispiele und Erläuterungen

• IGLU Rückmeldung

- Ziele und Inhalte

- Format

• VERA Rückmeldung

- Ziele und Inhalte

- Format

5

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Einleitung

� Von Input Steuerung zur outputorientierter Steuerung

� Empirische Wende

� Begründete Entscheidungen treffen für eine Veränderung des Fachunterrichts

� Auf Basis von Daten

� Aus LSA, Lernstand/ VERA, Projekte

6

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Studien mit Leistungsrückmeldungen

� TIMSS, PISA, IGLU

� Lernstand, VERA

� Schulentwicklungsprojekte

Stellen in der Regel u.a. Ergebnisse auf Schul-und Klassenebene und faire Vergleiche dar (Benchmarking)

7

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Fachbegriffe

� Kennwerten mit Streumaßen

� Perzentilbänder

� Boxplots

� Kompetenz- bzw. Fähigkeitsniveaus

8

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Anzahl der Aufgaben

Prozentsatzrichtiger

Antworten

Punktwert Konfidenzintervall

Schule 30 50% 500 496-504

Klasse A 30 60 600

Klasse B 30 55 550

Klasse C 30 45 450

Klasse D 30 40 400

Klasse E 30 50 500

Kennwerten mit Streumaßen

9

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Perzentilbänder

� Perzentilbänder mit Kompetenzstufenzuordnung:Kompetenzstufen

M (SE) SD

Ihre Klasse 421 8,8 101

Ihre Schule 391 7,5 100

Gesamtstichprobe 500 1,9 100

200 300 400 500 600 700

Perzentile: 5% 25% 75% 95%

Mittelwert und Konfidenzintervall (± 2 SE)

I II III IV

10

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Boxplots

0-25% 26-50% 51-75% 76-100%

11

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


IGLU - Ziele der Rückmeldungen

� Ziele:• Bildungsmonitoring im internationalen Vergleich

• Rechenschaftslegung

� Art der Rückmeldung:• Nur die Klassenlehrer erhalten die Rückmeldungen

• Rückmeldung erfolgte zwei Jahre nach Testung

12

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Kompetenz- bzw. Fähigkeitsniveaus bei IGLU

© IGLU 2006

Abbildung 3.2 Verteilung der Schülerinnen und Schüler auf untere, mittlere und obere

Leistungsgruppen (Angaben in Prozent)

40

26

27

25

40

48

51

50

20

26

22

25

0 20 40 60 80 100

Mögliche Differenzen zu 100 Prozent ergeben sich durch Rundungsfehler.

Untere LeistungsgruppeMittlere LeistungsgruppeObere Leistungsgruppe

Ihre Klasse

Ihr Bundesland

Deutschland

Referenzklassen

13

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


IGLU – Weitere Bestandteile der

Rückmeldungen

� Daten zu kognitiven Aspekten• Leseanlässe und Verstehensprozesse

� Daten zur Zusammensetzung der Schülerschaft• Migrationshintergrund

• Sprache im Elternhaus

• Soziale Stellung

• Bildungshintergrund der Eltern

• Vorschulische Leseförderung

14

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


VERA - Ziele der Rückmeldungen

� Ziele:• Standards überprüfen

• Lern- und Förderbedarf ermitteln

• Diagnostische Kompetenzen stärken

• Unterricht entwickeln

• Lehrpläne implementieren

• Schule entwickeln

� Art der Rückmeldung:• Lehrkräfte erfassen die Daten selbst

• Rückmeldung erfolgt demnach direkt nach der Erhebung

(vgl. MSW NRW 2009)

15

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


VERA - Inhalte der Rückmeldungen

� Inhalte:• Leistungsverteilung innerhalb der Klasse und auf

Individualebene auch für Subdomänen

• Vergleich Klasse / Schule / Land

• Vergleich Klasse / Kontextgruppe (Fairer Vergleich)

• Rückmeldung auf Aufgabenebene

• Fehlerhäufigkeiten auf Klassenebene

(vgl. MSW NRW 2009)

16

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Leistungsprofil eines Kindes

keine auswert-

bare LeistungNiveau 1 Niveau 2 Niveau 3

Arithmetik X

Geometrie XMathematik

Sachrechnen X

Deutsch Leseverständnis X

Bedeutung der Niveaus:

Keine auswertbare Leistung:

Die Aufgaben wurden gar nicht oder nur so unvollständig bearbeitet, dass eine Niveaubestimmung nicht möglich ist.

Niveau 1: Einfache Aufgaben mit grundlegenden Anforderungen werden hinreichend sicher gelöst.

Niveau 2: Aufgaben mittleren Anforderungsniveaus werden hinreichend sicher gelöst.

Niveau 3: Es werden auch anspruchsvollere Aufgaben hinreichend sicher gelöst.

(vgl. MSW NRW 2009)

17

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Format

© MSW NRW 2009

18

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Format

© MSW NRW 2009

19

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Vielen Dank!

20

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Data driven school development –

Chancen und Grenzen von Leistungsrückmeldungen für

die Unterrichtsentwicklung

21

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Dateninduzierte Schulentwicklung ist da!

„Datengestützt über die eigene Praxis zu reflektieren, ist der Kern von professionellen Lernprozessen. Das gilt für Lehrpersonen wie für Schulleitungen. Deshalb könnte aus Dateninduzierter Schulentwicklung auch ein wirksamer Zugang zur lernenden Schule werden.“

(Rolff 2006, S.43)

22

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Gliederung

� Entstehung der dateninduzierten Schulentwicklung in Deutschland

� Das Theorie – Praxis – Problem

� Grenzen: Fünf Hemmnisfaktoren

� Data Driven Schools

� Von Daten zu Taten

� Datennutzung im Rückmeldeprozess

23

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Entstehung dateninduzierter

Schulentwicklung in Deutschland

1. Organisationsprozesse• IFS Schulbarometer

2. Qualitätsmanagement• SEIS, Absolventenquoten etc.

3. Outputkontrolle / Kompetenzmessung• LSA, VERA

Jedoch ist die Evidenz von Daten nicht per se fürSchulentwicklungsprozesse bedeutsam

24

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


� Dateninterpretation ist entscheidend1. Technisches Problem (Lesbarkeit)2. Wie Daten eingeschätzt werden hängt vom Wertesystem

der Einzelnen / Einzelschule ab

Datenrückmeldung und Nutzung derselben sind zweierlei Welten • Daten sind aus der „Welt“ der Wissenschaft• Nutzung vollzieht sich in der „Welt“ der Praxis

Wichtig: Grundsätzlich liefern Daten aus Leistungsrückmeldungen keine Informationen darüber, wie etwas besser gemacht werden kann!

Das Theorie – Praxis – Problem

(vgl. Rolff 2006)

25

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Grenzen: „Fünf Hemmnisfaktoren“

1. Faktor „Allgemeine Einstellung“

2. Faktor „Zeit“

3. Faktor „Design“

4. Faktor „Organisationskommunikation“

5. Faktor „Individualpädagogische Sicht“

1. Faktor „Allgemeine Einstellung“

2. Faktor „Zeit“

3. Faktor „Design“

4. Faktor „Organisationskommunikation“

5. Faktor „Individualpädagogische Sicht“

26

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


1. Theorie – Praxis – Problem: • Es treffen zwei „Welten“ aufeinander, das unverbundene

Verhältnis zwischen externer Evaluation und interner Realisation besteht noch immer.

• Offenheit bewahren

2. Bezug:• Lehrkräfte haben zunächst den individuellen Schüler im Blick,

der in einer Klasse gemeinsam mit Anderen lernt.

• Der Fokus der externen Leistungstests ist zunächst das System und die Einzelschulebene, auf keinen Fall der Einzelschüler.

Nicht mehr wollen, als an Information enthalten ist und nicht mehr erwarten

Zwischenfazit

(vgl. von der Gathen in Vorb.)

27

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


„Data-driven-schools“

� Trotzdem lassen sich Daten produktiv durch Relationierung nutzen:

• Bereitschaft zur Auseinandersetzung mit Daten

• Bereitschaft zum Austausch über Daten

• Bereitschaft zur Veränderung auf Basis von Daten

Datenbasierter Unterrichtsentwicklungsprozess

28

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Rückmeldung

Rezeption

Nutzung

Von Daten zu Taten

Rückmeldung

Rezeption

Nutzung

DateninduzierteSchulentwicklung

29

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Datennutzung im Rückmeldeprozess

1. Gemeinsame Analyse der Daten in Fach- oder Jahrgangskonferenz

2. Überblick über erhobene Qualitätsbereiche, Stärken feststellen und Schwächen definieren

3. Identifizierung von Handlungsbedarf

4. Gemeinsame Bestimmung eines Entwicklungsschwerpunktes

5. Zielvereinbarungen

6. Umsetzung durch Schulentwicklungsprojekte

Wahrnehmung Motivierung Realisation Persistenz Wirkungen

(vgl. Helmke 2003)

30

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Gesamtzusammenhang

Schulentwicklung

Personalentwicklung

Unterrichts-entwicklung

Organisations-entwicklung

DISR

Rückmeldungen

31

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Vielen Dank für die Aufmerksamkeit!

32

Inst

itut f

ür

Sch

ulen

twic

klun

gsfo

rsch

ung


Literatur:

� Bos, W., Hornberg, S., Arnold, K.-H., Faust, G., Fried, L., Lankes, E.-M., Schwippert, K., Valtin, R. (2007). IGLU 2006. Lesekompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich. Münster: Waxmann.

� Helmke, A. (2003). Unterrichtsqualität. Erfassen, Bewerten, Verbessern. Seelze: Kallmeyer.

� Ministerium für Schule und Weiterbildung des Landes NRW. Standardsicherung. Vergleichsarbeiten. http://www.standardsicherung.schulministerium.nrw.de/vera3/auswertung/rueck meldeformate.html

� Rolff, H.-G. (2006). Dateninduzierte Schulentwicklung. Journal für Schulentwicklung. 1 / 2006.

� von der Gathen, J. (in Vorb.). Die Rezeption und Nutzung von Leistungsrückmeldungen bei Large-Scale Assessments und Vollerhebungen – Ein systematischer Vergleich am Beispiel „DESI“ und „Lernstand“.

Documents

Kopie von Workshop komplett final2