1

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

Standards und Tests -Standards und Tests -Teufelswerkzeug oder Teufelswerkzeug oder

Wunderwaffe für die Schul- und Wunderwaffe für die Schul- und Unterrichtsentwicklung?Unterrichtsentwicklung?

Vortrag an der Universität Graz Vortrag an der Universität Graz

am 22. September 2005am 22. September 2005

2

ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen

Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung

Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

3

ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen

Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung

Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

4

„PISA“ – Symptom für eine tiefgreifende Aufmerksamkeitsverschiebung „Krise“: Erfindung, um über Alarm-szenarien Geld zu akquirieren, Politik in Gang zu setzen, Erlösungsversprechen abzugeben, Legitimationsnotstände zu kaschieren Traditionslosigkeit der Evaluation: Ambivalenz von Heilserwartung („finnische Verhältnisse“) und Untergangsszenarien („amerikanische Verhältnisse“) kaum empirische „Erdung“ der Schul- und Unterrichtsentwicklung

Signaturen des Krisengeredes

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

5

Hamburg: Stadtstaat mit knapp 2 Mio Einwohnern; ca. 460 staatliche Schulen hohe Bildungsinvestitionen bei einbrechenden Steuereinnahmen 19,5 % Schüler/-innen mit nicht deutscher Staatsangehörigkeit, mehr als 30%mehr als 30% mit Migrations-hintergrund mehr als 90 gesprochene Sprachen seit Mitte der 90er Jahre Erfahrung mit flächendeckenden Schulentwicklungprogrammen und Schulleistungsuntersuchungen im Längsschnitt Einführung verbindlicher testbasierter Vergleichsarbeiten in Klasse 3, 6 und 8 zentrale Abschlussprüfungen in Klasse 9 bzw. 10

Perspektive eines Systemverantwortlichen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

6

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5 0

10

20

30

40

50

60

70

80

BB DEU BY HE BW HHHH NW HB

Sch

üle

r in

Pro

zent

Die Angaben stammen aus dem Lehrerfragebogen. Die Daten für Hamburg basieren auf der Erhebung im Rahmen von KESS 4 aus dem Jahr 2003.

Gute schulische Leistungen werden an unserer Schule öffentlich hervorgehoben Misserfolge von Schülern werden an unserer Schule den Lehrern angelastetSchulversagen wird bei uns als Problem der Schule und weniger des Schülers gesehen

IEA: Progress in International Reading Literacy Study © IGLU-Germany

Stellung der Schule zu Schulerfolg und Schulversagen nach Auskunft der Lehrkräfte in

einigen Ländern der Bundesrepublik Deutschland

7

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

0

5

10

15

20

25

0 25 50 75 100 125 150 175 200

Pro

zen

t

Hauptschule Realschule GesamtschuleGymnasium Gesamtschule

Universität Hamburg: Kompetenzen und Einstellungen von Schülerinnen und Schülern © KESS 4

Schullaufbahnenempfehlungen von Lehrkräften für Hamburg differenziert nach Lesekompetenz in

Prozent – Gesamtskala Lesen

8

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

0 10 20 30 40 50 60

ohne

Abschl.

%

nichtdt.

Her-

kunftspr.

%

Warum Standards und Tests?HH: Anteile der Hauptschulabsolventen ohne

Abschluss P

rozen

t

Schulen (N= 57)

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

9

Warum Standards und Tests?Leistungsentwicklung nach Schulen in Mathematik

(LAU 9/11)

Le

istu

ng

se

ntw

icklu

ng

Ma

the

ma

tik I

170

160

150

140

130

120

110

H/R Gesamtschulen Gymnasien BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

10

Hamburg

500

550

600

650

700

750

0 5 10 15 20 25

Mat

hemat

ik T

estlei

stun

g

Hamburg

Warum Standards und Tests?Mittlere Mathematikleistungen in PISA 2000E

von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

11

500

550

600

650

700

750

0 5 10 15 20 25

Mat

hem

atik

Tes

tlei

stun

g

Bayern

Hamburg

Warum Standards und Tests?Mittlere Mathematikleistungen in PISA 2000E

von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

12

400

450

500

550

600

650

700

Note 1 Note 2 Note 3 Note 4 Note 5

Mat

hem

atik

Tes

tlei

stun

g

Schule 1

Schule 2

Warum Standards und Tests?

Testleistung in Bezug zu Noten

PISA 2000 E

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

13

Erreichung von Mindeststandards Vergleichbarkeit von Abschlüssen Bezugsnormen bei Leistungsbeurteilungen Verteilungsgerechtigkeit bei der Berechtigungsvergabe Chancengleichheit bei der Bildungsbeteiligung extrem heterogene Ausgangslagen der Schulen Streuung zwischen sehr günstigen und ungünstigen Standortentwicklungen trotz vergleichbarer Ausgangslagen

Sind das keine Probleme der Schulentwicklung???

ProblemstauLokalisierbarer !!!B

BS

Ham

bu

rgM

ari

tzen

0

9/2

00

5

14

ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen

Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung

Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

15

„Tests“ – Versuch einer Ordnung der Landschaft 1

1. Schulleistungsuntersuchungen

-Stichprobe vs. Fläche - Querschnitt vs. Längsschnitt - mit/ohne Berücksichtigung

der Lernausgangslage - mit/ohne

Ergebnisrückmeldung an Lehrkraft, Schulleitung, Schul-aufsicht

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

16

2. „Vergleichsarbeiten“ -zentral vs. dezentral gestellte

Aufgaben - standardisiert/nicht

standardisiert - zentrale vs. dezentrale

Auswertung - mit/ohne Zusammenhang zum

Berechtigungswesen - Ergebniskenntnis bei

Lehrkräften, ggf. Schulleitung, Schulaufsicht

„Tests“ – Versuch einer Ordnung der Landschaft 2

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

17

3. Pädagogische Diagnostik -dezentral, von Lehrkräften und

anderen Professionen administriert und ausgewertet

- i. d. R. standardisiert - Ergebniskenntnis bei

Lehrkräften, ggf. Schulleitung, Schulaufsicht

- ggf. Rückmeldung der Ergebnisse an die getestete Person

„Tests“ – Versuch einer Ordnung der Landschaft 3

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

18

„Tests“ – Funktionsvielfalt

Schul- leistungs- unter- suchung

„Vergleichsarbeit“

diagnost. Test

Generierung von Steuerungswissen Schulevaluation Vergleiche zwischen Gruppen Überprüfung der Standard-erreichung Vergabe von Abschlüssen oder Zugangsberechtigungen öffentliches Ranking Impulse zur Unterrichtsentwick-lung: professionelle Verständigung über Anforderungen und Aufgaben individuelle Förderung

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

19

Erklärungsabstand zwischen Erklärungsabstand zwischen „PISA“ und „meinem „PISA“ und „meinem

Unterricht“Unterricht“ aggregierte Maße für Mittelwerte und aggregierte Maße für Mittelwerte und StreuungenStreuungen extern verantwortete Veranstaltungen mit extern verantwortete Veranstaltungen mit geringer praktischer Anschlussfähigkeit geringer praktischer Anschlussfähigkeit „ „Time-lagTime-lag“ zwischen Anwendung und “ zwischen Anwendung und BerichterstattungBerichterstattung

Standards und Tests müssen/können zeitnah auf den konkreten Unterricht, auf seine Voraussetzungen, Bedingungen und Ergebnisse bezogen werden. Standards und Tests müssen/können die lerndiagnostische Kompetenz der Lehrkräfte unterstützen und erweitern. Standards und Tests müssen/können die didaktische Phantasie konkret anregen.

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

20

„Vergleichsarbeiten“B

BS

Ham

bu

rgM

ari

tzen

0

9/2

00

5Vergleichsarbeiten unterscheiden sich von Schulleistungsstudien (z.B. PISA) durch flächendeckende Einbeziehung der Schulen (nicht nur Stichprobe) die enge Bindung an Standards einheitliche Aufgabensätze für Lerngruppen (kein „Multimatrix-Sampling“) die Konzentration auf ausgewählte Teilleistungsbereiche der Fächer eine Korrektur/Auswertung durch Lehrkräfte das Angebot von empirisch abgesicherten Referenzwerten zu Aufgabenschwierigkeiten und Schülerleistungen (ermöglicht faire Vergleiche) die systematische Einbindung in einen schulischen Entwicklungsprozess

21

Orientierung der Aufgaben an Lehrplänen und den Bildungsstandards der KMK

Akzentsetzungen auf ausgewählte Teilleistungs- bzw. Kompetenzbereiche

Unterrichtsnähe

Balance zwischen begrenzten und komplexen Anforderungen

Anforderungsprofile und Orientierungen zur Beurteilung

Berücksichtigung diagnostischer Perspektiven

Auswertbarkeit in den Schulen

„Vergleichsarbeiten“:Anforderungen an die Aufgabenentwicklung

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

22

             

 

„Vergleichsarbeiten“:Anforderungen an die Aufgabenentwicklung

Ermittlung und Beschreibung schwierigkeits-bestimmender Merkmale von schwierigkeits-bestimmender Merkmale von AufgabenAufgaben: Kontext, Textlänge, sprachliche Komplexität, Anzahl und Verknüpfung der Lösungsschritte, Anzahl zu verarbeitender „Größen“, Schwierigkeit der zu beweisenden Kompetenz, Antwortformat, eine/mehrere Lösungen...)

systematische Variation von Schwierigkeits-merkmalen

Kontextualisierung vs. Dekontextualisierung

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

23

„Vergleichsarbeiten“:externes Feedback und interne Reflexion von Schülerleistungen

Analyse von Lösungshäufigkeiten der einzelnen Analyse von Lösungshäufigkeiten der einzelnen Aufgaben: Beschreibung von Aufgaben: Beschreibung von Kompetenzprofilen der KlassenKompetenzprofilen der Klassen

Ergebnisdarstellung in Form von Ergebnisdarstellung in Form von Kompetenzstufen: Kompetenzstufen: inhaltliche Beschreibung von Lernständeninhaltliche Beschreibung von Lernständen

Vergleich der Ergebnisse von parallelen Vergleich der Ergebnisse von parallelen KlassenKlassen

Vergleich der Ergebnisse mit Vergleich der Ergebnisse mit schulübergreifenden Referenzwertenschulübergreifenden Referenzwerten

systematische Fehleranalysensystematische Fehleranalysen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

24

 

Beispiel: Lösungshäufigkeiten einzelner Aufgaben im Vergleich zu den Referenzwerten

0 20 40 60 80 100

A

A

B

B

C

C

Au

fga

be

n n

ac

h

Te

ille

istu

ng

sb

ere

ich

en

Anteil von Schülern, die die Aufagaben gelöst haben

Klasse Landesdurchschnitt Kontextgruppe

Perspektiven der Ergebnisdarstellung

(Lösungshäufigkeiten)

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

25

 

Perspektiven der Ergebnisdarstellung (Kompetenzstufen)

Beispiel: Vergleich der Verteilung auf Kompetenzstufen mit Referenzwerten

25

35

30

10

20

30

35

15

30

40

25

5

05

1015

2025

3035

4045

I II II IV

Kompetenzstufen

An

teil

de

r S

ch

üle

r

Klasse

Landesdurchschnitt

Kontextgruppe

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

26

 

Perspektiven der Ergebnisdarstellung

(Fehlermuster)Beispiel: Analyse von Fehlermustern

0 20 40 60 80

richtige Lösung

Alternative 2

Alternative 3

Alternative 4

Alternative 5

nicht gelöst

Häufigkeit, mit der bestimmte Alternativen gewählt wurden

Häufigkeit in der Klasse Häufigkeit in der Referenzgruppe

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

27

 

Testergebnisse: Ansatzpunkte für Diagnostik

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

Lernvoraus-Lernvoraus-setzungen: setzungen: individuell, individuell, Gruppen Gruppen

Professionelle Professionelle diagnostische diagnostische

VerfahrenVerfahren

Koppelung an Koppelung an individuelle individuelle

FördermaßnahmFördermaßnahmenen

Verknüpfung mit Verknüpfung mit Beobachtungen Beobachtungen

von von Lernentwicklungen Lernentwicklungen

und Prozessenund Prozessen

AnalyseAnalyseVergleicheVergleiche

InterpretationInterpretationBezug auf Bezug auf

TeilbereicheTeilbereiche

28

 

differenziertere Wahrnehmung von Schülerleistungen

in vergleichender Perspektive

Klasse/Kurs

Parallelklassen

vergleichbare Schulen

landesweite Orientierung

Bezugsgruppen-/ Normorientierung

Kriterienorientierung

(zunächst auf einer vorläufigen Basis)

fachliche und fachdidaktische

Kriterien

empirisch geklärte

Schwierigkeitsgrade

Zuordnung zu Kompetenzstufen

29

Einzelschule:Ansatzpunkte und

Instrumente

1

4

7

2

5

8

3

6

9

Ausgangs-kompetenzen der Schüler

diagnostische Tests

Prozesse Ergebniss

e

Unterricht

Fachgruppe

Schulleitung

Voraus-setzunge

n Schülerleistungen gemessen an

Kriterien kompetenzorien-tierte Klassen-

arbeiten

Leistungen von Parallelklassen standardisierte

Vergleichs-arbeiten

Entwicklung der Schülerleistungen/Vergleichsgr

uppen Monitoring von Leistungsdaten

Unterstützung kumulativer

LernprozesseUnterrichts-

feedback

Unterrichtspla-nung u.

Diagnostik Auswertung von

Vergleichs-arbeiten

Rückkopplung von Daten an

Interne/Externe jährlicher

Bericht mit Kennzahlen

schulinternes Curriculum

Absprachen zu Standards im Unterricht

Analyse schulspezifische

r Ausgangslagen Befragungen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

30

Thema: Jahrgangsstufe: Fach:Thema: Jahrgangsstufe: Fach:

ErkenntniErkenntnis-s-

gewinnungewinnungg

AnwendunAnwendungg

Kommuni-Kommuni-kationkation BewertenBewerten

Alltags-Alltags-wissenwissen

FachwisseFachwissenn

prakt-prakt-techn. techn. WissenWissen

MetawissMetawissenen

Einzelschule: Absprachen zu Standards

In der In der Tageszeitung Tageszeitung

forschen, welche forschen, welche Bedeutung ein Bedeutung ein

Gewässer für die Gewässer für die Gemeinde hatGemeinde hat

Lebewesen am Lebewesen am Gewässer Gewässer

beobachtenbeobachten

Mit einem Mit einem Untersuchungs-Untersuchungs-koffer Wasser koffer Wasser analysierenanalysieren

Nachforschen, Nachforschen, wie Angler das wie Angler das

Gewässer Gewässer beurteilenbeurteilen

Untersuchen, wie Untersuchen, wie sich Wasser bei sich Wasser bei verschiedenen verschiedenen Temperaturen Temperaturen

verhältverhältDen Wasserkreis-Den Wasserkreis-

lauf anhand lauf anhand verschiedener verschiedener Experimente Experimente

nachvollziehennachvollziehen

Bestimmungs-Bestimmungs-schlüssel für schlüssel für

Pflanzen Pflanzen anwendenanwenden

Vorschläge für Vorschläge für eine eine

Uferbepflanzung Uferbepflanzung machenmachen

Die Bedeutung Die Bedeutung eines Gewässers eines Gewässers für die Gemeinde für die Gemeinde

diskutierendiskutieren

Den Den Wasserkreislauf Wasserkreislauf

als Puzzle als Puzzle rekonstruierenrekonstruieren

Als Experte Als Experte einem Mitschüler einem Mitschüler

eine eine Untersuchungs-Untersuchungs-

methode methode erläuternerläutern

Als Experte Als Experte einem Mitschüler einem Mitschüler

eine eine Untersuchungs-Untersuchungs-

methode methode erläuternerläutern

Mit den Sinnen Mit den Sinnen entscheiden, ob entscheiden, ob man in einem man in einem

Gewässer baden Gewässer baden kannkann

Biologische Biologische Gewässergüte Gewässergüte

beurteilenbeurteilen

Die Eignung Die Eignung eines eines

Messverfahrens Messverfahrens einschätzeneinschätzen

Die Die Sinnesprüfung u. Sinnesprüfung u.

die naturwiss. die naturwiss. Untersuchung als Untersuchung als

Alternativen Alternativen vergleichenvergleichen

GewässeruntersuchunGewässeruntersuchungg

66 NWNW

TunWisse

n

© Udo Klinger 2005

31

ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen

Schritt 2Schritt 2 Tests – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung

Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Prinzipien

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

32

Einige Voraussetzungen: Schule

schulinternes Monitoring von „Daten“ zu Leistungsentwicklungen, Abschlüssen, Schullaufbahnabbrüchen usw. datenbasierte Planungs- u. Entscheidungs-verläufe als Grundlage für Schulprogramme Bildung von „learning communities“ z. B. zum didaktischen Training u. Coaching oder für Maßnahmen der Unterrichtsevaluation „Fachleiter/-innen“ mit Kompetenz schulinterne Qualifizierung „instructional leadership“

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

33

Einige Voraussetzungen: System

Orientierungsrahmen „Schulqualität“

auf Dauer gestelltes Feedback

Tools mit Verfahren / Instrumenten

diagnostischer und didaktischer Support

verbindliche Rechenschaftslegung und Transparenz

technische Infrastrukturen

früh einsetzende Fördersysteme

Intervention in schulische Zeitstrukturen

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

34

Risiken und Nebenwirkungen

Risiko des Wissens Unterschätzung des Zeitbedarfs und der systemischen Zusammenhänge Technologieüberschuss auf der Steuerungsebene vs. Technologie„defizit“ auf der Ebene des pädagogischen Handelns Transparenz von Ergebnissen, für deren Zustandekommen nur uneindeutige Praktiken zur Verfügung stehen Verschärfung des Selektionssystems Nachahmung von vermeintlich „Erfolgreichen“

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5

35

Ende

BB

S H

am

bu

rgM

ari

tzen

0

9/2

00

5