„Nach PISA“: Zur Kraft von Zauberformeln in der

Bildungspolitik

Vortrag vor der Jahreshauptversammlungder IHK Siegen

am 14.12.2004

von

Hans Brügelmann (Universität Siegen)

Eine kleine Geschichte vorweg...... um verständlich zu machen, warum ich die aktuellen

„Reform“bemühungen,

• die Lehrpläne auf sog. Kerncurricula zu konzentrieren,

• gleiche Leistungsanforderungen für alle SchülerInnen zum gleichen Zeitpunkt in sog. „Bildungs“standards festzulegen

• deren Erreichen durch landesweite Vergleichstests zu überprüfen

und das alles „mit PISA“ zu begründen,

nicht sine ira et studio behandeln kann:

Was mich konkret ärgert...

Die gängige These: Deutsche SchülerInnen schneiden mit 15 Jahren bei PISA

im Lesen schlecht ab, also müssen wir den Anfangsunterricht in der Grundschule ändern:

• Verkürzung der Lesekompetenz auf elementare „Fertigkeiten“ Lesen als Textverständnis ist eine komplexe Leistung.

• Verkürzung des Leseunterrichts auf einen „Lehrgang“ Lesenlernen ist ein lebenslanger Prozess

• Verkürzung von Leistungsproblemen auf Defizite der Schule Lesen lernt man vor allem durch Lesen im Alltag

Darüber hinauszwei zentrale Fragen:

• Lässt sich durch PISA belegen, dass das deutsche

Schulsystem „versagt“ hat?

• Wird die deutsche Schule durch einen Wechsel von der

Input- zur Output-Steuerung besser werden?

Ein kurzes Fazit in advance

• PISA-I und PISA-II legen nicht nahe, von der Input- zur Output-Steuerung zu wechseln.

• Darüber hinaus fehlen uns die empirischen Grundlagen, um Leistungsstandards als Minimalanforderungen für alle SchülerInnen zum gleichen Zeitpunkt vorzugeben.

• Der Aufwand und die Nebenwirkungen einer Einführung von sanktionsbewehrten Vergleichstests kosten mehr, als an Ertrag zu erwarten ist.

PISA sagt uns nicht, wie gut oder schlecht unsere Schulen sind.

 

• PISA beleuchtet nur ausgewählte Aspekte mit

begrenzten Instrumenten und die Ergebnisse liefern

uns eine Momentaufnahme.

PISA ist eine reine Leistungsstudie und erfasst die

Qualität der Prozesse nicht.

• Insofern sind die Ergebnisse durchaus wichtig – aber

nicht als abschließende Urteile zu verstehen, sondern

als ernste Warnungen:

„Hier müsst ihr nachschauen!“

PISA sagt uns nicht, wo die Ursachen für Probleme liegen.

• Die Korrelationen aus PISA liefern gut belegte

Hypothesen zu möglichen Gründen und zu bedeutsamen

Bedingungen für Unterschiede zwischen und innerhalb

von Bildungssystemen.

PISA ist aber keine Längsschnittstudie, die

Kausalerklärungen ermöglicht.

• Insofern sind auch die Interpretationen anregend, aber

nicht als verbindliche Erklärungen, sondern als Hilfen bei

der Suche nach Gründen:

„Hier lohnt es sich genauer nachzusehen!“

PISA sagt uns nicht, was jetzt zu tun ist.

• Die Folgerungen der AutorInnen sind gut begründete

Vorschläge –

gestützt, aber auch begrenzt durch den spezifischen

Hintergrund ihrer jeweiligen Disziplin und Position.

PISA ist keine Interventionsstudie mit Kontrollgruppen.

• Insofern sind ihre Empfehlungen interessant, aber nur

als bedenkenswerte Anregungen zu verstehen:

„Das sollte man ernsthaft ausprobieren!“

Kurzinfo: PISA-2003 vs. PISA-2000

• Mit Platz 13-19 unter 29 Ländern erreicht Deutschland durchschnittliche Rangplätze im Nationenvergleich

• leichte Verbesserung 2000 2003 (kann nicht Folge der Maßnahmen nach 2002 sein!)

• große und wachsende Spreizung zwischen Spitze und „Risikogruppe“

• hohe Abhängigkeit des Schulerfolgs von der sozialen Herkunft

(anders als in der Grundschule)

• besondere Benachteiligung von Migrantenkindern (stärker als in der Grundschule)

Brauchen wir einen Wechselvon der „Input“- zur „Output“-

Steuerung?

• „Input“-Steuerung erfolgt über Lehrpläne, über die Qualifikaitonsanforderungen an LehrerInnen und die Prozesskontrolle durch Schulaufsicht.

• „Output-Steuerung“ definiert erwartete Leistungen im voraus und überprüft deren Erreichen mit standardisierten Kompetenztests.

Die gängige These: „Das ‚Input‘-System hat versagt,

denn...“

• Deutschlands 15-Jährige haben bei PISA schlecht abgeschnitten.

• Deutschland hat ein Input-System.• Viele der bei PISA erfolgreicheren Länder

haben eine Output-Steuerung.• Also ist das Input-System schuld an der

PISA-“Katastrophe“.• Wenn Deutschland auch ein Output-

System einführt, werden die Schülerleistungen besser.

Meine Gegenthese: „... oder doch nicht, denn ...“

• Deutschlands 10-Jährige haben 2001 bei IGLU gut abgeschnitten.

• Die Grundschule und die Sekundarstufe arbeiten beide in einem Input-System.

• Also kann das Steuerungssystem nicht die Ursache für den PISA-“Misserfolg“ und zugleich für den „IGLU“-Erfolg sein.

Und:Sind deutsche SchülerInnen wirklich so

schlecht?

• Beginnen wir mit einem Vergleich der deutschen

Ergebnisse mit den allseits hoch gelobten Ländern

Schweden und Finnland

Warum fahren alle nach Schweden?

PISA- 2003 29 OECD- L.

Finn’l 1- 2

Schwed 7- 17

Dtsch’l 16- 22

I talien 22- 26

Mathematik 544 509 503 466

Lesen 543 514 491 476

Naturwiss. 548 506 502 486

Problemlösen 548 509 513 470

40 Punkte entsprechen etwa einem Schuljahr, d. h. Spitze <- > Mitte / Mitte <- > Ende

Wie verlässlich sind internationale Vergleiche?

Vergleichen wir die Rangpositionen von

• von Deutschland und• den USA

in verschiedenen Leistungsstudien

Leseleistungen der deutschen SchülerInnen

im internationalen Vergleich Kohorte Schulanfang

Rang- platz

von XX Nationen

Studie

1934- 1982 2 8 IALS 1988 12 16 I EA 1991 21 31 PISA- 1 1994 19 29 PISA- 2 1998 4- 12 35 PIRLS

I nnerhalb von jeweils 10 J ahren - Grundschüler von unten (1988) nach oben (1998) - J ugendliche von oben (1982) nach unten (1991)?

Leseleistungen der US-SchülerInnen im internationalen Vergleich

Kohorte Schulanfang

Rang- platz

von XX Nationen

Studie

1934- 1982 7 8 IALS 1988 2 16 I EA 1991 15 31 PISA- 1 1994 15 29 PISA- 2 1998 4- 12 35 PIRLS

Die relativen Plätze schwanken stark innerhalb von wenigen J ahren – obwohl die Leseleistung innerhalb der USA seit 30 J ahren sehr stabil ist.

Beliebigkeit der Urteile

Nicht nur die internationalen Rangplätze im Vergleich

zwischen den Ländern – auch die Einschätzung der Anteile von

„Risikogruppen“ innerhalb der Länder schwankt erheblich

Ab wann ist jemandein „Risiko“-Schüler ?

Studie Alter Jahr Anteil „Risiko“

ANALFA 16+ 1980 ~ 5 % IEA 14 1991 2 % IALS 16+ 1993 14 % PISA-I 15 2000 25 % IGLU 9 2003 10 %

I nnerhalb von 10 J ahren Veränderung der Quoten von 12.5 zu 1 ?

Zwei Gründe fürdie breite Streuung der Schätzungen

Schwellenwerte des Lesen-“Könnens“ zur Abgrenzung von Risikogruppen werden festgelegt ohne empirische Absicherung

• ihrer alltagsökologischen Validität, d. h. ohne Überprüfung ihrer Passung auf Anforderungen in den Lebens- und Berufswelten;

• ihrer lernbiografischen Validität, d. h.ohne Absicherung ihrer Prognosekraft als „Voraussetzung“ für den weiteren Schul- und (Aus-)Bildungsweg.

Die alltagsökologische Validität ist fraglich...

... weil die Mindestniveaus festgelegt werden, ohne zu

berücksichtigen,

• dass es erhebliche Unterschiede zwischen objektiven

Testleistungen und subjektiver Bewältigung von

Anforderungen im individuellen Alltag gibt;

• dass die Testleistungen innerhalb vergleichbarer

Gruppenerheblich erheblich streuen, obwohl die

meisten dieser Personen den täglichen Anforderungen

durchaus gewachsen sind.

Streuung der Leseleistungeninnerhalb von Gruppen

Stolperwörter-Sätze:

Richtige Sätze/ Min.

Gruppe Mitte

2. Kl.

Mitte

4. Kl.

Berufs-

schule

Hand-

werk

Leh-

rer

N = 6.654 6.415 252 166 181

aM

SD

Min-Max

4.1

2.1

0-11

8.1

2.7

1-16

14.9

3.1

6-25

11.2

3.4

3-20

18.7

3.7

9-29

Die lernbiografische Validität ist fraglich...

• wegen der geringen Determinationskraft von Leistungen:

Erhöhtes Risiko zu Termin-2 bei schlechten Leistungen zu Termin-1 bedeutet NICHT, dass die Mehrheit der SchülerInnen mit schlechten Leistungen zu Termin-1 auch bei Termin-2 versagt.

„Kompensations-Effekt“

• wegen der Vernachlässigung der Zuwächse beim Lernen:

Selbst wenn schwache SchülerInnen ihre Rangposition nicht verbessern, ist ihr Lernzuwachs im Durchschnitt vergleichbar mit dem der leistungsstarken SchülerInnen.

„Karawanen-Effekt“

Zwischenbilanz I:Leistungsniveaus...

• ...lassen sich als „Risikoschwelle“ aktuell weder im inter-nationalen Vergleich noch systemintern überzeugend bestimmen;

• ...sind bisher nicht als „Voraussetzung“ für späteren Schul- oder Berufserfolg nachgewiesen worden;

• ...machen als „Standards“ wenig Sinn, wenn die Leistungen aller Jahrgänge in denselben Klassen 4-5 Altersstufen auseinander liegen;

• ...werden den individuellen Lernfortschritten von unterschiedlichen Ausgangspunkten nicht gerecht.

Leistungsstandards und Kompetenztestsals zentrale Elemente des

Evaluationssystems• Über die im ersten Teil genannten inhaltlichen

Schwierigkeiten hinaus gibt es auch organisationssoziologische Probleme, die bei einer Einführung verbindlicher Lernzielvorgaben und landesweiter Vergleichstests bedacht werden müssen:

• eine Überlastung des Instrumentariums mit zu vielen, zum Teil widersprüchlichen Funktionen;

• negative Nebenwirkungen, wie sie sich an Erfahrungen angelsächsischer Länder über die letzten 30 Jahre hinweg beobachten lassen.

Funktionsüberlastung von Standards und Tests

Mit der Einführung von Leistungsstandards und Kompetenztests

werden drei Ziele verbunden

• bildungspolitisch eine Verbesserung des „System Monitoring“;

• für die Verwaltung eine klarere Zielorientierung und Qualitätskontrolle der Arbeit von Schulen bzw. LehrerInnen;

• auf der Unterrichtsebene eine genauere Erfassung des Lernerfolgs von SchülerInnen bzw. eine differenziertere Diagnose ihrer Lernschwierigkeiten.

System Monitoring

Standards und Tests können das deutsche Evaluationssystem

sinnvoll ergänzen. ABER:

• In den aktuell forcierten Maßnahmen zentraler Rechenschaft gibt es eine Schlagseite zu Lasten von Evaluationselementen auf anderen Ebenen.

• Statt jährlicher Erhebungen würden auf System-Ebene Bestandsaufnahmen alle vier bis sechs Jahre völlig ausreichen.

• Dafür genügen außerdem Stichproben-Erhebungen, die die Schulen erheblich weniger belasten und Ressourcen für unterrichtsnahe Aktivitäten freigeben würden.

Qualitätskontrolle der Schulen

Standards können die Arbeit der Schulen stärker fokussieren, Tests ihre Einhaltung überprüfen helfen. ABER:Verbindlich vorgeschrieben und mit – zumindest indirekten – Sanktionen verknüpft, führen sie leicht zu

• einer nur oberflächlichen Anpassung („teaching to the test“)

• einer Schrumpfung des Curriculums im Unterrichtsalltag

• wachsenden Drop-out- oder sogar Push-out-Quoten – vor allem

von benachteiligten SchülerInnen (Selektion statt Förderung)

• Umgehungs- oder sogar Betrugsversuchen.

einige Belege aus den USA

Schülerleistungen in US-

Bundesstaaten high- vs. low-stakes testing

Prozentsatz der US- Bundesstaaten mit...

Staaten mit hohen Sanktionen

Staaten mit niedrigen Sanktionen

Mathematik- Leistung über dem nationalen Durchschnitt

17 %

64 %

Mathe- Leistung unter dem nationalen Durchschnitt

67 %

21 %

100 % * n=18

100 % * n=18

Alter Test – Neuer Test

Bewertung von Schülerleistungen

Standardisierte Tests können LehrerInnen helfen, ihre Maßstäbe

zu kalibrieren und ihre Beobachtungen zu kontrollieren – ABER sie können das Lehrerurteil nicht ersetzen:

• standardisierte Tests können nur Ausschnitte der pädagogisch bedeutsamen Erfahrungen erfassen, sind also ergänzungsbedürftig durch andere Evaluationsformen;

• ein- bis zweistündige Tests sind weniger valide als Lernbeobachtungen in verschiedenen Aufgaben über das Schuljahr hinweg;

• Messfehler sind auf der individuellen Ebene so hoch, dass genaue Punktwerte nicht verlässlich zu interpretieren sind.

Zwischenbilanz II:Evaluation durch Standards und Tests

... kann andere Formen der Rechenschaft sinnvoll ergänzen, aber

nicht ersetzen, sonst

• kommt es zu einer Funktionsüberlastung mit zum Teil widersprüchlichen Anforderungen der verschiedenen Aufgaben;

• werden wesentliche Bedürfnisse und Ressourcen unterrichtsnaher Evaluation vernachlässigt;

• sind negative Nebenwirkungen zu befürchten, die den erhofften Ertrag konterkarieren.

Was ist zu tun?

• Statt eines Paradigmenwechsels von der Input- zur Output-Steuerung

brauchen wir eine Umorientierung der Qualitätssicherung

• mit einer Balance von der Produkt- zur Prozessevaluation.

Erziehung ist mehr als Training.

Die langfristigen Wirkungen von Unterricht hängen von der Qualität der Aktivitäten und Interaktionen ab.

Resümee

Das Output-Modell ist zu einfach und zu mechanistisch – auf

allen Ebenen pädagogischen Handelns:

• individuelle Entwicklung lässt sich nicht planen als klein- und gleichschrittige Addition von Kenntnissen und Fertigkeiten;

• Unterricht kann SchülerInnen anregen, herausfordern und unterstützen – aber nicht „lernen machen“: es gibt keine direkte Kausalität zwischen Lehren und Lernen;

• Bildungspolitik und –verwaltung kann die Qualität von Schulen nicht entwickeln, indem sie erwartete Ergebnisse vorschreibt und kontrolliert.

Danke für Ihre Aufmerksamkeit!

Ausführlicher ist meine Argumentation entfaltet in:

Brügelmann, H. (i. D.): Schule verstehen – Forschungsbefunde zu

Kontroversen über Erziehung und Unterricht. Libelle: CH-Lengwil

(erscheint im Sommer 2005). Kap. 49-51

Brügelmann, H. (2004): International tests and comparisons in

education performance: A pedagogical perspective on standards,

core curricula, and the quality of schooling in the German education system. www.uni-siegen.de/~agprim/printbrue.htm