Von FIMSS und FISS bis PISA und PIRLS Eine Zwischenbilanz zu den Effekten und Perspektiven von Large...

Von FIMSS und FISS bis PISA und PIRLS

Eine Zwischenbilanz zu den Effekten und Perspektiven von Large Scale Assessments

für die Steuerung von Schule

Isabell van AckerenUniversität Duisburg-Essen

AG Bildungsforschung

Zürich, 8. Dezember 2010

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien

(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Perspektive: ‚Large Scale Change‘?

Anfänge internationaler Leistungsvergleiche

1920er Jahre: separate, idiographische Beschreibung der Bildungssysteme ausgewählter Länder (Vergleichende EW als akademische Disziplin)

1950/60er Jahre: Bewusstsein für den ‚hidden factor‘ des Humankapitals (Entwicklungspolitik)

1958: Gründung der IEA durch akademische Institutionen (Bloom, Thorndike u.a.) – Messung von Kenntnissen und Fertigkeiten von Schüler/innen– Identifizierung relevanter Einflussgrößen auf Lernerträge

(nomothetischer Anspruch)– Variation zwischen Ländern (Steuerungs- und Handlungspraxis):

Erkenntnisgewinn für bildungspolitische Reformen und Entwicklungsprozesse (melioristisches Erkenntnisinteresse)

60/70er Jahre: Paradigmenwechsel hin zur Erfassung des Lernertrags von Schule (Systemmonitoring, Benchmarking)

Pilot Twelve-Country Study 1959-62 (Foshay et al., 1962)

Anlage

• Machbarkeitsstudie zur Realisierung internationaler Schulleistungsvergleiche

• Sekundarstufe I

• Lesen, Mathematik, Naturwissenschaften, Geographie, non-verbale Fähigkeiten

• Teilnehmerstaaten: Belgien, (West-)Deutschland, England, Finnland, Frankreich, Israel, Jugoslawien, Polen, Schottland, Schweden, Schweiz, USA

Erkenntnisse

• Höhere Variabilität innerhalb der Teilnehmerstaaten als zwischen den Ländern

• Länderunterschiede rechtfertigten jedoch die Durchführung von Leistungsstudien

• Vergleichsweise höhere Streuung in Geographie und Mathematik

• Herausarbeitung fachspezifischer Geschlechterdifferenzen

FIMS: First International Mathematics Study 1963/64 (Husén, 1967; Postlethwaite, 1967)

• Prinzip der Testung an strategisch bedeutsamen Punkten der Schullaufbahn– gegen Ende der Pflichtschulzeit– gegen Ende der voruniversitären Ausbildung

• Ergänzung durch Hintergrundbefragungen von Schüler/innen, Lehrkräften und Schulleitungen

• 12 Länder, 133.000 Jugendliche– Australien, Belgien, (West-)Deutschland, England, Finnland,

Frankreich, Israel, Japan, Niederlande, Schottland, Schweden, USA

• Fachbezug Mathematik – als ein Index der Produktivität eines Systems– methodisch einfacher für umfangreiche erste Erhebung dieser Art – „movement of reconstruction of mathematical education“

(Husén, 1967)

FIMS und FISS: Ausgewählte Befunde und Rezeption aus deutscher Sicht

• „nonmath-students“ (Grundbildung): Spitzenposition– Problem Vergleichbarkeit: Verbindlichkeit von Mathematik als

Abiturfach Strukturelle Unterschiede in der Unterrichtszeit und

-organisation sind zu berücksichtigen

• „mathematics students“: Mittelfeld– andere, leistungsstärkere Länder mit jüngerer

Schülerpopulation↔ keine Diskussion der Schulzeit bzw. durchschnittlicher

Leistungen

• Chancengleichheit: starke sozio-ökonomische Selektivität – Indexwert der sozialen Selektivität im internationalen Vergleich

am höchsten– keine breite Rezeption der Befunde

Six-Subject Survey (1968-73)

• erstmals Berücksichtigung der Primarstufe

• Frage der Übertragbarkeit identifizierter Einflussfaktoren mathematischer Bildungsprozesse auf andere Fächer – Leseverständnis, Naturwissenschaften, Literatur, Französisch

und Englisch als Fremdsprachen, Civic Education

• Herausarbeitung neuer Prädiktoren schulischer Leistung– u.a. Interessens-, Motivations- und Einstellungsvariablen sowie

Lehrmethoden

vgl. http://www.iea.nl/sowie Goy, van Ackeren & Schwippert, 2008

Leistungsstudien in den 1970er und 80er Jahren

• Zurückhaltung / keine Beteiligung deutschsprachiger Länder bis in die 1990er Jahre– Ausnahme: Classroom Environment Study (CES), 1981 und 1983

(Weinert & Helmke)

• eher geisteswissenschaftliche Tradition deutscher Pädagogik (vgl. Bos & Postlethwaite, 2001)

• Schulsystem galt zudem lange als vorbildlich

↔ Konsequente Beteiligung an Untersuchungen: z.B. Belgien, England, Frankreich, Finnland, Neuseeland, Niederlande, Schottland, Schweden, USA

• TIMSS-Schock als Auslöser einer systematischen und breiten empirischen Schulleistungsforschung

• Rückblickende Wahrnehmung der Befunde der International Reading Literacy Study (IRLS)

Blick nach vorn: Perspektiven – Desiderate

• Längsschnittliche Anlage von Forschungsprogrammen zur Einlösung des Erklärungsanspruchs

• Defizitäre Informationen über domänen- und institutionsspezifische Bildungsprozesse auf folgende Stufen:– Tertiärer Bildungsbereich– Lebenslanges Lernens, ‚adult competencies‘

• Anschlussfähigkeit des in Bildungsinstitutionen vermittelten Wissens / Kompetenzen

• Weiterentwicklung der Schulentwicklungsforschung– Praktische Umsetzung von LSA als komplexes Forschungs- und

Entwicklungsproblem:

„Die eigentliche Arbeit beginnt in der Schule, den sie unterstützenden Einrichtungen und der Politik erst nach der Untersuchung“ (Baumert 2001)

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien

(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Perspektive: ‚Large Scale Change‘?

Governance und Evidenzbasierte Steuerung

• Governance meint – „das Zustandekommen, die Aufrechterhaltung und die

Transformation sozialer Ordnung und Leistungen im Bildungswesen unter der Perspektive der Handlungskoordination zwischen verschiedenen Akteuren in komplexen Mehrebenensystemen.“

(Altricher & Maag Merki, 2010)

• Akteure aus Bildungspolitik/ -administration betreiben– „in extremer Interpretation, ihre Politik insgesamt primär

empiriegestützt, erfahrungswissenschaftlich beglaubigt und wissenschaftlich fundiert [...] statt im Vertrauen auf alte Ideologien.“

(Tenorth, 2007)

Rezeption / Impact von Leistungsstudien in international vergleichender Perspektive

• Robitaille et al. (Ed.) (2000). The impact of TIMSS on teaching and learning of mathematics and science

• Autorengruppe Internationale Vergleichsstudie (2003): Vertiefender Vergleich der Schulsysteme ausgewählter PISA-Teilnehmerstaaten

• Gilmore, A. (2005): The Impact of PIRLS (2001) and TIMSS (2003) in Low- and Middle-Income Countries

• Figazzolo, L.: Impact of PISA 2006 on the Education Policy Debate

• Schwippert, K. (Ed.) (2007): Progress in Reading Literacy. The Impact of PIRLS 2001 in 13 Countries

Impact of PIRLS: Beteiligte Länder 2006

14

RusslandHongkong

Neuseeland

Belgien (FL)DeutschlandEnglandLettlandNiederlandeÖsterreichSlowakeiUngarn

Südafrika

kursiv: erstmals beteiligte Länder

Ziele: Dokumentation und Information

• Dokumentation der Reaktionen / Reaktionsmuster auf Studienergebnisse seitens Politik und Administration, Wissenschaft, Schulen und Öffentlichkeit

• Identifizierung direkter und/oder indirekter Konsequenzen– Veränderungen und Umstrukturierungen im nationalen

Bildungssystem– Programme und Initiativen im Bildungsbereich– Wahrnehmung in der Öffentlichkeit

• Abschätzung des Potenzials für Systementwicklung– ggf. transformatorische Prozesse (2001 – 2006)– Explorativer Charakter – ggf. vertiefende Länderanalysen

Autorenperspektive

• ‚Insider‘-Perspektiven auf das nationale Bildungssystem

• Unterschiedliche institutionelle und positionelle Hintergründe der Autoren zwischen den Ländern– Abteilungen des

Bildungsministeriums– Unabhängige

Forschungseinrichtungen– Universitäre Fachbereiche

The Analytical Framework

• A short country description• The national education system• The country’s experience in national and

international large-scale assessments• National results, impact, and (expected) long-

term effects of PIRLS 2001 and/or 2006 since the first publication

• Expected future activities• Concluding remarks

(vgl. Schwippert & Lenkeit, in Vorbereitung; Liegmann & van Ackeren, in Vorbereitung)

Teilnahme an internationalen Studien und Implementierung nationaler Vergleichsstudien

Zusammenfassung der (berichteten) Veröffentlichungsaktivitäten

Unterrichts-qualität

PIRLS als Indikator und Motor der Revision und Modifizierung

Österreich, Hongkong, Lettland: Stärkung des Anspruchs der Förderung individueller Lernprozesse

Curriculum Revision von Curricula: Planung bzw. Realisierung

Ungarn: Ausweitung des Leseunterrichts auf Klassen 5+6; Hongkong: Lesenlernen als Schlüsselkompetenz überrgeifend verankert

Struktur Fokus auf vorschulische Bildung; Separation / Integration

Österreich: Obligatorisches, gebührenfreies Vorschuljahr;Lettland: Herabsetzung Einschulungsalter; Verkürzung / Verlängerung der gemeinsamen Lernzeit (Ungarn / BRD)

Lehrer-bildung

Leseförderung England, Deutschland, Hongkong; Handreichungen, Trainingsprogramme: u.a. Russland, Südafrika

Ressourcen Finanzielle Ressourcen; elterliche Unterstützung

Hongkong: Erhöhung der Bildungsausgaben für die Primarstufe; Slovakei: zusätzliche Ressourcen für soziale benachteiligte Schüler; Südafrika: Büchergutscheine; Hongkong: Förderung elterlicher Unterstützung

Förder-programme

Leseförderung Hongkong: alle Schüler; England: Risikoschüler

Output-orientierung

Bildungsstandards, Vergleichsarbeiten, Schulinspektion

Österreich, Deutschland, Südafrika; Revision bestehender outputorientierter Instrumente: England, Ungarn, Neuseeland, Russland

Beschriebene Entwicklungsbereiche

Nutzbarmachung Evaluationsdaten (nach Johnson, 1998)

• Instrumenteller Gebrauch direkter Anwendungsbezug

• Konzeptueller Gebrauch auch: „enlightment“; Beeinflussung von

Denkprozessen in größerem zeitlichen Abstand

• Symbolischer Gebrauch politisches/taktisches Interesse

Ministerielle Steuerung nach PISA in ausgewählten Bundesländern: MISTEL-Studie (Tillmann, Dedering et al.)

• Bildungspolitische Entscheidungsfindung erfolgt weniger rational, als es das Modell evidenzbasierter Steuerung postuliert

• Sach- und Problemorientierung der Entscheidungsträger wird flankiert von politisch-taktischen Orientierungen– u.a. Verstärkung / Legitimation bereits getroffener Entscheidungen– Stärkung öffentlicher Akzeptanz– Untermauerung politischer Forderungen

• Problem der Verabeitungskapazität und -kompetenz; zwischen Expertisedefizit und Informationsvorsprung

• Ministerien als Intermediär zwischen Bildungspolitik, Bildungssystem und Wissenschaftssystem: Balance zwischen unterschiedlichen Handlungslogiken

Gliederung

(1) Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien

(2) Rezeption und Wirkung: Large Scale Assessments und der Anspruch ‚Evidenzbasierter Steuerung‘

(3) Herausforderungen und Perspektiven: ‚Large Scale Change‘?

Herausforderungen

• Empirische Forschung zu den Ansprüchen und Wirkungen neuer Steuerungsinstrumente im Anschluss an Befunde von LSA– Bildungsstandards, Vergleichsarbeiten, Schulinspektionen, Zentrale

Abschlussprüfungen– Berücksichtigung transintentionaler Effekte

• Ergänzung um internationale Vergleiche– Berücksichtigung unterschiedlicher Strukturen und

Steuerungsphilosophien

• Professionalisierung von Lehrkräften

• Bedingungen von Transfer, etwa ausgezeichneter Schulen bei Schulwettbewerben

Projekt EviS – Evidenzbasiertes Handeln im Mehrebenensystem Schule

Teilprojekt I: Lehrerbildung• Genese, Voraussetzungen und

Entwicklungen professionellen Umgangs von Lehrenden mit evidenzbasiertem Wissen im Kontext der mehrstufigen Lehrerausbildung

• quantitative (Panel-)Befragung mit Studierenden und Referendarinnen/Referendaren (2 Wellen)

• ergänzt durch qualitative Befragung

Teilprojekt II: Schule• Einflussfaktoren auf die

Generierung und Nutzung evidenzbasierten Wissens

• Theoretical Sampling: Fallschulen, die sich durch geringe oder starke Evidenznutzung auszeichnen

• Netzwerkanalyse• vertiefende Interviews genauere Bestimmung der

tatsächlich genutzten Evidenzen Anlässe und Motivationen zur

Nutzung der Evidenzen erfassen

26