Entwicklung und Einsatz von Instrumenten zur … · Entwicklung und Einsatz von Instrumenten zur ... Hans Anand Pant DACH-Seminar 2014 Potsdam 17.-19. ... DACH-Seminar 2014,

Entwicklung und Einsatz von Instrumenten zur Überprüfung der Bildungsstandards am Beispiel des Ländervergleichs Mathematik/NaturwissenschaftenHans Anand Pant

DACH-Seminar 2014Potsdam

17.-19. Februar 2014

2 | DACH-Seminar 2014, Potsdam © IQB 2014

Der IQB-Ländervergleich 2012


Von Bildungsstandards zur Überprüfung des Erreichens: die Aufgaben

Was weiß die Bildungspolitik nach Ländervergleichen? Bildungsmonitoring und vertiefende Analysen

Was weiß die Bildungspolitik nach Ländervergleichen nicht?

Ansätze für einen besseren Wissenstransfer zwischen Bildungsforschung und Bildungspolitik

Übersicht


Ländervergleiche und Schulleistungsstudien 2009 bis 2021


Was und wie wurde im IQB-Ländervergleich getestet?

Mathematik Globale Mathematikkompetenz fünf inhaltsbezogene Kompetenzbereiche (Leitideen):

Zahl Messen Raum und Form Funktionaler Zusammenhang Daten und Zufall

Naturwissenschaften für Biologie, Chemie, Physik jeweils

Fachwissen Erkenntnisgewinnung


„Werdegang“ einer Aufgabe

Ziel: Entwicklung von 150 Items pro Fach pro Kompetenzbereich

1. Entwicklungsphase

• Entwickler erstellen Aufgabe auf Grundlage des Kompetenzmodells

• Andere Entwickler und Berater geben Rückmeldung (Portal, Treffen)

• Entwickler geben Aufgabe frei

2. Bewertungsphase

• Bewerter (Fachdidaktik, Psychometrie) begutachten Aufgaben=> Verbesserungs-vorschläge an FDL

• FDL überarbeitet Aufgaben anhand der Vorschläge

3. Prüfungsphase

• IQB vereinheitlicht das Layout

• FDL prüft das Layout

• Sprachliche Prüfung durch Linguisten

• Präpilotierung(teilweise)

• Übernahme in Aufgabenpool

FDL = fachdidaktische Leitung


Anzahl der im Ländervergleich 2012 eingesetzten Aufgabenblöcke, Aufgaben und Items

Eingesetzt bei Fach Kompetenzbereich Anzahl Aufgabenblöcke Anzahl Aufgaben Anzahl Items

SuS ohne SPF Mathematik Zahl 7 47 67Messen 5 33 44Raum und Form 5 38 52Funktionaler Zusammenhang 7 40 75Daten und Zufall 7 34 62

Biologie Fachwissen 5 35 56Erkenntnisgewinnung 5 36 58

Chemie Fachwissen 5 43 65Erkenntnisgewinnung 5 31 65

Physik Fachwissen 5 44 67Erkenntnisgewinnung 5 35 63

Biologie / Chemie / Physik Fachwissen 1 12 12SuS mit SPF Mathematik Zahl 2 21 30

Messen 2 21 29Raum und Form 2 24 33Funktionaler Zusammenhang 2 17 23Daten und Zufall 2 12 25

Biologie Fachwissen 2 17 23Erkenntnisgewinnung 2 15 22

Chemie Fachwissen 2 20 26Erkenntnisgewinnung 2 18 28

Physik Fachwissen 2 18 26Erkenntnisgewinnung 2 17 23

700 Items


Kompetenzstrukturmodell Mathematik


Kompetenzstrukturmodell naturwissenschaftliche Fächer

Umgang mit FachwissenErkenntnisgewinnungKommunikationBewertung

Niveau I – ein Fakt Niveau II – zwei Fakten Niveau III – ein Zusammenhang Niveau IV – zwei Zusammenhänge Niveau V – übergeordnetes Konzept

Kompetenzbereiche

Kognitive Prozesse

Komplexität

integrierenorganisierenselegierenreproduzieren


Teil-

bere

iche

Asp

ekte

Kompetenzbereich Erkenntnisgewinnung


Aspekte naturwissenschaftlicher Untersuchungen

• Datendarstellung• Datenauswertung• Schlussfolgerungen

• angemessene Methoden• Identifizierung von Kriterien• Variablenisolation und -kontrolle

• Hypothese, die sinnvoll ist• Hypothese, die empirisch prüfbar ist• Hypothese mit Theoriebezug

• Frage, die zum Phänomen passt• Frage, die naturwissenschaftlich

untersucht werden kannFragestellung

Hypothese

Untersuchungsdesign

Datenauswertung


Kompetenzmodell naturwissenschaftliche Fächer



Kompetenzbereiche

Kognitive Prozesse

Komplexität



Informationsbearbeitungsprozesse bei der Aufgabenbearbeitung

Verhältnis in Aufgabenstellung

vorgegebener Information zu erwarteter Antwort

Integrieren Vorgabe ≠ Antwort

Organisieren Vorgabe ≠ Antwort

Selegieren Vorgabe ≠ Antwort

Reproduzieren Vorgabe = Antwort

Notwendigkeit, Zusammenhänge, Reihenfolgen oder

Bezüge herzustellen

Ähnlichkeit der Situationen in

Aufgabenstellung und Lösung

ja niedrig

ja hoch

nein hoch

nein hoch

Kognitive Prozesse

KriterienVerhältnis

vorgegebener Informationen zu

erwarteter Antwort

Ähnlichkeit von Aufgabenstellung

und Lösung

Notwendigkeit, Zusammenhänge

herzustellen


Kompetenzmodell naturwissenschaftliche Fächer



Kompetenzbereiche

Kognitive Prozesse

Komplexität



Komplexität - Fachwissen

Komplexitätsniveau Beschreibung

Konzept Prinzipien, Konzepte, Abhängigkeiten von Rand- und Anfangsbedingungen, Basiskonzepte

2 Zusammenhänge Kreisläufe, Prozesse, Kausalgefüge, Beziehungsgeflechte

1 Zusammenhang Funktionale, relationale, kausale Beziehungen zwischen Fakten, Wechselwirkungen zwischen Objekten oder Ebenen

2 Fakten Kombinationen aus Eigenschaften, zeitliche Reihenfolge, Objektmengen

1 Fakt Begriff, Name, Eigenschaft, Objekt


Illustration des Kompetenzstufenmodells in Biologie Erkenntnisgewinnung

Lösungswahrscheinlichkeit 88 % (MSA 91 %)


Illustration des Kompetenzstufenmodells in Biologie Erkenntnisgewinnung

Lösungswahrscheinlichkeit 10 % (MSA 13 %)


Durchschnittliche empirische Lösungshäufigkeit nach Komplexitätsgrad der Aufgaben (alle NaWi-Fächer)

19


Durchschnittliche empirische Lösungshäufigkeit nach kognitiver Anforderungsart der Aufgaben (alle NaWi-Fächer)


Wer wurde getestet? Die Stichprobe

Testleistungen auf Länderebene und auf Bundesebene repräsentativ 44 584 Schülerinnen und Schüler aus

1326 SchulenDarunter 60 Förderschulen


Kinder mit sonderpädagogischem Förderbedarf: Einbezogene Förderschwerpunkte

Lernen Sprache Emotionale und soziale Entwicklung Geistige Entwicklung Körperliche und motorische Entwicklung Hören Sehen Unterricht kranker Schülerinnen und Schüler Erziehung und Unterricht von Kindern mit autistischem

Verhalten Fett gedruckte Förderschwerpunkte wurden in den Ländervergleich einbezogen(analog zu den internationalen Schulleistungsstudien)


Metrik des Ländervergleichs

Mittelwert: 500 PunkteStandardabweichung: 100 Punkte

Lernzuwachs über ein Schuljahr am Ende der Sekundarstufe I:

Mathematik undNaturwissenschaften: ca. 25-30 Punkte


Ergebnisse des Ländervergleichs im Fach Mathematik: Globalskala

Land PerzentileM SD 5 95 95-5

Sachsen 536 96 373 688 315Thüringen 521 93 365 670 304Brandenburg 518 105 345 688 343Bayern 517 101 354 685 331Sachsen-Anhalt 513 99 345 670 325Mecklenburg-Vorpommern 505 95 346 658 312Rheinland-Pfalz 503 97 345 659 314Schleswig-Holstein 502 98 337 663 325Baden-Württemberg 500 100 335 669 334Deutschland 500 100 338 667 329Niedersachsen 495 91 352 648 296Hessen 495 97 342 659 317Saarland 489 93 336 643 306Hamburg 489 99 326 650 324Nordrhein-Westfalen 486 102 321 657 336Berlin 479 104 308 648 341Bremen 471 103 312 649 337

200 300 400 500 600 700 800Länder liegen signifikant (p < .05) über dem deutschen Mittelwert. Länder weichen nicht signifikant vom deutschen Mittelwert ab.Länder liegen signifikant (p < .05) unter dem deutschen Mittelwert.

Perzentile: 5% 25% 75% 95%10% 90%

Mittelwert und Konfidenzintervall (± 2 SE)


Vergleichen womit? Die Frage der Bezugsnorm

Großstädte/ Regionen mit ähnlicher Sozialstruktur?

Soziale Bezugsnorm


Kriteriale Bezugsnorm

Großstädte/ Regionen

Soziale Bezugsnorm

Vergleichen womit? Die Frage der Bezugsnorm


Ergebnisse des Ländervergleichs im Fach Mathematik auf einen Blick

450

460

470

480

490

500

510

520

530

540

550

BW BY BE BB HB HH HE MV NI NW RP SL SN ST SH TH

Global Zahl Messen Raum und Form Funktionaler Zusammenhang Daten und Zufall


Ergebnisse des Ländervergleichs im Kompetenzbereich Chemie Fachwissen

Land PerzentileM SD 5 95 95-5

Sachsen 542 97 381 703 322Sachsen-Anhalt 538 102 362 701 339Thüringen 534 96 362 686 324Brandenburg 530 97 369 683 314Mecklenburg-Vorpommern 519 92 361 666 305Bayern 512 100 351 674 323Rheinland-Pfalz 504 90 349 647 297Niedersachsen 502 94 348 657 310Deutschland 500 100 338 663 325Schleswig-Holstein 499 94 340 645 305Baden-Württemberg 499 101 338 669 331Saarland 497 98 337 656 319Hessen 492 95 338 653 315Berlin 490 109 309 665 356Hamburg 484 100 325 651 325Nordrhein-Westfalen 481 101 319 645 326Bremen 477 103 314 652 338

Länder liegen signifikant (p < .05) über dem deutschen Mittelwert. Länder weichen nicht signifikant vom deutschen Mittelwert ab.Länder liegen signifikant (p < .05) unter dem deutschen Mittelwert.

Perzentile: 5% 25% 75% 95%10% 90%

Mittelwert und Konfidenzintervall (± 2 SE)

200 300 400 500 600 700 800


Ergebnisse des Ländervergleichs in den Naturwissenschaften auf einen Blick

450

460

470

480

490

500

510

520

530

540

550

BW BY BE BB HB HH HE MV NI NW RP SL SN ST SH THBiologie Fachwissen Biologie Erkenntnisgewinnung Chemie FachwissenChemie Erkenntnisgewinnung Physik Fachwissen Physik Erkenntnisgewinnung


Ergebnisse des Ländervergleichs: Zusammenfassung

Abstand zwischen dem höchsten und dem niedrigsten Ländermittelwert: Mathematik 65 Punkte (ca. 2 – 2 ½ Jahre) Naturwissenschaften 50 – 68 Punkte (ca. 1 ½ – 2 ½ Jahre)

Ergebnisse in der Zusammenschau: In der Mathematik

o Gute Ergebnisse SN, TH, BB, BY, STo Schwache Ergebnisse HB, BE, NW, HH, SL

In den Naturwissenschafteno Gute Ergebnisse SN, TH, ST, BB, MV, teilweise BY, RPo Schwache Ergebnisse HB, NW, HH, teilweise HE


Mathematik-Kompetenz nach Muttersprache und Land

509

458

491

441

502

460

441448

442448

444437 440

430 429

418

438

537

523519

525

512507 510 508 509

500

508 507

496

500 501

494

510

400

420

440

460

480

500

520

540

560

580

600

SN TH BB BY ST MV RP SH BW NI HE HH SL NW BE HB D

Deutsch als Muttersprache nein Deutsch als Muttersprache ja Deutsch als Muttersprache GesamtsummeGesamt


Kompetenzstufen und Standarderreichung

Naturwissenschaften

Kompetenz-stufen

Mittlerer Schulabschluss

V Optimalstandard

IV Regelstandard plus

III Regelstandard

II Mindeststandard

I unter Mindeststandard


Kompetenzstufen und Standarderreichung

Mathematik Naturwissenschaften

Kompetenz-stufen


Hauptschul-abschluss

Kompetenz-stufen


V Optimalstandard V Optimalstandard

IV Regelstandard plus Optimalstandard IV Regelstandard plus

III Regelstandard Regelstandard plus III Regelstandard

II Mindeststandard Regelstandard II Mindeststandard

I.bunter

Mindeststandard

MindeststandardI unter

MindeststandardI.a unter

Mindeststandard


Kompetenzstufenbesetzung im Fach Mathematik (Global) für Deutschland insgesamt

Mathematik Global

KompetenzstufenI.a I.b II III IV V

Gymnasium 0.1 1.7 14.9 39.0 33.1 11.3

9. Jg. insgesamt 5.5 19.5 30.7 25.9 14.2 4.2

mind.MSA-Regelstandard:

44,3%

unterMSA-Mindeststandard:

25%

MSA-Optimalstandard


Kompetenzstufenbesetzung im Fach Mathematik (Global) für Deutschland insgesamt

Erreichte Kompetenzstufe in %

Deutschland I.a I.b II III IV V

Gesamt HSA 22.4 45.4 27.1 4.9 0.2 0.0

Gesamt MSA 1.9 14.0 31.4 30.4 17.1 5.1

Gymnasium 0.1 1.7 14.9 39.0 33.1 11.3

Sonstige MSA 3.3 23.3 44.0 23.9 5.0 0.4

9. Jg. insgesamt 5.5 19.5 30.7 25.9 14.2 4.2


Standarderreichung im Fach Mathematik (Mittlerer Schulabschluss): 9. Jg. insgesamt

Angaben in % D BW BY BE BB HB HH HE MV NI NW RP SL SH SN ST TH

Optimalstandard 4.2 4.6 6.4 2.8 7.0 3.0 2.9 3.7 3.5 2.4 3.5 3.5 2.2 3.7 7.1 4.5 4.4

OptimalstandardGymnasium 11.3 14.0 18.6 6.3 14.6 6.8 6.3 9.5 7.7 6.3 9.8 9.1 6.3 9.9 15.6 11.6 10.7

MindestensRegelstandard 44.3 43.6 50.3 37.3 52.8 34.1 41.1 41.2 47.2 41.7 39.3 46.3 40.6 46.3 61.2 50.1 52.2

Unter Mindeststandard 25.0 23.6 20.7 32.8 18.8 38.5 28.3 27.2 19.7 24.7 30.6 24.3 28.2 23.4 11.5 21.1 17.9

Kompetenzstufe

0%

20%

40%

60%

80%

100%

I.a I.b II III IV V


Standarderreichung im Fach Mathematik (Mittlerer Schulabschluss): 9. Jg. insgesamt






Kompetenzstufe

0%

20%

40%

60%

80%

100%

I.a I.b II III IV V


Standarderreichung im Fach Mathematik (Mittlerer Schulabschluss): Gymnasium






Gymnasium Kompetenzstufe

0%

20%

40%

60%

80%

100%

unter V V


Kompetenzstufenbesetzung in den Naturwissenschaften nach Kompetenzbereich für Deutschland insgesamt

KompetenzstufenI II III IV V

Biologie Fachwissen

Gymnasium 0.6 7.2 43.6 43.9 4.7Sonstige MSA 10.5 35.5 45.2 8.7 0.2Gesamt MSA 6.2 23.3 44.5 23.9 2.2

Biologie Erkenntnisgewinnung


Chemie Fachwissen


Chemie Erkenntnisgewinnung


Physik Fachwissen


Physik Erkenntnisgewinnung



Einordnung der Befunde


Ergebnisse des Ländervergleichs 2012 im Vergleich zu Ergebnissen anderer Schulleistungsstudien

Vergleiche

Ländervergleich 2012 Mathematik,Biologie/ Chemie/ Physik

PISA 2006 Mathematik, Naturwissenschaften

Ländervergleich 2012 Mathematik

Ländervergleich 2009 Englisch Hörverstehen



Vergleiche






Mittelwerte im Fach Mathematik im Ländervergleich 2012 und in PISA 2006

BW

BY

BE

BB

HB

HHHE

MV

NI

NW

RP

SL

SN

ST

SH

TH

460

470

480

490

500

510

520

530

540

470 480 490 500 510 520 530

Mat

hem

atik

imLä

nder

verg

leic

h20

12

Mathematik in PISA 2006

keine signifikanten Unterschiede

signifikant verschieden vom dt. Mittelwert im Ländervergleich 2012

signifikant verschieden vom dt. Mittelwert in PISA 2006

signifikant verschieden vom dt. Mittelwert im Ländervergleich

2012 und in PISA 2006

r = .79



Vergleiche






BW

BY

BE

BB

HB

HH

HE

MV

NI

NW

RP!

SL

SN

ST

SH

TH

460

470

480

490

500

510

520

530

540

440 450 460 470 480 490 500 510 520 530

Mat

hem

atik

imLä

nder

verg

leic

h20

12

Englisch Hörverstehen im Ländervergleich 2009

Mittelwerte in Mathematik im Ländervergleich 2012 und in Englisch Hörverstehen im Ländervergleich 2009

r = -.33r = .77r = -.33

keine signifikanten Unterschiede



signifikant verschieden vom dt. Mittelwert im Ländervergleich

2012 und 2009


Funktionen der IQB-Ländervergleichsstudien

Dauerbeobachtung von Erträgen der Bildungssysteme der Länder („Systemmonitoring“)

Hinweise auf Stärken und Schwächen, keine Identifikation von Ursachen der Leistungsunterschiede

Gezielte Untersuchung von Faktoren, die für Qualitätsentwicklung relevant sind (z.B. Aus- und Weiterbildung von Lehrkräften, Umgang von Lehrern mit Ergebnissen der Vergleichsarbeiten)

Ablösung der Ländervergleiche im Rahmen der internationalen Schulleistungsstudien

Vorteil: Die länderübergreifend verbindlichen, von der KMK verabschiedete Kompetenzziele als einheitlicher Maßstab

Nachteil: Erste Trendaussagen für den Primarbereich erst 2016






Übersicht


Potenzielles Wissen aus Large-Scale-Untersuchungen durch vertiefende Analysen

Muss die Lehrperson ihr Unterrichtsfach studiert haben?Der Zusammenhang von Fachstudium der Lehrkraft und Schülerkompetenz

Beruhen unterdurchschnittliche Zahlen von Studienanfängerinnen in Chemie und Physik auf geringeren Kompetenzen der Schülerinnen?

Bringen mehr Stundenzahlen in den Naturwissenschaften etwas? Lernzeiteffekte in den naturwissenschaftlichen Fächern


Lehrkräfte

Befragung von über 4000 Lehrkräften in Mathematik und Naturwissenschaften

Fokus: Untersuchung der Qualifikation der Lehrkräfte (Lehramtsbefähigung) und der Fortbildungsaktivitäten

Anteil der befragten Lehrkräfte ohne Lehramtsbefähigung im Fach:

Schulart Mathe Biologie Chemie Physik

Gymnasium 2.2 3.3 4.0 4.6

nicht Gymnasium 14.7 12.5 10.3 18.1

Lehrkräfte ohne Lehramtsbefähigung besuchen deutlich seltener Fortbildungen zur Fachdidaktik und anderen unterrichtsbezogenen Themen


Die Rolle des Fachstudiums zur Vorhersage der mathematisch-naturwissenschaftlichen Kompetenzen

ModellelementeMathematik Biologie Chemie PhysikGlobalmodell Erkenntnisgewinnung

b b b bOrdinatenabschnitt 532,1 521,4 539,3 535,0

Indi

vidu

al-

eben

e

Geschlecht 22,0 - 12,2 - 0,1 0,9Familiensprache - 21,4 - 24,8 - 23,5 - 22,6Sozioökonomischer Status (HISEI) 9,5 6,0 4,6 5,1Kognitive Grundfähigkeit 30,0 21,7 24,4 23,7

Klas

sene

bene

Qualifikationohne Lehramtsbefähigung im Fach - 17,9 - 8,3 -7,5 - 10,3Schulart 82,6 87,4 83,2 84,9Lehramtsbefähigung x Schulart 33,7 33,6 17,5 42,0

Fortbildungsthemen

Fachliche Themen 4,7 2,9 - 3,2 0,5Unterrichtsgestaltung - 2,0 - 3,3 0,0 4,8Schulorganisation 2,8 7,7 3,1 - 12,8Sozialverhalten - 9,5 - 11,3 - 17,8 - 7,7andere Themen - 2,9 2,4 3,3 - 3,0

Demografische Merk-male der Lehrkraft

Alter - 0,3 0,2 - 0,4 - 0,3Geschlecht 4,1 2,5 2,0 - 1,9

Varia

nz-

ante

ile

R² Individualebene 0,40 0,17 0,19 0,18R² Klassenebene 0,53 0,67 0,65 0,63n 11373 9830 9529 8378


Mögliche weiterführende Analysen

Auswirkung der Fach-Affinität (z.B. Mathematik/ Physik vs. Mathematik/ Sport)

Effekte der gegenwärtigen Kompetenzen der Lehrkräfte auf die Schülerkompetenzen

Nachweisbare Kompensationseffekte durch fachbezogene Fortbildung







Geschlechterverhältnis in schulischer und akademischer Bildung

0 10 20 30 40 50 60 70 80 90 100

Alle Fächer

Pharmazie

Biologie

Geographie

Mathematik

Chemie

Geowissenschaften (ohne Geographie)

Mathematik, Naturwissenschaften¹

Physik, Astronomie

Informatik

Prozent

weiblich männlich

Studienanfänger in Deutschland im Studienjahr 2011


Kompetenzunterschiede zwischen Jungen und Mädchen in Mathematik und den Naturwissenschaften

JungenMJ

MädchenMM

DifferenzMJ-MM

Vorsprung zugunsten der

Mädchen Jungen

MathematikGlobal 508 492 16Zahl 510 490 20Messen 508 491 17Raum und Form 503 497 5Funktionaler Zusammenhang 506 493 13Daten und Zufall 510 490 20NaturwissenschaftenBiologie Fachwissen 489 511 -22Biologie Erkenntnisgewinnung 489 511 -22Chemie Fachwissen 496 504 -8Chemie Erkenntnisgewinnung 495 505 -10Physik Fachwissen 500 500 0Physik Erkenntnisgewinnung 496 504 -8

-30 -10 10 30


Effektstärke (Cohens d)

Kompe-tenz

Selbst-konzept Interesse

Vorsprung zugunsten der

Mädchen Jungen

Mathematik

Global 0.16 0.45 0.40

Naturwissenschaften

Biologie Fachwissen -0.220.00 -0.08

Biologie Erkenntnisgewinnung -0.22

Chemie Fachwissen -0.080.25 0.29

Chemie Erkenntnisgewinnung -0.10

Physik Fachwissen 0.000.44 0.57

Physik Erkenntnisgewinnung -0.08

Geschlechtsunterschiede in der Kompetenz, im Selbstkonzept und im Interesse

-1 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6 0,8 1

Kompetenz Selbstkonzept Interesse



Welche Maßnahmen wären geeignet, Interesse und Selbstwirksamkeitserleben von Schülerinnen zu erhöhen?

Führen erhöhtes Interesse und Selbstwirksamkeitserleben von Schülerinnen letztlich zu einer verstärkten Studiumsaufnahme in Mathematik, Chemie, Physik?







Normative und realisierte Lernzeit in den Naturwissenschaften in den Jahrgangsstufen 5 bis 9 nach Land und Schulart

Verpflichtende Teilnahme Teilweise freiwillige Teilnahme Freiwillige Teilnahme


Lernzeiteffekte in den Naturwissenschaften



Wie wirkt sich Unterricht im Fächerverbund auf die Kompetenzentwicklung in den drei Einzelfächern aus?

Welche Effekte haben verzögertes Einsetzen oder „epochale“ Unterrichtsangebote auf die naturwissenschaftlichen Kompetenzen






Übersicht


Potenzielles Wissen aus Large-Scale-Untersuchungen (nach Klieme, 2013)

Bildungsmonitoring Vertiefende Analysen Ergänzungsstudien

Diagnosewissen Erklärungswissen Handlungswissen

Ziel Stand, Entwicklung und Ergebnisse desSchulsystemsvergleichend beschreiben

Zusammenhänge und möglicheBedingungsfaktorenerkennen

Wirkungen bestimmter Einflussfaktoren und Maßnahmen beziffern

Nutzung Rückmeldung fürPolitik und Praxis:

Identifizierung von Stärken & Schwächen, Handlungsbedarfen

Wissenschaftliche Erklärungsmodelle auf

A) SystemebeneB) SchulebeneC) individueller Ebene

„Knowing what works“

Ursachen und Folgen erschließen,

Methode Deskriptive Statistik;Indikatoren

komplexe statistische Modellierung

Längsschnitt;Experiment


Potenzielles Wissen aus Large-Scale-Untersuchungen (nach Klieme, 2013) - modifiziert

Bildungsmonitoring Vertiefende Analysen Ergänzungsstudien

(erweitertes) Diagnosewissen HandlungswissenErklärungswissen

Ziel Stand, Entwicklung und Ergebnisse desSchulsystemsvergleichend beschreiben

Zusammenhänge und möglicheBedingungsfaktorenerkennen erkunden

Wirkungen bestimmter Einflussfaktoren und Maßnahmen identifizierenund beziffern

Nutzung Rückmeldung fürPolitik und Praxis:

Identifizierung von Stärken & Schwächen, Handlungsbedarfen

Wissenschaftliche Erklärungsmodelle auf

A) SystemebeneB) SchulebeneC) individueller Ebene

„Knowing what works“

Ursachen und Folgen erschließen,

Methode Deskriptive Statistik;Indikatoren

komplexe statistische Modellierung

Längsschnitt;Experiment


externe Evaluation

Schule: interne Evaluation

SchulaufsichtUnterstützungssystem

Lehreraus-/fortbildung

Politik & Schulverwaltung

Orientierungsrahmen Schulqualität

Die Kohärenz von Elementen und Akteuren der Qualitätssicherung


externe Evaluation

Schule: interne Evaluation

SchulaufsichtUnterstützungssystem

Politik & Schulverwaltung

Orientierungsrahmen Schulqualität

Wo sind die Schnittstellen?Wer ist für die Herstellung von Schnittstellen verantwortlich?

?

?

?

?

?

?Lehreraus-/fortbildung

Die Kohärenz von Elementen und Akteuren der Qualitätssicherung: Bruchstellen oder Schnittstellen?


Rekontextualisierung und Handlungsebenen nach Fend (2008)

Herausforderung / Problem:„Pfadabhängigkeit“ als Restriktion für die Angleichung von Praktiken in Mehrebenensystemen Wirkmächtigkeit vergangener

Entscheidungen/ Entwicklungen Handlungslogiken im Widerspruch zu

rationalen Entscheidungen für die „effizienteste“ Alternative

Bedarf nach Implementationsforschung






Übersicht


Der evaluationsbasierte Entwicklungszyklus auf Systemebene

Quelle: Kirsch, I. et al. (2013). On the Growing Importance of International Large-ScaleAssessments. p. 7


Die Ziele verschiedener Elemente des Orientierungsrahmens sollten politisch-administrativ priorisiert und anschließend auf Wissens- / Forschungsbedarfe hin „abgeklopft“ werden.

Zuarbeit der empirischen Bildungsforschung von potenziell politikrelevanten Befunden

Aufbau strukturierte Portale für Mitglieder der Bildungsverwaltung/ -politik analog zu Brokerage-Angeboten in anderen Ländern

Institutionalisierte Science-Politics-Austauschforen

Anstelle einer Suche nach „zentralen“ isolierbaren Stellschrauben der Schul- und Unterrichtsqualität verstärkte Suche nach förderlichen und riskanten Konfigurationen und „Tipping-Points“

5 Schritte für einen effizienteren Science-Politics-Transfer im Bildungsbereich

70

[email protected]

Vielen Dank für Ihre Aufmerksamk it!

Documents

Entwicklung und Einsatz von Instrumenten zur … · Entwicklung und Einsatz von Instrumenten zur ... Hans Anand Pant DACH-Seminar 2014 Potsdam 17.-19. ... DACH-Seminar 2014,