Günter Haider (Hrsg.) PISA 2000 Technischer Report · Günter Haider (Hrsg.) PISA 2000 Technischer Report Ziele, Methoden und Stichproben des österreichischen PISA-Projekts StudienVerlag

Günter Haider (Hrsg.)PISA 2000

Technischer Report

Beiträge zur vergleichenden Schulforschung - Band 3

herausgegeben von Günter HaiderPISA Projektzentrum Österreich

Institut für Erziehungswissenschaft, Universität Salzburg

Günter Haider (Hrsg.)

PISA 2000 Technischer Report

Ziele, Methoden und Stichprobendes österreichischen PISA-Projekts

StudienVerlagInnsbruck-Wien-München-Bozen

Mit Beiträgen vonMargit Böck, Ferdinand Eder, Günter Haider,

Gudrun Kremsleithner, Karin Landerl, Birgit Lang, Claudia Reiter,Werner Specht, Christina Wallner-Paschon, Susanne Weiß

Umschlaggestaltung: Günter Haider Satz: Gudrun Kremsleithner

© 2001 by StudienVerlag Ges.m.b.H.,Amraser Straße 118, A-6010 Innsbruck

e-mail: [email protected]: www.studienverlag.at

Alle Rechte vorbehalten. Kein Teil des Werkes darf in irgendeiner Form (Druck, Fotokopie, Mikrofilm oder

in einem anderen Verfahren) ohne schriftliche Genehmigungdes Verlages reproduziert oder unter Verwendung

elektronischer Systeme verarbeitet,vervielfältigt oder verbreitet werden.

Gedruckt auf umweltfreundlichem, chlor- und säurefrei gebleichtem Papier.

PISA 2000 - Technischer Report: Ziele, Methoden und Stichprobendes österreichischen PISA-Projekts /Günter Haider (Hrsg.). Mit Beitr. von Margit Böck ... - Innsbruck;Wien; München; Bozen: StudienVerlag, 2001.

ISBN 3-7065-1617-9(Beiträge zur vergleichenden Schulforschung; Bd. 3)

Die Deutsche Bibliothek - CIP-Einheitsaufnahme

Gedruckt mit Unterstützung durch das Bundesministerium für Bildung,Wissenschaft und Kultur.

I

Vorwort

Noch vor Vorliegen der internationalen Ergebnisse begründet der Technical Report/TechnischeBericht eine Reihe von einschlägigen Publikationen der OECD und des PISA ZentrumsSalzburg zu PISA 2000; er soll die in allen Bereichen nachweisbare Integrität dieser Erhebung,die unter Führung des OECD-Sekretariats in vorbildlicher Zusammenarbeit durchgeführtwurde, dokumentieren.

PISA ist nicht die erste repräsentative Kenntniserhebung, an der Österreich teilgenommenhat. Der IT Studie COMPED Anfang der 90er Jahre folgte TIMSS, die dritte internationaleErhebung von Schülerleistungen in Mathematik und Naturwissenschaften, auf deren Ergebnisseerstmals empirisch fundierte Aktivprogramme zur Qualitätsanhebung in der österreichischenSchule aufsetzen.

PISA ist ähnlich, aber doch wiederum ganz anders als TIMSS: Mit Lesen, Mathematikund Naturwissenschaften umfasst es insgesamt drei Kompetenzdomänen und entwickelt sichdarüber hinaus fachübergreifend und „überkurrikular“ in den „Cross Curricular Competencies“(CCC). PISA testet die Kenntnisse und Fähigkeiten der jungen Menschen auch nichtklassenweise, sondern repräsentativ in einem Altersjahrgang und so nah wie möglich am Endeihrer Schulpflicht. Dadurch stehen hier die Leistungen der 15- bis 16-Jährigen auf demPrüfstand – und zwar unabhängig davon, wo sie sich im System gerade befinden (keinesfallsdie Testleistungen einzelner Schülerinnen und Schüler oder Schulen). Der Mehrwert, derdurch den internationalen Vergleich verlässlich gewonnen wird, besteht neben der qualitativenAbsicherung des Projekts vor allem darin, dass konkret feststellbar wird, unter welchen sozialen,wirtschaftlichen, persönlichen und schulischen Bedingungen gute Leistungen zu Standekommen. Die daraus gewonnenen Erkenntnisse können somit für nachhaltige Verbesserungender Schule und des Bildungs- und Erziehungssystems insgesamt genutzt werden.

Es ist das erklärte Ziel des Einsatzes von PISA, die zyklischen Tests (in regelmäßigenAbständen jeweils eine Haupt- und zwei Nebendomänen und „CCC“) und Fragebögen(gerichtet an die Testschulen sowie an die Schülerinnen und Schüler) für ein laufendesQualitätsmonitoring des Bildungssystems bis zum Testalter einzusetzen. Durch den Teil „PISAPlus“, in dem auf die spezielle österreichische Situation eingegangen wird, werden für dasösterreichische Bildungssystem unentbehrliche zusätzliche Einsichten, etwa über den Einflussdes Autonomieverhaltens der Schulen auf die Leistungen der Schülerinnen und Schüler oderüber den Zusammenhang von Schülerleistung und Bildungskarriere, gewonnen.

Mit dem Einsatz dieses Qualitätsmonitorings/Benchmarkings geht die Bildungspolitikganz bewusst ein Risiko ein: Nicht das gute oder mittelmäßige, sondern ein international„schlechtes Abschneiden“ hat bisher in praktisch allen Fällen tief greifende nationaleDiskussionen über die Stärken und Schwächen der Bildungssysteme eingeleitet, in Österreichzuletzt auf Grund des eher enttäuschenden Abschneidens unserer Schülerinnen und Schülerin Mathematik und in den Naturwissenschaften am Ende der Sekundaroberstufe.Qualitativ hochwertige repräsentative Erhebungen wie PIRLS (Lesekompetenz am Ende derVolksschule), PISA und ALL (die Erhebung des Kompetenzprofils/der „Life Skills“ der er-wachsenen Bevölkerung) sind für ein zeitgemäßes Qualitätsmanagement in der Bildungspoli-tik aber auch deswegen unverzichtbar, weil die daraus konkret ableitbaren Stärken- undSchwächenprofile den Entscheidungsträgern die gezielte und ökonomisch sinnvolle Ressourcen-

II

zuteilung in die Aus- und Weiterbildung erleichtern. Damit tragen diese Studien dazu bei,das Bildungsangebot in Hinblick auf einen nunmehr offenen und stark durch Konkurrenzgeprägten Arbeitsmarkt bedarfsgerecht zu optimieren und den Wirtschaftsstandort Öster-reich abzusichern.

Friedrich H. PlankBM:BWKBildungsökonomie und Statistik Wien, im Februar 2001

Inhaltsverzeichnis 5

INHALTSVERZEICHNIS

1. Was ist OECD/PISA?............................................................................................. 401.1 PISA und das Modell des lebenslangen Lernens ................................................ 401.2 Ziele und Forschungsfragen .............................................................................. 411.3 Internationale und nationale Produkte von PISA ............................................. 421.4 In welchen Kompetenzbereichen werden die Schüler/innen getestet? ............... 43

2. Die internationale Organisation ............................................................................. 443. Die nationale Organisation .................................................................................... 47

3.1 Auftraggeber und beteiligte Arbeitsgruppen ...................................................... 483.2 Das Österreichische Projektzentrum und das Expertennetzwerk ....................... 493.3 Organisation der Assessments ........................................................................... 51

1. Konzept und Projektdesign von PISA ..................................................................... 541.1 Ablauf von PISA: Übersicht über den gesamten Erhebungszyklus .................... 541.2 Meilensteine PISA 2000: Wann getestet wurde................................................. 551.3 Population und Stichprobe: Wer getestet wurde ............................................... 561.4 Frameworks und Test-Domänen: Was getestet wurde ....................................... 591.5 Assessmentdesign: Die Organisation des Tests .................................................. 601.6 Datenerhebung/Field Operations ..................................................................... 621.7 Dateneingabe und -verarbeitung ...................................................................... 631.8 Qualitätssicherung ............................................................................................ 631.9 Datenanalyse und geplante Reports .................................................................. 64

2. Nationale Zusatzprojekte – PISA Plus .................................................................... 64

Einleitung ............................................................................................................. 11

II. Ziele, Forschungsfragen und Organisation ........................................................... 39Birgit Lang

III. Konzept und Design im Überblick ....................................................................... 53Susanne Weiß

I. Internationales und nationales System-Monitoring .............................................. 15Werner Specht & Günter Haider

1. Funktionen und Strukturen nationaler Systemsteuerung ........................................ 161.1 Ein Schulsystem ist mehr als die Summe der Einzelschulen .............................. 161.2 Selbstevaluation auf der Systemebene ............................................................... 171.3 Funktionen von QE/QS auf der Systemebene .................................................. 171.4 Formen, Aufgaben und Funktionen der Qualitätsevaluation des Schulsystems .... 18

2. System-Monitoring und Qualitätsentwicklung in der Schule ................................. 242.1 Internationales System-Monitoring .................................................................. 252.2 Nationales System-Monitoring ......................................................................... 292.3 Nachhaltigkeit von Bildungsprozessen .............................................................. 322.4 Ein Vorschlag für österreichische Assessments ................................................... 322.5 Benchmarking .................................................................................................. 34

PISA 2000 Österreich6

1. Testinstrumente ...................................................................................................... 681.1 Konzeptuelle Modelle und Aufbau des Itempools ............................................. 681.2 Testentwicklung................................................................................................ 851.3 Begutachtung des Feldtest-Itempools durch Expertengruppen in Österreich .... 871.4 Itemanalyse und Review der Feldtestaufgaben (International) .......................... 921.5 Testdesign Haupttest 2000 ............................................................................... 98

2. Die Kontextfragebögen ........................................................................................ 1002.1 Das Forschungsmodell (Mehrebenenmodell) .................................................. 1012.2 Der internationale Schulfragebogen ............................................................... 1032.3 Der internationale Schülerfragebogen............................................................. 1042.4 Cross-Curricular-Competencies (CCC).......................................................... 104

3. Nationale Zusatzerhebungen ................................................................................ 1063.1 Lesegewohnheiten (Margit Böck) ................................................................... 1063.2 Basale Lesefertigkeiten - Reading Speed (Karin Landerl) ................................. 1123.3 Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu II

(Ferdinand Eder) ............................................................................................. 1163.4 Nutzung von Informationstechnologien (Claudia Reiter) ............................... 1253.5 Qualität in Schulen (Günter Haider) .............................................................. 128

4. Übersetzung und Adaption der Testinstrumente ................................................... 1364.1 Die international festgelegte Übersetzungsprozedur ........................................ 1364.2 Umsetzung der internationalen Übersetzungsrichtlinien in Österreich ........... 138

1. Die Zielgruppe von PISA – die PISA-Population ................................................. 1461.1 Grundsatzentscheidung 1: Schulstufen- vs. altersbasierte Population .............. 1461.2 Grundsatzentscheidung 2: Welche Altersgruppe bzw. welcher Jahrgang? ........ 1491.3 Grundsatzentscheidung 3: Alterskohorte oder Schülerkohorte? ...................... 1491.4 Grundsatzentscheidung 4: Das generelle Sampling Design ............................. 150

2. Die Populationskonzepte und Ausschlüsse von der Zielpopulation ...................... 1503. Die festgelegten 20 Strata ..................................................................................... 1544. Stichproben im Feldtest 1999 und Haupttest 2000.............................................. 155

4.1 Die Feldtest-Stichprobe 1999 ......................................................................... 1564.2 Die Haupttest-Stichprobe 2000...................................................................... 158

5. Stichprobenziehung .............................................................................................. 1585.1 Indirektes Stratum: Geografische Verteilung (Bundesland und Bezirke) ......... 1585.2 Praktischer Ablauf der Stichprobenziehung .................................................... 1595.3 Die Wahrung der Vertraulichkeit und der Anonymität ................................... 162

IV. Die Testinstrumente und Fragebögen .................................................................. 67Birgit Lang

V. Population und Stichproben ............................................................................... 145Günter Haider


1. Ablauf der Feldarbeit – Chronologische Übersicht ............................................... 1662. Durchführung der Feldarbeit ................................................................................ 166

2.1 Screening ........................................................................................................ 1682.2 Einsatz und Aufgaben der Schulkoordinatoren ............................................... 1692.3 Einsatz und Aufgaben von Testadministratoren .............................................. 1712.4 Organisation und Versand der Testmaterialien ................................................ 1752.5 Datenerhebung und Verwahrung des Testmaterials ......................................... 179

1. Rücklauf PISA-Feldtest 1999................................................................................ 1861.1 Das Screening der Schulen ............................................................................. 1861.2 Der Rücklauf der Instrumente (Response 1999) ............................................. 1861.3 Analyse der Stichprobenausfälle im Feldtest .................................................... 1881.4 Die resultierende Feldtest-Stichprobe 1999 .................................................... 1891.5 Qualität und Verwendung der Stichprobe ...................................................... 1901.6 Die PISA Plus Stichprobe im Feldtest 99 ........................................................ 190

2. Rücklauf PISA-Haupttest 2000 ............................................................................ 1922.1 Das Screening der Schulen ............................................................................. 1922.2 Der Rücklauf der Instrumente (Response 2000) ............................................. 1952.3 Die resultierende Haupttest-Stichprobe 2000 ................................................. 1962.4 PISA Plus: Stichprobe für die nationalen Zusatzprojekte ................................ 1982.5 Analyse der Stichprobenausfälle im Haupttest 2000 ....................................... 2002.6 Deskriptive Daten zur Struktur der realisierten Stichprobe ............................. 2042.7 Die Notwendigkeit der Gewichtung der Stichprobe ....................................... 2092.8 Die Beurteilung der Qualität der Stichprobe .................................................. 209

1. Marking in PISA 2000 ......................................................................................... 2131.1 Verkodungsrichtlinien (Marking Instructions) ................................................ 2131.2 Recruitment und Training der Marker ............................................................ 2181.3 Organisation .................................................................................................. 2231.4 Multiple Marking ........................................................................................... 229

2. Data Entry ........................................................................................................... 2332.1 Software ........................................................................................................ 2342.2 Training des Data-Entry-Staffs ....................................................................... 2402.3 Dateneingabe der verschiedenen Instrumente ................................................ 2412.4 Organisation ................................................................................................. 246

VII. Rücklauf, Stichprobenausfall und Stichprobengrößen ..................................... 185Günter Haider & Christina Wallner-Paschon

VIII. Marking, Kodierung und Datenmanagement.....................................................211Claudia Reiter

VI. Field Operations: Screening und Testadministration ......................................... 165Gudrun Kremsleithner


3. Database Management ......................................................................................... 2473.1 Verwaltung von Daten in KeyQuest ............................................................... 2473.2 Data Cleaning ................................................................................................ 2483.3 Data Submission ............................................................................................ 256

1. Einleitung ............................................................................................................ 2601.1 Sicherung versus Kontrolle ............................................................................. 2601.2 Verantwortlichkeiten bei der Qualitätskontrolle bei PISA ............................... 2601.3 Zur inhaltlichen Gliederung dieses Abschnitts ................................................ 261

2. Qualitätssicherung in der Vorbereitungsphase ...................................................... 2622.1 Testmaterialien ............................................................................................... 2622.2 Sampling ........................................................................................................ 2652.3 Screening ........................................................................................................ 265

3. Qualitätssicherung während der Datenerhebung .................................................. 2663.1 Standardisierung der Testsitzungen ................................................................. 2663.2 Qualitätssicherungsmaßnahmen während der Testsitzungen ........................... 268

4. Qualitätssicherung bei der Datenverarbeitung ...................................................... 2694.1 Testmaterialien ............................................................................................... 2694.2 Marking und die Reliabilität von Bewertungen .............................................. 2694.3 Manuelle Dateneingabe und elektronische Datenerfassung ............................ 2704.4 File Cleaning und Database Management ...................................................... 272

5. Maßnahmen zur Kontrolle der Qualität ............................................................... 2735.1 Qualitätskontrolle der Datenerhebung durch Rückmeldungen....................... 2735.2 Quality Monitoring durch das internationale Zentrum .................................. 2795.3 Kontrolle der Reliabilität des Markings .......................................................... 2825.4 Kontrolle der Qualität der elektronischen Datenerfassung .............................. 284

1. Geplante internationale PISA-Reports .................................................................. 2881.1 Initial Report .................................................................................................. 2881.2 Thematische Reports ...................................................................................... 2881.3 Reports und Broschüren ................................................................................. 2891.4 Weitere Publikationen .................................................................................... 289

2. Geplante nationale PISA-Reports ......................................................................... 2893. Geplante PISA Plus Reports ................................................................................. 2904. Networking: Die nationale Dissemination von PISA-Ergebnissen ........................ 2915. Benchmarking ...................................................................................................... 293

IX. Qualitätssicherung und Qualitätskontrolle ........................................................ 259Claudia Reiter

X. Reports, Networking und Benchmarking ........................................................... 287Günter Haider


− Proficiency Scales für PISA 2000

ANHANG

• Autorenliste• Teilnehmende Länder an PISA 2000• Anhang zu Abschnitt IV

− Aufgabenbeispiele aus der Testdomäne Reading− Frameworks zu Lese-, Mathematik- und Naturwissenschaftskompetenz (Ausschnitte

aus der deutschsprachigen Originalversion)− Schülerfragebogen− Schulfragebogen

• Anhang zu Abschnitt VIII− Beispiel für einen Arbeitsplan eines Reading Markers im Haupttest− Beispiel für einen Arbeitsplan eines Mathematik Markers im Haupttest

− Multiple Marking Reading Sheet (Feldtest 1999)− Multiple Marking Reading Sheet (Haupttest 2000)

− Aufteilung der Reading Items auf Cluster (=Aufgabenblöcke)

• Anhang zu Abschnitt VI

− Musterschülerliste

− Informationsbrief an die Schulkoordinatoren I− Informationsbrief an die Schulkoordinatoren II

− Informationsblatt: Hinweise zur Erstellung einer Schülerliste

− Informationsbrief an die Schulleiter der Testschulen

Einleitung 11

Einleitung

Wer für ein Bildungssystem verantwortlich ist, braucht detaillierte Rückmeldung über dieeingesetzten Ressourcen, die erbrachten Leistungen und den Grad der Erreichung der ange-strebten Ziele. Die Bildungspolitik sollte daher als Basis für ihre Steuerungs- bzw. Entwicklungs-entscheidungen eine periodische Bestandsaufnahme der wichtigsten Fakten, der kurzfristigenErgebnisse und des langfristigen Nutzens der allgemeinen Bildungsanstrengungen zur Verfü-gung haben.

Ein Schwerpunkt eines solchen Informationssystems müsste auf den Resultaten der schu-lischen Prozesse, dem Output, liegen – mit ihm können Fortschritte verfolgt, Vergleiche gezo-gen, Stärken und Schwächen identifiziert und Fehlentwicklungen rechtzeitig entdeckt wer-den. Outputmessungen objektivieren die pädagogischen Leistungen und machen sie für dieÖffentlichkeit sichtbarer.

Diese Quer- und Längsschnitt-Informationen sollten mit Hilfe einem institutionalisier-ten Beobachtungs- (Monitoring-) System gewonnen werden, das regelmäßige standardisierteSchülerleistungsmessungen in Form nationaler und internationaler Assessments, umfassendeBildungsstatistiken, repräsentative Befragungen der Bevölkerung und Meta-Evaluationen vonstandortbezogenen bzw. regionalen Qualitätssicherungsmaßnahmen kombiniert. In einemSystem-Monitoring werden von Experten ausgewählte qualitätsrelevante und standardisierteIndikatoren periodisch beobachtet, analysiert und dargestellt und nach Innen- und/oder nachAußenkriterien bewertet (evaluiert).

Ein solches System-Monitoring wird auf internationaler (OECD-)Basis derzeit schritt-weise realisiert, z.B. durch die Teilnahme von 34 Ländern am OECD-Programme for Inter-national Student Assessment/PISA oder durch die jährlichen Schulstatistiken und Umfragenin der Bevölkerung und ihre Zusammenfassung in „Education at a Glance“ („Bildung aufeinen Blick“), dem regelmäßigen internationalen Vergleichsbericht der OECD für Schulsy-steme.

Solche internationalen Assessments können mit österreichischen Schwerpunkten angereichertund durch eigenständige/interne Vergleichsuntersuchungen ergänzt werden. Dabei könnennationale Problemfelder oder spezielle Entwicklungsbereiche einbezogen werden, die internvon großer Bedeutung sind und die die Möglichkeit der Verwertung über bloße Vergleichehinaus steigern (z.B. Fremdsprachen oder künstlerisch/kreative Fächer). Darüber hinaus si-chern sie eine gewisse nationale Eigenständigkeit in der Entwicklung und die Berücksichti-gung dessen, was „österreichspezifisch“ ist (und daher in globalen Vergleichen nie vorkommt).

Ein Beispiel für ein solche nationale Anreicherung internationaler Studien ist das österrei-chische PISA Plus Programm, das in fünf Bereichen (Lesekarrieren, Lesegeschwindigkeit,Schülerbefindlichkeit, Schulqualität, IT-Nutzung und Kenntnisse) nationale Forschungs-schwerpunkte setzt (siehe Abschnitt IV).

Gleichzeitig ist zu beobachten, dass sich internationale Vorbilder (TIMSS, PISA, die 16EU-Qualitätsindikatoren, u.a.) und gemeinsame Projekte auch auf die nationale Qualitätssi-cherung und ihre Entwicklung auszuwirken beginnen. Denn die Voraussetzung für eine brei-te Nutzbarmachung dieser Informationen ist ihre Systematisierung in einem überschaubarenBildungsindikatorensystem, die regelmäßige Analyse und Bewertung der Ergebnisse durch ent-


sprechende Expertengruppen, ihre allgemein-verständliche Darstellung und der möglichstfreie Zugang der interessierten Öffentlichkeit zu diesen Informationen über das Internet.

Der vorliegende Technische Report PISA 2000

PISA 2000 (Programme for International Student Assessment) ist ein wichtiges Element iminternationalen Schulsystem-Monitoring. Es liefert uns wertvolle Daten über die Kenntnisseund Fähigkeiten 15-/16-Jähriger in den Bereichen Lesen/Leseverständnis, Mathematik undNaturwissenschaften. Indem 34 Staaten dieselben Testinstrumente verwenden und sich ver-pflichtet haben, sich an das vorgeschriebene Assessmentdesign strikt zu halten, werden inter-essante und vergleichbare Daten produziert, die uns überregionale Vergleiche der Schüler-leistungen erlauben.

Ziel des vorliegenden österreichischen „Technischen Reports“ für PISA 2000 ist es, mög-lichst im Detail die Ziele, Methoden, Abläufe und Hintergründe des Projekts darzustellen.Der Technische Report soll für den interessierten Leser alle Informationen bereitstellen, diezum technisch-methodischen Verständnis der Studie und ihrer Ergebnisse notwendig sind.Dabei wurde selbstverständlich auf viele Texte der OECD bzw. des Internationalen PISAZentrum in Australien (ACER-Konsortium) Bezug genommen.

• Im ersten Abschnitt stellen Werner Specht (ZSE Graz) und Günter Haider (UniversitätSalzburg) den Rahmen und die Perspektiven von internationalem und nationalem Sy-stem-Monitoring dar. Dies ist der Hintergrund, auf dem Projekte wie PISA zu sehen undzu erklären sind.

• Die Abschnitte II und III (verfasst von Brigit Lang und Susanne Weiß) zusammen gebeneinen Kurzüberblick über das gesamte Projekt PISA.

• Im Abschnitt IV werden die Test- und Befragungsinstrumente vorgestellt sowie ihre ge-meinsame Entwicklung geschildert (Autorin: Birgit Lang).

• Die Zielgruppe von PISA, die 15-/16-jährigen Schüler/innen, sowie die verwendete Stich-probe stehen im Zentrum des fünften Abschnitts (verfasst von Günter Haider).

• Die umfangreichen Arbeiten der Datenerhebung (Field Operations) werden im AbschnittVI dargestellt (Autorin: Gudrun Kremsleithner).

• Der Abschnitt VII behandelt die realisierte Stichprobe und beschreibt die Zusammenset-zung des Samples, die Stichprobenausfälle und die Qualität der Daten (Autor: GünterHaider).

• Eine sehr aufwendige Arbeit ist das Marken und Scoren der zahlreichen offenen Aufga-ben, die Eingabe in Datenfiles und das Prüfen und Korrigieren der eingegebenen Daten.Informationen dazu finden Sie im Abschnitt VIII (verfasst von Claudia Reiter).

• Bei einer Studie dieses Ausmaßes, bei dem hunderttausende Schüler/innen aus tausendenSchulen beteiligt sind, ist eine strikte Qualitätskontrolle äußerst wichtig. Abschnitt IXschildert, welche Qualitätssicherungsmaßnahmen und Kontrollen während der Durch-führung der Datenerhebung und während der Datenverarbeitung ergriffen wurden (Au-torin: Claudia Reiter).

• Im letzten Abschnitt X geben wir einen Ausblick auf die in PISA 2000 geplanten Produk-te und die Disseminationsstrategie der Ergebnisse (Autor: Günter Haider).

Einleitung 13

Der Technische Report PISA 2000 basiert auf einem Informationsstand, wie er im Mai2001 gegeben war. Zu diesem Zeitpunkt waren sämtliche Datenerhebungen (Mai 2000),die Kodierung und EDV-Eingabe (Sommer 2000) sowie das File-Cleaning (Sommer-Herbst2000) auf nationaler und internationaler Ebene vollständig abgeschlossen. Noch nicht ver-fügbar waren die PISA-Ergebnisse – ihre Veröffentlichung ist für Dezember 2001 geplant.

Mitarbeiter/innen in PISA 2000

Die Arbeit an PISA 2000 startete in Österreich im Sommer 1998 mit der offiziellen Einrich-tung des Nationalen PISA Zentrums an der Universität Salzburg. Frau BM Elisabeth Gehrerernannte im Juli 1998 AssProf. DDr. Günter Haider zum offiziell verantwortlichen NationalProject Manager für PISA. Das BM:BWK finanzierte das gesamte PISA-Projekt mit einemBeitrag von rund 10 Mio. Schilling.

Ein Projekt dieser Größenordnung benötigt eine Vielzahl von engagierten Mitarbeiter/innen und Expert/innen, um erfolgreich zu sein:• Das PISA Team für den Feldtest 1999 bildeten im Kern Mag. Ingrid Sandmayr-Reiter,

Christina Wallner, Sylvia Schullerer und Mag. Andreas Sandmayr unter der Leitung vonDDr. Haider (1998 – 1999).

• Für den Haupttest 2000 verantwortlich war ein erweitertes und „verjüngtes“ Team (abSommer 1999): Mag. Dr. Claudia Reiter (als Direktorin des PISA Zentrums), NicoleFurlan, Mag. Gudrun Kremsleithner, Mag. Birgit Lang, Mag. Margit Töglhofer, Mag.Christina Wallner und Mag. Susanne Weiß – zusammen mit dem NPM DDr. GünterHaider. An den Berichten arbeiteten ab 2001 auch Silvia Bergmüller und Martin Pointingermit.

• Von besonderer Bedeutung für das Projekt PISA ist der enge Kontakt mit dem österrei-chischen Vertreter im Board of Participating Countries (BPC), MinR. Mag. Friedrich Plank,der durch seine Expertise und sein Engagement viel zum Gelingen des Projekts beitrug.

• Die drei Subject Area Groups (zur fachlichen und wissenschaftlichen Unterstützung in dendrei Testbereichen) wurden von Univ.-Prof. Dr. Konrad Krainer (Mathematik, Uni Kla-genfurt), AssProf. Dr. Hannes Scheutz (Lesen, Uni Salzburg) und HR Dr. Christa Koenne(Naturwissenschaft, Wien) geleitet. Ihre Aufgabe war es, gemeinsam mit einer Reihe wei-terer Experten an den Frameworks und Aufgaben der OECD mitzuarbeiten, die Items zubeurteilen und Reviews abzugeben. Ihre Beiträge waren besonders wichtig für die hoheQualität der Testinstrumente.

• Das National Committee für PISA war uns eine große Hilfe bei der Beurteilung und Ent-scheidung von „projektpolitischen“ und praktischen Fragen. Unter der Leitung von SCh.Dr. Anton Dobart versammeln sich im NC jährlich Vertreter der Eltern, Lehrer/innenund Schüler/innen sowie der regionalen Schulbehörden und der Schulaufsicht als bera-tendes und unterstützendes Gremium.

• Die begleitende Arbeitsgruppe PISA (BAG PISA) wurde vom BM:BWK zur laufendenUnterstützung und zur Kontrolle der PISA-Aktivitäten eingerichtet. Unter der Leitungdes nationalen BPC-Mitglieds MinR. Mag. Friedrich Plank hat die BAG in vielen Phasenwertvolle Unterstützung für PISA geleistet (MinR. Dr. Herbert Pelzelmayer, MinR. Dr.Johann Walter, Mag. Jürgen Horschinegg, MinR. Dr. Walter Denscher, OR Dr. WalterUrban).


• Mehr als 70 Testadministrator/innen und rund 260 Schulkoordinator/innen1 haben sichwährend der Datenerhebungen 1999 und 2000 bemüht, möglichst zeitgerecht und qua-litativ einwandfrei Daten zu erheben. Ohne ihre Hilfe wäre PISA nicht möglich gewesen.Bei der Organisation dieses Netzwerks war uns Mag. Wolfgang Schwarz (PI OÖ) einewichtige Unterstützung.

Darüber hinaus bedanken wir uns bei den 6000 österreichischen Schüler/innen und den 260Schulleiter/innen für die Beteiligung an den Befragungen bzw. Tests. Diese Informationenwerden wesentlich zur Qualitätsentwicklung und Qualitätssicherung im österreichischen Bil-dungswesen beitragen.

Ab Dezember 2001 werden die internationalen und nationalen PISA-Berichte mit den Er-gebnissen der Tests und Befragungen im Studienverlag Innsbruck erscheinen. Gleichzeitigwerden wichtige Resultate über das Internet verfügbar sein (www.pisa-austria.at).

Günter HaiderUniversität SalzburgInstitut für Erziehungswissenschaft Salzburg, im Mai 2001

1 In Folge werden Begriffe wie Testadministrator und Schulkoordinator als Beschreibung einer Funktion in derPISA-Studie verwendet, weshalb zugunsten besserer Lesbarkeit auf die explizite Nennung der weiblichenWortformen verzichtet wird. Wir möchten jedoch darauf hinweisen, dass sowohl Frauen als auch Männer dieseAufgaben übernahmen.

IIIII

1. Einführung: Funktionen und Strukturen nationaler Systemsteuerung1.1 Ein Schulsystem ist mehr als die Summe der Einzelschulen1.2 Selbstevaluation auf der Systemebene1.3 Funktionen von QE/QS auf der Systemebene1.4 Formen, Aufgaben und Funktionen der Qualitätsevaluation des Schulsystems im Einzelnen

2. System-Monitoring und Qualitätsentwicklung in der Schule2.1 Internationales Schulsystem-Monitoring2.2 Nationales System-Monitoring2.3 Nachhaltigkeit von Bildungsprozessen2.4 Ein Vorschlag für österreichische Assessments2.5 Benchmarking

IIIII

In diesem Abschnitt werden der Rahmen und die Perspektiven von internationa-lem und nationalem System-Monitoring dargestellt. Diese bilden den Hintergrund,vor dem die PISA-Studie zu sehen und zu erklären ist.

Werner Specht & Günter Haider

INTERNATIONALES UNDNATIONALES SYSTEM-MONITORING


1. Funktionen und Strukturen nationaler Systemsteuerung(Werner Specht)

1.1 Ein Schulsystem ist mehr als die Summe der EinzelschulenEs ist ein verbreitetes Missverständnis, die Qualität von Schulsystemen mit jener der Einzel-schulen gleichzusetzen, und Qualitätsentwicklung folglich ausschließlich oder doch in aller-erster Linie an den einzelnen Standorten zu betreiben. Tatsächlich ist auch im Schulwesendas Ganze mehr als die Summe seiner Teile. Dies gilt noch verstärkt unter Bedingungenerweiterter Schulautonomie und Dezentralisierung, wo zahlreiche QualitätsanforderungenSpannungsfelder bilden, die – wenn überhaupt – nur auf einer übergeordneten Systemebeneauflösbar sind. Einige einfache Beispiele mögen dies verdeutlichen (vgl. Specht & Thonhauser,1996, S.9):• Nicht jede einzelne Schule muss den Schwerpunkt ihres Bemühens auf die Integration

von behinderten oder sozial benachteiligten Schüler/innen legen – im Ganzen gesehenaber muss das Schulsystem diesen Schüler/innen eine faire Chance auf Integration undangemessene Förderung bieten;

• Nicht jede einzelne Schule muss die besondere Förderung Hochbegabter zum Schwerpunktihres Schulprogramms machen – bezogen auf das Schulsystem als Ganzes aber ist diemöglichst weitgehende Ausschöpfung von Begabungsreserven eine vordringliche gesell-schaftliche Aufgabe;

• Nicht jede Hauptschule muss gleichzeitig eine Musik-, Sport-, Informatikschule sein –insgesamt gesehen aber sollte das Schulsystem für möglichst alle Begabungen und InteressenOrte der speziellen Förderung bereitstellen.

Natürlich gibt es Systemziele, die sich in gleicher Weise an alle Schulen richten und derenErreichung sich – mathematisch gesprochen – durch Mittelwerte ausdrücken lässt, die überdie Werte der einzelnen Schulen gebildet werden können. Dies ist dort der Fall, wo – über dasgesamte Schulwesen hinweg – ein möglichst hohes Niveau an fachlichen und überfachlichenKompetenzen angestrebt wird, die gesellschaftlich als zentral angesehen werden und die des-wegen von jeder einzelnen Schule vordringlich gefördert werden sollten (Die Vorgabe vonOrientierungsstandards dient u.a. diesem Zweck). In diesen – und nur in diesen – Fällen wirdQualitätsentwicklung für das System primär über entsprechende Maßnahmen an den Einzel-schulen zu verwirklichen sein. Beispiele wären etwa: Die Förderung der fremdsprachlichenKompetenz aller Schüler/innen, die Verringerung von Gewalt an den Schulen oder auch dasZiel der großflächigen Förderung demokratischer Einstellungen und Orientierungen bei denSchüler/innen.

Wie die obigen Beispiele andeuten, bemisst sich die Qualität von Schulsystemen aber auch anKriterien, die – wiederum mathematisch ausgedrückt – in Strukturparametern oder inDispersionsmaßen zu fassen sind. Hierzu gehören etwa (vgl. Fend, 1998, S. 199ff; Gruber,1995):• Gewährleistung von Vielfalt – d.h. Schaffung von Möglichkeiten der Förderung von

unterschiedlichen Begabungen, Interessen und Berufsmöglichkeiten;• Gewährleistung einer möglichst hohen Versorgungsdichte an Bildungseinrichtungen und

Bildungsmöglichkeiten;

Abschnitt I: Internationales und nationales System-Monitoring 17

• Gewährleistung von Mobilität (durch regionale und sektorale Anschlussmöglichkeiten)und von Chancengleichheit;

• Initiierung von Veränderung und sozialem Wandel im Schulsystem (Lerninhalte, Bezie-hungsformen, Organisationsstrukturen) entsprechend den sich wandelnden gesellschaft-lichen Anforderungen an die Schule;

• Effizienz und ökonomischer Ressourceneinsatz.

Es ist leicht ersichtlich, dass diese Kriterien nicht allein via Qualitätsentwicklung der Einzel-schulen zu erreichen sind. Ihre Optimierung erfordert auch Steuerungsmaßnahmen struktu-reller Art, die auf übergeordneten Systemebenen angesiedelt sein müssen (vgl. Preuss-Lausitz,1997). Ein integriertes System der Qualitätssicherung und -entwicklung muss die verschiedenenEbenen des Bildungswesens mit Fragestellungen und Methoden adressieren, die diesen Ebenenangemessen sind (vgl. Rolff, 1993; Kogan, 1996).

1.2 Selbstevaluation auf der SystemebeneEin zweites, ebenso verbreitetes Missverständnis geht dahin, die Prinzipien der Selbstreflexionund Selbstevaluation nur auf die Ebenen des primären pädagogischen Handelns (Schule,Unterricht) zu beziehen und Evaluation auf der Systemebene grundsätzlich als „Fremd-evaluation“ zu begreifen. In Wirklichkeit ist nicht einzusehen, warum nicht auch die überge-ordneten Systemebenen (Region, Nation) ihre eigene Wirksamkeit evaluieren und dadurchzu erweitertem Steuerungswissen gelangen sollten. Die drei klassischen Fragen der Selbst-evaluation ...

„How are we doing?How do we know?What are we going to do now?“(Scottish HMI Audit Unit, 1996)

... sind auf der Systemebene nicht weniger bedeutsam als auf jener der einzelnen Schule oderder des Unterrichts. Sie betreffen hier lediglich – wenigstens zum Teil – andere Sachverhalteund erfordern andere Arten von Daten zur Information der Entscheidungsträger.

1.3 Funktionen von QE/QS auf der SystemebeneDie Funktionen von QE/QS-Systemen auf der Systemebene sind von jenen auf anderenHandlungsebenen des Bildungssystems nicht grundsätzlich verschieden. Sie bestehen imWesentlichen darin, Steuerungswissen zu generieren bzw. zu erweitern und dadurch Steuerungs-handeln rationaler, begründbarer und zielgerichteter zu gestalten.

Eine der zentralen Problemstellungen im Zusammenhang mit der Dezentralisierung desBildungswesens bezieht sich beispielsweise auf die Systemebene: Wie lassen sich die aktivie-renden, motivierenden und qualitätsfördernden Wirkungen erweiterter Schulautonomie anden Standorten mit dem Ziel verbinden, Vergleichbarkeit der Bildungswege, Übertritts-möglichkeiten vertikaler und horizontaler Art und die Gleichheit der Bildungschancen füralle Schüler/innen im System als Ganzem zu erhalten?

Diese Problemstellung bildet auch einen Mittelpunkt des kürzlich fertiggestellten„European Report on Quality of School Education“, der von der Europäischen Kommissionin Kooperation mit Experten aus allen europäischen Ländern zusammengestellt wurde


(European Commission, 2000). Dieser Report nennt als Ausgangspunkt „Five Challenges toQuality of Education in Europe“. Und eine dieser zentralen Herausforderungen wird in dereuropaweiten Tendenz zur Dezentralisierung der Bildungssysteme gesehen. Im entsprechen-den Passus heißt es:„Der Dezentralisierungsprozess wird oft als gleichermaßen positiv und unvermeidlich ange-sehen, ist aber auch mit Begleitproblemen verbunden. Da es in der Verantwortung des Staatesliegt, Qualität der Bildung für alle Bürger zu gewährleisten, benötigen wir Garantien dafür,dass das System diese Ziele tatsächlich erreicht. Es liegt in der Natur der Sache, dass Dezentra-lisierung zu einer Vergrößerung der Unterschiede zwischen den Schulen führt. Die Heraus-forderung an die Politik ist es, die Existenz dieser Unterschiede anzuerkennen und abzusi-chern, dass diese Unterschiede sich als Chancen darstellen, und nicht als Hindernisse fürSchüler/innen, ihre Potentiale voll zu entfalten.“

In dieser Problematik liegt auch einer der Hauptgründe dafür, warum im Zusammenhangmit der Autonomisierung Qualitätssicherung und -entwicklung als bildungspolitische The-men an Stellenwert gewinnen. Qualitätssicherung wird als Mittelsystem gesehen, unerwünschteNebenwirkungen der Dezentralisierung auf der Systemebene zu kompensieren bzw. zu ver-hindern (vgl. Maritzen, 1998).

1.4 Formen, Aufgaben und Funktionen der Qualitätsevaluation desSchulsystems

Im Einzelnen sehen wir die folgenden Ansätze der Qualitätsevaluation auf der Ebene desBildungssystems als vordringlich an, die in den darauffolgenden Abschnitten teilweise nochnäher beschrieben werden:

1.4.1 System-Monitoring

Um bildungspolitische Entscheidungen auf eine seriöse Grundlage stellen und in der Öffent-lichkeit plausibel argumentieren zu können, sind Informationen über die Entwicklung desBildungswesens erforderlich. Auf internationaler Ebene gibt es bereits eine Reihe von peri-odischen Erhebungen wichtiger Indikatoren für Investitionen in das Bildungswesen verschie-dener Länder (Input), über die Art, wie sie eingesetzt werden (Prozess) und welche Ergebnisse(Output) sie erbringen (Education at a Glance, TIMSS, PISA, die OECD Country Reviews).

Die dazu erforderlichen Informationen werden durch einen institutionalisierten Beobach-tungsprozess gewonnen, der als System-Monitoring bezeichnet wird. In diesem Prozess werdenAspekte des Bildungswesens anhand von Indikatoren periodisch beobachtet, analysiert unddargestellt und im Hinblick auf Standards bewertet. Ein solches System Monitoring verwen-det im Allgemeinen Informationen aus recht verschiedenen Quellen:

1. Internationale Bildungsindikatoren und Leistungsvergleiche

Internationale Bildungsindikatoren wie OECD/INES (OECD, 1998) haben – bei aller Proble-matik, die ihnen oft anhaftet – als Diagnosetools für Problemfelder und Herausforderungennationaler Bildungssysteme in den vergangenen Jahren und Jahrzehnten immer mehr an Be-deutung gewonnen. Auch im Rahmen der Europäischen Gemeinschaft sind deswegen derzeitBemühungen erkennbar, „europäische Dimensionen“ von Bildungsqualität in solche verglei-chende Indikatoren zu fassen. Die Stellung nationaler Schulsysteme im internationalen Ver-gleich wird als Informationsgrundlage für die nationale Systemsteuerung zukünftig wahr-


scheinlich noch an Bedeutung gewinnen. Die Teilnahme Österreichs an diesen Projekten istdaher ein Anliegen von vorrangiger Bedeutung.

Dasselbe gilt grundsätzlich für die vergleichenden internationalen Studien zu Schüler-leistungen in unterschiedlichen Gegenstandsbereichen. Bei allen inhaltlichen und methodi-schen Problemen solcher Studien, die anlässlich der Diskussion um TIMSS offenbar wurden,ist doch auch deutlich geworden, dass das öffentliche Interesse an solchen vergleichendenDaten die nationale Reflexion über Stärken und Schwächen des Bildungswesens anregen undAusgangspunkt für wichtige Innovationen und Interventionsansätze sein kann (Krainer, 1999).

2. Nationale Indikatoren und Assessments

Die internationalen Vergleichsuntersuchungen und Indikatoren sind gleichzeitig Ansatzpunktefür ein System der Dauerbeobachtung des Bildungswesens, das auf der nationalen Ebenewichtige Qualitätsindikatoren in regelmäßigen Abständen erhebt und in der Form NationalerBerichte publiziert. Ein solches Monitoring-System kann die folgenden Elemente umfassen,wobei als Datenquellen eigene Erhebungen mit systematischen Auswertungen der nationalenBildungsstatistik verbunden werden:• Indikatoren über Schülerströme auf der Basis einer reformierten Schulstatistik;• Ökonomische Indikatoren über Ressourcenaufwand und -nutzung;• Nationale Erhebungen von Schülerleistungen in definierten Gegenstandsbereichen an

kritischen Zeitpunkten der Schullaufbahn;• Nationale Surveys über als wesentlich angesehene Entwicklungsbereiche und Problemfelder

(z.B. Computernutzung, Gewalt in der Schule, Drogenprävention u.dgl.);• Zielgruppenspezifische Befragungsdaten über kritische Entwicklungsbereiche im Bil-

dungswesen (z.B. Vertrauen der Bevölkerung in das Bildungswesen, Image des Lehrerberufs,Bedarfserhebungen für Zusatzangebote u.a.m.).

Die zentralen Funktionen eines solchen Beobachtungssystems können in folgenden Feldernliegen:• Identifikation von Stärken und Schwächen des Bildungssystems (Ist-Analyse; Dia-

gnosefunktion), insbesondere im Hinblick auf zeitliche Entwicklungen sowie sektoraleund regionale Disparitäten;

• Aufbau eines Frühwarnsystems für regional und/oder sektoral auftretende Problembereicheund Herausforderungen; Identifikation von kritischen Inhaltsfeldern, die in nationalen,regionalen und lokalen Qualitätsentwicklungsansätzen vordringlich zu bearbeiten sind;

• Lieferung von Referenzdaten für lokale und regionale QE/QS-Projekte („Wo stehen wirim nationalen Vergleich?“);

• Identifikation von Themenfeldern für eine problem- und lösungsorientierte Bildungs-forschung (Tiefenanalyse; fokussierte Evaluation, s.u.).

Der dritte der o.a. Punkte verdient hier besondere Beachtung: Die Anschlussfähigkeitstandortbezogener Selbstevaluation an nationale Qualitätsinitiativen steht und fällt mit derVerfügbarkeit von Vergleichsdaten, die die lokalen Befunde in einen weiteren Kontext stellen.System-Monitoring-Ansätze könnten in diesem Zusammenhang gleich zwei wichtige Aufgabenerfüllen: Sie können das Augenmerk lokaler Entwicklungsprojekte auf national bedeutsameThemenfelder lenken und hierbei gleichzeitig Benchmarks für die diagnostische Einschätzungvon Ergebnissen liefern.

Die wirklichen Stärken eines solchen Monitoring-Ansatzes kommen allerdings nur dann


zum Tragen, wenn die entsprechenden Erhebungen nicht nur deskriptiv, sondern auch analy-tisch angelegt und ausgewertet werden. Was damit gemeint ist, muss hier noch knapp erläu-tert werden:

Deskriptive Assessments (z.B. Leistungsstudien) liefern im Wesentlichen Vergleichsdatenzwischen Zeitpunkten oder zwischen unterschiedlichen Sektoren/Institutionen des Bildungs-systems. Sie sagen aber wenig über die Ursachen und Hintergründe entsprechender Unter-schiede aus. Analytisch angelegte Flächenerhebungen ermöglichen dagegen statistisch gestützteKausalanalysen, d.h. es kann gefragt und beantwortet werden, welche die wichtigsten Fakto-ren sind, die (beispielsweise) zu Leistungsunterschieden zwischen Schulen, Schulklassen oderRegionen führen, und in welcher Beziehung diese Kausalfaktoren untereinander stehen. Un-tersuchungen und Ergebnisse dieser Art geben dann auch Anhaltspunkte für mögliche Inter-ventionen und notwendige Veränderungen.

Die analytische Behandlung von Assessments ist allerdings an Voraussetzungen gebun-den. Sie erfordern vor allem• theoretisches Wissen über mögliche Erklärungszusammenhänge zwischen Input-, Prozess-

und Ergebnisvariablen,• die Verfügung über komplexe statistische Methoden, Modelle und Programme der

Datenanalyse, sowie• die Einbeziehung einer möglichst großen Vielfalt an Kontextvariablen in die Untersuchung,

die als mögliche Bedingungsfaktoren für vorgefundene zeitliche oder sektorale Unterschiedeherangezogen werden können.

Solche analytischen Ansätze sind dann auch bereits als Ausgangspunkte für fokussierte Eva-luationen kritischer Entwicklungen im Schulwesen verwendbar.

1.4.2 Fokussierte Evaluation

Auch in der zuletzt beschriebenen analytischen Variante ist der Ansatz des System Monitoringsvorwiegend auf die Beschreibung und Diagnose von Systemzuständen und -entwicklungenhin angelegt. Er liefert aus sich selbst heraus nur begrenzte Hinweise auf unmittelbar folgendeHandlungs- und Steuerungskonsequenzen. Seine Hauptfunktion liegt darin, Handlungsfelderzu identifizieren, in denen Problemlösungsstrategien vordringlich zu entwickeln sind. Dies wie-derum ist Aufgabenfeld einer problem- und lösungsorientierten Bildungsforschung.

Eine Befragung von 270 Bildungsexperten des gesamten Bundesgebiets (Specht, 2000)über den möglichen Beitrag von Bildungsforschung für eine innovative Schulentwicklunghatte unter anderem zum Ergebnis,• dass die zentralen Funktionen von Bildungsforschung darin gesehen werden, Problem-

lösungen für die Bildungspraxis und die Systemsteuerung zu liefern;• dass aber diese Potentiale von Forschung gegenwärtig in zu geringem Maße angeboten

und genutzt werden.

Eine wesentliche Komponente systembezogener Qualitätsentwicklung sollte folglich darinbestehen, Ressourcen und Potentiale der Wissenschaft extensiver und gezielter für die Bewäl-tigung anstehender Herausforderungen und Probleme im Bildungswesen zu nutzen. Dieskönnte in der Weise geschehen, dass F&E-Ressourcen gezielt und für jeweils begrenzte Zeit-räume in die Bearbeitung von Problemstellungen gelenkt werden, in denen besondererHandlungs- und Innovationsbedarf besteht. Die Zielrichtung eines solchen Ansatzes bestehtdarin,


• die Wissensgrundlagen im Hinblick auf zentrale Probleme des Bildungswesens zu verbrei-tern (Kausalanalyse, multiperspektivische Aufbereitung) und diese damit einer rationalerenBearbeitung zugänglich zu machen;

• die intensive Beschäftigung von Experten aus Wissenschaft, Verwaltung und Praxis mitzentralen Fragen der österreichischen Schulentwicklung durch selektive Ressourcen-steuerung zu fördern,

• und dadurch Grundlagen für eine fundierte Politikberatung zu schaffen.

1.4.3 Programmevaluation

Neben dem systematischen Einsatz fokussierter Evaluation behalten die „klassischen“ Ansätzeder Programmevaluation ihren Stellenwert.

Auch im Zeitalter erweiterter Autonomie der Einzelschulen hat die Zahl zentral geplanterund administrierter Innovationen im Bildungswesen eher zu- als abgenommen. Die 14.SchOG-Novelle selbst war eine solche, systemweit wirksame Top-down-Innovation. Weitere,große Teile des Bildungswesens betreffende Neuerungen waren etwa der gemeinsame Unter-richt behinderter und nichtbehinderter Kinder, die Reformierung des Schuleingangsbereichsoder die Einführung des neuen Lehrplans.

Die sorgfältige Überprüfung solcher Innovationen im Hinblick auf die Wirkungen, diediese im Gesamtsystem erzeugen, muss zentraler Bestandteil einer integrativen Qualitäts-strategie bleiben.

1.4.4 Nationale Entwicklungsprojekte

Aus den Ergebnissen internationaler Vergleichsstudien oder nationaler Monitorings könnensich Problemstellungen ergeben, die im Rahmen nationaler Entwicklungsprojekte bearbeitetwerden können. Was damit gemeint ist, kann an einem konkreten Beispiel aus der jüngstenZeit verdeutlicht werden.

Auf Grund des schlechten Abschneidens der österreichischen Oberstufenschüler/innenbei der TIMSS-Studie hat das BMUK die Abteilung „Schule und gesellschaftliches Lernen“des IFF mit dem Projekt IMST (Innovations in Mathematics and Science Teaching) beauf-tragt. Im Rahmen dieses Projekts sollten die möglichen Ursachen für die enttäuschendenErgebnisse analysiert und Vorschläge für eine Verbesserung der Situation des mathematisch-naturwissenschaftlichen Unterrichts erarbeitet werden (vgl. Krainer, 1999).

Die umfangreichen Vorarbeiten im Rahmen dieses Projekts umfassten• „Eine Analyse der bei TIMSS verwendeten Aufgaben,• eine Analyse der österreichischen Ergebnisse beim Allgemeinwissen und Fachwissen sowie

das Erarbeiten von Anregungen zur Selbstevaluation an den Schulen auf der Basis derTIMSS-Aufgaben,

• eine Analyse von Reformansätzen zur Weiterentwicklung des mathematisch-natur-wissenschaftlichen Unterrichts in ausgewählten Ländern und

• eine Analyse der Gesamtsituation des Mathematik- und Naturwissenschaftsunterrichts inÖsterreich.“ (Krainer, 1999, S. 1)

Auf der Basis dieses Materials wurde ein „Maßnahmenpaket für eine nachhaltige Mathematik-und Naturwissenschaftsoffensive in Österreich“ vorschlagen, das in einer zweiten Projektphaseumgesetzt werden soll. Es enthält differenzierte Vorschläge für folgende Teilprojekte:


• „Mathematische und naturwissenschaftlichen Grundbildung (Kern und Erweiterung)• Verbindung von Unterrichts- und Schulentwicklung: Schwerpunktschulen im mathe-

matisch-naturwissenschaftlich-technologischen Bereich• Geschlechtssensibler Unterricht• Sichtbarmachen von guter Praxis und Initiierung von Wettbewerben• Innovationen in der Lehreraus- und Fortbildung• Praxisnahe Forschung und Entwicklung“ (Krainer, 1999, S. 9).

Das IMST-Projekt stellt ein besonders viel versprechendes Beispiel für die Verbindungsystembezogener Evaluation und praxisbezogener Umsetzung dar, wie sie zwar vielfach gefordert(Specht, 1999), aber nur selten vollzogen wird.

1.4.5 Zielperspektive „Systemtransparenz“

Nicht alle Daten und Informationen, die für eine effektive Systemsteuerung benötigt werden,müssen zentral erhoben und erfasst werden. Wenn Gebot und Anspruch der Selbstevaluationan den Einzelschulen und in den Regionen ernst genommen werden, dann steht aus derenErgebnissen eine Vielfalt an Informationen zur Verfügung, die auch für die Systemsteuerunggenutzt werden können. Voraussetzung dafür ist natürlich, dass die Produkte schulischerSelbstevaluation – also die Schulprogramme – nicht nur gesammelt in „Rohform“ vorliegen,sondern im Sinne einer „Cross Case“- oder „Metaanalyse“ auch standortübergreifendausgewertet und aufbereitet werden (vgl. Rolff, 1995, S. 388). Eine solche Zusammenfassungwichtiger gemeinsamer Trends und Ergebnisse müsste zum einen auf der regionalen und aufdem nächsten Aggregationsniveau noch einmal für die Systemebene erfolgen.

Die regionale Aufbereitung würde zu den natürlichen Aufgaben einer Schulaufsicht gehören,für die diese Informationen Grundlage des regionalen Bildungsmanagements wären. Dienationale Aggregation und Aufbereitung könnte beispielsweise von einem neu gestaltetenZentrum für Schulentwicklung übernommen werden, das institutionell im Gesamtsystemder Qualitätssicherung und -entwicklung im österreichischen Bildungswesen verankert ist.1

Wichtige Beispiele für steuerungsrelevante Informationen, die solche Metaanalysen fürdas regionale und nationale Qualitätsmanagement erbringen könnten, wären etwa:• Dominante inhaltliche Schwerpunktsetzungen, neu auftretende Themen und „blinde

Flecken“ in den Selbstevaluationsberichten und Handlungsprogrammen von Schulen;• Hinweise auf immer wiederkehrende Problemfelder, die auf unzureichende Rahmen-

bedingungen verweisen;• Beispiele „guter Praxis“, die im Sinne des Erfahrungsaustauschs weiter verbreitet werden

können;• Hinweise auf einen verbreiteten Bedarf an themenspezifischer Beratung, Unterstützung

und Fortbildung;• Hinweise auf starke regionale/sektorale Unterschiede von Themen oder Problemstellungen.Während also einerseits die Ergebnisse der Selbstevaluation auf den verschiedenen Ebenen –in aggregierter Form – wichtige Elemente des Systemwissens für die übergeordneten Steuerungs-ebenen liefern, sollten auf der anderen Seite die Ergebnisse „externer“ Ergebnisevaluation(System Monitoring) wertvolle Kontext- und Vergleichsinformationen für die Subebenenanbieten, wobei auch hier selbstverständlich eine entsprechende Aufbereitung der Daten er-forderlich wäre, um diese lokal nutzbar zu machen.


Auch hierzu ein Beispiel:Die Ergebnisse einer nationalen Leistungsstudie in der Fremdsprache Englisch könnten soaufbereitet werden, dass sie allen relevanten Ebenen im System vergleichende Kontext-informationen liefern. Das hätte mit Schulrankings oder dergleichen nichts zu tun, sondernkönnte jeder interessierten Schule oder jedem interessierten Schulinspektor eine – freilichimmer unvollkommene – Antwort auf die Frage geben „Wo stehen wir in unseren Bemühun-gen um einen effizienten Fremdsprachenunterricht?“ In ähnlicher Weise könnten nationaleDaten über Drop-out-Quoten, Leistungsbeurteilungen oder auch Schulklimawahrnehmungenals Referenzwerte für die standortbezogene Selbstevaluation angeboten werden.

Ziel dieser Art von Datentransfer wäre, auf allen Ebenen des Bildungswesens die Vernetzungvon Wissensstrukturen zu fördern und eine Form der Systemtransparenz herzustellen, dieSteuerung effizienter und vor allem rationaler machen kann.

Als Modell ist dieses System des Wissenstransfers abschließend in Abbildung I.1 dargestellt.

Abbildung I.1: Modell des Wissenstransfers beim System-Monitoring

Wissenstransfer durch Evaluation

Individuum

Klasse

Schule

Region

Land

Nation

SupranationaleGemeinschaft

“Interne” Evaluation M

etaevaluationS

teuerungswissen für übergeordnete S

ystemebenen

“Ext

erne

” E

valu

atio

n, “O

utco

me”

Ref

eren

zdat

en fü

r di

e S

elbs

teva

luat

ion


2. System-Monitoring und Qualitätsentwicklung in der Schule(Günter Haider)

Praktisch unumstritten ist heute die Feststellung, dass ein effizientes Schulsystem mehr ist, alsdie Summe „guter“ Einzelschulen (Altrichter & Specht, 1998). Die Selbstevaluation von Schu-len (Qualitätsevaluation auf Schulebene) und die Aggregierung dieser Daten würden nichtausreichen, alle wichtigen Aspekte der Systemsteuerung zu berücksichtigen. Es ist daher un-umgänglich, Qualitätsprüfungen auch gezielt auf das Schulsystem als Ganzes zu beziehen.Die Hauptfunktion von System-Monitoring besteht darin, durch periodische Beschreibungund Bewertung der Ausprägung wichtiger Variablen (Indikatoren) den Zustand und die Ent-wicklung eines Bildungssystems festzustellen und Bereiche zu identifizieren, in denen es Pro-bleme gibt und somit Handlungsbedarf besteht.

Im Prozess des System-Monitorings werden von Experten qualitätsrelevante Bildungs-indikatoren2 aus verschiedenen Bereichen des Bildungssystems ausgewählt – als Grundlage fürein besseres Verständnis der Vielzahl von Faktoren und Zusammenhängen, die den Bildungs-prozess bestimmen. Um sinnvolle Vergleiche im Längsschnitt oder zwischen verschiedenenBildungssystemen ziehen zu können, werden diese Indikatoren standardisiert, d.h. die zu un-tersuchenden Variablen werden genau definiert und der Prozess der Datenerhebung wirdvereinheitlicht.

Für die regelmäßige Beobachtung der Bildungsindikatoren sind Untersuchungen in gro-ßen, repräsentativen Stichproben von Schüler/innen, Schulen und Lehrer/innen notwendig,wobei die Ergebnisse auf Systemebene aggregiert und zusammenfassend dargestellt werden. ImSystem-Monitoring ist das “big picture” und nicht die Einzelschule entscheidend, denn imZentrum des Interesses steht die Funktion des Gesamtsystems, das mehr ist als die Summeseiner Einzelteile.

Definition: „System-Monitoring“ wird in diesem Beitrag verstanden als eine systematische Maß-nahme der Schulqualitäts- und Bildungsforschung, bei der ausgewählte qualitätsrelevante undstandardisierte Systemindikatoren periodisch beobachtet, analysiert, dargestellt und bewertet (eva-luiert) werden. Diese Bewertung erfolgt meist durch Systemvergleiche, durch Betrachtung der System-entwicklung im Längsschnitt oder durch Anlegen interner oder externer Kriterien (z.B. Benchmarks).System-Monitoring möchte zum Verständnis der Lage und zur Entwicklung eines Bildungssystemsbeitragen.

In der Praxis besteht System-Monitoring aus den folgenden vier Elementen (Datenquellen):• nationalen und internationalen Bildungsstatistiken (mit Informationen z.B. zu den

eingesetzten Ressourcen/Budgets, der demografischen Entwicklung, der Bildungs-beteiligung und den Bildungsströmen, den formalen Abschlüssen oder der Situation amArbeitsmarkt unter Berücksichtigung des Bildungsstandes),

• regelmäßigen standardisierten Schülerleistungsmessungen (z.B. in Form nationaler undinternationaler Assessments = Output-Messungen kumulativ am Ende der Elementar-und der Sekundarstufe I und II, z.B. in Fächern wie Lesen, Mathematik, Naturwissenschaft[Physik, Chemie, Biologie, Erdwissenschaft], Fremdsprachen, Geschichte, Gesund-heitserziehung, Kunst, Sport, Politischer Bildung, Informationstechnischer Grundbildungoder von Cross Curricular Competecies/fächerübergreifenden Problemlösefähigkeiten),

• periodischen Surveys/Befragungen bei Schüler/innen, Lehrer/innen und Eltern zu wichtigen


Fragen und Problemfeldern von Schule und Unterricht (z.B. Computeranwendung, Gewaltin der Schule, Drogenprobleme, Befindlichkeit/Schulklima und dgl.) sowie

••••• repräsentativen Befragungen der Bevölkerung zu Schul- und Bildungsfragen (zum Kontextdes Schulsystems, z.B. zur Reihung von Schulfächern nach ihrer Wichtigkeit, zum Ansehender Lehrer/innen, zum Vertrauen in die Schulen oder zur Effektivität bestimmter Schul-praktiken).

Die Bildungspolitik kann diese Datenbasis bei ihren Steuerungs- bzw. Entwicklungsent-scheidungen berücksichtigen, etwa wenn es darum geht, Prioritäten für QE-Projekte festzule-gen. Bildungsforscher nutzen diese Daten zur Gewinnung von theoretischem Wissen übermögliche Erklärungszusammenhänge.

Der Wissenstransfer geht aber auch in Richtung (Einzel-)Schulen und Lehrer/innen: Soliefern zum Beispiel die großen und repräsentativen Assessments interessante Instrumenteund Referenzdaten für lokale oder regionale QS-Projekte. Schulen oder Lehrer/innen kön-nen sich in einem Benchmarking-Prozess an den nationalen oder internationalen Standardsbzw. Verteilungen orientieren.

Durch die Kombination der breiten, repräsentativen Darstellung wichtiger Indikatorenim System-Monitoring mit der „Tiefenbohrung“ fokussierter Prozessanalysen/Evaluationenentsteht die Grundlageninformation für die Planung von Maßnahmen der Qualitätsent-wicklung.

2.1 Internationales System-MonitoringDer Vergleich von Schul-/ bzw. Bildungssystemen, sei es durch qualitative Beschreibungender Strukturen und deren Entwicklungen oder durch empirische Erhebungen standardisier-ter Bildungsindikatoren über die Zeit hat sich in verschiedenen historischen Wellen entwik-kelt (eine gute Übersicht bieten Husén & Tuijnman, 1994). Die zunehmende Globalisierungund Internationalisierung sowie der Zusammenschluss der 15 europäischen Staaten zur EUhaben diesem Bereich der Forschung wesentliche neue Impulse gegeben, begünstigt auchdurch die technischen Möglichkeiten der modernen Kommunikation und der Informations-verarbeitung.

Der große Vorteil der internationalen Indikatorenvergleiche liegt in der Chance, Standund Entwicklung im eigenen System mit dem in „konkurrierenden“ Staaten zu vergleichen.Modernes (Schul-)System-Monitoring erfordert daher intensive internationale Kooperation inder Auswahl, der Messung und der Analyse von Bildungsindikatoren. Wobei die Realisierungder (oben aufgezählten) wesentlichen System-Monitoring-Elemente in den EU- bzw. in denOECD-Staaten unterschiedlich weit fortgeschritten ist (siehe auch Abbildung I.3).

Im internationalen System-Monitoring führend ist die OECD (Organization for EconomicCooperation and Development, Sitz Paris, rund 30 Mitgliedstaaten, hauptsächlich Westeu-ropa, Nordamerika, Australien, Westpazifik). Sie verwendet seit Jahren rund fünfzig standar-disierte Bildungsindikatoren, die in „Education at a Glance“ publiziert werden, einem allezwei Jahre erscheinenden Bericht zur Lage der Bildungssysteme (deutsch: „Bildung auf einenBlick“). Wobei die OECD einen Kern von Indikatoren stets beibehält und einen Teil vonihnen von Bericht zu Bericht austauscht.

Die erste übersichtliche Darstellung der OECD-Bildungsindikatoren erschien im Sep-tember 1992 mit Daten aus dem Schuljahr 1990/91. Die damals präsentierten 38 Indikato-ren waren das Werk intensiver Kooperation innerhalb des CERI (Zentrum für Forschung


Abbildung I.2: OECD-Bildungsindikatoren (Bildung auf einen Blick 1995)

I. DAS UMFELD DER BILDUNG Demografisches Umfeld C01: Bildungsstand der Bevölkerung C02: Geschlechtsspezifische Bildungsunterschiede C03: Jugend und Bevölkerung

Soziales und ökonomisches Umfeld C 11: Erwerbspersonenquote und Bildung C12: Arbeitslosigkeit bei Jugendlichen und Erw. C13: Nationales Pro-Kopf-Einkommen

Meinungen und Erwartungen C21: Wichtigkeit von Schulfächern C22: Wichtigkeit bestimmter Eigenschaften/Fähigk. C23: Vertrauen der Öffentlichkeit in die Schulen C24: Bildungsverantwortung der Schulen C25: Ansehen der Lehrer C26: Prioritäten in der Schulpraxis C27: Entscheidungen auf Schulebene

II. KOSTEN, RESSOURCEN, BILDUNGSWEGE Finanzielle Ressourcen Bildungsausgaben F01: Bildungsausgaben im Vergleich zum Bruttoinlandsprod. F02: Ausgaben öffentlicher und privater Bildungseinrichtg. F03: Ausgaben für Bildungsleistungen je Schüler/Student F04: Mittelzuweisungen nach Bildungsstufe F05: Laufende und Investitionsausgaben

Quellen der Bildungsfinanzen F11: Öffentliche und private Finanzierung F12: Öffentliche Finanzierung nach Verwaltungsebene F13: Anteil der Bildungsausgaben an den öffentl. Ausgaben

Bildungsbeteiligung P01: Beteiligung an formeller Bildung P02: Elementarerziehung P03: Beteiligung an Sekundarbildung

P04: Übergang vom Sekundar- zum Tertiärbereich P05: Studienanfängerquote im Tertiärbereich P06: Bildungsbeteiligung im Tertiärbereich P08: Aus- und Weiterbildung für Erwachsene

Methoden und Personal Unterrichtszeit P11: Stundenumfang P12: Anzahl der Unterrichtsstunden

Schulprozesse P21: Gruppenbildung in den Klassen

Humanressourcen P31: Im Bildungswesen beschäftigtes Personal P32: Zahlenmäßiges Schüler/Lehrer-Verhältnis P33: Pflichtstundenzahl P34: Lehrerausbildung P35: Lehrerbesoldung P36: Gruppenmerkmale der Lehrer

F&E im Bildungswesen P41: F&E-Personal im Bildungswesen P42: F&E-Ausgaben im Bildungswesen

III. BILDUNGSERFOLGE Leistungen von Schülern/Studenten R04: Fortschritt in der Leseleistung R05: Lesehäufigkeit

Bildungsergebnisse R11: Abschlüsse im Sekundarbereich II R12: Hochschulabsolventen R14: Hochschulabschlüsse R15: Personal mit natur- oder ingenieurwiss. Abschluss

Arbeitsmarktleistungen R21: Arbeitslosigkeit R22: Bildung und Einkommen R23: Bildungsstand von Arbeitsnehmern R24: Erwerbsstatus von Schul- und Hochschulabsolventen

und Innovation im Bildungswesen) und der INES-Projektgruppen (Indicators for EducationalSystems).

Als Wirtschaftsorganisation legt die OECD bei der Auswahl ihrer Indikatoren natürlichbesonderen Wert auf Ressourcen, Kosten, Bildungsbeteiligung, den Übergang ins Arbeitsle-ben und den Zusammenhang von Bildungsabschluss und beruflicher Tätigkeit. Allerdings istdie explizite Aufnahme von Schülerleistungen in das OECD-Indikatorenmodell nunmehr auchAusgangspunkt für internationale Assessments in großem Umfang. Nachdem die OECD bisdahin vor allem im Bereich Output/Schülerleistungen auf Daten anderer Organisationenangewiesen war (z.B. der IEA, s.u.) hat sie 1998 begonnen, mit dem „Programme for Interna-tional Student Assessment“ (PISA) selbst solche Output-Indikatoren zu messen.

Der Großteil der OECD-Indikatoren wird im Rahmen der Bildungsstatistik gewonnen (z.B.die P-Indikatoren der vorangehenden Tabelle), manche Indikatoren sind das Ergebnis vonZensus-Studien (z.B. C01-C03) oder spezieller Surveys in der Bevölkerung (z.B. C21-C27),andere wiederum wurden aus der Arbeitsmarktstatistik (R21-24) oder Studien andererInstutionen (z.B. R04, R05) übernommen.

An „Education at a Glance“ beteiligen sich die OECD-Staaten (und einige Assoziierte)relativ intensiv und regelmäßig – in Österreich ist die Abteilung Bildungsstatistik und


Bildungsökonomie am BMUK/BM:BWK eine wichtige Indikatorenquelle. Daneben tragenz.B. das ÖSTAT/Statistik Österreich, die Bildungsforschungsinstitute der Sozialpartner, dasZentrum für Schulentwicklung, das Arbeitsmarktservice und die Universitäten (im Rahmenvon Projekten) einzelne Indikatoren bei.

National gibt es derzeit keine zentrale Stelle für die Bildungsindikatoren und nur wenigkoordinierende Maßnahmen zwischen den verschiedenen Institutionen. Die Daten für diewichtigsten Indikatoren sind von unterschiedlicher Qualität, stammen aus unterschiedlichen(oft schwierig zu vergleichenden) Quellen und sind für einen Außenstehenden oft gar nichtoder nur äußerst mühsam erreichbar und interpretierbar. Die Folge: Selbst Bildungspolitikeroder Bildungsmanager in Österreich können bei Bedarf nur sehr mühsam und oft inlangwierigen, „institutionenübergreifenden“ Prozessen auf wichtige und aktuelle Datenzugreifen – von einem einfachen Zugang für die Öffentlichkeit im Sinne einer Rechenschafts-legung ist man noch weit entfernt.

Für eine Vereinheitlichung der Indikatoren aus der Bildungsstatistik (von den Finanz- undPersonalressourcen, der Schul- und Universitätsstatistik bis zu Daten über die Erwachsenen-bildung) und ihre standardisierte Erhebung wäre eine zentrale Abteilung für Bildungsstatistikam BM:BWK (besonders durch die gerade erfolgte Zusammenlegung Unterricht/Wissenschaft)ein Vorteil – dort könnten alle diesbezüglichen Aktivitäten koordiniert und ein einheitlichesund zentrales Datenmanagement aufgebaut werden. Dies wäre auch aus dienst- unddatenschutzrechtlichen sowie aus technischen Gründen (vorhandene Datenbanken, ISCED-Ebenen übergreifend) sinnvoll und effizient.

Internationale Assessments und Surveys

Über die Erhebungen in der „klassischen“ Bildungsstatistik hinaus führen alle OECD-Staatenseit kurzem eigene international-vergleichende Assessments und Surveys im Rahmen des„Programme for International Student Assessment“ (PISA) durch. Dabei werden im Abstandvon drei Jahren die Leistungen der 15-/16-Jährigen in den Bereichen Lesen/Leseverständnis,Mathematik und Naturwissenschaften geprüft (PISA 2000 – 2003 – 2006). Dazu wurden fürjedes Fach eigene Zielbeschreibungen erstellt, die den gemeinsamen inhaltlichen Rahmen(Frameworks) der Assessments bilden. Diese Output-Messungen werden von umfangreichenSurveys zu den Rahmenbedingungen von Schule und Unterricht begleitet, und zusätzlichwerden z.B. crosscurriculare Kompetenzen, Leseverhalten und Computernutzung untersucht.National ist dafür das an der Universität Salzburg eingerichtete PISA Zentrum Österreichverantwortlich.

Die drei grundlegenden Absichten bei der Durchführung dieser „Large-Scale-Tests“ sind:• NÜTZLICHE INFORMATIONEN GEWINNEN: Informationsgewinnung für

Vergleiche und Evaluationen und zur Rechenschaftslegung,• VERBESSERUNGEN ANREGEN: Steuerungswissen gewinnen, um die Unterrichts-

und Erziehungspraxis zu verbessern, z.B. durch Veränderung der Lehrpläne oder derLehr-/Lernprozesse oder durch Erhöhung der Motivation der Schüler/innen, Lehrer/innenund der Schulbehörden,

• AUFMERKSAMKEIT ERZEUGEN: die Öffentlichkeit und die Medien auf wichtigeund aktuelle pädagogische Themen und Problemfelder aufmerksam machen.

Neben der OECD ist die IEA (International Association for the Evaluation of EducationalAchievement) der wichtigste „global player“ im internationalen System-Monitoring. Bis zu 50


Länder beteiligten sich an den 16 bisherigen Assessment-Studien der IEA bekannt wurdenGroßprojekte wie COMPED (Computers in Education) und SITES (Second InternationalTechnology in Education Study), TIMSS (Third International Mathematics and Science Study)und PIRLS (Progress in International Reading Literacy Study). Österreich hat sich bisher nuran zwei IEA Studien beteiligt: COMPED (Haider, 1994) und TIMSS (Haider, 1996). Abbil-dung I.3 auf der folgenden Seite zeigt anhand der Assessment-Teilnahmen den unterschiedli-chen Realisierungsstand von internationalem System-Monitoring in der EU.

Weitere internationale Institutionen, die System-Monitoring im Bildungswesen betreibensind die UNESCO und – mit zunehmender Bedeutung auch für Österreich – die EU (z.B.EU-KeyData, EU-Bildungsindikatoren in EUrydice [Erstellung zuverlässiger und vergleichbarerInformationen über die Bildungssysteme und Bildungspolitiken in Europa]).

Der Nutzwert solcher internationalen Studien für das österreichische Bildungssystem lässtsich steigern, wenn sie(1) in ein Gesamtmodell der Qualitätssicherung und -entwicklung eingebettet sind (vgl.

Baumert, 1999),(2) mit nationalen Schwerpunkten angereichert werden (Beispiele dafür sind die TIMSS-Zusätze

für den Bereich „Befindlichkeit“ oder die PISA Plus Untersuchungen zu Leseverhaltenund Lesekarrieren, zu den QE-Maßnahmen der Schulen, zur Nutzung von IT und zurBefindlichkeit der Schüler/innen am Übergang von Sekundarstufe I zu Stufe II in der imMai 2000 durchgeführten ersten PISA-Studie) und

(3) durch eigenständige, nationale Vergleichsuntersuchungen ergänzt werden können (= nationaleAssessments und Surveys).

Dabei können nationale Problemfelder oder spezielle Entwicklungsbereiche einbezogenwerden, die intern von großer Bedeutung sind und die die Möglichkeit der Verwertung überbloße Vergleiche hinaus steigern (z.B. in Fremdsprachen oder künstlerisch/kreativen Fächern).Darüber hinaus sichern sie eine gewisse nationale Eigenständigkeit in der Entwicklung unddie Berücksichtigung dessen, was wir als „österreichspezifisch“ erhalten wollen (und was daherin globalen Vergleichen nie vorkommen wird).

Angesichts der wachsenden Bedeutung des internationalen System-Monitorings und deserheblichen Rückstands auf diesem Gebiet (siehe Abbildung I.3) wäre es sicher sinnvoll, dassÖsterreich sich künftig regelmäßig an den Projekten der OECD und IEA (und evt. der EU)beteiligt, nicht nur im Bereich der klassischen Bildungsstatistik, sondern verstärkt auch anden Assessments und Surveys.

Wie die Diskussion um TIMSS gezeigt hat, können Reflexionen über Stärken undSchwächen, ausgelöst durch Assessment-Daten, ein entscheidender Ausgangspunkt fürReformen oder Innovationen darstellen (ein hervorragendes Beispiel dafür ist das anlaufendeProjekt IMST – Innovations in Mathematics, Science and Technology Teaching, IFFKlagenfurt).

Ein wichtiger positiver Nebeneffekt dieser regelmäßigen Projektbeteiligungen wäre auch dersystematische Aufbau entsprechender Personalressourcen, denn der hohe Standard internationalerStudien steigert das Knowhow der damit befassten österreichischen Wissenschafter/innen –durch die Organisation in temporären Einzelprojekten allerdings zerfallen die erfolgreichenTeams immer wieder nach wenigen Jahren. Es müsste die Gelegenheit geboten werden, diese


Spezialisten in einem Kompetenzzentrum für System-Monitoring längerfristig beisammenzu halten.

In einem kleinen Land wie Österreich ist es überdies notwendig, ein enges Netzwerk ankooperierenden Institutionen und Experten zu knüpfen, um die anstehenden Aufgabenüberhaupt bewältigen zu können und die Resultate dann rasch in die entsprechendenInstitutionen und Kanäle (z.B. Lehrer-Aus- und Fortbildung) fließen zu lassen.

2.2 Nationales System-MonitoringWie schon im vorigen Abschnitt beschrieben, ist in Österreich der Bereich der nationalenBildungsstatistik von allen vier Elementen des System-Monitorings noch am besten ausgebaut(z.B. Österreichische Schulstatistik, Statistisches Taschenbuch des BM:BWK). In Zusammen-arbeit mit Umfrageinstituten werden vom BM:BWK auch regelmäßig Surveys zu wichtigenBildungsfragen in der Bevölkerung durchgeführt (oft im Kontext internationaler Studien).

Allerdings fehlt es an einem vorgeschalteten nationalen Indikatorensystem mit klarer Struk-tur, an der Koordination der Aktivitäten und an der regelmäßigen und systematischen Zu-sammenfassung der wichtigsten Indikatorendaten auf nationaler Ebene (ein erster Versuch

Abbildung I.3: Teilnahmehäufigkeit der 15 EU-Staaten an internationalen Assessment- undSurvey-Projekten zum System-Vergleich

Internationale Assessments - Teilnahme von EU-Staaten(Leistungsmessungen in Mathematik, Lesen, Naturwissenschaften, Informationstechnologie, Politischer Erziehung, Vorschulerziehung, usw.)

Fl Fr

Six-Subject-IEA:

1968 x x x x x x x x x

Mathematics/Science-IEA:

1964 FIMS x x x x x x x x x

1981 SIMS x x x x x x x x x x

1995 TIMSS x x x x x x x x x x x x x x

1998/99 TIMSS-R x x x x x

Science-IEA:

1970 FISS x x x x x x x x x

1984 SISS x x x x x

Reading Literacy-IEA

1990/91 RL x x x x x x x x x x x x

PIRLS 99/01 x x x x x x x x x

Classroom Env.-IEA

1981 x x

Written Comp.-IEA

1984/85 x x x x x

Computers-IEA:

1992 COMPED x x x x

1998/99 SITES I (x) (x) x x x x x x

1999/2001 SITES II x x x x x x x

Civics in Educ.-IEA

98/aktuell x x x x x x x x

PrePrimaryProject-IEA

98/aktuell x x x x x x x

IALS I (Adult Literacy)

93/94 x x x

IALS II

96/97 x x x x x x

Mathematics-IAEP:

1988 (I) x x x

1991 (II) x x x x x

Science-IAEP:

1988 (I) x x x

1991 (II) x x x x x

PISA 2000 (OECD) x x x x x x x x x x x x x x x x

SUMME Teilnahmen 17 17 15 14 14 11 11 10 9 7 6 5 4 314

IRL SWEStudien NL UK I DAN LUX AUTBEL F SPA GR PORFIN GER


diesbezüglich siehe in Haider, 1997). Es wäre wünschenswert, dass die wichtigsten Indikato-ren (z.B. in zweijährigem Abstand wie in manchen OECD-Staaten) in einem nationalenBildungsbericht übersichtlich dokumentiert und von einschlägigen Experten analysiert würden,quasi als österreichisches Pendant zu „Education at a Glance“.

Wie zuvor erwähnt, wäre es sinnvoll, die internationalen Indikatoren durch eigenständi-ge, periodische Untersuchungen nationaler Problemfelder oder spezieller Entwicklungsberei-che zu ergänzen. Wenn wir uns eine Eigenständigkeit in der Entwicklung und die Berück-sichtigung dessen, was wir als „österreichspezifisch“ im Bildungswesen betrachten, erhaltenwollen, sollten wir unser eigenes nationales Assessment und Survey-System einrichten (nichtzu verwechseln mit der Einrichtung allgemein anzuwendender „zentraler Tests“!).

Österreich verfügt über kein nationales System von einheitlichen Abschluss- oder Aufnahme-prüfungen, dessen Ergebnisse quasi als Ersatz für ein nationales Assessment zu betrachtenwären (wie z.B. in Frankreich oder Japan) und zur Analyse der Leistungsentwicklung heran-gezogen werden könnten. Das Bestehen von Absschlussprüfungen wie der Matura ist vonlokaler Aufgabenstellung und Bewertung abhängig und spiegelt keine objektiven Stärken oderSchwächen der (Teil-)Systeme wider. Als Grundlage für eine System-Evaluation sind Prüfun-gen wie die Matura daher kaum brauchbar.

2.2.1 Nationale Assessments

Im vorigen Abschnitt wurden eigenständige, stichprobenartige, nationale Qualitätsprüfungenangeregt. Ziel solcher Studien der überregionalen3 Leistungsmessung ist es, in „Dauer-beobachtung“ den Soll-Ist-Vergleich auf der Basis nationaler, also „interner“ Kriterienvorzunehmen. Der Schwerpunkt liegt dabei auf den wichtigsten Ergebnissen der schulischenProzesse, dem Output bei den Schülerinnen und Schülern. Wobei „Output“ eine großeBandbreite möglicher Indikatoren umfassen kann, von den Einstellungen und Werthaltungender Schüler/innen, ihrer Befindlichkeit in der Klassen- und Schulgemeinschaft (Klima) bis zudem in der Schule erworbenen Wissen und den im Unterricht aufgebauten Fähigkeiten undFertigkeiten sowie komplexen fächerübergreifenden Kompetenzen.

Die Bewertung des Outputs kann entweder kriteriumsbezogen erfolgen, d.h. die Ergebnissewerden mit gültigen Vorgaben (Lehrplänen oder nationalen Standards) verglichen, oderverteilungsorientiert durchgeführt werden, indem man zum Beispiel regionale oder sektorielleVergleiche anstellt (soweit es die Größe der Stichprobe zulässt).

Aus den Analysen können (z.B. in Form von Stärken-Schwächen-Profilen) Prioritäten fürSteuerungsmaßnahmen im Bildungssystem abgeleitet und Hinweise auf mögliche Handlungsfeldergegeben werden. Für das Bildungsmanagement entstünden so wichtige Grundlagen sowohlfür die Ablegung von Rechenschaft gegenüber der Öffentlichkeit und den verantwortlichenInstitutionen als auch für die Wahrnehmung der Controlling-Funktionen auf System-Ebene(z.B. erwünschte Fortschritte verfolgen und Fehlentwicklungen rechtzeitig entdecken).

Parallel dazu laufende Surveys bei Schüler/innen, Lehrer/innen oder Eltern können denBildungsforschern helfen, Hypothesen über mögliche Wirkungszusammenhänge abzuleitenund so zum Beispiel den Ausgangspunkt für nachfolgende fokussierte Evaluationen zu liefern.

Hinsichtlich nationaler Assessments und Surveys befinden wir uns in einer ähnlichenSituation wie Deutschland (das aber bereits an 14 internationalen Assessment-Projekten teilge-nommen hat) oder die Schweiz, die oft als „Anhaltspunkte“ für Reformen im österreichischenSchulwesen fungieren: wir sind in dieser Hinsicht ein Nachzügler in der internationalen Ent-wicklung, es fehlt uns in vielen Bereichen an Daten über die Ergebnisse unseres Schulsystems.


In Deutschland hat man diesen Mangel erkannt (insbesondere als Folge der heftigen Nach-TIMSS-Turbulenzen 1997) und steuert nun – ländermäßig allerdings unterschiedlich rasch –auf große überregionale Assessment-Maßnahmen zu (z.B. in Koordination mit dem PISA-Programm).

2.2.2 Verbreitung von nationalen Assessments

Nationale bzw. überregionale Assessments und Surveys gibt es bereits in vielen OECD-Län-dern (Belgien, Finnland, Dänemark, Frankreich, Großbritannien, Irland, Kanada, Niederlan-de, Neuseeland, Norwegen, Portugal, Schweden, Türkei, USA, u.a.m.), wobei in einer Reihevon Ländern jährlich nationale Assessments stattfinden, natürlich mit wechselnden Alters-gruppen und Fachbereichen. Manche Länder haben nationale Assessments als Teil ihrer for-mellen Prüfungen etabliert, d.h. Schüler/innen müssen nationale Tests als zentral verwalteteund einheitliche Prüfungen ablegen, um ein positives Abschlusszeugnis zu bekommen oderin eine Schule/Universität aufgenommen zu werden (Beispiele dafür sind Frankreich undJapan).

Die in nationalen Assessments insgesamt getesteten Bereiche umfassen fast den gesamtenFächerkanon: muttersprachliche Leistungen (Lesen/Leseverständnis, Schreiben), fremd-sprachliche Leistungen (Englisch, Französisch), Mathematik, Naturwissenschaften (Physik,Chemie, Biologie), Geographie, Politische Bildung, Geschichte, Gesundheitserziehung, Kunst(Musik, bildnerische Fähigkeiten), sportliche Leistungen, Informationstechnologie, Verkehrs-erziehung, Wirtschaftskunde. Zusätzlich stehen in manchen Ländern auch fachübergreifendebzw. crosscurriculare Fähigkeiten auf dem Prüfstand: problemlösendes Verhalten (Schweden),Zufriedenheit, Selbst-Konzept und persönliche Entwicklung (Spanien), schulische Einstel-lungen (Finnland) oder Arbeitsmethoden und Schulleben (Frankreich).

Die getesteten Altersgruppen beginnen bei der ersten Schulstufe (Finnland) und den 7-Jährigen in England und Frankreich. Häufige Zielgruppen sind die 3. und 4. Schulstufe (z.B.in Belgien, Finnland, Frankreich, Portugal) und der Abschluss der Sekundarstufe I/Ende derPflichtschulzeit (z.B. Kanada, Dänemark, England, Finnland, Frankreich, Niederlande, Neu-seeland, Portugal, Schweden, USA). Am Ende der Sekundarstufe II (bei den 17-/18-Jähri-gen) testen Finnland, Frankreich, Portugal, Spanien, Schweden und die USA.

Die Durchführung dieser nationalen/überregionalen Assessments liegt eher selten in denHänden der Schulaufsicht bzw. des Unterrichtsministeriums selbst (z.B. in Belgien und Ka-nada), sondern meist in der Verantwortung speziell dafür geschaffener Assessment-Institutio-nen (z.B. CITO/Niederlande, ACER/Australien, DEP/Frankreich, IIE/Portugal), bei Uni-versitätsinstituten (IER/Finland), bei privaten Firmen (in den USA und Neuseeland) oder ingemischter Verantwortlichkeit (z.B. England, Spanien, Türkei). Es kommt vor, dass dasInstrumentendesign und die Berichte organisatorisch von den Datenerhebungsarbeiten ge-trennt sind.

In drei Staaten (England/University of Newcastle, Finnland/Academy of Finland undSpanien) werden bereits gezielt „value-added measures“ erhoben, das sind Differenzmaße inden Schülerleistungen zwischen dem Beginn und dem Abschluss eines bestimmtenSchulabschnitts. Das NAEP-Programm der USA (National Assessment for Educational Progress)ist das älteste (seit 1969 regelmäßig stattfindende) und bekannteste Beispiel für ein nationalesAssessmentprogramm und wird auch als „The Nation’s Report Card“ bezeichnet.


2.3 Nachhaltigkeit von BildungsprozessenIm Zentrum des Interesses von Assessments steht die Nachhaltigkeit schulischer Lehr- undLernprozesse. Vereinfachend könnte man diese „innerschulische“ Nachhaltigkeit als jenenRest an Wissen, Können und Einstellungen bezeichnen, der nach dem Abschluss einer be-stimmten Bildungsebene längerfristig bei den Schüler/innen „übrig bleibt“. So steht im Mittel-punkt der OECD/PISA-Studie von 2000 über 2003 bis 2006 etwa die Frage, welches Wissenund welche Fähigkeiten 15-/16-Jährige im Laufe einer bis dahin etwa 9-/10-jährigen Schul-zeit in wichtigen Fächern wirklich „manifest“ erworben haben (was sie an praxisorientiertenAufgaben beweisen müssen).

Untersuchungen der jüngeren Zeit (etwa TIMSS – Third International Mathematics andScience Study, 1995) haben deutlich gezeigt, dass vor allem im Sekundarschulwesen das Schwer-gewicht nicht wirklich auf nachhaltigen Bildungserwerb gelegt wird. Es dominieren kurzfri-stige „Lernen-und-Vergessen“-Sequenzen (von Schularbeit zu Schularbeit, von Zeugnis zuZeugnis) wo es eigentlich um zusammenhängende, aufbauende und wiederkehrende Zyklenund den langfristigen Aufbau gesicherten Wissens gehen sollte.

Die Folge ist (und das lässt sich durch Daten gut belegen), dass Schüler/innen meist nurdas gut beherrschen, was sie in den Wochen und Monaten unmittelbar vor der Prüfung durch-genommen haben. Beispielsweise können Maturanten recht gut Kurvendiskussionen durch-führen (die sie kurz vor der Matura erlernen), scheitern jedoch zu einem erheblichen Teil aneinfachen Prozentrechnungen (die in der Unterstufe durchgenommen wurden) oder gar andem Problem, die Wandfläche eines Zimmers für den Ankauf von Tapetenrollen grob zuschätzen (was man schon in der Volksschule durchnimmt).

Das bedeutet, dass ein erheblicher Teil der schulischen Anstrengungen bei vielen Schüler/innen möglicherweise nicht den Aufbau längerfristiger und stabiler Kompetenzen zur Folgehat, was für ein Bildungssystem ernsthafte Fragen nach einer besseren Organisation und derOptimierung von Prozessen aufwirft. Diese wichtige Frage nach der Nachhaltigkeit von Bildungs-prozessen wird in „kumulativen“ Assessments und Surveys wie z.B. TIMSS und PISA berück-sichtigt, wo der wichtigste Lehrstoff aller vorangegangenen Schulstufen zusammen Grundla-ge der Tests ist.

2.4 Ein Vorschlag für österreichische AssessmentsGrundlage eines österreichischen Assessment-Systems (und der angestrebten Qualitäts-Eva-luation) sollte die Formulierung von Nationalen (Orientierungs-)Standards sein: Die Festle-gung von Anforderungen, die österreichische Schüler/innen in bestimmten Fächern am Endeeiner bestimmten schulischen Periode erfüllen sollen (z.B. Wissen und Können bezogen aufeinen Kernstoff bzw. ein Fundamentum für die Sekundarstufe I). Standards sollten dabei alsgewünschtes Endprodukt einer längeren Periode im System (z.B. der Elementarstufe oder derPflichtschulzeit oder der AHS-Sekundarstufe II) angesehen und definiert werden und nichtals kurzfristiges Produkt nur einer Schulstufe. Wobei noch die Frage offen ist, welchenPräzisierungsgrad diese Standards haben sollten: Während in den USA – u.a. durch Mitwir-kung der Lehrerverbände – sehr präzise Standard-Listen entstanden sind4, halten mancheExperten Standards auf mittlerer Abstraktionsebene für ausreichend.

Solche „Qualifikationsprofile“ für Absolventen (siehe auch österreichisches Universitäts-studiengesetz 1997, §12 (5)), die u.a. auch die Ausprägung erwünschter Werthaltungen undcross-curricularer Fähigkeiten enthalten könnten, sind in Österreich derzeit aus keinem


Lehrplandokument herauszulesen - die Summierung aller Lehrplantexte von der ersten biszur x-ten Schulstufe erfüllt diesen Zweck nicht.

Sollte sich die österreichische Bildungspolitik im Zuge der Einführung von neuen Qualitäts-managementsystemen im Bildungswesen dazu entscheiden, nationale Bildungsindikatorenmit Hilfe von eigenen Assessments und Surveys zu gewinnen (wie es in Regierungserklärun-gen der letzten Zeit bereits angeklungen ist), dann möchte ich hier einen persönlichen Vor-schlag für deren grundsätzliche Struktur machen.

(1) Die nationalen Assessments sollten „kumulativ“ am Ende eines jeden der drei großen Schulzyklen/jeder ISCED-Stufe stehen („kumulativ“ bedeutet, dass jeweils am Ende der Elementarstufe/der Volksschule, der Sekundarstufe I und der Sekundarstufe II der Lehrstoff aller voraus-gegangenen Stufen Gegenstand der Untersuchung ist) und die Nachhaltigkeit der erwor-benen Dispositionen messen. Ein schulstufenbezogenes Assessment lässt sich besser aufdas nationale Curriculum oder auf nationale Standards beziehen als ein altersbezogenes(wie in PISA).

(2) Inhaltlich sollten die wichtigsten Kenntnisse (Kernstoff, Fundamentum) in den grund-legenden Kulturtechniken bzw. in den wichtigsten Pflichtfächern im Zentrum stehen, d.h.vor allem• Lesen/ Lesefertigkeit/Textverständnis, Schreiben, Mathematik, Sachunterricht in der 4.

Stufe,• Deutsch (Textverständnis, Textgestaltung, Rechtschreiben), Mathematik, Lebende

Fremdsprache/Englisch, Naturwissenschaft (Physik, Chemie, Biologie, Geographie),Politische Bildung/Geschichte/Sozialkunde, Informationstechnologische Kenntnisse amEnde der Sekundarstufe I,

• Deutsch (Textverständnis, Textgestaltung, Rechtschreiben), Mathematik, LebendeFremdsprache/n, Naturwissenschaft, Politische Bildung/Geschichte/Sozialkunde, Infor-mationstechnologische Kenntnisse am Ende der Sekundarstufe II (jeweils in Formen fürMaturanten/Fachwissen und Allgemeinwissen und Nicht-Maturanten/Allgemeinwissen).

Diese Auswahl soll eine gewisse Ausgewogenheit zwischen traditionellen „Haupt“- und „Ne-ben“-Fächern bieten (denn „nur was geprüft wird, ist auch wichtig“ – eine pragmatischeErkenntnis von Schüler/innen und Lehrer/innen). Es ist aber durchaus denkbar, zusätzlicheAssessments auch in kunstorientierten Fächern (Musikerziehung und Bildnerischer Erziehung)oder im Sport durchzuführen, wo es bereits mit „Klug+Fit“ ein nationales Programm gibt,auch wenn es noch nicht den methodischen Gütekriterien eines Assessments genügt (interes-sant als Beispiel: NAEP Arts Assessment (USA 1997) – mit den Fachbereichen Dance, Theatre,Music und Visual Arts).

• Die wissens- bzw. leistungsorientierten Tests könnten u.a. von der Analyse fächer-übergreifender Fähigkeiten und der Beschreibung sozialer und emotionaler Befindlichkeitender Schüler/innen (Schul- und Klassenklima) sowie den Einstellungen/Haltungen inwichtigen ethisch-moralischen Fragen (Bereich politische Bildung/Sozialkunde) begleitetwerden. Für die Suche nach erklärenden Zusammenhängen wären parallel verlaufendeSurveys bei Schüler/innen und Lehrer/innen (ev. auch bei Eltern) eine Hilfe. Dabei könntenHypothesen über z.B. demografische, soziökonomische oder außerschulische Faktorenuntersucht werden.


Abbildung I.4: Möglicher zeitlicher Ablauf von nationalen Assessments in Österreich in 3-Jahres-Rhythmen (dunkle Felder = Erhebungszeiträume; Pfeil zeigt die summative Erfassung derselben

Alterskohorte über den 4-jährigen Zeitraum eines österreichischen Schulzyklus)

Nationale Assessments Jahr 1 Jahr 2 Jahr 3 Jahr 4 Jahr 5 Jahr 6 Jahr 7 Jahr 8 Jahr 9 Jahr 10 Jahr 11z.B. 2002 z.B. 2003 z.B. 2004 z.B. 2005 z.B. 2006 z.B. 2007 z.B. 2008 z.B. 2009 z.B. 2010 z.B. 2011 z.B. 2012

ISCED 1: Elementarstufe(VS, am Ende der 4. Schulstufe)

ISCED 2: Sekundarstufe I(HS/AHS, am Ende der 8. Schulstufe)

ISCED 3: Sekundarstufe II(Maturanten, Fach-+ Berufsschüler, letzte Stufe)

mit PISAmit PISA mit PISA mit PISA

• Auf Grund der derzeit gegebenen Schulzyklen in Österreich wäre ein dreijähriger Abstandam günstigsten (siehe Abbildung I.4). Durch eine solche Anordnung würde es möglich,dieselben Alterskohorten über einen Zeitraum von 12 Jahren zu verfolgen (4. - 8. - 12.Stufe). Dieser Abstand ist auch völlig ausreichend, um Entwicklungen im Gefolge vonQualitätsmaßnahmen zu dokumentieren und zu evaluieren.

In den OECD- bzw. IEA-Staaten gibt es bereits etablierte Erhebungszyklen (PISA 3-jährig,PIRLS), auf die bei der Planung nationaler Assessments Rücksicht genommen werden könn-te – es wäre in manchen Fällen auch möglich und nützlich (Kosten senkend), nationale undinternationale Datenerhebung zu koordinieren.

Diese Assessments von der Primarstufe bis zur Sekundarstufe II würden die Altersbereiche 6bis 18 erfassen. Daran könnten sich sinnvoll Erhebungen über das Wissen und die Fähigkeitender Erwachsenen im Erwerbstätigenalter (16–60) anschließen. Auch dabei hat die OECDmit der IALS (International Adult Literacy Study, 1993–97) und mit der gerade anlaufendenALL-Studie (Adult Literacy and Lifeskills Survey) bereits praktische Beispiele vorgelegt. Würdesich Österreich künftig an solchen Studien beteiligen und sie durch nationale Zusätze erweitern,könnten wertvolle Daten gewonnen werden, z.B. für die Beurteilung der Nachhaltigkeit vonschulischem Wissen und der Dringlichkeit von Maßnahmen in der Erwachsenenbildung.

2.5 BenchmarkingUnter Benchmarking werden Evaluationsprozesse verstanden, bei denen sich Schulen, Klassen(oder Lehrer/innen) an internationalen, überregionalen bzw. nationalen Referenzwertenfreiwillig und selbst messen, z.B. im Rahmen einer Selbstevaluation (internes Schulmanagement).

Jeder Mensch betreibt im Alltag sein persönliches Benchmarking – Vorbilder/Modelle imBenehmen, in der Kleidung oder in der Sprache werden beobachtet und kopiert, falls mansich davon Erfolg (Anerkennung, Aufmerksamkeit) erwartet. Die Wirtschaft und eine Reiheöffentlicher Unternehmungen setzen Benchmarking5 oft mit großem Erfolg zur Qualitäts-entwicklung ein und erzielen damit auch erhebliche Effizienzsteigerungen ihrer Organisationen.

„Lernen von den Besten“ ist das Charakteristikum dieser Methode und übersetzt auf dasBildungswesen würde es bedeuten, dass Schulen bzw. Bildungseinrichtungen bestimmteIndikatoren, die sie in ihrer eigenen Organisation gemessen haben, mit vorhandenenReferenzwerten anderer, ähnlicher Schulen/Einrichtungen vergleichen. Die Anwendung vonBenchmarking setzt daher die gemeinsame Identifikation qualitätsrelevanter Indikatoren unddie empirische Erhebung von Vergleichsdaten voraus.


Benchmarking erlaubt eine Standortbestimmung der eigenen Organisation und eine Qualitäts-entwicklung unter Nutzung so genannter “Best-Practice-Methoden“: Man lernt von jenen, diedie effektivsten/besten Methoden anwenden. Es würde vielen Schulen ermöglichen, sich aufnachhaltige Qualitätsverbesserungen zu konzentrieren. Es setzt allerdings voraus, dass derMessung von Output auch eine vergleichende Analyse der vorhergehenden Prozesse folgt –nur dann sind entsprechend gezielte Entwicklungsmaßnahmen möglich.

Prinzipiell können in diesem Messsystem alle Indikatoren einem Benchmarking unterzo-gen werden. Man unterscheidet daher auch zwischen Ressourcen-, Prozess- (Methoden-) undErgebnis- (Output-) Benchmarking. Wobei man von „Best-Practice“-Modellen im Zusammen-hang mit Prozess-Benchmarking spricht: Der Orientierung an optimalen/gut funktionieren-den Methoden der Praxis.

Die Benchmarks selbst (=die Referenzwerte) können verschieden hoch aggregiert sein: Jenach Ebene des Vergleichs könnte man unterscheiden nach• internen Benchmarks (das Vergleichsmodell stammt z.B. aus der eigenen Schule),• gemeinschaftlichen Benchmarks (z.B. gleiche Schultypen auf regionaler Ebene) sowie• nationalen und internationalen Benchmarks (mit Referenzwerten aus nationalen oder

internationalen Studien, meist bezogen auf Altersgruppen oder Schulstufen).

Der erste Schritt in einem Benchmarking ist die Beschreibung und Operationalisierung desIndikators, den man mit anderen vergleichen will. Interne Benchmarks sind daher ein guterAnfang für Qualitätsentwicklungsprozesse: Man könnte zuerst mit der Suche nach den eigenen,internen Stärken und Schwächen beginnen, bevor man externe Vergleiche zieht.

Einigt man sich z.B. mit anderen Schulen gleichen Typs in einer Region über den Austauschbestimmter Benchmarks, so kann man gemeinschaftliches Benchmarking betreiben. Auch damitist es möglich, Schulen und Lehrer/innen zu finden, die als „Best-Practice“-Modell einenguten Referenzwert für die eigene Schulentwicklung abgeben.

Und schließlich bietet es sich an, die in großen Assessments gewonnenen Leistungs-indikatoren (samt der Erhebungsinstrumente) als externe Referenzwerte den Schulen zurVerfügung zu stellen, damit sie daran ihre eigene Standort-Qualität bestimmen können.Internationale und nationale Assessments und Surveys liefern aus testtheoretischer Sicht gutabgesicherte Vergleichswerte aus großen und repräsentativen Stichproben (Beispiel: TIMSS –Benchmarking6, mit deren Hilfe man jene Schulen/Lehrer mit „best“- bzw. „good“-practicefinden könnte.

Jede Schule sollte die Möglichkeit erhalten, Teile der Tests und Fragebögen für ihre eigenenZwecke der standortbezogenen Qualitätssicherung und Qualitätsentwicklung einzusetzen.Damit ist es möglich, Orientierungsmaßstäbe für interessierte Schulen anzubieten und dabeimögliche Nachteile zu vermeiden, die ein zentrales Schulranking mit sich bringen würde.

Es gibt bereits mehrere Staaten, die Benchmarking (mit System-Monitoring-Daten) betreibenoder gerade ein Benchmark-System aufbauen. Beispiele dafür sind die USA (TIMSS-Bench-marking Study, „http://nces.ed.gov/TIMSS/timss95/benchmark.asp“) und Australien (IBT-„The International Benchmark-Test“, ACER – Australian Council for Educational Research,siehe http://www.acer.edu.au/acer/schooltest/index.html) – allerdings unterscheiden sich dieseProjekte in der Struktur etwas von dem hier vorgeschlagenen, der auf unsere nationaleSchulorganisation und Schulentwicklung stärker Rücksicht nimmt.


2.5.1 Benchmarking und Best Practices vs. flächendeckende zentrale Tests

Für das Verständnis von Benchmarking ist für mich wichtig, dass der Prozess des Benchmarkensvon der Schule (von den Lehrer/innen) selbst angestoßen wird. Es muss die Bereitschaft gegebensein, sich mit anderen in bestimmten Bereichen zu vergleichen bzw. zu „messen“. Dies ist dasGegenprinzip zur Idee flächendeckender, zentral verordneter Tests, die wir insgesamt auspädagogischen wie auch aus Kostengründen derzeit eher ablehnen.

Aus meiner Sicht ist es auch notwendig, eine deutliche Abgrenzung von nationalen undinternationalen Assessments (im System-Monitoring wie wir es verstehen) von anderen, hiernicht angezielten Maßnahmen und Entwicklungen vorzunehmen:• Εin Assessment ist kein Schulranking. Es werden nur Stichproben von ca. 200 bis 250

Schulen pro Altersgruppe gezogen mit etwa fünf- bis sechstausend Schüler/innen, dassind max. 10% der Population, daraus lässt sich, auch wenn man es wollte, kein sinnvollesSchulranking gewinnen, wohl aber ein guter Vergleich von Schulsystemen.

• Ein Assessment ist kein Wettbewerb. Es gibt keine direkten Schulvergleiche – dieErgebnisdarstellung erfolgt nur auf der Basis aggregierter, d.h. zusammengefasster Daten(für Systemvergleiche und Spartenvergleiche). Direkte Schulvergleiche sollten aufgemeinschaftliches Benchmarking auf freiwilliger Basis beschränkt bleiben.

• Ein Assessment ist keine Prüfung der Schule durch die Behörde. Die Daten von Einzelschulensind unerheblich, das Ergebnis bezieht sich auf den Erfolg des gesamten Typs oder desGesamtsystems. Alle Daten werden sofort nach der Erhebung anonymisiert. DieQualitätsprüfung von Einzelschulen sollte hauptsächlich im internen Qualitätsmanagement(Schulprogramm, Selbstevaluation, Audit durch Schulaufsicht) angestrebt werden –

Abbildung I.5: Ablauf von Benchmarking unter Nutzung von System-Monitoring-Daten

Festlegung qualitäts-relevanter Indikatoren(national/international)

standortbezogene QESchulprogramm

systembezogene QELehreraus- und

Fortbildung

Messen der IndikatorenErhebung der

empirischen Daten

ReferenzwerteSkalenbildungBENCHMARKS

Identifikation besonderserfolgreicher Schulen

oder Lehrer

Analyse der erfolg-reichen Modelle

BEST PRACTICES

Orientierung an den "Best Practices"

Freiwilliges BenchmarkingStandortbestimmungder Klassen/Schulen

Operationalisierungund Standardisierung

der Indikatoren("Messinstrumente")

BENCHMARKING UND BEST PRACTICESQUALITÄTSENTWICKLUNG MIT SYSTEM-MONITORING DATEN


Benchmarks unter Zuhilfenahme von Referenzdaten aus Assessments könnten dabeiallerdings eine wichtige Rolle spielen.

2.5.2 Informationen: Vom System zur Schule und retour

Durch die Anwendung von Benchmarking fließen Informationen nicht nur von unten nachoben im System (von den Schüler/innen zum System-Monitoring), sondern auch in derumgekehrten Richtung. Dies nutzt die ohnehin vorhandenen Ressourcen und bringt eineninteressanten Synergieeffekt.

Umgekehrt sind auch Selbstevaluationsmaßnahmen daraufhin zu überprüfen, ob sie nichtnur für den eigenen Kontext, sondern auch auf überregionaler oder nationaler Ebene alsElement von System-Monitoring dienen können, was im Prinzip einer Erweiterung von Selbst-evaluation (von Individuen auf professionelle Netzwerke) entspricht. Es scheint sinnvoll, die-se Weitergabe von Modellen (z.B. Modellaufgaben, beispielhafte Praktiken/Methoden) vonunten nach oben möglichst in Koordination mit der Abfolge Schulprogramm – RegionalesBildungsprogramm – Nationales Bildungsprogramm anzusetzen.

BibliographieAltrichter, H. (1998). Reflexion und Evaluation in Schulentwicklungsprozessen. In H. Altrichter, W. Schley und M.

Schratz (Hrsg.), Handbuch zur Schulentwicklung (S.263–335). Innsbruck: Österreichischer StudienVerlag.Altrichter, H. & Specht, W. (1998). Qualitätssicherung und -entwicklung im Bildungswesen. In W. Specht (Hrsg.),

European Workshop „Trends in the Evaluation of Educations Systems: School (Self-) Evaluation andDecentralisation“ (S.25–44). Athen, 9.–11.Dezember 1997. Tagungsbericht. ZSE Report Nummer 35.Zentrum für Schulentwicklung.

Baumert, J. (1999). Die Rolle standardisierter Vergleichsuntersuchungen in einem System der Qualitätssicherungund Qualitätsentwicklung. In G. Grogger & W. Specht (Hrsg.), Evaluation und Qualität im Bildungswesen (S.72–79). Graz: ohne Verlag.

European Commision (1995). Key Data on Education in the European Union. Office for Official Publications ofthe European Communities.

European Commission (2000). European Report on Quality of School Education. Sixteen Indicators. Internet:http://europa.eu.int/comm/education/indic/rapinen.pdf.

Fend, H. (1998). Qualität im Bildungswesen. Schulforschung zu Systembedingungen, Schulprofilen undLehrerleistung. Weinheim-München: Juventa.

Haider, G. (1994). Schule und Computer. Informationstechnische Grundbildung in Österreich. Ergebnisse derIEA-Studie Computers in Education. Innsbruck: Österreichischer StudienVerlag.

Haider, G. (1996). TIMSS – Third International Mathematics and Science Study. Population 3. Bericht an dasBMUK. Salzburg: Universität, Institut für Erziehungswissenschaft.

Haider, G. (Hrsg.). (1997). Indikatoren zum Bildungssystem. Fakten zum österreichischen Bildungswesen und ihreBewertung aus Expertensicht. Innsbruck: Österreichischer StudienVerlag.

Gruber, K. H. (1995). Die Neuverteilung der pädagogischen Macht in Europa. In O. Achs (Hrsg.), Schulqualität –Facetten und Felder einer Entwicklung. Vorträge und Diskussionen anlässlich des 1. EuropäischenBildungsgesprächs ‘94 (S. 24–35). Wien: ÖBV Pädagogischer Verlag.

Husén, T. & Tuijnman, A. (1994). Monitoring the Standards of Education: Why and How it Came About. In A.Tuijnman & Postlethwaite (Hrsg.). Monitoring the Standards of Education (S. 4–14). Elsevier-Pergamon.

How good is our school? Self-Evaluation using performance indicators. The Quality Initiative in Scottish Schools.Audit Unit: HM Inspectors of Schools, The Scottish Office: Education and Industry Department: 1996

Kogan, M. (1996). Monitoring, Control and Governance of School Systems. In OECD (Hrsg.), Evaluating andReforming Education Systems (S. 25–46). Paris: OECD.

Krainer, K. (1999). Endbericht zum Projekt IMST. Vorschläge für Konsequenzen und Maßnahmen zurWeiterentwicklung des österreichischen Mathematik- und Naturwissenschaftsunterrichts auf der Basis dernationalen und internationalen Analysen. Klagenfurt: Interuniversitäres Institut für Interdisziplinäre Forschungund Fortbildung (IFF), Abteilung Schule und gesellschaftliches Lernen.


Maritzen, N. (1998). Autonomie der Schule: Schulentwicklung zwischen Selbst- und Systemsteuerung. In H.Altrichter, W. Schley & M. Schratz (Hrsg.), Handbuch der Schulentwicklung (S. 609–637). Innsbruck:StudienVerlag.

OECD (1998). Bildung auf einen Blick. OECD Indikatoren. OECD: Paris.Preuss-Lausitz, U. (1997). Soziale Ungleichheit, Integration und Schulentwicklung. Zeitschrift für Pädagogik, 43,

4, 583–596.Rolff, H.-G. (1993). Schulentwicklung als Entwicklung von Einzelschulen? In H.-G. Rolff (Hrsg.), Wandel durch

Selbstorganisation. Theoretische Grundlagen und praktische Hinweise für eine bessere Schule (S. 105–120).Weinheim-München: Juventa.

Rolff, H.-G (1995). Steuerung, Entwicklung und Qualitätssicherung von Schulen durch Evaluation. In H.-G.Rolff (Hrsg.), Zukunftsfelder von Schulforschung (S. 375–392). Weinheim: Deutscher Studienverlag.

Specht, W. & Thonhauser, J. (Hrsg.). (1996). Schulqualität. Entwicklungen, Befunde, Perspektiven. Bildungs-forschung und Bildungspolitik. Innsbruck: Österreichischer StudienVerlag.

Specht, W. (2000). Bildungsforschung und Schulentwicklung. Deskriptive Ergebnisse der Expertenbefragung imRahmen des Projekts „Schulentwicklungsmonitoring (SEM)“. Graz: Zentrum für Schulentwicklung.

Specht, W. (1999). Einführung in die Themen und Fragestellungen des Workshops. In G. Grogger & W. Specht(Hrsg.), Evaluation und Qualität im Bildungswesen. Problemanalyse und Lösungsansätze am Schnittpunkt vonWissenschaft und Bildungspolitik. Dokumentation eines Internationalen Workshops, Blumau/Steiermark, 18.–21. Februar 1999, (S. 12–20). Graz: Zentrum für Schulentwicklung, Abt. II.

1 Ein solches System der Metaanalyse von Schulprogrammen im Hinblick auf systembezogene Fragestellungenist derzeit beispielsweise im deutschen Bundesland Nordrhein-Westfalen in Ausarbeitung (pers. Mitteilung vonHans HAENISCH vom LSW Soest)2 Der Begriff „Indikatoren/Bildungsindikatoren“ wird in internationalen Publikationen häufig für wichtigeMerkmale oder Merkmalbündel im Bildungssystem verwendet (vor allem in den Berichten der OECD). Damitunterscheidet sich diese Definition von der bei der Operationalsierung von Begriffen mit indirektem empirischenBezug verwendeten „Indikator“ als direkt wahrnehmbares Phänomen eines nicht direkt messbaren Konstrukts.3 Da es innerhalb von Teilgebieten großer Nationalstaaten (z.B. Kanada, USA) auch eigene Assessments gibt,spricht man statt von „nationalen“ manchmal auch von „überregionalen“ Leistungsmessungen.4 vgl. z.B. AAAS (1993): Benchmarks for Science Literacy (aus dem „Projekt 2061“). Oxford University Pressoder im Internet unter „http://www.enc.org/professional/standards/national/“5 Ursprünglich ist Benchmarking ein Begriff aus der Landvermesser-Sprache und meinte das Anbringen einesOrientierungszeichens (benchmark) an einem Felsen oder einer Mauer, von dem ausgehend bei topographischenVermessungen die Position und Höhe eines Punktes bestimmt werden konnte.6 vgl. Haider, G., Wallner, C. ,Töglhofer, M. & Kremsleithner, G. (2000): Handbuch zum TIMSS-Benchmarking (Technische Anleitung – als PDF-Files kostenlos am Internet beziehbar unter „www.system-monitoring.at“) und die Anwendungsvorschläge, die in Zusammenarbeit mit dem IFF-Klagenfurt (IMST-Projekt)entwickelt wurden (ebenfalls unter derselben Internetadresse beziehbar).

IIIIIIIIIIIIIIIIIIII

In diesem Abschnitt werden Ziele und Forschungsfragen des „Programme for Interna-tional Student Assessment“ (PISA) dargestellt. Danach erfolgt eine Beschreibung dernationalen und internationalen strukturellen Organisation dieser Studie.

1. Was ist OECD/PISA?1.1 PISA und das Modell des Lebenslangen Lernens1.2 Ziele und Forschungsfragen1.3 Internationale und nationale Produkte von PISA1.4 In welchen Kompetenzbereichen werden die Schüler/innen getestet?

2. Die internationale Organisation2.1 Die OECD und das INES-Projekt2.2 Das OECD-Sekretariat und das Board of Participating Countries2.3 Das internationale Konsortium2.4 Internationale Expertengruppen2.5 Nationale Projektzentren und National Project Managers

3. Die nationale Organisation3.1 Auftraggeber und beteiligte Arbeitsgruppen3.2 Das österreichische Projektzentrum und das Expertennetzwerk3.3 Organisation der Assessments

Birgit Lang

ZIELE, FORSCHUNGSFRAGEN UND ORGANISATION


1. Was ist OECD/PISA?Das „Programme for International Student Assessment“ (PISA) ist ein dezentralisiertes Projektder OECD (Organisation for Economic Cooperation and Development). Seit mehr als 10Jahren erhebt die OECD im Rahmen des INES-Projekts (Indicators of Educational System)Bildungssystemdaten ihrer derzeit fast 30 Mitgliedsstaaten. Ein wesentlicher Teil dieserIndikatoren umfasst die Beschreibung von Schülerleistungen in wichtigen Fachbereichen (u.a.Lesen, Mathematik). Während man in früheren Jahren dabei vor allem Ergebnisse derinternationalen IEA-Studien heranzog (z.B. TIMSS), sollen in PISA die OECD-Staaten nunselbstständig und in intensiver Kooperation die Leistungsdaten erheben.

PISA umfasst standardisierte Leistungsmessungen, die von den Teilnehmerstaaten (32Staaten, davon 28 Mitgliedsstaaten der OECD) gemeinsam entwickelt wurden. Pro Landwerden zwischen 4.500 und 10.000 Schüler/innen in drei Kompetenzbereichen (Lesen,Mathematik und Naturwissenschaft) getestet. Die Erhebung dieser Fähigkeiten ist in 3 Zyklengeplant (2000, 2003 und 2006), wobei in jedem Zyklus ein anderer Kompetenzbereich imVordergrund steht. Im ersten Zyklus liegt der Schwerpunkt auf Lese-Kompetenz, im zweitenZyklus auf Mathematik-Kompetenz und im dritten Zyklus ist Naturwissenschafts-Kompetenzdie Hauptdomäne.

Die Messung erfolgt mit Paper-and-Pencil-Tests und die Bearbeitungszeit der Testheftebeträgt pro Schüler/in 2 Stunden. Die Tests bestehen aus einer Mischung von Multiple-Choice-Aufgaben und offenen Fragen, für die die Schüler/innen eigene Antworten ausarbeiten müssen.Zusätzliche Informationen über die Schüler/innen (z.B. sozioökonomischer Hintergrund)und die Schulen (z.B. Schulressourcen und Lernumgebung) werden durch einen Schulfragebogenund einen Schülerfragebogen (Kontextfragebögen) erhoben. Weiters werden mit Hilfe speziellerInstrumente so genannte Cross-Curricular-Competencies – fachübergreifende Qualifikationen– erhoben. Im ersten Zyklus wurde für diesen Bereich ein Fragebogen eingesetzt, der wichtigeVoraussetzungen für selbstständiges und kooperatives Lernen (Interessen, Lernstrategien usw.)erfasst.

Die Erhebung soll verschiedene Arten von Indikatoren für die Beschreibung vonSchülerleistungen liefern:• Basisindikatoren, die ein Grundprofil der Kenntnisse und Fähigkeiten der Schüler/innen

liefern.• Kontextindikatoren, die zeigen, wie diese Fähigkeiten mit wichtigen demographischen,

sozialen, wirtschaftlichen und das Bildungssystem betreffenden Variablen zusammen-hängen.

• Trendindikatoren, die sich aus dem fortlaufenden, zyklischen Charakter der Datenerhebungergeben und Veränderungen des Leistungsniveaus, der Leistungsverteilung und derZusammenhänge zwischen schüler- bzw. schulbezogenen Hintergrundvariablen undLeistungen im Zeitverlauf zeigen.

1.1 PISA und das Modell des lebenslangen LernensBisher durchgeführte internationale Schulleistungsstudien (z.B. IEA-Studien wie TIMSS)haben immer nur lehrplanbezogene Inhalte erfasst, wobei man dabei nur jene Teile untersuchenkonnte, die in allen Lehrplänen der Teilnehmerländer gleich sind. PISA hingegen beruht aufeinem dynamischen Modell des lebenslangen Lernens. Nach diesem Modell müssen neueKenntnisse und Fähigkeiten, die für eine erfolgreiche Anpassung an veränderte Gegebenheiten

Abschnitt II: Ziele, Forschungsfragen und Organisation 41

erforderlich sind, kontinuierlich über die gesamte Lebensspanne hinweg erworben werden.Was die Schüler/innen daher erwerben müssen, sind die kognitiven und motivationalenVoraussetzungen für erfolgreiches Lernen im späteren Leben. Im Vordergrund steht die Frage,inwieweit die Schüler/innen in den drei getesteten Kompetenzbereichen die allgemeinenKenntnisse und Fähigkeiten erworben haben, die sie später als Erwachsene benötigen werden.Die Erfassung von fächerübergreifenden Kompetenzen ist ebenfalls ein integraler Bestandteilvon PISA.

1.2 Ziele und ForschungsfragenDer Ursprung der Studie geht auf die Initiative von Regierungen zurück und soll Antwortenauf deren schul- und bildungspolitische Fragestellungen geben. Diese Studie ermöglicht es,den kumulativen Ertrag von Bildungssystemen gegen Ende der Pflichtschulzeit zu erfassen.Ziel ist es, herauszufinden, wie gut unsere Schulen die Schüler/innen auf die Herausforderungender Zukunft vorbereiten. Durch die regelmäßige und standardisierte Erfassung vonSchülerleistungen in Lesen, Mathematik und Naturwissenschaft und den Vergleich dieserLeistungen in den Teilnehmerstaaten können Basis-, Kontext- und Trendindikatoren erhobensowie eine systematische Datenbasis aufgebaut werden.

1.2.1 Erhebung von Basisindikatoren

Die standardisierten PISA-Basisindikatoren sind eine wichtige Information über das Wissen,die Fähigkeiten und Kompetenzen der Schüler/innen, die für die Verantwortlichen unseresSchulwesens eine Orientierung sein können. Der direkte Vergleich der Ergebnisse mit denLeistungsstandards der rund 30 wichtigsten Industriestaaten ermöglicht die Identifizierungvon Stärken und Schwächen im Bildungssystem. Des weiteren können PISA-Aufgaben undReferenztabellen zum standortspezifischen Benchmarking herangezogen werden. PISAunterstützt damit gezielt die Qualitätsentwicklung sowohl auf System- als auch auf Schulebene.

1.2.2 Erhebung von Kontextindikatoren

Die Kontextfragebögen liefern eine detaillierte Grundlage für eine schulpolitisch orientierteErgebnisanalyse. Sie ermöglichen eine gewisse Einsicht in den Zusammenhang derBasisindikatoren mit demographischen, sozialen, ökonomischen oder allgemeinpädagogischenVariablen. Die mit Hilfe des Schul- und Schülerfragebogens erhobenen Kontextinformationenstellen aber nur einen Teil der Information dar, die zur Analyse der OECD/PISA-Daten zurVerfügung stehen. Indikatoren, die die allgemeine Struktur der Bildungssysteme abbilden(demographische und ökonomische Kontexte wie z.B. Kosten; Zahl der angemeldeten Schüler/innen; Zahl der Schüler/innen, die einen bestimmten Abschluss machen; Merkmale vonSchulen und Lehrkräften sowie bestimmte Unterrichtsverläufe) und den Arbeitsmarktbeschreiben, werden von der OECD bereits jetzt regelmäßig entwickelt und angewendet.Zusammen mit diesen Informationen, die durch andere OECD-Instrumente und -Programmeerhoben werden, wird damit ermöglicht:• Unterschiede in Schülerleistungen mit Unterschieden zwischen Bildungssystemen und

Unterrichtskontexten zu vergleichen;• Unterschiede in Schülerleistungen mit Unterschieden zwischen Lehrplänen und

pädagogischen Prozessen zu vergleichen;• Beziehungen zwischen Schülerleistungen und bestimmten schulbezogenen Faktoren wie


Größe und Ressourcen zu untersuchen sowie länderspezifische Unterschiede hinsichtlichdieser Beziehungen zu betrachten;

• Unterschiede zwischen den einzelnen Ländern hinsichtlich der Frage zu untersuchen,inwieweit Schulen jenen Einfluss verringern oder verstärken, den Hintergrundmerkmalevon Schüler/innen auf ihre Leistungen haben;

• Unterschiede zwischen Bildungssystemen und nationalen Kontexten zu betrachten, diemit Unterschieden in Schülerleistungen zusammenhängen.

1.2.3 Erhebung von Trendindikatoren

PISA ist ein fortlaufendes Programm, das alle drei Jahre Daten für jeden der drei Kompetenz-bereiche erhebt. Langfristig wird damit ein Bestand an Information aufgebaut, der eine Beob-achtung von Entwicklungstrends im Wissens- und Kompetenzbestand von Schüler/innenaus den verschiedenen Ländern und aus verschiedenen demographischen Untergruppen er-laubt. Durch den Vergleich der Ergebnisse über die Zeit kann die Dynamik der Entwicklungerfasst werden und gleichzeitig wird sichtbar, welche Konsequenzen zwischenzeitlich einge-leitete Verbesserungen im System haben.

1.2.4 Systematischer Aufbau einer Datenbasis

Durch die regelmäßige Erfassung der Schülerleistungen kann systematisch eine Datenbasisaufgebaut werden, die alle erhobenen Informationen im Zusammenhang berücksichtigt undeine weitergehende und fundierte bildungspolitische Analyse erlaubt, z.B. im Hinblick auf„school effectiveness“. Bildungspolitiker und -forscher können diese Datenbasis für vielewichtige Zwecke benutzen: z.B. den erreichten Bildungsstand prüfen und vergleichen, denFortschritt der Schüler/innen beobachten oder Bereiche der Stärken und Schwächenidentifizieren. Darüber hinaus fördert ein solches internationales Projekt den Austausch vonInformationen und Ideen und es ist für die Beteiligten möglich, sich durch Gespräche,Diskussionen und/oder gemeinsame Aktionen mit den führenden Wissenschaftern undExperten neue, wertvolle Sichtweisen und Methoden anzueignen.

1.3 Internationale und nationale Produkte von PISAAuf internationaler Ebene sind nach Beendigung der ersten Erhebungsphase eine Reihe vonAnalysen geplant, die in vier Produkttypen gegliedert sind:• Der erste Bericht wird die wichtigsten Ergebnisse beinhalten und relevante politische

Belange, die sich aus PISA ergeben, hervorheben.• Der zweite Bericht soll ein datenorientierter Bericht werden, der eventuell nur in

elektronischer Form publiziert wird, der einen Zugang zu einer großen Bandbreite vonIndikatoren (die bereits vom INES-Netzwerk A definiert wurden) sowie zu den zugrundeliegenden Daten und Methoden ermöglicht.

• Des weiteren ist eine Serie von thematischen Berichten geplant, in denen die Auswirkungenund Folgen der Ergebnisse von PISA in einer Reihe von politisch relevanten Bereichenanalysiert werden (z.B. sozialer Hintergrund und Leistungen der Schüler/innen, eininternationales Profil der Lese-Kompetenz von Schüler/innen).

• Produkte, die über den Fortschritt von PISA informieren, inkludieren eine PISA Web-Seite, eine Broschüre, die regelmäßig auf den neuesten Stand gebracht wird und einen„PISA-Newsletter“.

Bezüglich der geplanten thematischen Berichte muss hinzugefügt werden, dass die Schüler-


leistungen nicht einfach nur auf Basis der Mittelwerte und Standardabweichungen in dendrei Kompetenzbereichen verglichen werden sollen, sondern die Ergebnisse auch mit Hilfevon so genannten „Proficiency Scales“ dargestellt werden. Bei der Entwicklung dieser Skalenwerden zunächst für den Kompetenzbereich Lesen Sub-Skalen entwickelt, für die beidenNebendomänen Mathematik und Naturwissenschaft werden die Leistungen auf nur jeweilseiner Skala beschrieben. Im nächsten Schritt werden alle Aufgaben aus dem Bereich Lesenmit Hilfe dieser Sub-Skalen kategorisiert (was bei den anderen beiden Bereichen nicht not-wendig ist, da es nur eine Skala gibt) und jede Subskala bzw. Skala wird in 5 hierarchischenLeistungsbereichen organisiert. Der unterste Level (Level 1) beschreibt die Leistungen, dienotwendig sind, um bei den einfachen Aufgaben erfolgreich zu sein wogegen der obersteLevel (Level 5) beschreibt , welche Leistungen für die anspruchsvollsten Aufgaben erbrachtwerden müssen.

Auf nationaler Ebene hat das OECD-Projekt eine ganz spezielle Bedeutung. Da Österreichbisher kein selbstständiges nationales Assessment wichtiger Schülerleistungen durchführt hat,kann dieses international koordinierte Projekt neben den oben genannten noch weitere wichtigeFunktionen erfüllen:• es liefert die Schätzung wesentlicher Parameter von Schülerleistung in den wichtigsten

Bereichen des österreichischen Schulwesens,• es liefert wichtige Anhaltspunkte und Daten für wesentliche Bereiche von Schulqualität,• durch die Längsschnittmessung können die Effekte von neuen Maßnahmen/Reformen

im Schulwesen auf die Schulleistung gemessen und beurteilt werden,• es bietet zentrale Anknüpfungspunkte für zusätzliche, österreichspezifische Forschungs-

projekte, vor allem auch im Bereich der Bildungsforschung,• es erlaubt österreichischen Bildungsforschern durch die Beteiligung an state-of-the-art-

Projekten, ihre Kompetenz und ihre Kenntnisse am internationalen Standard zu messenund gegebenenfalls zu verbessern,

• es fördert in den beteiligten Schulen und in der Öffentlichkeit das Verständnis fürSchülerleistungserhebungen und -vergleiche und deren Bedeutung für das Bildungswesen,

• es eröffnet durch die Verwendung von international standardisierten Instrumenten fürden Schulgebrauch die Chance für Lehrer und Schulen, die Kenntnisse ihrer Schüler/innen mit Referenznormen zu vergleichen.

1.4 In welchen Kompetenzbereichen werden die Schüler/innen getestet?Das Ziel dieser Studie ist, ein breites Spektrum jener Fähigkeiten zu erfassen, die zur Bewäl-tigung vielfältiger Aufgaben nötig sind, mit denen jeder Bürger einmal konfrontiert werdenkönnte. Um das zu verwirklichen, werden die Schüler/innen in drei Kompetenzbereichengetestet. Jeder dieser drei Bereiche wird durch drei Dimensionen beschrieben: Durch denInhalt oder die Struktur des Wissens, das die Schüler/innen im jeweiligen Bereich erwerbenmüssen, durch das Spektrum von Prozessen, die ausgeführt werden müssen und unterschied-liche kognitive Fähigkeiten erfordern und durch die Situation oder den Kontext, in dem dieKenntnisse und Fähigkeiten angewendet bzw. genutzt werden.

1.4.1 Lesen

Lese-Kompetenz zu besitzen heißt, „geschriebene Texte zu verstehen, zu nutzen und über sie zureflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potential weiterzuentwickelnund am gesellschaftlichen Leben teilzunehmen“ (Übersetzung Deutsches PISA-Konsortium, 2000).


Bei den Testaufgaben werden sowohl Kontextvariablen (z.B. Texte zu persönlichen, berufli-chen oder öffentlichen Anlässen) als auch unterschiedliche Texttypen (z.B. erzählende, be-schreibende, argumentative) und Textformate (z.B. durchgehende Erzählungen, Listen, For-mulare, Pläne) berücksichtigt.

1.4.2 Mathematik

Mathematik-Kompetenz umfasst „die Fähigkeit, die Rolle, die die Mathematik in der Weltspielt, zu erkennen und zu verstehen, fundierte mathematische Urteile abzugeben und sichauf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigenund künftigen Lebens einer Person als konstruktivem, engagiertem und reflektierendem Bürgerentspricht“ (Übersetzung Deutsches PISA-Konsortium, 2000).

Bei der Konstruktion der Mathematikaufgaben wurden drei Ebenen von Fähigkeiten undFertigkeiten unterschieden (Reproduktion/Konzepte, Problemlösen, mathematisches Denken/Generalisierung), wichtige Inhaltsbereiche möglichst gleich abgedeckt (z.B. Algebra,Funktionen, Geometrie, Kombinatorik), die übergeordneten Ideen der Mathematikberücksichtigt (in PISA 2000 Wachstum und Veränderung, Raum und Form) und einrealistischer Kontext hergestellt. Die Aufgaben in diesem Bereich sind dem österreichischenLehrplan hauptsächlich der Sekundarstufe I zuzuordnen.

1.4.3 Naturwissenschaft

Naturwissenschafts-Kompetenz zu besitzen heißt, „naturwissenschaftliches Wissenanzuwenden, naturwissenschaftliche Fragen zu erkennen und aus Belegen Schlussfolgerungenzu ziehen, um Entscheidungen zu verstehen und zu treffen, die die natürliche Welt und diedurch menschliches Handeln an ihr vorgenommenen Veränderungen betreffen“ (ÜbersetzungDeutsches PISA-Konsortium, 2000).

Auch in diesem Bereich werden mehrere Ebenen von Fähigkeiten und Fertigkeitenunterschieden (z.B. Reproduktion, Konzepte, Problemlösen). Wesentliche Themen dernaturwissenschaftlichen Gebiete werden exemplarisch herausgegriffen (z.B. Physik: Materieund Veränderung, Energie, Bewegung; Biologie: Charakteristik von Organismen, Lebenszyklen,Ökosysteme, Evolution; Erdwissenschaft: Wetter und Klima, geochemische Zyklen, erneuerbareRessourcen). Des weiteren werden auch reale Kontext-Situationen berücksichtigt. Dieseinhaltlichen Bereiche werden in Österreich durch die Fächer Physik, Chemie, Biologie unddurch den Teilbereich Erdwissenschaft aus dem Fach Geographie abgedeckt.

2. Die internationale Organisation

2.1 Die OECD und das INES-ProjektDas „International Education Indicators“ (INES)-Projekt wurde offiziell vom CERI GoverningBoard 1988 ins Leben gerufen. Es wurde als Antwort auf den Wunsch von nationalen Politikernnach internationalen Bildungsindikatoren entwickelt, die es ihnen erlauben, die Leistungihrer Bildungssysteme mit jenen der anderen Länder zu vergleichen und um die Effektivitätund Entwicklung der Bildungssysteme besser erfassen und überprüfen zu können.

Das INES-Projekt bestand aus vier sequentiellen Phasen. Phase 1 (1988-1989) und 2(1990-1991) sind hauptsächlich Entwicklungsphasen, wo die Absicht und die Struktur desINES Projektes bestimmt wurden. In Phase 2 publizierte das INES-Projekt die erste Ausgabevon „Education at a Glance (EAG)“, welche drei Indikatoren inkludierte, die vom Netzwerk


A produziert wurden. In der 3. Phase (1992-1996) lag der Fokus auf der Fortsetzung derBemühungen, ein Set von aktuellen Indikatoren zu produzieren und ein Framework zu ent-wickeln, um das die Indikatoren herumorganisiert werden können. In dieser Phase wurde diezweite, dritte und vierte Auflage von EAG herausgegeben, in denen weitere Indikatoren be-schrieben wurden. In dieser Phase begann das Netzwerk A über Optionen für die Implemen-tierung der eigenen Datensammlung nachzudenken, um politisch relevante Ergebnis-indikatoren für Schüler/innen zu erhalten. Über den Verlauf von zwei Jahren hinweg hat dasNetzwerk viel Zeit investiert, um eine Strategie für die Produktion von Leistungsindikatorenzu entwickeln. In der 4. Phase will das INES-Projekt damit fortfahren, den Politikern nützli-che und informative Informationen über ihre Bildungssysteme zu liefern.

In den folgenden Abschnitten werden die an PISA beteiligten Instanzen beschrieben. Wiediese Instanzen voneinander abhängen, ist in Abbildung II.1 dargestellt.

2.2 Das OECD-Sekretariat und das Board of Participating Countries(BPC)

Das OECD-Sekretariat (Leiter für PISA: Dr. Andreas Schleicher) hat die übergreifendeManagementverantwortung für das gesamte Projekt. Dies beinhaltet die Vorbereitung derVertragsbedingungen für jeden Zyklus unter der Leitung des Boards of Participating Countries(BPC), das Finden eines primären internationalen Vertragspartners (vgl. Kapitel 2.3 in diesemAbschnitt, internationales Konsortium), der die praktische Durchführung übernimmt. DasSekretariat ist auch verantwortlich für die Herstellung des Konsensus zwischen denteilnehmenden Ländern auf politischer Ebene. Es dient dem BPC als Sekretariat und ist dieSchnittstelle zwischen dem BPC und dem internationalen Vertragspartner. Weiters ist dasSekretariat für die Produktion der Indikatoren und Analysen, basierend auf den statistischenKomponenten, die vom Vertragspartner zur Verfügung gestellt werden, verantwortlich. InZusammenarbeit mit dem internationalen Konsortium sowie in Abstimmung mit denMitgliedsstaaten sowohl auf politischer Ebene (BPC) als auch auf der Ebene derImplementierung (durch den National Project Manager; vgl. Kapitel 2.5 in diesem Abschnitt)bereitet das OECD-Sekretariat die internationalen Berichte und Veröffentlichungen vor.

Die wichtigsten Entscheidungen fallen im Board of Participating Countries (BPC), in demalle Teilnehmerländer vertreten sind (Vertreter Österreichs ist MinR. Mag. Friedrich Plank).Das BPC legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten für OECD/PISA fest und überwacht ihre Einhaltung im Verlauf der Implementierung des Programms.Die Prioritätensetzung betrifft die Auswahl von Indikatoren, die Entwicklung vonMessinstrumenten und die Berichterstattung über die Ergebnisse. Weiters ist das BPC für dieZusammenarbeit mit dem OECD-Sekretariat verantwortlich, um die Einhaltung derpolitischen Prioritäten und der Designparameter während der Projektimplementierung zugewährleisten. Die Aufgabe des BPC ist es, alle teilnehmenden Länder bezüglich aller Aspekteder Implementierung vollständig zu informieren.

2.3 Das internationale KonsortiumVerantwortlich für das Design und die Implementierung der Erhebung innerhalb des vomBPC abgesteckten Rahmens ist ein internationales Konsortium unter der Führung desAustralian Council for Educational Research (A.C.E.R. unter der Leitung von Dr. Ray Adams).Die anderen Partner in diesem Konsortium sind: Netherlands National Institute for Educational


Abbildung II.1: Organigramm des PISA-Projekts auf internationaler Ebene

INES Steering Group

Board ofParticipating

Countries

Network A

OECD SECRETARY

InternationalPartner(ACER)

Technical AdvisoryGroup(TAG)

FunctionalExpert Groups(FEG)

National Project Managers (NPMs)

National Administration


Measurement (CITO), Educational Testing Service (ETS) in den USA, National Institute forEducational Research (NIER) in Japan und WESTAT in den USA.

Der primäre Vertragspartner (A.C.E.R.) hat die Autorität, Entscheidungen zu treffenund übernimmt die Verantwortung für die Operationalisierung des Projektdesigns und fürdie Implementierung des Projekts innerhalb der Vertragsbedingungen. Weiters muss A.C.E.R.den Prozess während der Implementierung leiten und umfangreiche Qualitätssicherungs-maßnahmen gewährleisten. Bei der Durchführung des Projekts muss A.C.E.R. gewährleisten,dass:• die funktionale Expertise (so weit es nötig ist) ins Projekt implementiert wird (z.B. durch

Sub-Vertragspartner),• die beteiligten Länder aktiv an der Entwicklung der Assessment-Instrumente durch

Expertengruppen beteiligt sind und• ein Konsensus der teilnehmenden Länder auf dem operationalen und technischen Level

durch die National Project Managers erreicht wird.

2.4 Internationale ExpertengruppenFür jeden der drei getesteten Kompetenzbereiche gibt es Arbeitsgruppen mit Experten auseinigen Teilnehmerländern (Functional Expert Groups; FEG), die gewährleisten sollen, dasssich die politischen Zielsetzungen von OECD/PISA mit der höchsten international verfügbarenfachwissenschaftlichen und methodischen Kompetenz in den verschiedenen Erhe-bungsbereichen verbinden. Durch ihre Beteiligung in den Expertengruppen stellen die Ländersicher, dass• die Instrumente international valide sind und den Kontext der Kulturen und Bildungs-

systeme der OECD-Mitgliedsstaaten berücksichtigen,• die Testmaterialien gute messtechnische Eigenschaften aufweisen und• die Instrumente die Ziele der Authentizität und bildungspolitischen Validität erfüllen.

Der internationale Vertragspartner muss die technische Qualität des Projektes sicherstellen.Ein wichtiges Instrument dafür ist die Technical Advisory Group (TAG). Diese vereint Personen,die eine führende Rolle bei den Projektoperationen haben (wichtige „subcontractors“), mitExperten außerhalb des Untersuchungsprogramms.

2.5 Nationale Projektzentren und National Project Managers (NPM)In jedem Land ist ein nationales Projektzentrum für die Durchführung der PISA Studieverantwortlich. Der Nationale Projektmanager (NPM) jedes Teilnehmerlandes ist für dieImplementierung nach den vereinbarten administrativen Verfahren verantwortlich. DieNationalen Projektmanager spielen eine entscheidende Rolle für die Sicherstellung der Qualitätdieser Implementierung, und sie verifizieren und evaluieren die Erhebungsergebnisse, Analysen,Berichte und Veröffentlichungen.

3. Die nationale OrganisationIm folgenden Kapitel wird die Umsetzung des PISA Projektes auf der nationalen Ebene be-schrieben. Abbildung II.2 gibt einen Überblick über die Zusammenhänge der in Österreichbeteiligten Instanzen und die Zusammenarbeit dieser mit dem internationalen Konsortium,dem BPC und den internationalen Expertengruppen.


Abbildung II.2: Organigramm des PISA-Projekts auf nationaler Ebene

3.1 Auftraggeber und beteiligte ArbeitsgruppenDie Umsetzung von PISA in Österreich wird durch das Bundesministerium für Bildung,Wissenschaft und Kunst (BM Elisabeth Gehrer) finanziert und beaufsichtigt.

Das National Committee (NC) ist eine der begleitenden Arbeitsgruppen. Dies ist eine jährlichzusammentretende Expertenrunde (Vorsitzender SCh. Dr. Anton Dobart), der Schüler-, El-tern- und Lehrervertreter, Angehörige der regionalen Schulbehörden und der Schulaufsichtsowie Wissenschafter angehören. Die Aufgabe des NC ist es, das Projekt zu unterstützen undsicherzustellen, dass nationale Ansichten vertreten sind. Gemeinsam mit dem NPM werdenin den Sitzungen Fortschritte analysiert sowie Prozeduren und Ergebnisse des Projekts disku-tiert.


Wesentlichen Input erhält das Projekt seit Jahren ebenfalls von der begleitenden Arbeitsgruppe(BAG) am BM:BWK unter der Leitung von MinR. Mag. Friedrich Plank. Diese trifft Ent-scheidungen und ist für die Bewilligung von bestimmten Prozeduren verantwortlich.

3.2 Das Österreichische Projektzentrum und das ExpertennetzwerkAls österreichischer Vertragspartner für die wissenschaftliche Konzeption und die nationaleRealisierung von PISA wurde ein Team an der Universität Salzburg (Institut für Erziehungs-wissenschaft) aus dem Fachbereich System-Monitoring beauftragt. Als Leiter dieser Forschungs-gruppe und NPM ist DDr. Günter Haider für die Koordination aller beteiligten internatio-nalen und nationalen Institutionen und Experten sowie für die praktische Durchführung desPISA Projektes in Österreich verantwortlich.

Derzeit besteht das PISA-Team aus sechs vertraglich an das PISA Zentrum gebundenenPersonen. Abbildung II.3 gibt einen Überblick über alle Mitarbeiter/innen, die am erstenZyklus der PISA-Studie mitgewirkt haben.

Abbildung II.3: Mitarbeiter/innen beim 1. Zyklus der PISA-Studie

Mitarbeiter/innen Zeitraum Funktion und Aufgabengebiet

DDr. Günter Haider seit Juli 1998 Nationaler Projekt Manager

Mag. Ingrid Sandmayr-Reiter

Juli 1998-Juli 1999 Projektleiterin im Bereich Instrumentenerstellung

Mag. Andreas Sandmayr

Juli 1998-Juli 1999 Projektassistent Feldtest

seit Juli 1998

(Karenz Juli 2000-Februar 2001)

Sylvia Schullerer März 1999-August 1999 Projektassistentin im Bereich Instrumentenerstellung

Mag. Margit Töglhofer Mai 1999-Februar 2001 Projektassistentin im Bereich Data Management und Field Operations

seit Juli 1999 Projektleiterin im Bereich Instrumentenerstellung

seit Juli 2000 Direktorin des PISA Zentrums

Mag. Birgit Lang seit Juli 1999 Projektassistentin im Bereich Instrumentenerstellung

Mag. Gudrun Kremsleithner

seit September 1999 Projektassistentin im Bereich Instrumentenerstellung

Mag. Susanne Weiß seit Oktober 1999 Projektassistentin; Projektorganisation

Nicole Furlan September 1999-Februar

2000

Studienassistentin im Bereich Data

Management und Field Operations

Christina Wallner Projektleiterin im Bereich Data Management und Field Operations

Dr. Claudia Reiter


Abbildung II.4: Ablauf der SAG-Arbeit in PISA

PISA ProjektzentrumÖsterreich

(NPM G.Haider)

Internationales PISA ZentrumACER - Konsortium

InternationalFunctional Expert Group

(FEG)

via

Inte

rne t

FEG

Lia

ison

-mem

ber

erstellt FrameworkItembeispiele

Übe

rmitt

lung

an

SAG

ABLAUF DER SAG-ARBEIT IN PISA

1 FEG erstellt Framework/Itembeispiele2 ACER übermittelt Framework/Items nach Öst.3 SAG macht Review des Frameworks/der Items4 SAG-Leiter schickt engl. Review an NPM Haider5 SAG erstellt nach Guidelines Test-Materialien6 SAG+NPM senden Testmaterial an FEG-Mitglied7 FEG-Mitglied wählt Material aus8 SAG übersetzt ausgewähltes Test-Material9 SAG-Leiter schickt übersetztes Material an NPM10 NPM sendet österr. Beitrag an ACER-Konsortium

(Leiter/in einer)Subject Area Group

in Österreich

ERSTELLEN VONTEST-MATERIALIEN

REVIEW FRAMEWORKREVIEW ITEM BUNDLES 1-3


An diesem Projekt sind zudem viele nationale Gruppen von Wissenschaftern bzw. Didaktikernund Testentwicklern beteiligt (Subject Area Groups - SAG), die in Kooperation mit deninternationalen Expertengruppen (FEG) für die Erstellung der Testinstrumente verantwortlichsind.Es gibt für jeden der drei Kompetenzbereiche und für das internationale Zusatzprojekt Cross-Curricular-Competencies eine eigene Subject Area Group. Diese Gruppen haben vierHauptaufgaben:• Die Begutachtung der von den internationalen FEGs ausgearbeiteten Frameworks für die

drei Kompetenzbereiche Lesen, Mathematik und Naturwissenschaft (vgl. Abschnitt IVKapitel 1) aus fachtheoretischer bzw. fachdidaktischer Sicht – unter Berücksichtigung desnationalen Hintergrunds (Lehrplan – Bildungsziele).

• Die Begutachtung von Beispiel-Testaufgaben („Item-Bundles“), die von den inter-nationalen Experten aus den FEGs erstellt werden und das Verfassen einer österreichischenStellungnahme zu den Item-Bundles aus fachtheoretischer bzw. fachdidaktischer Sicht.

• Die Begutachtung der entstandenen internationalen Testinstrumente, für deren Erstellungder internationale Kontraktor A.C.E.R. mit den Item Development Groups verantwortlichist.

• Erstellung von Testmaterialien (Texte, Test-Aufgaben) als nationaler Beitrag zu deninternationalen Testinstrumenten von PISA.

Abbildung II.4 stellt den Ablauf der Arbeit der Subject Area Groups dar.

Zusätzlich zum internationalen Projekt gibt es nationale Zusatzstudien (PISA Plus). PISA Plusist ein umfangreicher nationaler Survey, der das Leseverhalten von Jugendlichen, die Computer-anwendung innerhalb und außerhalb der Schule, die Befindlichkeit der Schüler/innen amÜbergang zur Sekundarstufe II und die an den Schulen bereits durchgeführten Qualitäts-entwicklungsmaßnahmen (Q.I.S.) erforscht. Als Ergänzung zu den Leseverständnistests wur-de ein Test für die Lesegeschwindigkeit (Dekodierung) entwickelt.

3.3 Organisation der AssessmentsDas österreichische Projektzentrum war im ersten Zyklus für die Erstellung der Testhefte undFragebögen, für das Ziehen der Stichprobe und für die Kontaktaufnahme mit den Schulenverantwortlich. In den Schulen selbst hatten die so genannten Schulkoordinatoren (wurdenvon jeder Schule selbst bestimmt; vgl. Kapitel 2, Abschnitt VI) die Aufgabe eine Schülerlistealler Schüler/innen des Zieljahrgangs zu erstellen und an das PISA Zentrum zu senden. DieDurchführung des PISA-Tests wurde an externe Testadministratoren (vgl. Kapitel 2, AbschnittVI) übertragen. Diese wurden von den Mitarbeiter/innen des Projektzentrums eingeschultund waren für die Terminvereinbarung mit den gesampelten Schulen (vgl. Kapitel 2, AbschnittVI), die Testdurchführung (vgl. Kapitel 2, Abschnitt VI) und letztendlich für die Abgabe derTestpakete am dafür vorbestimmten Ort verantwortlich. Durch die Einbindung vor allemder Pädagogischen Institute, aber auch von Pädagogischen Akademien ist es gelungen,innerhalb eines Jahres ein stehendes Netz von mehr als 70 gut geschulten und fachlichgebildeten PISA-Testadministratoren in allen 9 Bundesländern aufzubauen.

BibliographieDeutsches PISA-Konsortium (Hrsg.). (2000). Schülerleistungen im Vergleich. Eine neue Rahmenkonzeption für die

Erfassung von Wissen und Fähigkeiten. Berlin: Max-Planck-Institut für Bildungsforschung.

Susanne Weiß

KONZEPT UND DESIGN

I II II II II IIIIIII II II II II IIIIII

Dies ist eine Zusammenfassung der wesentlichen Konzepte, Methoden und Instru-mente, die bei PISA 2000 zum Einsatz kamen. Dargestellt werden u.a. die Arbeitenim zeitlichen Verlauf („Meilensteine“), die inhaltlichen Grundlagen der Tests, dasDesign der Erhebungen und die nationalen Zusatzstudien. Sie erhalten eine Kurz-version aller wichtigen Informationen, die in den folgenden Abschnitten IV–X imDetail geschildert werden.

1. Konzept und Projektdesign von PISA1.1 Ablauf von PISA: Übersicht über den gesamten Erhebungszyklus1.2 Meilensteine PISA 2000: Wann getestet wurde1.3 Population und Stichprobe: Wer getestet wurde1.4 Frameworks und Test-Domänen: Was getestet wurde1.5 Assessment-Design: Die Organisation der Tests1.6 Datenerhebung/Field Operations1.7 Dateneingabe und -verarbeitung1.8 Qualitätssicherung1.9 Datenanalyse und geplante Reports

2. Nationale Zusatzprojekte – PISA Plus

IM ÜBERBLICK


1. Konzept und Projektdesign von PISADie OECD-Staaten vergleichen mit PISA (Programme for International Student Assessment)die Effektivität ihrer Bildungssysteme. Die Kernfrage dazu lautet: Wie gut bereiten unsereSchulen ihre Schüler/innen auf die Herausforderungen der Zukunft vor?

Eltern, Schüler/innen, die Öffentlichkeit und die Verantwortlichen für das Schulsystemhaben Anspruch darauf, zu erfahren, in welchem Umfang die Schülerinnen und Schüler dasnotwendige Wissen und die angestrebten Fertigkeiten tatsächlich und nachhaltig (!) erwer-ben. Internationales System-Monitoring wie PISA, die regelmäßige Messung von vergleich-baren Indikatoren für Schülerleistungen, sorgt für die Antwort: gezielte und kontinuierlicheInformation für eine systematische Qualitätsentwicklung und -sicherung.

1.1 Ablauf von PISA: Übersicht über den gesamten ErhebungszyklusMit international genormten Testinstrumenten werden alle drei Jahre, beginnend mit Mai2000, die Leistungen der 15-/16-jährigen Schüler/innen in Lesen, Mathematik und in Na-turwissenschaft gemessen. Der direkte Vergleich dieser Ergebnisse mit den Leistungsstan-dards der rund 30 wichtigsten Industriestaaten erlaubt eine Beurteilung wichtiger Stärkenund Schwächen der einzelnen Bildungssysteme. Die Einbeziehung umfangreicher, ebenfallsvon der OECD erhobener Systemindikatoren zu Ressourcen und Prozessen ermöglicht de-taillierte Analysen von Zusammenhängen und Ursachen.

Um ein möglichst breites Spektrum an Inhalten mit den Tests und Befragungen erfassenzu können, werden bei jedem Erhebungszeitpunkt (2000 - 2003 - 2006) unterschiedlicheSchwerpunkte gesetzt:• Im Jahr 2000 steht die Messung der Leseleistungen und des Leseverständnisses im Vorder-

grund von PISA. Lesen wird als Hauptdomäne behandelt, das heißt, dass rund zwei Drit-tel der Testaufgaben sich mit dieser Fähigkeit beschäftigen. Je ein Sechstel der Testheft-Inhalte nehmen dann die Nebendomänen ein: Mathematik und Naturwissenschaft (Bio-logie/Umweltkunde, Physik, Chemie, Erdwissenschaft).

• Im Jahr 2003 ist es dann die Mathematik, die im Mittelpunkt steht – mit den Neben-domänen Naturwissenschaft und Lesen.

• 2006 wird als Hauptdomäne Naturwissenschaft getestet, ergänzt mit je einem Test-Sechs-tel Lesen und Mathematik.

Diese zeitliche und inhaltliche Auftei-lung sorgt einerseits dafür, dass zu je-dem Testzeitpunkt längsschnittlicheVergleiche in jedem der drei Fächer ge-zogen werden können und andererseitsalle neun Jahre umfassende Daten zujedem der drei Kernfächer vorliegen.

Die nebenstehende AbbildungIII.1 zeigt die geplanten dreijährigenPISA-Zyklen mit den wechselndenSchwerpunkten zwischen Haupt- undNebendomänen.

Abbildung III.1: Überblick zum PISA-Zyklus

Abschnitt III: Konzept und Design im Überblick 55

1.2 Meilensteine PISA 2000: Wann getestet wurdeWie bei jedem Assessment bzw. jeder großen Leistungsmessung ist auch bei PISA der Ablaufeiner Studie (um zu einem bestimmten Zeitpunkt zu testen) durch die sechs großen Phasengekennzeichnet: Planung der Studie, Instrumentenerstellung, Stichprobenziehung, Datener-hebung, Datenkodierung/Datenmanagement, Analysen und Reports.

Zusätzlich sieht der zeitliche Plan zu jeder Studie einen Feldtest und einen Haupttest vor.Ersterer dient der Erprobung der Instrumente, Methoden und Prozeduren in einer kleinerenStichprobe – letzterer liefert ein Jahr später die repräsentativen Daten zum internationalenVergleich.

Umgelegt auf den aktuellen PISA-Ablauf ergeben sich daher die folgenden zeitlichen Mei-lensteine – gezeigt anhand der PISA-Studien 2000 und 2003:

Zeitlicher Ablaufvon PISA

Dreijähriger Rhythmus vonFeldtest und Haupttest

Abbildung III.2: PISA-Meilensteine

1998

März - Juni GESAMTPLANUNG von PISA durch die OECD und das ACER-

Konsortium, Festlegung der Ziele, der Testbereiche (in

Frameworks), der Methoden (im Assessment Design)

Juli - September FELDTEST 1999: PLANUNG: Itemerstellung, Review der

Aufgaben, Zusammenstellen der Aufgaben und Testhefte

Oktober - Dezember FELDTEST 1999: INSTRUMENTE, STICHPROBE

Übersetzung, Anpassung und Abstimmung innerhalb der

deutschsprachigen Länder; Stichprobenziehung

1999

Jänner - März Kontakt mit den Schulen, Druck und Vorbereitung der Hefte,

Training der Testadministratoren, der Marker und Kodierer

April - Mai FELDTEST 1999: DATENERHEBUNG (Testen und Befragen von rund 1000 Schüler/innen an 35 Schulen in Österreich)

Juni - Juli FELDTEST 1999: KODIERUNG (Marken/Scoren der offenen

Aufgaben, Kodieren und Prüfen der Daten)

August FELDTEST 1999: ANALYSE/REPORT (auf Grund der

Erfahrungen im Feldtest erfolgt eine Verbesserung der Instrumente und Prozeduren für den Haupttest)

Juli - September HAUPTTEST 2000: PLANUNG: Review der Aufgaben,

Zusammenstellen der Aufgaben und Testhefte

Oktober - Dezember HAUPTTEST 2000: INSTRUMENTE, STICHPROBE

Übersetzung, Anpassung und Abstimmung innerhalb der deutschsprachigen Länder; Stichprobenziehung

2000



April - Mai HAUPTTEST 2000: DATENERHEBUNG (Testen und Befra- gen von rund 5000 Schüler/innen an 220 Schulen in Ö)

Juni - September HAUPTTEST 2000: KODIERUNG (Marken/Scoren der offenen

Aufgaben, Kodieren und Prüfen der Daten)

Oktober - Dezember HAUPTTEST 2000: Erstellen der Datenfiles, der begleitenden

Dokumentationen, Vorbereitung der Analysen, Planung der

Reports

2001

Jänner - April Planung der Auswertungen und Analysen; Vorbereitung der

Berichte, erste Analyse von nationalen PISA Plus Daten,

Erstellen des Technischen Reports (Dokumentation)

Mai - Juli HAUPTTEST ANALYSE I (PISA Plus, nationale Projekte)

Verfassen des PISA Plus Berichts (I - deskriptiv)

Juni - August Zusendung der gescorten Datensätze durch OECD/ACER

HAUPTTEST ANALYSE II PISA nationale Daten

Mai - Oktober HAUPTTEST REPORT I (Initial Report) berechnen und

schreiben - Vorbereiten der Pressekonferenz

Juli - September FELDTEST 2002: PLANUNG: Itemerstellung, Review der

Aufgaben, Zusammenstellen der Aufgaben und TesthefteDezember HAUPTTEST 2000: PUBLIKATION INITIAL REPORT

(Pressekonferenz gleichzeitig international und national)Oktober -

Dezember

FELDTEST 2002: INSTRUMENTE, STICHPROBE

Übersetzung, Anpassung und Abstimmung innerhalb der

deutschsprachigen Länder; Stichprobenziehung

2002 2002

Jänner - Mai Planung und Durchführung weiterer Analysen, Schreiben der

THEMATISCHEN REPORTS und des zweiten PISA Plus

Berichts (mit Leistungsdaten)



Juni oder September Abschließendes Expertensymposium: Zusammenfassende

Beurteilung der PISA 2000-Ergebnisse

April - Mai FELDTEST 2002: DATENERHEBUNG (Testen und Befragen

von rund 1000 Schüler/innen an 35 Schulen in Österreich)

Juni - Juli FELDTEST 2002: KODIERUNG (Marken/Scoren der offenen Aufgaben, Kodieren und Prüfen der Daten)

August FELDTEST 2002: ANALYSE/REPORT (auf Grund der

Erfahrungen im Feldtest erfolgt eine Verbesserung der

Instrumente und Prozeduren für den Haupttest)

PISA 2000 - HAUPTDOMÄNE LESEN

PISA 2003 - HAUPTDOMÄNE MATH

Juli - September HAUPTTEST 2003: PLANUNG: Review der Aufgaben, Zusammenstellen der Aufgaben und Testhefte ... usw.


1.3 Population und Stichprobe: Wer getestet wurdePISA untersucht das Wissen, die Fähigkeiten und Kompetenzen von 15-/16-jährigen Schü-ler/innen – in einem Altersbereich also, der sich in den meisten OECD-Staaten am Ende derPflichtschulzeit befindet. Die exakte Zielpopulation von PISA 2000 sind Schülerinnen undSchüler des Altersjahrgangs 1984, das sind Schüler/innen, deren Geburtsdatum vom 1. 1.1984 bis maximal zum 31. 12. 1984 reicht. Um Vergleichbarkeit zu erreichen, testen alleOECD-Staaten Schülerinnen und Schüler desselben Alters. Für den Feldtest im Jahr 1999werden analog zu dieser Entscheidung daher Schülerinnen und Schüler des Jahrgangs 1983getestet. Dies führt zu einer altersmäßig prinzipiell zwischen den Teilnehmerstaaten gut ver-gleichbaren Test-Population.

Nachteile gegenüber schulstufenbezogenen Konzepten sind in der aufwändigeren Test-administration zu sehen: Die Schüler/innen des Jahrgangs 1984 können in vielen Schultypenpraktisch über alle Schulstufen verteilt in allen Klassen vorkommen und ihre Erfassung undTestung ist daher mühsamer. Bei System-Vergleichen muss außerdem berücksichtigt werden,wie viele Schuljahre die Zielschüler/innen bereits absolviert haben (je nach Einschulungsal-ter).

Die OECD, bzw. das Board of Participating Countries hat zudem entschieden, dass inPISA reine Schülerkohorten getestet werden: Die obige Definition der PISA Population ent-hält daher die Formulierung: „Die Zielpopulation von PISA 2000 sind Schülerinnen undSchüler des Jahrgangs 1984 ...“ (und nicht „Personen“ des Jahrgangs) und legt damit fest, dassmit PISA nur „beschulte” Jugendliche des Jahrgangs 1984 erfasst werden. Solche Jugendlichedes Jahrgangs 1984, die ihre Schulpflicht bereits beendet haben und keine weiterführendeSchule mehr besuchen („Drop outs“ oder „out-of-school-population“), werden also nicht mehrerfasst/getestet. Und das sind in Österreich (laut Angaben der Statistik Österreich) insgesamt7,65 % des Jahrgangs 1984 oder rund 7.300 Schüler/innen. Alle Interpretationen der PISAErgebnisse beziehen sich daher ausschließlich auf „Schüler/innen des Jahrgangs 1984“.

1.3.1 Sampling Design

Es wäre unwirtschaftlich und statistisch auch nicht notwendig, die Gesamtpopulation vonzirka 90.000 österreichischen Schüler/innen eines Jahrgangs zu testen, um herauszufinden,wie gut deren Lese- oder Mathematikleistungen sind. Für ein sicheres Urteil über das Leis-tungsvermögen der österreichischen Schüler/innen ist statistisch gesehen eine Stichprobe vonetwa 5.000 Schüler/innen völlig ausreichend – damit lassen sich auch die gewünschten System-vergleiche in der OECD durchführen.

In PISA wurde ein zweistufiges Sampling-Design gewählt, wobei in der ersten Stufe einedurch 20 Strata quotierte Zufallsstichprobe aus jenen rund 2.500 österreichischen Schulengezogen wurde, in denen sich zumindestens ein Zielschüler (Jg. 1984) befand. In der 2. Stufewurde unter allen vorhandenen Zielschülern jeder PISA-Schule eine Zufallsstichprobe gezo-gen (maximale Größe n=35).

Dies ist aufwändiger, ergibt insgesamt aber eine zuverlässigere Stichprobe mit geringeremDesigneffekt, d.h. bei gleicher Zahl getesteter Schüler/innen ist die Präzision der Schätzunggenauer. Dafür ist es aber notwendig, dass jede Schule eine Liste aller Zielschüler/innen er-stellt und an das PISA Zentrum sendet, wo die Auswahl der Schüler/innen per Zufalls-algorithmus vorgenommen wird.


1.3.2 Hohe Teilnahmeraten und geringe Ausschlüsse

Die OECD achtet streng darauf, dass möglichst alle potentiellen Zielschüler/innen auch ge-testet werden – also möglichst niemand, aus welchen Gründen auch immer vom Test ausge-schlossen wird (Ausnahmen siehe unten).

Generelle Ausschlüsse auf nationaler Ebene (z.B. ganze Schultypen) oder auf Schulebene(z.B. Ausschluss einzelner Schulen) wurden in Österreich daher grundsätzlich nicht vorge-nommen, alle Schulen und alle Schüler/innen sollten die Chance erhalten, für den PISA-Testausgewählt zu werden.

Eine geringe Anzahl von Ausschlüssen auf Schülerebene (z.B. Ausschluss einzelner Schü-ler/innen) wurden nach sehr strengen Regeln vorgenommen bzw. toleriert. Es gibt prinzipiellfünf mögliche Gründe, die vor dem Testtermin noch zur Eliminierung des Namens des Schü-lers/der Schülerin von der bereits erstellten und zugesandten Testschüler-Liste durch denSchulkoordinator führen können:A. Der ausgewählte Schüler/die ausgewählte Schülerin weist eine so schwere dauernde körper-

liche oder geistige Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht mög-lich, ethisch nicht vertretbar oder nicht sinnvoll ist.

B. Dem ausgewählten Schüler/der ausgewählten Schülerin nichtdeutscher Muttersprache man-gelt es an Deutsch-Kenntnissen, so dass ein Verstehen der Anleitung und der Testaufgabennicht möglich ist (z.B. wenn ein Schüler erst kurze Zeit in Österreich ist und noch sehrschlecht Deutsch spricht).

C. Der ausgewählte Schüler oder die ausgewählte Schülerin haben sich inzwischen von dieserSchule offiziell abgemeldet.

D. Die Eltern melden den Schüler/die Schülerin vom PISA-Test ab.E. Der Schüler/die Schülerin weigert sich persönlich, am PISA-Test teilzunehmen.Diese von der Schule bzw. dem Schulkoordinator gemeinsam mit den Klassenlehrern vorge-schlagenen oder gesammelten Ausschlüsse wurden vor Ort durch den jeweiligen Test-administrator nochmals mit dem Schulkoordinator besprochen und kontrolliert.

Wir haben uns entschlossen, die Kinder der Sonderschulen nicht (wie es bei ähnlichenStudien in der Vergangenheit der Fall war) prinzipiell vom Test auszuschließen. Dazu war esjedoch dann notwendig, ein eigenes, leichteres Testheft für diese Zielgruppe zu entwickeln.

1.3.3 Stichprobengrößen und Rücklaufquoten

Die Vorgabe der OECD für den Feldtest 1999 betrug 25–30 Schulen mit mindestens 800Schüler/innen, für den Haupttest 2000 mindestens 4.500 resultierende Schüler/innen ausmindestens 150 Schulen, d.h. nach Abzug der „natürlichen Ausfälle“ (z.B. fehlende Schüler/innen am Testtag) und einer gewissen Non-Response-Quote auf Schulebene (Nicht-Rück-sendung oder Nicht-Einlangen von Testheften aus ausgewählten Schulen) sollten unbedingt4.500 auswertbare Fälle aus der definierten Population bereitstehen (Populationsdefinition sie-he oben).

Die OECD schreibt in PISA für eine positive Teilnahme eines Mitgliedslandes eine sehrhohe Mindest-Rücklaufquote ohne Replacement-Schulen von 85% auf Schulebene vor. Dasbedeutete, dass Österreich seine Rücklaufquoten gegenüber TIMSS enorm steigern musste, umeine ausreichende Stichprobenqualität zu erreichen und in die Reports der OECD aufge-nommen zu werden.

Auf der folgenden Seite finden Sie einen Überblick über die österreichische Stichprobe.


PISA HAUPTTEST 2000REALISIERTE STICHPROBE SCHULEBENEnach Bundesländern

Anzahl Anteil in % Anzahl in % Anzahl in %

Burgenland 6 2,8 0 0,0% 6 100,0%

Kärnten 15 6,9 0 0,0% 15 100,0%

Niederösterreich 38 18,1 0 0,0% 38 100,0%

Oberösterreich 41 19,4 0 0,0% 41 100,0%

Salzburg 15 6,9 0 0,0% 15 100,0%

Steiermark 32 14,8 0 0,0% 32 100,0%

Tirol 17 7,9 0 0,0% 17 100,0%

Vorarlberg 12 5,6 0 0,0% 12 100,0%

Wien 37 17,6 0 0,0% 37 100,0%

Österreich 213 100 0 0,0% 213 100,0%

BundeslandAUSGESANDTE SCHULEN REALISIERTE SCHULENNONRESPONSE HAUPTTEST

Abbildung III.3: Die 213 Schulen der HT-Stichprobe, der Rücklauf betrug 100%

Abbildung III.4: Von den 5.480 Schüler/innen des Jg.1984 konnten 86,6% getestet werden.

Die beiden Tabellen auf dieser Seite zeigen die Größe der geplanten und realisierten Haupt-teststichprobe (213 Schulen mit 5.480 Schüler/innen des Jahrgangs 1984). Während aufSchulebene ein perfekter Rücklauf realisiert werden konnte (von jeder Schule haben wir ei-nen Großteil der Hefte ausgefüllt zurückbekommen), war auf Schülerebene ein quasi unver-meidlicher Ausfall von rund 13,4% zu beklagen (rund 5% Ausschlüsse vorab und rund 8%fehlende/kranke Schüler/innen). Genauere Angaben finden Sie dazu in den Abschnitten V undVII.

PISA HAUPTTEST 2000

REALISIERTE STICHPROBE SCHÜLER/INNEN (TESTHEFTE)nach Stratum

Anzahl in % Anzahl in % Anzahl in %

02 Hauptschule 255 4,7 60 23,5% 195 76,5%

03 Polytechnische Schule 529 9,7 78 14,7% 451 85,3%

04 Sonderschule 57 1,0 33 57,9% 24 42,1%

05 Gymnasium 420 7,7 46 11,0% 374 89,0%

06 Realgymnasium und wirtschaftskundliches RG 342 6,2 37 10,8% 305 89,2%

07 Oberstufenrealgymnasium 292 5,3 35 12,0% 257 88,0%

08 Sonstige Allgemeinbildende Schulen/mit Statut 54 1,0 5 9,3% 49 90,7%

09 Berufsschule (technisch-gewerblich) 786 14,3 102 13,0% 684 87,0%

10 Berufsschule (kaufmännisch/Handel und Verkehr) 250 4,6 62 24,8% 188 75,2%

11 Berufsschule (landund forstwirtschaftlich) 39 0,7 7 17,9% 32 82,1%

12 BMS gewerblich-technisch-kunstgewerbliche Fachschulen 168 3,1 26 15,5% 142 84,5%

13 BMS kaufmännische/Handelsschulen 240 4,4 35 14,6% 205 85,4%

14 BMS wirtschaftsberuflich-sozialberufliche Fachschulen 253 4,6 23 9,1% 230 90,9%

15 BMS landund forstwirtschaftliche Fachschulen 161 2,9 11 6,8% 150 93,2%

16 BHS technische und gewerbliche höhere Schulen 621 11,3 86 13,8% 535 86,2%

17 BHS kaufmännische höhere Schulen 490 8,9 38 7,8% 452 92,2%

18 BHS höh. Schulen f.wirtschaftl.B./BHS sozialberufl.höh.Sch. 313 5,7 32 10,2% 281 89,8%

19 BHS landund forstwirtschaftliche höhere Schulen 105 1,9 11 10,5% 94 89,5%

20 Anstalten der Lehrerbildung und Erzieherbildung 105 1,9 8 7,6% 97 92,4%

Total 5480 100 735 13,4% 4745 86,6%

STRATUMSCHÜLER laut LISTE NONRESPONSE HT REALISIERT


1.4 Frameworks und Test-Domänen: Was getestet wurde

1.4.1 Die drei Kompetenzbereiche

Getestet werden die Schüler/innen in drei Bereichen: Lese-Kompetenz, Mathematik und Na-turwissenschaften. Hinter den Definitionen der Kompetenzbereiche steht das Konzept deslebenslangen Lernens. Darauf aufbauend soll ein breites Spektrum jener Fähigkeiten erfasstwerden, die zur Bewältigung von beruflichen und privaten Anforderungen im Leben einesMenschen als notwendig angesehen werden. Im Folgenden finden Sie die Definitionen derKompetenzbereiche (Übersetzung aus dem Englischen durch das Deutsche PISA-Konsorti-um), im Abschnitt IV werden die Kompetenzbereiche im Detail beschrieben.

„Lese-Kompetenz (‚Reading Literacy’) heißt, geschriebene Texte zu verstehen, zu nutzen undüber sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potential weiter-zuentwickeln und am gesellschaftlichen Leben teilzunehmen.“

„Mathematik-Kompetenz (‚Mathematical Literacy’) ist die Fähigkeit einer Person, die Rolle zuerkennen und zu verstehen, die Mathematik in der Welt spielt, fundierte mathematischeUrteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforde-rungen des gegenwärtigen und künftigen Lebens einer Person als konstruktivem, engagier-tem und reflektierendem Bürger entspricht.“

„Naturwissenschafts-Kompetenz (‚Scientific Literacy’) ist die Fähigkeit, naturwissenschaftlichesWissen anzuwenden, naturwissenschaftliche Fragen zu erkennen und aus Belegen Schluss-folgerungen zu ziehen, um Entscheidungen zu verstehen und zu treffen, die die natürlicheWelt und die durch menschliches Handeln an ihr vorgenommenen Veränderungen betref-fen.“

1.4.2 Frameworks

Basierend auf der Leitfrage von OECD/PISA, inwieweit Schüler/innen verschiedener Länderbei Abschluss der Schulpflicht in den drei Domänen „auf das Leben“ vorbereitet sind, wurdenFrameworks entwickelt, welche die zu testenden Bereiche abstecken. Sie dienen als Grundla-ge für die Operationalisierung der Zielfragen und im weiteren Verlauf für die Itemerstellung.Um internationale Vergleichbarkeit zu gewährleisten, wurde ein cross-curricularer Ansatz ge-wählt, der durch weiter gefasste Konzepte die für lebenslanges Lernen wichtigen Kenntnisseund Fähigkeiten abdecken soll.

Die Frameworks für die einzelnen Kompetenzbereiche umfassen folgende Inhalte:• Die Definition des Kompetenzbereichs,• Erläuterungen zur Definition,• die Organisation des Kompetenzbereichs (Gliederung der Domäne nach Kontext, Aspek-

ten, Stoffgebieten, Lösungsprozessen etc.),• Aufgabenmerkmale und Erhebungsstruktur (Festlegung von Itemtypen, -formaten und

Aufteilung der Aufgaben auf die verschiedenen Teilgebiete entsprechend der Organisationdes Bereichs) und

• die Skalenentwicklung.


1.4.3 Das Besondere an Frameworks

In früheren großen internationalen Studien, wie zum Beispiel TIMSS, wurde auf Lehrplan-analysen in allen Teilnehmerstaaten aufgebaut. Als Testgebiet wurde dann der kleinste ge-meinsame Nenner der Lehrpläne festgelegt. Der PISA-Studie wurde ein Expertencurriculumzu Grunde gelegt, welches auf der Basis der Bedürfnisse eines Individuums für lebenslangesLernen entwickelt wurde. In den Frameworks wurden Leistungsnormen für die Kompetenz-bereiche festgelegt, die extern von den Schulsystemen definiert wurden.

Dies ist ein völlig neuer und sehr ambitionierter interessanter Ansatz, der nicht nur Kon-sequenzen auf die Testentwicklung hat, sondern auch bei der Interpretation der Ergebnisseberücksichtigt werden muss.

1.5 Assessmentdesign: Die Organisation des TestsBei der PISA-Studie kommen verschiedene Instrumente zum Einsatz. Leistungsdaten werdenmittels Testheften erhoben, Kontextinformationen mit Fragebögen und zur Erfassung vonDaten zu basalen Lesefertigkeiten wurden ebenfalls Testhefte erstellt. Einen Überblick überalle eingesetzten Erhebungsinstrumente gibt Abbildung III.5.

1.5.1 Die Testinstrumente und ihre Entwicklung

Die Testaufgaben, die auf den oben erwähnten Frameworks basieren, wurden in mehreren Schrit-ten entwickelt. Einen Teil der Aufgaben entwickelte die Item Development Group auf interna-tionaler Ebene. Der andere Teil wurde von den Teilnehmerstaaten eingereicht. Aus diesen Auf-gaben wurde ein erster Itempool erstellt, der durch alle nationalen Zentren begutachtet wurde.Auf Basis der Urteile der nationalen Experten wurden von internationalen Expertengruppen diebesten Aufgaben für den Feldtest ausgesucht und gegebenenfalls überarbeitet.Im Mai 1999 wurde ein Feldtest mit folgenden Zielen durchgeführt:

Abbildung III.5: Erhebungsinstrumente bei PISA 2000

PISA-Testhefte neun rotierte Formen

Zur Messung von Schülerleistungen in den drei Kompetenzbereichen. Jedes Testheft umfasst

zwei Stunden Arbeitszeit. Neun verschiedene Testhefte mit unterschiedlichen Anteilen an Lese-, Mathematik- und Naturwissenschafts-Aufgaben

(60% Hauptdomäne)PISA-Testheft "Spezial" kürzerer Test für

Sonderschulen

Für den Einsatz in Sonderschulen. Testheft "0"

umfasst nur eine Stunde Testzeit (20 Minuten Aufgaben je Kompetenzbereich)

Schülerfragebogen drei rotierte

Formen

Zur Erhebung von Kontextvariablen auf

Schülerebene (ein internationaler Teil, ergänzt durch drei rotierte nationale Fragebogenteile)

Schulfragebogen eine Form Zur Erhebung von Kontextinformationen auf

Schulebene (ein internationaler Teil, ergänzt durch drei nicht rotierte nationale Teile)

Lesefertigkeitstests drei rotierte Formen

Zur Messung der Lesegeschwindigkeit (international) und basaler Lesefertigkeiten (durch

zwei nationale Subtests). Die drei Formen entstehen durch unterschiedliche Aufgaben-

Abfolge in einem Subtest.


• Lieferung erster Daten, wie die Testitems und die Surveyfragen „funktionierten“, um eineVerbesserung der Instrumente für den Haupttest zu ermöglichen.

• Testen der Prozeduren und Abläufe, vom Ziehen der Stichprobe über die Durchführungder standardisierten Testprozeduren bis zur Vorkodierung und der Eingabe der Daten.

Beim Feldtest wurden in Österreich etwa 1.000 Schüler/innen in 35 Schulen getestet. DieDaten aus dem Feldtest dienten der Auswahl und Überarbeitung der Testaufgaben für denHaupttest.

Die PISA-Leistungstests umfassen Aufgaben mit unterschiedlichen Formaten:• Es gibt Aufgaben, bei denen aus mehreren vorgegebenen Antworten eine ausgewählt werden

muss (Multiple-Choice-Aufgaben).• Bei Aufgaben, die eine kurze offene Antwort erfordern, müssen die Schüler/innen kurze

verbale oder numerische Antworten selbst finden und niederschreiben.• Bei komplexen offenen Aufgaben muss eine umfassende verbale Antwort selbst konstruiert,

niedergeschrieben und begründet werden.

1.5.2 Das Design der Testinstrumente

Die Aufgaben aus den Kompetenzbereichen sind in Units (Blöcken) organisiert. Eine Unitumfasst jeweils einen oder mehrere Stimulustexte und mehrere Aufgaben zu einem Thema.Im Feldtest wurden 139 Units getestet. Für den Haupttest wurden daraus die besten Aufga-ben und Units ausgewählt.

Insgesamt wurden im Haupttest 66 Units verwendet. Dies entspricht Aufgabenmaterialim Umfang von 390 Minuten Arbeitszeit. Zwei Drittel davon stammen aus Lesen, jeweils einSechstel machen die Items aus Mathematik- und Naturwissenschafts-Kompetenz aus. Inner-halb jedes getesteten Kompetenzbereichs wurden die Units zu halbstündigen Aufgabenblöckenzusammengefasst. Aus diesen Blöcken wurden neun Testheftversionen erstellt, derenBearbeitungszeit jeweils zwei Stunden beträgt.

Welche Blöcke in welchem Testheft enthalten sind, wurde durch ein Schema festgelegt,mit dem die Blöcke zwischen den Testheften rotiert werden. Durch diese Vorgehensweisekonnten in jedem Kompetenzbereich durch sehr viele Aufgaben Informationen über die Leis-tungen der Schüler/innen gewonnen werden, obwohl jede/r Schüler/in nur eine vergleichs-weise geringe Anzahl von Aufgaben bearbeiten musste.

So entstanden neun Testheftformen, von denen eine ausschließlich Leseaufgaben enthält,drei Formen aus Lese- und Mathematik-Items bestehen, drei Formen Lese- undNaturwissenschafts-Material enthalten und zwei Testheftformen Aufgaben aus allen drei Be-reichen umfassen.

Außerdem wurde ein zehntes Testheft speziell für den Einsatz in Sonderschulen entwi-ckelt, das für nur eine Stunde Bearbeitungszeit konstruiert wurde und je 20 Minuten Lese-,Mathematik- und Naturwissenschafts-Aufgaben umfasst.

Die Details zu den Testinstrumenten beschreibt Abschnitt IV.

1.5.3 Die Fragebögen

Neben den Leistungsdaten wurden zur Beschreibung des Ist-Zustands und zur Beobachtungder Veränderung über die Zeit auf Schul- und Schülerebene zusätzlich Kontextinformationenerhoben.Diese liefern eine detaillierte Grundlage für eine schulpolitisch orientierte Analyse und kön-nen zur Erklärung der Ergebnisse herangezogen werden.


Diese Daten werden international mittels zweier Fragebögen erhoben, einem für die Schüler/innen und einem für die Schulleitungen. Einige wichtige Themen der Schülerbefragung inPISA 2000 sind• demographische Daten (z.B. Alter und Geschlecht),• sozioökonomischer Hintergrund (z.B. Beruf und Schulbildung der Eltern und Unter-

stützung des Lesens durch das Elternhaus),• die schulische Karriere der Person,• die Einstellungen der Schüler/innen zum Lesen und ihre Lesegewohnheiten,• vorhandene und nutzbare Lernressourcen in Schule und Elternhaus,• einige Instruktionspraktiken aus der Sicht der Schüler/innen sowie• Lesen mit/in elektronischen Medien.Im Schulfragebogen wurden unter anderem Basisdaten zur Schule (Schultyp, Schulgröße,Klassenzahl, Lehrerzahl etc.) sowie Informationen über Schulressourcen und Lernumgebung,Kontext von Unterricht und Erziehung, Beteiligung von Eltern und Schüler/innen und Maß-nahmen der Qualitätsentwicklung erhoben.

Im Anhang finden Sie die Fragebögen im Original. Mehr Details entnehmen Sie Abschnitt IV.

1.6 Datenerhebung/Field OperationsIn einem relativ eng definierten Testfenster – in Österreich innerhalb von sechs Wochenzwischen Mitte April und Ende Mai 2000 – fanden alle PISA-Testungen der ersten Haupter-hebung des PISA-Zyklus statt. In diesem Zeitraum wurden etwa 5.000 Schüler/innen in 213österreichischen Schulen von geschulten, externen Testadministratoren getestet.

Ein vollständiger PISA-Test umfasste ein zweistündiges Testheft (mit einer Pause zwi-schen den beiden Testteilen), einen internationalen und zwei nationale Tests zu basalen Lese-fertigkeiten, den internationalen Schülerfragebogen und eine Form des nationalen Zusatz-schülerfragebogens PISA Plus.Um möglichst viele der ausgewählten Schüler/innen testen zu können, wurden Nachtests inallen Schulen durchgeführt, in denen bei der ersten Testsitzung mehr als 15% der gesampeltenSchüler/innen gefehlt hatten.

Die Aufgaben in Bezug auf die Testdurchführung wurden den teilnehmenden Schulen soweit wie möglich abgenommen. Einerseits erfolgte dies durch das nationale Projektzentrum,andererseits durch den Einsatz externer Testadministratoren. Für die verbleibenden Tätigkei-ten wurde jede Schule gebeten, eine/n Lehrer/in, den „Schulkoordinator“, als fixen Ansprech-partner für das PISA Zentrum und die Testadministratoren zu bestimmen.

Abbildung III.6: Ablauf der Erhebung bei den Schüler/innen(Gesamtdauer mit Pausen ca. 3 Std. 20 min)

Begrüßung undEinleitung durch TA

PISA Testheft2 x 60 min

Test Lese-fertigkeit

PISA Schüler-fragebogen

Zusatzteil imSchülerfragebogen

International InternationalNational (PISA Plus) National (PISA Plus)

(mit Pause) ca. 15 min ca. 30 min ca. 15-20 min


Für die Datenerhebung wurde ein stehendes Netz an Testadministratoren in allen Bundeslän-dern aufgebaut, dem vor allem erfahrene Lehrer/innen der pädagogischen Institute angehö-ren. Die Testadministratoren wurden vor dem Feld- und dem Haupttest in einem halbtägi-gen Training auf ihre Aufgabe vorbereitet. Sie wurden sowohl über die PISA-Studie infor-miert als auch für die standardisierte Untersuchungsdurchführung eingeschult. Die Teilnah-me war obligatorisch.

Der Einsatz von externen Testadministratoren soll folgende Qualitätsaspekte sichern:• Objektivierung der Testsitzungen (Leitung durch einer schulexternen Person);• kontrollierterer und standardisierterer Ablauf durch intensive Schulung;• Motivation der Testleiter, da sich die Testadministratoren freiwillig für diese Aufgabe

entscheiden;• höhere Teilnahmebereitschaft der Schulen durch Aufwandsminimierung;• Sicherung der Vertraulichkeit in Bezug auf persönliche Angaben der Schüler/innen.Detaillierte Informationen zu den Field Operations finden sich in Abschnitt VI.

1.7 Dateneingabe und -verarbeitungDie PISA-Leistungstests umfassten auch Aufgaben mit offenem Antwortformat. Diese musstenvor der Dateneingabe in den Computer einer Vorkodierung – dem so genannten Marking –unterzogen werden. Bei PISA 2000 wurde dies von speziell für diesen Zweck angestellten,geschulten Personen durchgeführt. Die Qualität wurde durch laufende Überprüfungen undein so genanntes Multiple Marking im Feld- und im Haupttest sichergestellt. Dabei wurdeeine Stichprobe der Antworten von mehreren Personen unabhängig voneinander beurteilt.

Die Dateneingabe erfolgte teils manuell mit Hilfe einer speziell für PISA entwickeltenSoftware, teils elektronisch mittels Scanners. Die Qualität der Daten wurde nicht nur durchein spezielles Training des Data-Entry-Staffs (Kodierer) sichergestellt, sondern auch durchumfangreiche File-Cleaning-Prozeduren auf nationaler und internationaler Ebene. Hierbeiwurden sowohl verschiedenste Arten von Integritätschecks als auch Überprüfungen auf Plau-sibilität durchgeführt.

Detaillierte Beschreibungen aller Abläufe zur Dateneingabe und -verarbeitung finden sich inAbschnitt VIII.

1.8 QualitätssicherungIn einer weltweit durchgeführten Studie wie PISA muss ein besonderes Augenmerk auf alleAspekte der Qualität und der fairen Vergleichbarkeit gelegt werden. Dies betrifft die interna-tionale Konstruktion der Test- und Befragungsinstrumente, die Übersetzungsprozeduren, diekorrekte Auswahl der Schulen und Schüler/innen, den kontrollierten Ablauf des Tests an denSchulen und die sorgfältige Eingabe und Auswertung der erhobenen Daten. Dazu wurde vonder OECD ein Qualitätsmonitoring durchgeführt, das aus drei Teilen bestand:

Qualität der nationalen Projektzentren: Jedes der 32 nationalen Projektzentren wurde vonExperten (National Centre Quality Monitors, NCQM) der OECD/A.C.E.R. besucht undalle wesentlichen nationalen Maßnahmen (z.B. Übersetzung, Ziehen der Stichprobe) wurdenbesprochen und geprüft.

Qualität der Datenerhebung: In jedem Teilnehmerland besuchten Beauftragte des Interna-tionalen Projektzentrums (School Quality Monitors, SQM) rund 25 bis 35 Schulen währendder Durchführung der Tests und kontrollierten die Testadministration. Sie beobachteten dieTestprozeduren und erstellten einen Bericht, der Aufschluss darüber gibt, wie genau die inter-national vorgeschriebenen Testprozeduren eingehalten wurden.


Qualität der kodierten Datensätze: Die nationalen Projektzentren mussten sich strikt anKontrollprozesse bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasishalten. Sämtliche Datensätze wurden inklusive der technischen Dokumentation an das Inter-nationale Zentrum weitergeleitet.

Eine detaillierte Beschreibung von Maßnahmen zur Qualitätssicherung und -kontrolle mit be-sonderem Augenmerk auf die Durchführung des Projekts in Österreich findet sich in Abschnitt IX.

1.9 Datenanalyse und geplante ReportsDie Analyse der Daten und die Publikation der Ergebnisse erfolgt parallel auf zwei Ebenen:international durch die OECD und national durch das Österreichische PISA Projektzentrum.Geplant sind folgende Publikationen:• Ein „Initial Report“, gefolgt von „Thematischen Reports“ in mehreren Bänden auf inter-

nationaler Ebene;• Auf nationaler Ebene ein „Initial Report“ und ein Sammelband mit thematischen Analysen

angelehnt an die internationalen Berichte mit dem Ziel, österreichspezifische Themenund detaillierte Analysen für Österreich zu publizieren;

• Zwei Reports bezüglich der Daten aus den nationalen Zusatzprojekten (ein deskriptiverohne Einbeziehung von Leistungsdaten aus den internationalen PISA-Tests und einthematisch orientierter unter Verwendung der Ergebnisse der PISA-Leistungstests).

2. Nationale Zusatzprojekte – PISA PlusSowohl der Schul- als auch der Schülerfragebogen sind durch nationale Zusatzerhebungenangereichert. Dabei werden in jedem Zyklus schwerpunktmäßig relevante Zusatzinformationenerhoben, die unter dem Namen PISA Plus zusammengefasst werden. Bei PISA 2000 warendies fünf Projekte:• Lesegewohnheiten und Lesesozialisation von 15-/16-jährigen österreichischen Schüler/

innen und die Rahmenbedingungen der Leseförderung an Schulen (Margit Böck);• Basale Lesefertigkeiten und Lesegeschwindigkeit (Karin Landerl)• Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu Sekundarstufe II

(Ferdinand Eder);• Qualität an Schulen – Qualitätsmaßnahmen an österreichischen Schulen aus Sicht der

Schulleiter/innen und Schüler/innen (Günter Haider);• Moderne Informationstechnologien im Unterricht und die Nutzung von Computer und

Internet durch die Schüler/innen (Claudia Reiter).Im Abschnitt IV (Kapitel 3) beschreiben die Autor/innen die PISA Plus-Instrumente ausführlich.

Aus den nationalen Schülerfragebogenteilen wurden drei Formen zusammengestellt: Form Aenthält die Fragen zum Lesen, Form B umfasst Befindlichkeit und Schulerfolg und Form Cbesteht aus den Fragebögen zu Schulqualität und Informationstechnologien. Diese Teile be-finden sich am Ende des internationalen Schülerfragebogens.

Die drei Fragebogenformen werden nach einem Schema rotiert, so dass jedem PISA-Testheft eine Form A, B oder C zugeordnet wird. So kann einerseits eine große Menge anInformation gesammelt und andererseits die individuelle Bearbeitungszeit in Grenzen gehal-ten werden.


Das Testheft zu basalen Lesefertigkeiten wurde bei PISA 2000 allen Schüler/innen vorgelegt.Zwar gab es auch hier drei Formen – diese unterschieden sich jedoch nur durch die Reihen-folge der Aufgaben innerhalb eines Subtests.

Die Projekte Lesen, Schulqualität und Informationstechnologien enthalten auch Schul-leiterbefragungen. Diese waren im Schulfragebogen nach den internationalen Fragestellun-gen angefügt (ca. 20 Minuten zusätzliche Fragen).

I VIVIVIVIVIVIVIVIVIV

In diesem Abschnitt werden die drei Leistungsbereiche genau definiert und exempla-rische Testbeispiele formuliert. Weiters werden die wichtigsten Variablen der Kontext-fragebögen beschrieben. Danach geben Experten einen Überblick über die von ih-nen entwickelten nationalen Zusatzprojekte (PISA Plus).

1. Testinstrumente1.1 Konzeptuelle Modelle und Aufbau des Itempools1.2 Testentwicklung1.3 Begutachtung des Feldtest-Itempools durch Expertengruppen in Österreich1.4 Itemanalyse und Review der Feldtestaufgaben (International)1.5 Testdesign Haupttest 2000

2. Die Kontextfragebögen2.1 Das Forschungsmodell (Mehrebenenmodell)2.2 Der internationale Schulfragebogen2.3 Der internationale Schülerfragebogen2.4 Cross-Curricular-Competencies (CCC)

3. Nationale Zusatzerhebungen3.1 Lesegewohnheiten3.2 Basale Lesefertigkeiten - Reading Speed3.3 Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu II3.4 Nutzung von Informationstechnologien3.5 Qualität in Schulen

4. Übersetzung und Adaption der Testinstrumente4.1 Die international festgelegte Übersetzungsprozedur4.2 Umsetzung der internationalen Übersetzungsrichtlinien in Österreich

Herzlichen Dank an die PISA Plus Autor/innen (Margit Böck, Ferdinand Eder, Günter Haider,Karin Landerl, Claudia Reiter) für ihre Beiträge zu diesem Abschnitt.

Birgit Lang

DIE TESTINSTRUMENTEUND FRAGEBÖGEN


1. Testinstrumente

1.1 Konzeptuelle Modelle und Aufbau des ItempoolsBasierend auf der Leitfrage von OECD/PISA, ob Schüler/innen verschiedener Länder beiAbschluss der Schulpflicht auf lebenslanges Lernen vorbereitet sind, wurden Frameworksentworfen, die die zu testenden Bereiche abstecken und als Grundlage für die Operational-isierung der Zielfragen und im weiteren Verlauf für die Itemerstellung dienen. Untersuchtwerden die Bereiche Lese-, Mathematik- und Naturwissenschafts-Kompetenz, wobei sich derenDefinitionen nicht in erster Linie an den Lehrplänen der Teilnehmerstaaten orientieren.

Im Folgenden wird ein Überblick über die Frameworks der drei oben genanntenLeistungsbereiche gegeben (im Anhang befindet sich der deutschen Frameworks, welche dieDomänen Lese,- Mathematik- und Naturwissenschaftskompetenz beschreiben). In allen dreiBereichen wird jeweils die Definition der zu untersuchenden Kompetenzen formuliert, sowiedie Organisation der Domäne kurz umrissen und die geplanten „Proficiency Scales“ (sieheKapitel 1.3 in Abschnitt II) zur Berichterstattung kurz beschrieben (die Endversionen werdenerst im Juni 2001 vorliegen), wobei jeweils nur der unterste (Level 1) und der oberste Level(Level 5) erläutert werden.

1.1.1 Lese-Kompetenz

Lese-Kompetenz wird nicht mehr als eine nur in der Kindheit, also während der erstenSchuljahre erworbene Fähigkeit angesehen, sondern als ein ständig wachsendes Repertoire anKenntnissen, Fähigkeiten und Strategien, die lebenslang in verschiedenen Kontexten unddurch Interaktion mit Altersgenossen erweitert werden. Die genaue Definition der Lese-kompetenz, die im Rahmen von PISA verwendet wird, lautet:

„Lese-Kompetenz (reading literacy) heißt, geschriebene Texte zu verstehen, zu nutzen und über siezu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potential weiterzuentwickelnund am gesellschaftlichen Leben teilzunehmen“ (Deutsches PISA-Konsortium, 2000).

Der Ausdruck “Lese-Kompetenz” wurde gewählt, um zu verdeutlichen, dass hiermit nichtLesen als einfache Dekodierung oder lautes Lesen verstanden wird, es also nicht um „Lesenkönnen“ als Abgrenzung zum Analphabetismus geht. Mit der Erwähnung “Reflektieren” vonTexten in der Definition soll herausgestrichen werden, dass es um aktives Lesen geht. Untergeschriebenen Texten sind hier alle Arten von Texten zu verstehen, bei denen Sprache eingesetztwird, auch Diagramme, Karten oder Grafiken. Die zweite Hälfte der Definition verdeutlicht,dass Lese-Kompetenz in verschiedenen Bereichen sowohl die Gelegenheit, einen Beitrag zurGesellschaft zu leisten, als auch die Erfüllung eigener Bedürfnisse ermöglicht.

Für die Organisation der Domäne Lese-Kompetenz gibt es drei Kriterien: Situation, Texttypund Textrubrik.

Situation

Unter der Situation wird der Kontext, in dem ein Text typischerweise gelesen wird, sowie Zielund Zweck des Lesens eines Textes verstanden. Das Merkmal „Ziel und Zweck“ ist als eineForm der Kategorisierung von Aufgaben nach folgenden Kriterien zu verstehen:• die beabsichtigte Verwendung des Textes (Lesen zum privaten Gebrauch, Lesen zum

öffentlichen Gebrauch, Lesen für den Beruf und Lesen zu Bildungszwecken),

Abschnitt IV: Die Testinstrumente und Fragebögen 69

Abbildung IV.1: Verteilung der kontinuierlichen Texte

• die in der Aufgabe implizit oder explizit enthaltenen Bezüge zu anderen Personen(z.B. Freunde, Verwandte und Kollegen),

• die allgemeinen Inhalte (z.B. Briefe, Romane, Handbücher und Tabellen) der Aufgaben.

Texttypen

Eine wichtige Form der Klassifizierung von Texten, die im Rahmen von PISA als zentraleGrundlage der Organisation des Lesetests dient, besteht in der Unterscheidung zwischenkontinuierlichen und nicht-kontinuierlichen Texten. Eine Übersicht über die potentielleVerteilung der Items auf die Kategorien geben die Abbildungen IV.1 und IV.2.

Kontinuierliche Texte bestehen üblicherweise aus Sätzen, die in Absätze gegliedert sind,die wiederum Teil von größeren Strukturen wie Abschnitten, Kapiteln oder Büchern seinkönnen. Kontinuierliche Texttypen sind Beschreibungen (Erzählungen, Berichte, Nachrichten),Darlegungen (darlegende Essays, Definitionen, Erläuterungen, Zusammenfassungen, Prot-okolle, Textinterpretationen), Argumentationen (Kommentare, wissenschaftliche Argumen-tationen), Anweisungen (Anleitungen, Regeln) und Hypertexte.

Nicht-kontinuierliche Texte liegen häufig im Matrixformat vor und beruhen auf Kombina-tionen von Listen. Diese erfordern deshalb andere Arten von Leseverhalten. Solche Textemüssen unter zwei Gesichtspunkten betrachtet werden. Der erste umfasst die Textstruktur(einfache Listen, kombinierte Listen, Matrixlisten und verschachtelte Listen) und der zweitebetrifft das Format (Formulare, Informationsblätter, Gutscheine, Bescheinigungen, Aufrufeund Anzeigen, Schaubilder und grafische Darstellungen, Diagramme, Tabellen und Matri-zen, Listen und Karten).

Argumentation20%

Anweisung7%

Erzählung20%

Beschreibung20%

Darlegung33%


Text-Rubriken

Dieser Begriff bezieht sich auf die Merkmale der Fragen und Anweisungen der Aufgaben, aufdie Formate, die den Schüler/innen für ihre Antworten vorgegeben werden, und auf dieRichtlinien für die Bewertung dieser Antworten.

Die Fragen und Anweisungen beinhalten ein Ziel oder einen Zweck, den sich die Leser zuEigen machen sollen, während sie den Text lesen und mit ihm interagieren. Die Aufgaben,die den Schüler/innen gestellt werden, können aus einer Makro- und einer Mikroperspektivebetrachtet werden.

Auf der Makroebene lassen sich die Aufgaben anhand von fünf allgemeinen Aspekten desLesens bestimmen:• allgemeines Textverständnis,• Informationen heraussuchen,• Textinterpretation,• über den Inhalt eines Textes reflektieren,• über die Form eines Textes reflektieren.Die Verteilung der Aufgaben über diese fünf Bereiche insgesamt sowie in Verbindung mitkontinuierlichen und nicht-kontinuierlichen Texten ist aus der Abbildung IV.3 ersichtlich.

Auf der Mikroebene wurden drei Prozessvariablen identifiziert, die bei der praktischen Um-setzung der zuvor genannten fünf Aspekte berücksichtigt werden:• die Art der zu ermittelnden Informationen,• die Art der Entsprechung zwischen gegebenen und zu ermittelnden Informationen,• die Plausibilität von ablenkenden Informationen.

Schematische Zeichnungen

10%

Karten10%

Formulare8%

Anzeigen6%

Diagramme/ grafische

Darstellungen33%

Tabellen33%

Abbildung IV.2: Verteilung der nicht-kontinuierlichen Texte


Abbildung IV.3: Verteilung der Texte auf Textrubriken und -formate

Bei den Antwortformaten werden den Schüler/innen nicht nur Multiple-Choice-Formatevorgegeben, sondern auch offene Antworten gefordert, bei denen sie ein breiteres Spektrumvon Prozessen und Strategien aktivieren müssen (siehe Kapitel 1.1.4 in diesem Abschnitt).Als Richtlinie für die Bewertung der Aufgaben gibt es einen „Marking Guide“. Im MarkingGuide wird genau beschrieben, wie die Codes bei den Antworten zu vergeben sind. JeneItems, die frei formulierte Antworten verlangen, müssen vorkodiert werden. Für diese Itemswerden teilweise nur dichotome Codes (richtig – falsch oder ausreichend – nicht ausreichend)vergeben, teilweise auch abgestufte Punktewerte (einfache oder Double Digit Codes, sieheAbschnitt VIII, Kapitel 1). Bei den Multiple-Choice-Aufgaben erfolgt keine derartige Vor-kodierung – hier ist lediglich die richtige Antwortalternative im Marking Guide enthalten.

Proficiency Scales zur Berichterstattung

Für die Berichterstattung der Ergebnisse aus dem Bereich Lesen wurden folgende drei Sub-Skalen definiert: Reflektieren über Information, Interpretieren von Information undHeraussuchen von Information. Für jeden dieser drei Subbereiche wurden fünf Leistungslevelsdefiniert, in denen genau beschrieben ist, was die Schüler/innen leisten müssen, damit ihnender jeweilige Kompetenz-Level zugeschrieben wird.

Das Reflektieren über Information auf dem 1. Level verlangt von den Schüler/innen, dasssie Hypothesen über einen Text entwickeln und eine Verbindung zwischen dem Text undihrem zusätzlichen Wissen herstellen können, wenn die Faktoren, die dazu benötigt werden,explizit vorhanden sind, die relevanten Teile des Textes kurz und unkompliziert sind,Allgemeinwissen oder persönliches Wissen relevant ist und der Text wörtlich verstanden werdenmuss. Der höchste Leistungslevel (Level 5) hingegen fordert die Evaluation der Text-eigenschaften oder das Bilden von Hypothesen, wenn die wichtigen Faktoren gefolgert odergeneriert werden müssen, das Wissen aus bekannten und unbekannten Texten abgeleitet werdenmuss, ein tiefes und breites Verstehen eines Textes notwendig ist und wenn es eine großeBandbreite von möglichen Hypothesen gibt.

Anteil des TestsAnteil der

kontinuierlichen Texte

Anteil der nicht-

kontinuierlichen Texte

Allgemeines

Textverständnis20% 13% 7%

Informationen

heraussuchen20% 13% 7%

Immanente

Textinterpretation30% 20% 10%

Über den Inhalt

reflektieren15% 10% 5%

Über die Form

reflektieren15% 10% 5%

Gesamt 100% 66% 34%


Das Interpretieren von Information verlangt auf dem 1. Level das Erkennen der Hauptidee desTextes oder den direkten Vergleich von Teilen des Textes miteinander, wenn die wichtigen Fakto-ren klar spezifiziert sind, die relevante Information im Text bekannt ist, es kaum rivalisierendeInformation gibt und das Thema bekannt ist.

Auf dem Level 5 müssen die Schüler/innen komplexe Interpretationen machen (z.B. Ex-trapolieren und Kontrastieren), die manchmal vielschichtige Arten von Interpretationen undmehrere Schritte involvieren, wobei die Faktoren, die notwendig sind und die Information,die gefragt ist, gefolgert werden muss, das Thema unbekannt ist und es viel rivalisierendeInformation gibt.

Auf dem ersten Level der letzten Sub-Komponente Heraussuchen von Information wirdvon den Schüler/innen die Lokalisierung eines bestimmten Teiles einer Information verlangt.Z.B. wenn es nur einen einzelnen wichtigen Faktor gibt, der explizit gemacht wird oderdirekt gefolgert werden kann, wenn die Information, die aus dem Text herausgesucht werdenmuss, wörtlich vorhanden ist oder nur ein geringes Ausmaß an Folgerungen verlangt undwenn es nur wenig rivalisierende Information gibt. Auf dem 5. Level müssen die Schüler/innen einen Text nach der Information durchsuchen, die gefragt ist, wenn mehrere Faktorenin Betracht gezogen werden müssen, wobei einige nicht explizit spezifiziert sind, Schluss-folgerungen gemacht werden müssen, um die gefragte Information aus dem Text zu erhaltenund es viel rivalisierende Information gibt (eine genauere Beschreibung findet sich im Anhang).

1.1.2 Mathematik-Kompetenz

In diesem Bereich geht es um die Fähigkeit von Schüler/innen, ihre mathematischen Kompe-tenzen zu nutzen, um die Herausforderungen der Zukunft zu meistern. Der Bereich erfasstsomit die Fähigkeit, mathematische Ideen in effektiver Weise zu analysieren, zu begründenund mitzuteilen, indem mathematische Probleme in einer Vielzahl von Bereichen und Situa-tionen gestellt, formuliert und gelöst werden.

Die Definition mathematischer Kompetenz im Rahmen von PISA lautet:„Mathematik-Kompetenz ist die Fähigkeit einer Person, die Rolle zu erkennen und zu verstehen,die Mathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und sich auf eineWeise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigenLebens dieser Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht“(Deutsches PISA-Konsortium, 2000).

Der Begriff “Mathematik-Kompetenz” soll verdeutlichen, dass sich diese Domäne nicht aufdie Kenntnis der mathematischen Terminologie, Fakten und Verfahren beschränkt, sondernmathematische Kenntnisse in verschiedenen Kontexten und auf unterschiedliche Weise genutztwerden sollen. “Die Welt” bezeichnet das gesamte – persönliche, berufliche, soziale undkulturelle – Umfeld des Menschen; dies wird durch die Verwendung des Ausdrucks “gegenwärtigesund künftiges Leben” noch unterstrichen.

Bei der Organisation dieses Gegenstandsbereiches werden zwei Haupt- und zwei Neben-aspekte unterschieden. Die zwei Hauptklassen sind mathematische Kompetenzen undmathematische Leitideen und die Nebenaspekte sind curriculare Teilbereiche der Mathematiksowie Situationen und Kontexte. Die Hauptaspekte dienen dazu, den Bereich, der mit dieserErhebung erfasst wird, abzustecken und Leistungen zu beschreiben. Die Nebenaspekte wurden


verwendet, um zu gewährleisten, dass der Bereich angemessen breit abgedeckt ist und einausgewogenes Spektrum von Aufgaben ausgewählt wird.

Mathematische Kompetenzen

Mathematische Kompetenzen sind allgemeine Fähigkeiten und Kompetenzen. Es handeltsich bei diesem Aspekt um eine hierarchisch aufgebaute Liste von Fähigkeiten, die für alleEbenen des Lehrens und Lernens von Mathematik relevant sind:• die Fähigkeit, mathematisch zu denken,• die Fähigkeit, mathematisch zu argumentieren,• die Fähigkeit zur mathematischen Modellierung,• die Fähigkeit, Probleme zu stellen und zu lösen,• die Fähigkeit, mathematische Darstellungen zu nutzen,• die Fähigkeit, mit den symbolischen, formalen und technischen Elementen der Mathematik

umzugehen,• die Fähigkeit, zu kommunizieren,• die Fähigkeit, Hilfsmittel einzusetzen und zu gebrauchen.

Um den Aspekt der mathematischen Kompetenzen durch die Konstruktion von Itemsoperationalisieren zu können, wurden die genannten Fähigkeiten zu drei größeren Kompetenz-klassen zusammengefasst:• Wiedergabe, Definition und Berechnungen,• Querverbindungen und Zusammenhänge herstellen, um Probleme zu lösen,• einsichtsvolles mathematisches Denken und Verallgemeinern.

Alle oben genannten Fähigkeiten dürften in jeder der drei Kompetenzklassen eine Rolle spielen.Die Klassen bilden ein konzeptuelles Kontinuum, das von der reinen Wiedergabe von Faktenund einfachen Rechenfähigkeiten über die Fähigkeit, Verknüpfungen zwischen verschiedenenBereichen herzustellen, um einfache Probleme zu lösen, bis zur dritten Klasse reicht, nämlichdie „Mathematisierung“ von realitätsnahen Problemen und die Reflexion über Lösungen imKontext dieser Probleme unter Anwendung mathematischen Denkens, Argumentierens undVerallgemeinerns. Diese Beschreibung legt nahe, dass die Kompetenzklassen insofern eineHierarchie bilden, als Aufgaben, für die Kompetenzen der dritten Klasse erforderlich sind, imAllgemeinen schwieriger sein dürften als Aufgaben, die Kompetenzen aus Klasse 2 erfordern.Dies bedeutet jedoch nicht, dass alle Fähigkeiten der Klasse 2 Voraussetzung für jede Fähigkeitder Klasse 3 sind.

Mathematische Leitideen

Mathematische Leitideen sind bedeutungshaltige, stark miteinander vernetzte mathematischeKonzepte, wie sie in realen Situationen und Kontexten auftreten. Folgende Leitideen wurdenim Rahmen von PISA verwendet:• Zufall,• Veränderung und Wachstum,• Raum und Form,• quantitatives Denken,• Ungewissheit,• Abhängigkeit und Beziehungen.


Im ersten Zyklus von PISA, in dem Mathematik nur eine Nebendomäne ist, kann dieMathematik-Kompetenz aufgrund der begrenzten Testzeit nicht in ihrer ganzen Bandbreiteerfasst werden. Der erste Zyklus konzentriert sich deshalb auf die mathematischen LeitideenVeränderung und Wachstum sowie Raum und Form.

Curriculare Teilbereiche der Mathematik

Mit diesem Aspekt ist der Inhalt der Schulmathematik angesprochen, wie er in vielenLehrplänen enthalten ist. Im Rahmen von PISA werden folgende Bereiche berücksichtigt:• Arithmetik,• Größen und Größenordungen,• Algebra,• Funktionen,• Geometrie,• Wahrscheinlichkeit,• Statistik,• diskrete Mathematik.

Situationen und Kontexte

Dieser zweite Nebenaspekt betrifft den allgemeinen Rahmen, in dem die mathematischenProbleme präsentiert werden. Fünf Situationen umfasst dieser Bereich: persönlich, bildungs-bezogen, beruflich, öffentlich und wissenschaftlich.

Wie die Lese-Kompetenz soll auch die Mathematik-Kompetenz mit einer Kombinationaus Items mit Multiple-Choice-Formaten und Items mit offenem Antwortformat gemessenwerden. Unter den Items mit offenem Antwortformat gibt es sowohl Aufgaben, für die es nureine richtige Lösung gibt, als auch Fragen, die mehrere richtige Antwortmöglichkeiten haben.Bei Items, die mehrere richtige Antworten haben, müssen die Schüler/innen ausführlicherantworten, und der Antwortprozess erfordert in der Regel Aktivitäten höherer Ordnung. DieSchüler/innen müssen nicht nur eine Antwort formulieren, sondern auch die Schritte angeben,die zur Lösung geführt haben bzw. erklären, wie sie zu der Antwort gekommen sind. Auchdiese Items müssen wieder nach den Richtlinien des Marking Guides verkodet werden.

Proficiency Scales zur Berichterstattung

Proficiency Levels für Mathematik werden erst etabliert, wenn dieser Bereich die Haupt-domäne ist (2003).

1.1.3 Naturwissenschafts-Kompetenz

Eine für die eigenverantwortliche Lebensgestaltung junger Menschen wichtige Kompetenz istdie Fähigkeit, aus vorliegenden Informationen und Befunden angemessene und vorsichtigeSchlussfolgerungen zu ziehen, Behauptungen anderer Personen anhand der angeführten Belegezu kritisieren und durch Belege gestützte Aussagen von bloßen Meinungen zu unterscheiden.Den Naturwissenschaften kommt hier eine besondere Rolle zu, da sie sich mit der rationalenÜberprüfung von Ideen und Theorien anhand von Befunden aus unserer Umwelt befassen.PISA definiert naturwissenschaftliche Kompetenz als„Die Fähigkeit, naturwissenschaftliches Wissen anzuwenden, naturwissenschaftliche Fragen zu er-kennen und aus Belegen Schlussfolgerungen zu ziehen, um Entscheidungen zu verstehen und zutreffen, die die natürliche Welt und die durch menschliches Handeln an ihr vorgenommenen Ver-


änderungen betreffen“ (Deutsches PISA-Konsortium, 2000).Die Organisation des Gegenstandsbereiches umfasst drei Aspekte: naturwissenschaftliche Pro-zesse, naturwissenschaftliche Konzepte und Situationen. Messungen der naturwissenschaftli-chen Kompetenz erfassen immer eine Kombination aus allen drei Aspekten.

Naturwissenschaftliche Prozesse

Prozesse sind mentale Handlungen, die beim Konzipieren, Erheben, Interpretieren und An-wenden von Belegen oder Daten ausgeführt werden, um Wissen oder Verständnis aufzubau-en. Folgende fünf naturwissenschaftliche Prozesse wurden für PISA ausgewählt:• Fragestellungen erkennen, die naturwissenschaftlich untersucht werden können,• Belege/Nachweise identifizieren, die in einer naturwissenschaftlichen Untersuchung be-

nötigt werden,• Schlussfolgerungen ziehen oder bewerten,• gültige Schlussfolgerungen kommunizieren,• Verständnis naturwissenschaftlicher Konzepte zeigen.

Naturwissenschaftliche Konzepte

Naturwissenschaftliche Konzepte helfen uns, bestimmte Aspekte der natürlichen und dervom Menschen geschaffenen Welt zu verstehen. Im Rahmen von PISA wird die Auswahl dernaturwissenschaftlichen Konzepte, die erfasst werden sollen, durch vier Kriterien bestimmt:• Relevanz für alltägliche Situationen: Naturwissenschaftliche Konzepte unterscheiden sich

im Grad ihrer Nützlichkeit für das tägliche Leben.• Die ausgewählten Konzepte und Inhalte sollten eine bleibende Bedeutung für das Leben

im nächsten Jahrzehnt und darüber hinaus haben.• Relevanz der Konzepte für Situationen, die für den Nachweis naturwissenschaftlicher

Kompetenz geeignet sind.• Die Konzepte sollen eine Verknüpfung mit ausgewählten naturwissenschaftlichen Prozessen

gestatten.

Situationen

Die Situation, in welche die Probleme eingebettet sind, ist das dritte Merkmal von Testaufgaben,das die Leistung beeinflusst. Wichtig ist, dass die Aufgaben Situationen aus dem Lebenallgemein und nicht nur aus dem Leben in der Schule widerspiegeln. Realitätsnahe Situationenbeinhalten Probleme, die uns als Individuen betreffen können (z.B. Nahrungsmittel- undEnergieverbrauch), als Mitglieder einer lokalen Gemeinschaft (z.B. Trinkwasseraufbereitungoder Standortsuche für ein Kraftwerk) oder als Bürger der Welt (z.B. globale Erwärmung,Abnahme der Artenvielfalt). All diese Situationen sind im Spektrum der Testaufgaben vonPISA vertreten. Im Rahmen von PISA betreffen die Items also Angelegenheiten, die sich auf dieeigene Person und Familie (persönlich), auf die Gemeinschaft (öffentlich) oder auf die ganze Welt(global) beziehen. Weiterhin wird die Entwicklung naturwissenschaftlichen Wissens und der Einflussdieses Wissens auf gesellschaftliche Entscheidungen angesprochen (historische Relevanz).


Proficieny Scales zur Berichterstattung

Proficiency Levels für den Bereich Naturwissenschaft werden voraussichtlich erst entwickelt,wenn dieser Bereich die Hauptdomäne ist (2006).

1.1.4 Antwortformate und exemplarische Beispiele von Testaufgaben

Die Items bei PISA sind in Form von Units aufgebaut. Eine Unit beinhaltet jeweils einenoder mehrere Stimuli (in Form von Texten, Diagrammen, etc.) und mehrere Fragen. Es gibtUnits für die Bereiche Lesen, Mathematik und Naturwissenschaften.

Bei den Items werden verschiedene Typen verwendet, die je nach Art der gefordertenAntwort unterschiedlich kategorisiert werden. Im Folgenden werden die bei PISA verwendetenAufgabentypen beschrieben und einige Aufgabenbeispiele (inklusive der Anweisungen für dieMarker [aus dem Marking Guide] zur Beurteilung der Antworten) gegeben (weitere Aufgabenfinden sich im Anhang). Da Aufgaben aus dem aktuellen Testzyklus nicht veröffentlicht werdendürfen, sind die hier verwendeten Aufgaben jene, die von der OECD nach dem Feldtestfreigegeben wurden und Bestandteil des Feldtests waren. Abbildung IV.4 gibt einen Überblicküber die eingesetzten Aufgabentypen.

Abbildung IV.4: Eingesetzte Aufgabentypen

Multiple-Choice Items

Bei dieser Aufgabenart muss aus 4–5 Antwortalternativen die richtige ausgewählt werden.Die Vorteile von Multiple-Choice Items sind vor allem der geringe Aufwand bei der Bewertungund Kodierung der Ergebnisse, da die richtige Antwort eindeutig definiert ist und vom Kodiererein einziger Code pro Frage direkt eingegeben werden kann und die Tatsache, dass dieBewertung ohne den subjektiven Einfluss von Markern erfolgen kann. Die Nachteile bestehendarin, dass kaum komplexe Ideen damit getestet werden können und die Möglichkeit desRatens relativ hoch ist.

Eine weitere Form von Multiple-Choice Items sind so genannte komplexe Multiple- ChoiceItems, in denen aus einer Serie von Ja/Nein- oder Richtig/Falsch-Antworten die jeweils richtigeausgewählt werden muss. Beispiel-Item 1 (Abbildung IV.5) ist ein Multiple-Choice Item ausdem Bereich Lese-Kompetenz. Die Unit, aus der das Beispiel stammt, heißt „Bienen“. Diesebeinhaltet einen einleitenden Text, eine Abbildung und insgesamt vier Fragen dazu. Dasausgewählte Item ist die erste Frage dieser Unit.

Itemtyp Erklärung Marking

Multiple-Choice Items nur eine korrekte Antwort kein Marking erforderlich

Komplexe Multiple-Choice Items Serie von richtig/falsch bzw.

ja/nein Antworten

kein Marking erforderlich

Geschlossene konstruierte

Antworten

kurze verbale bzw. numerische

Antwort, die direkt dem

Stimulusmaterial entnommen

werden kann

nur tlw. Marking erforderlich je

nach Angabe im Marking-Guide

Offene konstruierte Antworten

(Kurzantworten)

kurze verbale/numerische

Antwort

Marking lt. Marking Guide


(Langantworten)

längere (offene) verbale Antwort Marking lt. Marking Guide


Geschlossene konstruierte Antworten

Hier müssen die Schüler/innen zwar selbst eine Antwort formulieren – oder zumindesthinschreiben – diese besteht aber meist nur aus einem Wort oder einer Zahl, in der Aufforderungzum Unterstreichen eines Satzes im Text oder ähnlichem. Bei dieser Art von Aufgabe gibt eseine richtige und zahlreiche falsche Antworten. Vom Prinzip her ähnelt dieser Aufgabentypden Multiple-Choice Items, hat aber den Vorteil, dass Raten weniger stark berücksichtigtwerden muss und keine Distraktoren gefunden werden müssen. Der Nachteil ist aber auchhier, dass kaum höherwertige Aktivitäten gefordert werden können.

Beispiel-Item 2 (Abbildung IV.6) verlangt von den Schüler/innen eine geschlossenekonstruierte Antwort aus dem Bereich Mathematik-Kompetenz. Dies ist ein Beispiel aus derUnit „Bremsen“, die aus einem kurzen Text, einem Diagramm und fünf Fragen besteht. Dasausgewählte Item ist die erste Frage dieser Unit, zu deren Beantwortung eine Zahl aus demDiagramm abgelesen werden muss.


Die Schüler/innen müssen eine erweiterte Antwort geben, deren Erarbeitung höherwertigeAktivitäten verlangen kann. Bei derartigen Aufgaben sind oft auch Begründungen oder dieAufforderung, zu erklären, wie die Antwort gefunden worden ist, inkludiert. Der größte Vorteildieses Aufgabentypus besteht in der Möglichkeit zur Messung von höherwertigen Fähigkeiten.Die Nachteile sind ein beträchtlicher Mehraufwand bei der Auswertung der Antworten undein gewisser Einfluss an Subjektivität in der Bewertung der Antworten. Dieser Antworttypwird in Kurzantworten und Langantworten geteilt.

Abbildung IV.7 und IV.8 enthalten Beispiel-Items für offene konstruierte Antworten ausdem Bereich Lese-Kompetenz und Naturwissenschaft-Kompetenz. Beispiel-Item drei stammtaus der Unit „Schikanen“. Die Unit beinhaltet einen einseitigen Text und zwei Fragen dazu.Das ausgewählte Beispiel ist die zweite Frage und verlangt von den Schüler/innen eine offenekonstruierte Antwort in Form einer Textinterpretation.

Das Beispiel-Item 4 (Abbildung IV.8) ist der Unit „Autobus“ entnommen. Diese bestehtaus einem kurzen Text und einer Abbildung dazu. Insgesamt beinhaltet diese Unit zwei Fra-gen. Für das zweite Item, das als Beispiel ausgewählt wurde, gibt es nochmals einen kurzenText und bei der Beantwortung müssen die Schüler/innen eine offene Antwort konstruieren.


BIENEN

Die Informationen auf dieser und der folgenden Seite stammen aus einer Broschüre überBienen. Beziehe dich zur Beantwortung der anschließenden Fragen auf dieseInformationen.

DAS SAMMELN VON NEKTAR

Bienen stellen Honig her, um zu überleben. Er ist ihr einziges Grundnahrungsmittel.Wenn in einem Bienenstock 60.000 Bienen leben, ist etwa ein Drittel davon mit demSammeln von Nektar beschäftigt, der dann von den Stockbienen zu Honig verarbeitetwird. Eine kleine Anzahl von Bienen arbeitet als Futtersucher. Sie suchen eineNektarquelle und kehren dann zum Bienenstock zurück, um den anderen Bienenmitzuteilen, wo sie ist.

Die Futtersucher geben den anderen Bienen zu verstehen, wo die Nektarquelle ist,indem sie einen Tanz aufführen, der Informationen darüber gibt, in welche Richtungund Entfernung die Bienen fliegen müssen. Während dieses Tanzes läuft die Biene inKreisen, die die Form einer 8 bilden, und schwänzelt dabei mit ihrem Hinterleib hin undher. Der Tanz entspricht dem Muster in der folgenden Abbildung.

Die Abbildung zeigt eine Biene, die im Inneren des Bienenstocks auf dersenkrechten Fläche einer Honigwabe tanzt. Wenn der Mittelteil der 8 direkt nach obenzeigt, bedeutet dies, dass die Bienen die Nahrung finden, wenn sie direkt in RichtungSonne fliegen. Wenn der Mittelteil der 8 nach rechts zeigt, befindet sich die Nahrungrechts von der Sonne.

Die Entfernung zwischen der Nahrung und dem Bienenstock wird dadurchangezeigt, wie lange die Biene mit ihrem Hinterleib schwänzelt. Wenn die Nahrung inder Nähe ist, schwänzelt die Biene nur kurz ihren Hinterleib. Wenn sie weit weg ist,schwänzelt sie lange ihren Hinterleib.


DAS HERSTELLEN VON HONIG

Wenn die Bienen mit Nektar beladen am Stock ankommen, geben sie diesen an dieStockbienen weiter. Die Stockbienen bewegen den Nektar mit ihren Mandibeln hin undher und setzen ihn so der warmen, trockenen Luft im Stock aus. Wenn der Nektarfrisch gesammelt wird, enthält er Zucker und Mineralien vermischt mit etwa 80 %Wasser. Nach zehn bis zwanzig Minuten, wenn ein Großteil des überschüssigenWassers verdunstet ist, legen die Stockbienen den Nektar in eine Zelle einer Wabe, wodie Verdunstung sich fortsetzt. Nach drei Tagen enthält der Honig in den Zellen etwa20 % Wasser. In diesem Stadium verschließen die Bienen die Zellen mit Deckeln, densie aus Bienenwachs herstellen.

In einer bestimmten Periode sammeln die Bienen eines Bienenstockes imAllgemeinen den Nektar aus derselben Blütenart und aus demselben Gebiet. Einigeder wichtigsten Nektarquellen sind Obstbäume, Klee und blühende Bäume.

GLOSSAR

Stockbiene eine Arbeiterin, die im Inneren des Bienenstockes arbeitetMandibeln Teil des Mundes

Frage 55: BIENEN

Welchem Zweck dient der Bienentanz?

A Zur Feier der erfolgreichen Honigproduktion.

B Zur Angabe der Pflanzenart, die die Futtersucher gefunden haben.

C Zur Feier der Geburt einer neuen Bienenkönigin.

D Zur Angabe der Stelle, an der die Futtersucher Nahrung gefunden haben.

BIENEN BEWERTUNG 1

Full Credit

Code 1: D Zur Angabe der Stelle, an der die Futtersucher Nahrung gefunden haben.

No Credit

Code 0: Andere Antworten

Abbildung IV.5: Beispiel-Item 1


Das unten abgebildete „Schneckendiagramm“ gibt die theoretischeAnhaltestrecke für ein Fahrzeug unter guten Bremsbedingungen an (einbesonders aufmerksamer Fahrer, Bremsen und Reifen in tadellosem Zustand,trockene Straße mit einer guten Oberfläche), und zeigt, inwiefern dieAnhaltestrecke von der Geschwindigkeit abhängt.

BREMSEN

Die in etwa benötigte Strecke, um ein Fahrzeug zum Stillstand zu bringen, setzt sichzusammen aus:

• der vom Fahrer zurückgelegten Strecke in der Zeit bis zur Betätigung der Bremse(Reaktionsweg) und

• der Strecke, die während der Betätigung der Bremse zurückgelegt wird(Bremsweg).

20,8 m

245,5 m Strecke, um das Fahrzeug zum Stillstand zu bringen.

Zeit, um das Fahrzeug zum Stillstand zu bringen.

Strecke, die während der Bremszeit zurückgelegt wird.

Strecke, die während der Reaktionszeit des Fahrers zurückgelegt wird.

219 m

197,6 m

175,4 m

152,2 m

135,6 m

118 m

101 m

85,4 m 70,7 m

57,7 m

46 m

35,7 m

26,5 m

18,6 m

37,5 m

35,4 m

33,3 m

31,3 m

29,2 m

27,1 m

25 m

22,9 m

18,7 m 16,7 m

14,6 m

12,5 m

10,3 m

8,3 m

9,08 s

8,62 s

8,15 s

7,69 s

7,23 s

6,76 s

6,30 s

5,84 s

5,38 s 4,92 s

4,46 s

3,99 s

3,53 s

3,06 s

2,60 s

180 170 160

150

140

130

120

110

100 90 80

70

60

50

40 km/h

20,8 m



Frage 44: BREMSEN

Ein Fahrzeug fährt mit einer Geschwindigkeit von 110 km/h. Welche Strecke legt es

während der Reaktionszeit des Fahrers zurück?

BREMSEN BEWERTUNG 44

ABSICHT DER FRAGE: Fähigkeit, einem Diagramm Informationen zu entnehmen.

Full Credit

Code 1: 22,9 Meter (Einheit nicht erforderlich)

No Credit

Code 0: Andere Antworten


SCHIKANEN

MANGELNDES BEWUSSTSEIN DER ELTERN ÜBER SCHIKANEN AN SCHULEN

Nur einem Drittel der befragten Eltern istbewusst, dass ihre Kinder in der Schuleschikaniert werden, so eine am Mittwochveröffentlichte Untersuchung desBildungsministeriums.

In der zwischen Dezember 1994und Januar 1995 durchgeführtenUntersuchung waren etwa 19.000 Eltern,Lehrer/innen und Schüler/innen vonbetroffenen Grund-, Mittel- undOberschulen einbezogen.

Die Untersuchung, die als erste inihrer Art vom Ministerium durchgeführtwurde, betraf Schüler ab der viertenKlasse. Der Untersuchung zufolge sagten22 Prozent der befragten Grundschüler,sie hätten unter Schikanen in der Schulezu leiden, während es bei denMittelschülern 13 Prozent und bei denOberschülern 4 Prozent waren.

Auf der anderen Seite sagten etwa26 Prozent der Grundschüler, sie wärenselber an Schikanen an der Schulebeteiligt gewesen, wobei dieserProzentsatz bei den Mittelschülern auf20 Prozent und bei den Oberschülern auf6 Prozent zurückgeht.

Von denen, die angaben, anSchikanen an der Schule beteiligtgewesen zu sein, sagten zwischen 39 und65 Prozent, sie seien selber Opfer vonSchikanen in der Schule gewesen.

Die Untersuchung ergab, dass37 Prozent der Eltern von Grundschülern,die unter Schikanen an der Schule zuleiden hatten, nicht wussten, dass ihreKinder schikaniert wurden. Bei den Elternder Mittelschüler waren es 34 Prozent undbei denen der Oberschüler 18 Prozent.

Von den Eltern, denen dieSchikanen an der Schule bewusst waren,sagten 14 bis 18 Prozent, sie hätten durchLehrer von den Schikanen erfahren. Nur 3bis 4 Prozent der Eltern erfuhren derUntersuchung zufolge durch ihre Kindervon den Schikanen.

Die Untersuchung fand auch

heraus, dass 42 Prozent derGrundschullehrer nichts davon wussten,dass ihre Schüler Opfer von Schikanen ander Schule sind. Bei den Lehrern derMittelschulen betrug der entsprechendeAnteil 29 Prozent und bei den Lehrern derOberschulen 69 Prozent.

Nach den Gründen befragt, diehinter den Schikanen an der Schulestecken, gaben etwa 85 Prozent der Lehrerfehlende Erziehung im Elternhaus an.Viele Eltern nannten als Hauptgrundfehlendes Gerechtigkeitsempfinden undMitgefühl bei den Kindern.

Ein Sprecher desBildungsministeriums sagte, dieErgebnisse deuteten darauf hin, dassEltern und Lehrer engeren Kontakt zu denKindern halten sollten, um Schikanen ander Schule vorzubeugen.

Schikanen an der Schule war inJapan zu einem viel diskutierten Problemgeworden, nachdem sich der 13-jährigeKiyoteru Okouchi im Herbst 1994 in Nishio,Präfektur Aichi, erhängt und einen Briefhinterlassen hatte, in dem er schrieb,seine Klassenkameraden hätten ihnwiederholt in einen nahen Fluss gestoßenund Geld von ihm erpresst.Dieser Selbstmord auf Grund vonSchikanen an der Schule veranlasste dasBildungsministerium im März 1995 zurVeröffentlichung eines Berichts überSchikanen an der Schule, in dem dieLehrer aufgefordert wurden, Schikaniereranzuweisen, nicht zur Schule zu kommen.


Frage 35: SCHIKANEN

Warum erwähnt der Artikel den Tod von Kiyoteru Okouchi?

...................................................................................................................................

...................................................................................................................................

SCHIKANEN BEWERTUNG 35

ZIEL DER FRAGE: Textinterpretation: lokale und globale Zusammenhängemiteinander verknüpfen.

Full Credit

Code 1: Bringt den Selbstmord mit dem öffentlichen Interesse und/oder der Umfragein Verbindung ODER bezieht sich auf die Idee, dass der Tod mit extremenSchikanen zusammenhing. Der Zusammenhang ist entweder ausdrücklichgenannt oder kann leicht erschlossen werden.• Um zu erklären, weshalb die Untersuchung durchgeführt wurde.• Um den Hintergrund zu verdeutlichen, weshalb sich in Japan so viele Leute

Sorgen über Schikanen machen.• Er war ein Junge, der wegen Schikanen Selbstmord beging.• Um zu zeigen, wie weit Schikanieren gehen kann.• Es war ein extremer Fall.

No Credit

Code 0: Vage oder ungenaue Antwort, einschließlich der Vermutung, dass KiyoteruOkouchi aus Effektheischerei erwähnt wird.• Er war ein japanischer Schüler.• Es gibt viele solche Fälle auf der ganzen Welt.• Es geht nur darum, deine Aufmerksamkeit zu erregen.

Code 8: Aufgabenirrelevanter Kommentar

Code 9: Keine Antwort




Frage 4: AUTOBUS

Ralfs Bus fährt wie die meisten Busse mit einem Verbrennungsmotor. Diese Busse tragenzur Umweltverschmutzung bei.Einige Städte haben Oberleitungsbusse. Diese werden von einem Elektromotorangetrieben. Die Spannung, die für einen solchen Elektromotor nötig ist, wird aus einerOberleitung bezogen (wie bei elektrischen Bahnen). Die Elektrizität wird von einemKraftwerk geliefert, das fossile Brennstoffe verwendet.Befürworter des Gebrauchs von Oberleitungsbussen in einer Stadt sagen, dass dieseBusse nicht zur Umweltverschmutzung beitragen.

Haben diese Befürworter Recht? Erkläre deine Antwort. ..........................................

...................................................................................................................................

...................................................................................................................................

...................................................................................................................................

AUTOBUS BEWERTUNG 4

ABSICHT DER FRAGE: Prozess: Wissen und Verständnis zeigenThema: EnergieumwandlungenGebiet: Naturwissenschaften – Erde und Umwelt

Full Credit

Code1: In der Antwort wird gesagt, dass das Kraftwerk auch zurUmweltverschmutzung beiträgt:• nein, weil das Kraftwerk die Umwelt auch verschmutzt• ja, aber dies stimmt nur für die Stadt selbst: das Kraftwerk trägt jedoch

auch zur Umweltverschmutzung bei

No Credit

Code 0: Nein oder Ja ohne korrekte Erklärung.

Code 8: Aufgabenirrelevanter Kommentar

Code 9: Keine Antwort


Abbildung IV.9: Die Phasen der Testentwicklung im Überblick

1998 International National

FebruarFunctional Expert Groups erstellen 1. Version

der FrameworksFramework-Review

ab Mai

Functional Expert Groups sammeln

Itemvorschläge und Item-Development Groups

selektieren diese

Subject Area Groups werden aufgefordert

Testmaterialien (Aufgaben und Materialien) ans

internationale Zentrum weiterzuleiten

August

Zusammenstellung des gesammelten Materials

zu 4 Item-Bundles und Weiterleitung an

nationale Expertengruppen

Item-Review durch nationale Expertengruppen

und Rückmeldung an Functional Expert Groups

September-Oktober

Functional Expert Groups sammeln

Rückmeldungen der nationalen

Expertengruppen und überarbeiten den

Itempool auf Grund dieser

Oktober-November

Erstellung der Endversion der internationalen

Feldtest-Instrumente in englischer Sprache;

Übersetzung ins Französische (second source

Version) und Aussendung an nationale Zentren

November-DezemberPhase 1 der Begutachtung des Feldtest-

Itempools

Dezember-Jänner

Übersetzung der Instrumente durch die

nationalen Zentren (aus dem Englischen und

der französischen "second source" Version);

Phase 2 der Begutachtung des Feldtest-

Itempools

1.2 TestentwicklungFür die Leistungsmessungen von PISA wurden neue Testinstrumente entwickelt. Hierbei istnicht unbedingt gemeint, dass alle Aufgaben der Leistungstests eine hundertprozentigeNeuerfindung darstellen, sondern vielmehr, dass sowohl komplette Aufgaben als auch nurStimulusmaterial aus allen Teilnehmerstaaten gesammelt, adaptiert und dann selektiert wordensind. Aus dem gesammelten Material wurden Units gebildet und diese sind zu 30-minütigenTestblöcken (Cluster) zusammengesetzt worden, die im Feldtest erstmalig in dieser Form undin dieser Zusammenstellung Anwendung gefunden haben. Es sei an dieser Stelle allerdingsdarauf verwiesen, dass damit der Prozess der Testerstellung nicht abgeschlossen ist. Anhandder Daten und Erfahrungen des Feldtests wurden die Testinstrumente noch einmal einergenauen Überprüfung unterzogen und für den Haupttest neu überarbeitet.

Abbildung IV.9 gibt einen Überblick über die Phasen der Testentwicklung (auf inter-nationaler und nationaler Ebene) für PISA 2000 und in Abbildung IV.10 ist der Prozess derAufgabenerstellung und die dabei beteiligten Instanzen grafisch dargestellt.

Im Februar 1998 wurden von den Functional Expert Groups (internationale Experten-konsortien für die drei Testdomänen) erste Versionen der Frameworks erstellt. Auf Basis dieserGrundkonzepte waren die nationalen Expertengruppen (Subject Area Groups) aufgefordert,die Frameworks zu begutachten und Rückmeldung darüber zu geben.

Im Mai 1998 wurden alle Teilnehmerländer aufgefordert, Testmaterialien (Aufgaben undMaterialien) für den Feldtest ans internationale Konsortium weiterzuleiten. Damit wurdegewährleistet, dass der Itempool aus Items besteht, bei denen Stimuli verwendet werden, die


Abbildung IV.10: Der Prozess der Aufgabenerstellung

die kulturelle Vielfalt der Teilnehmerländer widerspiegeln. Aufgaben, die von nationalenExpertengruppen ausgesucht und ans internationale Zentrum geleitet wurden, wurden vominternationalen Zentrum in Zusammenarbeit mit den Item-Development Groups auf dieTauglichkeit zur Aufnahme in den Itempool begutachtet. Als Kriterium für die Suche undAdaption von Testmaterial, aber auch zur Erstellung von Aufgaben für die Item-DevelopmentGroups des internationalen Zentrums, die als Vorschläge für den Itempool eingereicht wurden,galten folgende Richtlinien:• Für PISA 2000 wurden Materialien gesucht, die sich jeweils den im entsprechenden

Framework dargestellten Konzepten zuordnen lassen. So war beispielsweise für MathematikMaterial gefragt, das unter die Leitideen „Veränderungen und Wachstum“ oder „Raumund Form“ einzuordnen ist.

• Zwei Kategorien von Materialien wurden gesucht: Stimulusmaterial in Form von Texten,Diagrammen, Werbung, Bildern, etc. und Stimulusmaterial zusammen mit angemessenenAufgabenstellungen.

• Eingereichte Materialien mussten gut geschrieben sein, passend und interessant für 15-/16-

AUFGABENAUFGABEN

Bewertung der empirischen Daten

BEGUTACHTUNG

Expertennat. Zentren

Experten der FEG

Andere Assessments

Experten von ACER

Expertennat. Zentren Experten

der FEG

FELDTEST 1999HAUPTTEST 2000

AUFGABEN


Abbildung IV.11: Formular zur ersten Beurteilung der Item-Bundles

Jährige unabhängig von Nationalität, Kultur, sozioökonomischem Hintergrund undGeschlecht; außerdem sollten sie dauerhaft von Interessen sein im Sinne der Verwendungzur Messung von Trends über einen längeren Zeitraum hinweg.

• Wenn das Material auch Aufgaben enthielt, mussten entsprechende Marking-Anweisungenmitgeliefert werden, die auch Beispiele von den zu erwartenden Antworten inkludierten.

• Das erwünschte Antwortformat (Multiple-Choice inklusive der falschen Antwort-alternativen, offene Fragen, etc.) musste angegeben werden.

Ende August 1998 wurden die Itemvorschläge zu vier „Item-Bundles“ zusammengefasst, dievom internationalem Zentrum bzw. von der zuständigen Functional Expert Group als denKriterien für PISA-Items entsprechend akzeptiert worden waren. Diese wurden an dienationalen Zentren zur Weiterleitung an die nationalen Experten für eine erste Begutachtungs-phase weitergegeben. Bei der Begutachtung dieser Itembündel hatten die nationalen Expertendie Aufgabe, jedes Item oder Stimulusmaterial bezüglich folgender Kriterien zu beurteilen:• Ob mehr als die Hälfte der PISA-Population bereits im Schulkontext mit dem Material

des jeweiligen Items Erfahrungen gemacht hat.• Ob mehr als die Hälfte der PISA-Population bereits im außerschulischen Kontext mit

dem Material des jeweiligen Items Erfahrungen gemacht hat.• Einschätzung des wahrscheinlichen Anteils von Schüler/innen, die das Item richtig

beantworten würden.• Ob es kulturelle oder Übersetzungsprobleme geben würde.• Einschätzung der generellen Eignung des Items für den Gebrauch im eigenen Land.

Abbildung IV.11 beinhaltet das Formular zur ersten Beurteilung der Item-Bundles.

1.3 Begutachtung des Feldtest-Itempools durch Expertengruppen in ÖsterreichIn dieser Phase hatten die nationalen Experten die Aufgabe, den für den PISA-Feldtestverkleinerten und verbesserten Itempool der internationalen Experten zu begutachten. Somitkonnte Österreich auf die internationale Gestaltung des Gesamt-Itempools Einfluss nehmen.Bei dieser Begutachtung sollten vor allem drei Hauptkriterien berücksichtigt werden:• die Passung der Items hinsichtlich der Frameworks bzw. einer modernen Fachdidaktik in

den einzelnen Fachbereichen,

Unit Name Country Familiarity of topic

Familiarity of texttype

Interest to 15 y.o.

Estimated Easiness

Cultural concerns

Other Bias Translation problems

Comments Other Problems

Overall suitability


• die Passung der Items hinsichtlich der österreichischen Schulrealität (Curriculum undPraxis),

• die sachliche und begriffliche Korrektheit.

Als Grundlage des Item-Reviews dienten folgende Materialien:• die aktuellste Frameworkversion und der Feldtest-Itempool,• die Audit-Tabelle mit den tabellarischen Informationen, in welcher Weise die Items auf

das Framework bezogen werden (Itemcharakteristik),• der Beurteilungsbogen.Die Item-Begutachtung durch die Experten diente dem nationalen Projektzentrum alsGrundlage für die Rückmeldung über die Feldtest-Items an das Internationale Zentrum undbestand aus zwei Phasen und je zwei Teilen:

Phase 1 (November bis 9. Dezember 1998)

Der erste Teil dieser Phase besteht aus dem Item-Review aller Test-Units aus dem Feldtest-Itempool. Es waren sowohl die Units insgesamt als auch die einzelnen Fragen der Units ausfachdidaktischer bzw. nationaler Sicht mit einem vorgegebenen Beurteilungsschema zubewerten. Dieses ist in zwei Bereiche gegliedert: Eine allgemeine Bewertung der gesamtenUnit (siehe Abbildung IV.12) und eine detaillierte Bewertung der einzelnen Items (sieheAbbildung IV.13). Die genauen Kriterien, die diese Bereiche enthalten, sind aus AbbildungIV.14 (Legende zur Itembeurteilung) ersichtlich.

Im zweiten Teil wurde der Itempool einer fachlichen Gesamtbewertung unterzogen.Dabei sollte eine persönliche Beurteilung des Instruments/eine Validitätseinschätzung vorge-nommen sowie ein Gesamteindruck über die Testaufgaben und des dazugehörendenFrameworks verfasst werden.

Phase 2 (Mitte Dezember bis 11. Jänner 1999)

Diese Phase setzt sich aus der Begutachtung der Übersetzung (fachliche Kontrolle derübersetzten Items auf Korrektheit der Begriffe) und aus der Anpassung der Item-Begutachtungzusammen.

Allgemeine Bewertung der gesamten UNIT

GESAMT TEST

REALER KONTEXT

GEGEBEN ?

KONTEXT Übereinstimmung,

ÜbertragbarkeitURTEIL POOL

Note KONTEXT Note STIMULUS Kommentar (bei Note 3 - 5 notwendig) Note KONTEXT Note STIMULUS Kommentar (bei 3 - 5 notwendig) korrekt j/n Kommentar (bei nein notwendig) GESAMTNOTE j / n

Weitere Kommentare/andere Probleme:

STIMULUS, AUFGABEN, PRÄSENTATION

QUALITÄTSKRITERIUM "Moderne Fachdidaktik"

Kulturelle Sensitivität gegeben?

Kein Bias zu erwarten?

KRITERIUM "Kulturelle Passung"

STIMULUS, AUFGABEN, PRÄSENTATION

QUALITÄTSKRITERIUM "Übereinstimmung mit österr. Schulrealität"

Abbildung IV.12: Beurteilungsschema: Allgemeine Bewertung der gesamten Unit


Abbi

ldun

g IV

.13:

Beu

rteilu

ngssc

hem

a: D

etai

llier

te B

ewer

tung

der

einz

elnen

Item

s

Det

ailli

erte

Bew

ertu

ng d

er IT

EMS/

QU

EST

ION

S

Item

JA

(K

)ern

JA

(E

)rw

eit

eru

ng

erw

art

ete

Sch

wie

rig

keit

Nr.

j/n

Ko

mm

en

tar

(be

i

ne

in)

(N)E

INss -

s -

m -

l -

ll

1 2 3 4 5 6 7 8 9 10

11

12

AU

DIT

- F

ram

ew

ork

ITE

M K

AN

N V

ON

15

-JÄ

HR

IGE

N G

EL

ÖS

T W

ER

DE

N ?

ko

rre

kte

Zu

ord

nu

ng

Ite

m

<>

Fra

mew

ork

Ko

mm

en

tar

(bei n

ein

no

twen

dig

)

TE

ST

AU

FG

AB

EN

ST

EL

LU

NG

/

VE

RS

TÄ

ND

L/B

EG

RIF

FE

AN

TW

OR

TV

OR

GA

BE

N,

EIN

DE

UT

IGK

EIT

SC

OR

ING

/BE

WE

R-

TU

NG

/PU

NK

TE

PO

OL

ko

rrekt

j/n

ko

rrekt

j/n

ko

rrek

t j/

n j/n

QU

AL

ITÄ

TS

KR

ITE

RIU

M "

Fo

rma

le K

orr

ek

the

it d

es

Ite

ms

" Ko

mm

en

tar

(be

i n

ein

)


LE

GE

ND

E Z

UR

IT

EM

BE

UR

TE

ILU

NG

(P

ISA

FE

LD

TE

ST

)

Ab

kü

rzu

ng

en

/Be

griff

eE

rklä

run

g

UN

ITIn

tern

atio

nale

Bez

eich

nung

der

Auf

gabe

nein

heit

laut

AC

ER

-Lis

te

Su

bj

Sub

ject

/Fac

h (L

esen

, Mat

h, N

atur

wis

s, In

tegr

iert)

No

teD

abei

wird

ste

ts u

m e

ine

Beu

rteilu

ng a

uf d

er 5

-stu

figen

öst

err. S

chuln

oten

skal

a ge

bete

n (1

=seh

r gu

t bis

5=n

icht

gen

ügen

d)

All

ge

me

ine

Be

we

rtu

ng

de

r g

es

am

ten

Un

it

QU

AL

ITÄ

TS

KR

ITE

RIU

M

"Mo

dern

e F

ach

did

akti

k"

Hie

r wird

um

ein

Urtei

l geb

eten

, inw

iew

eit d

iese

s Ite

m e

iner

(int

erna

tion

al) m

ode

rnen

Fac

hdid

aktik

ent

spric

ht (e

inem

Mod

ell,

wie

es

z.B.

verg

leic

hbar

im P

ISA F

ram

ewor

k er

kenn

bar w

ird) -

die

se m

uß n

icht

mit

der i

n Ö

ster

reic

h de

rzei

t übl

iche

n Pra

xis/

Did

aktik

übe

rein

stim

men

. Als

wes

entli

che

Alte

rsgr

uppe

gel

ten

die

Sch

ulst

ufen

5-9

(hp

tsl.

Sek

unda

rstu

fe I)

.

RE

AL

ER

KO

NT

EX

T G

EG

EB

EN

?Ent

spric

ht d

er g

ewäh

lte a

llgem

eine

Auf

gabe

nkon

text

den

Anf

orde

rung

en a

n ei

nen

"rea

len"

Kon

text

? E

ntsp

richt

er s

pezi

ell a

uch

für 1

5-Jä

hrig

e, d

ie

Zie

lpop

ulat

ion

(z.B

. mot

ivie

rend

?) ?

ST

IMU

LU

S,

AU

FG

AB

EN

, P

RÄ

SE

NT

AT

ION

Wie

gut

ist a

us d

er S

icht

ein

er m

oder

nen

Fac

hdid

aktik

die

gen

erel

le Q

ualit

ät d

es g

ewäh

lten

Stim

ulus

und

der

Ges

amtp

räse

ntat

ion

des

Pro

blem

s?

Wie

gut

sin

d di

e au

sgew

ählte

n (D

etai

l-) A

ufga

ben

? W

erde

n di

e w

esen

tlich

en A

spek

te d

es P

robl

ems

abge

fragt

?

QU

AL

ITÄ

TS

KR

ITE

RIU

M

"Üb

ere

insti

mm

un

g m

it ö

ste

rr. S

ch

ulr

eali

tät"

Hie

r wird

um

ein

Urtei

l geb

eten

, inw

iew

eit d

iese

s Ite

m d

er d

erze

itige

n Sch

ulre

alitä

t in

Öst

erre

ich

ents

pric

ht (S

chul

real

ität =

Leh

rpla

ninh

alte

und

Unt

errich

tspr

axis

) - I

st d

iese

s Ite

m ty

pisc

h od

er u

ntyp

isch

hin

sich

tlich

ver

schi

eden

er M

erkm

ale?

Als

wes

entli

che

Alte

rsgr

uppe

gel

ten

die

Sch

ulst

ufen

5-9

(hp

tsl.

Sek

unda

rstu

fe I)

.

KO

NT

EX

T Ü

bere

insti

mm

un

g, Ü

be

rtra

gb

ark

eit

Ent

spric

ht d

er g

ener

elle

Auf

gabe

nkon

text

dem

in Ö

ster

reic

h üb

liche

n ?

Wer

den

Auf

gabe

n m

it so

lche

m K

onte

xt in

Öst

erre

ich

verw

ende

t? W

ie g

ut is

t

die

Übe

rein

stim

mun

g ?

Läßt

sic

h de

r Kon

text

auc

h gu

t auf

Öst

erre

ich

über

trag

en/ü

bers

etze

n ?

ST

IMU

LU

S,

AU

FG

AB

EN

, P

RÄ

SE

NT

AT

ION

Ist d

ie A

rt d

er P

räse

ntat

ion

und

des

For

mat

s de

r Fra

gen/

Auf

gabe

n/de

s Stim

ulus

in Ö

ster

reic

h üb

lich?

Wer

den

solc

he A

ufga

ben

in Ö

ster

reic

h ge

stel

lt

(Unt

erric

ht/ P

rüfu

ngen

/Büc

her) ?

Wie

gut

ist d

ie Ü

bere

inst

imm

ung

mit

der ös

terrei

chis

chen

Rea

lität

?

KR

ITE

RIU

M "

Ku

ltu

rell

e P

as

su

ng

"

Ku

ltu

relle

Sen

sit

ivit

ät

geg

eb

en

? B

ias

zu

erw

art

en

?

GE

SA

MT

BE

UR

TE

ILU

NG

Bitt

e ge

ben

Sie

ein

e N

ote

1 - 5

für da

s Ite

m in

der

vor

liege

nden

For

m. S

ie s

ollte

wen

iger

an

eine

m D

urch

schn

itt d

er D

etai

lurtei

le o

rient

iert s

ein,

als

an d

er B

rauc

hbar

keit

des

Item

s fü

r uns

eren

Zw

eck

(wob

ei e

in s

chle

chte

s U

rtei

l in

auch

nur

ein

er D

etai

lkat

egor

ie d

iese

s Ite

m u

nbra

uchb

ar m

ache

n

kann

).

AU

FN

AH

ME

IN

TE

ST

PO

OL

Wür

den

Sie

ein

e Auf

nahm

e di

eses

Item

s in

den

inte

rnat

iona

len

PIS

A-It

empo

ol fü

r de

n Fe

ldte

st a

us ö

ster

reic

hisc

her Sic

ht b

efür

wor

ten

oder

nic

ht?

We

ite

re K

om

me

nta

re/a

nd

ere

s P

rob

lem

Hie

r ers

uche

n w

ir um

Kom

men

tare

zu

ande

ren

mög

liche

n Pro

blem

en, d

ie d

iese

s Ite

m v

erur

sach

en k

önnt

e.

Ist d

er In

halt

des

Stim

ulus

, der

Auf

gabe

n/Fra

gen

und

Ant

wor

ten

kultu

rell

"neu

tral

" (k

ultu

rell

für Ö

ster

reic

h ak

zept

abel

)? Is

t zu

erw

arte

n, d

ass

dies

es It

em in

Öst

erre

ich

aus

kultu

relle

n/sp

rach

liche

n G

ründ

en a

nder

s "fun

ktio

nier

t" a

ls in

and

eren

Sta

aten

? G

ilt d

iese

s Bed

enke

n ev

entu

ell f

ür

öste

rr. S

ubgr

uppe

n (z

.B. G

esch

lech

ts- od

er S

chic

htsp

ezifi

tät ?

) ?

Ist d

aher

mit

eine

m B

ias

des

Item

s zu

rec

hnen

? H

ätte

n Sie

Ver

bess

erun

gsvo

rsch

läge

?


Abbi

ldun

g IV

.14:

Leg

ende

zur

Item

beur

teilu

ng

AU

DIT

- F

RA

ME

WO

RK

in B

ezug

auf

AC

ER

Tab

elle

/AU

DIT

ko

rre

kte

Zu

ord

nu

ng

Ite

m <

> F

ram

ew

ork

AC

ER

hat

ein

e Ta

belle

(AU

DIT

) ver

öffe

ntlic

ht, i

n de

r di

e Ite

ms

nach

den

Kat

egor

ien

des

Fram

ewor

ks k

lass

ifizi

ert w

erde

n (L

iste

lieg

t bei

). F

rage

: Ist

dies

e Zu

ordn

ung

in a

llen

Ber

eich

en k

orre

kt ?

Wen

n ni

cht -

bitt

e Kom

men

tar.

ITE

M K

AN

N V

ON

15

-JÄ

HR

IGE

N G

EL

ÖS

T W

ER

DE

N ?

Bitt

e ge

ben

Sie

an,

ob

von

eine

m 1

5-jä

hrig

en Ö

ster

reic

her e

rwar

tet w

erde

n ka

nn, d

ass

er/s

ie d

iese

s Ite

m lö

sen

kann

(d.h

. das

s er

/sie

die

Beg

riffe

,

Reg

eln

und

Pro

zedu

ren,

die

zur

Lös

ung

der A

ufga

be h

aupt

säch

lich

gebr

auch

t wer

den,

in Ö

ster

reic

hs S

chul

en g

eler

nt h

aben

sol

lte)

JA

(K

)ern

J

A (

E)r

we

iteru

ng

(N

)EIN

Stu

fen

Sie

die

Beg

riffe

, Reg

eln

und

Pro

zedu

ren,

die

zur

Lös

ung

der A

ufga

be h

aupt

säch

lich

gebr

auch

t wer

den,

als

öst

erre

ichi

sche

n KER

NSTO

FF (K)

oder

als

ER

WEIT

ER

UN

GSSTO

FF (E

) ein

ode

r wer

den

dies

e Beg

riffe

, Reg

eln

und

Pro

zedu

ren

NIC

HT

(N) g

eleh

rt?

SC

HW

IER

IGK

EIT

Wie

sch

wie

rig s

chät

zen

Sie

die

ses

Item

für 1

5-Jä

hrig

e im

Dur

chsc

hnitt

in Ö

ein

?

"seh

r sch

wie

rig" (s

s) <

als

20%

ric

htig

e Lö

sung

en

"

schw

ierig

" (s

) 20

- 4

0 %

rich

tige

Lösu

ngen

"mitt

el" (m

) zw

isch

en 4

0 un

d 60

% ri

chtig

e Lö

sung

en

"leic

ht" (l)

zw

isch

en 6

0 un

d 80

% ri

chtig

e Lö

sung

en

"se

hr le

icht

" (ll

) >

als

80%

rich

tige

Lösu

ngen

QU

AL

ITÄ

TS

KR

ITE

RIU

M

"Fo

rma

le K

orr

ekth

eit

de

s Ite

ms"

Das

Urtei

l und

der

Kom

men

tar so

llen

sich

dar

auf b

ezie

hen,

ob

Auf

gabe

, Ant

wor

ten

und

Sco

ring

form

al/s

achl

ich/

mat

hem

atis

ch k

orre

kt s

ind.

AU

FG

ST

EL

LG

/VE

RS

TÄ

ND

LIC

HK

EIT

/BE

GR

IFF

EIs

t die

Auf

gabe

nste

llung

logi

sch

kons

iste

nt?

Sin

d di

e Fac

hbeg

riffe

bei A

ufga

be u

nd A

ntw

ortv

orga

ben

korrek

t ver

wen

det?

Wie

gut

ist d

ie

Ver

stän

dlic

hkei

t de

r For

mul

ieru

ng d

er F

rage

n un

d Ant

wor

tvor

gabe

n? H

ätte

n Sie

Ver

bess

erun

gsvo

rsch

läge

?

AN

TW

OR

TV

OR

GA

BE

N, E

IND

EU

TIG

KE

ITSin

d di

e A

ntw

ort

vorg

aben

(bei

MC

-Auf

gabe

n) in

haltl

ich

brau

chba

r, di

e L

ösun

g ei

ndeu

tig id

entif

izie

rbar

, die

Dis

trakt

oren

gut

? O

ffene

Auf

gabe

n:

Kan

n di

e Auf

gabe

ein

deutig

ric

htig

gel

öst

wer

den

- ist

Art/

Um

fang

der

gew

ünsc

hten

Lös

ung

klar

? H

ätte

n Sie

Ver

bess

erun

gsvo

rsch

läge

?

SC

OR

ING

/BE

WE

RT

UN

G/P

UN

KT

ELä

ßt s

ich

die

Auf

gabe

ein

deut

ig s

core

n (m

it Pun

kten

bew

erte

n)?

Ist d

ie v

orge

schl

agen

e Sco

ring-

Lösu

ng/P

unkt

ebew

ertu

ng k

orre

kt?

(Bei

den

mei

sten

Fra

gen

sind

Hin

wei

se a

uf d

as g

epla

nte

Sco

ring

im T

ext a

ngef

ügt)

Hät

ten

Sie

Ver

bess

erun

gsvo

rsch

läge

?

AU

FN

AH

ME

IN

TE

ST

PO

OL

Wür

den

Sie

ein

e Auf

nahm

e di

eses

Item

s/di

eser

Fra

ge in

den

inte

rnat

iona

len

PIS

A-It

empo

ol fü

r den

Fel

dtes

t aus

öst

erre

ichi

sche

r Sic

ht b

efür

wor

ten

oder

nic

ht?

De

tail

lie

rte

Be

we

rtu

ng

de

r e

inze

lnen

Ite

ms

/Qu

es

tio

ns


1.4.1 Internationaler Feldtestbericht

Itemanalysen wurden vom internationalen Zentrum durchgeführt. Der internationale Feld-testbericht, der im Folgenden kurz beschrieben wird, umfasst Analysen auf Itemebene, diedas Scoring der Items und die Skalierung der Subtests inkludieren.

Der internationale Feldtestbericht, der für jedes Land vom internationalen Konsortium er-stellt und an dieses geschickt wird, besteht (für Österreich) aus vier Teilen:• Im ersten Teil findet sich eine kurze Beschreibung des Data-Cleanings, das das internationale

Zentrum durchgeführt hat und Erläuterungen zu den drei folgenden Teilen:• Report 21, der zweite Teil, beinhaltet Item-Analysen in tabellarischer Form,• im dritten Teil (Report 22) finden sich grafische Analysen auf Itemebene,• Report 23 (Teil 4) umfasst Tabellen und Grafiken über geschlechtsspezifische Unterschiede

in Bezug auf Itemschwierigkeit und deskriptive Statistiken über die Fragen der Kontext-fragebögen.

Im Folgenden finden sich einige Erläuterungen zum internationalen Feldtestbericht. Anhandder exemplarischen Analyse zweier Beispiele werden die Inhalte der Reports 21 und 22 erläu-tert. Die Auswahl dieser zwei Items erfolgte nach „erläuterungstechnischen“ Kriterien und istnicht als repräsentativ für den gesamten Itempool anzusehen. Die Tabellen und Graphikenaus Report 23 werden anhand eines Booklets erläutert.

Report 21 und 22

Als erstes Beispiel wird ein Multiple-Choice Item mit vier Antwortmöglichkeiten erläutert.In Abbildung IV.15 ist der entsprechende Teil des Reports 21 zu sehen.

Die Abbildung liefert zwei Informationen zur allgemeinen Qualität des Items:• Den Item Response Model Fit (Infit MNSQ), der ein Index für die Modellanpassung ist.

Je näher dieser bei 1,00 liegt, desto besser passt das Item zum verwendeten statistischen(Rasch-)Modell (bzw. desto besser beschreibt das gewählte Modell die vorliegenden Daten).Im vorliegenden Beispiel beträgt Infit MNSQ = 1,09 und lässt demgemäß auf sehr guteModellanpassungseigenschaften des Items schließen.

• Direkt unter diesem ist der Diskriminationsindex des Items (Disc) angegeben. Dieserbesagt, wie hoch die Scores der Schüler/innen bei diesem Item mit den Scores über dasganze Testheft (in der entsprechenden Domäne) korrelieren. Je höher dieser ist, destobesser ist die Qualität des Items. Ein Disc von 0,41 ist relativ hoch. Sehr kleine (nahe bei0 liegende) Disc-Koeffizienten zeigen geringe Korrelationen zwischen Item- undTestheftscores an, negative lassen auf eklatante Probleme bei dem entsprechenden Itemschließen.

1.4 Itemanalyse und Review der Feldtestaufgaben (International)Der Feldtest diente in erster Linie zur Testung der Instrumente. Er soll keine Ergebnisse iminhaltlichen Sinn – bezogen auf die Leistung einzelner Schüler/innen oder Gruppen vonSchüler/innen – liefern, sondern Aufschluss darüber geben, wie gut die Testinstrumentariensind und zur Verbesserung dieser dienen.


Weiters sind aus der Abbildung verschiedene Werte nach Antwortkategorien aufgeschlüsseltabzulesen. Die erste Zeile gibt an, welche Kategorien es bei dem Item gibt. Die Zahlen in deneckigen Klammern geben den Score für jede dieser Kategorien an. Kategorie 8 und 9 bezeich-nen fehlende oder nicht auf die Fragestellung bezogene Antworten.

Darunter finden sich in der Zeile „Count“ absolute Häufigkeiten der österreichischenSchüler/innen in den einzelnen Antwortkategorien und in der zweiten Zeile „Percent (%)“relative Häufigkeiten.

Die nächste Zeile „Pt-Biserial“ gibt die Point-Biserial Korrelation des Itemscores mit denTestheftscores für die einzelnen Kategorien wieder: sie sollten positiv für die richtigen Ant-worten (Scores 1, 2, 3) und negativ für falsche Antworten (Score 0) sein.

Die „Mean Ability“ gibt einen skalierten Durchschnittswert der Fähigkeiten der Schüler/innen, die bei dem Item in einer bestimmten Antwortkategorie liegen, an. „StDev Ability“ istdie zugehörige Standardabweichung.

Letztere Informationen können auch – wesentlich anschaulicher – Report 22 (Teil 3) ent-nommen werden (Abbildung IV.16).

Die Item-ID findet man rechts oben. Disc und Infit MNSQ sind darunter noch einmalangeführt. „Key: 2“ bedeutet, dass es sich um ein Multiple-Choice Item handelt, wobei dierichtige Antwortauswahl Kategorie 2 ist. Aus der Abbildung ist leicht abzulesen, dass diedurchschnittliche Fähigkeit je Kategorie (1. Balkendiagramm) positiv für die Key-Kategorieund negativ für alle anderen Antwortmöglichkeiten ist und ebenso für die Point-Biserial Kor-relation je Kategorie (2. Balkendiagramm).

Zusammenfassend kann man also sagen, dass das Item „R100Q04“ den Modellan-passungskriterien sehr gut entspricht und auch allen anderen Anforderungen, die dieser Analysezu entnehmen sind, genügt.

Als zweites Beispiel wird ein Item mit geforderter kurzer verbaler Antwort – im Speziellen istein Satz aus dem zugehörigen Text zu zitieren – erläutert (Abbildung IV.17).

Item 4: R100 Q04 Police Infit MNSQ = 1.09

Disc = 0.41

Categories 1 [0] 2 [1] 3 [0] 4 [0] 8 [0] missing

Count 5 53 3 25 11 0

Percent (%) 5.2 54.6 3.1 25.8 11.3

Pt-Biserial -0.29 0.41 -0.12 -0.29 0.01

Mean Ability -1.46 0.71 -0.48 -0.33 0.28 NA

StDev Ability 1.69 1.12 0.27 0.94 0.76 NA

Step Labels 1

Thresholds 0.03

Error 0.23

Abbildung IV.15: Report 21 für Beispiel 1


Die allgemeinen Qualitätsindizes des Items sind eher kritisch und lassen auf gröbere Problememit dem Item schließen: der „Infit MNSQ“ beträgt 1,52, ein Wert deutlich über 1, der äußerstschlechte Modellanpassungseigenschaften anzeigt. Der Diskriminationsindex Disc = -.06 lässtauf Abweichungen des Items von der Skala schließen.

Es gibt bei diesem Item nur zwei Antwortkategorien, 0 und 1, denen die Scores 0 (falsch)und 1 (richtig) zugeordnet sind. Interessant sind die Zeilen „Pt-Biserial“ und „Mean Ability“.Die Point-Biserial Korrelation ist – abnormalerweise – positiv für Score 0 und negativ fürScore 1.


Item: 4

Discrimination: 0.41Point Biserial by Category

-0.6

-0.3

0.0

0.3

0.6

0 1 2 3 4 5 6 7 8 9 R

Infit Mean Sq: 1.09

R100Q04

2

-2

-1

0

1

2

0 1 2 3 4 5 6 7 8 9 R

Point Biserial by Category

Ability By Category

5 53 3 25 0 0 00 (no. of students)

0 5 55 3 26 0 0 (%)0

11 0 0

11 0 0

Item 7: R071 Q01 Bessie Infit MNSQ = 1.52

Disc = -.06

Categories 0 [0] 1 [1] missing

Count 28 70 0

Percent (%) 28.6 71.4

Pt-Biserial 0.06 -0.06

Mean Ability 0.70 0.61 NA

StDev Ability 0.92 1.08 NA

Step Labels 1

Thresholds -0.46

Error 0.25



Hier sieht man, dass sowohl die „Average Ability“ als auch die „Point-Biserial“ Werte nichtaufsteigend angeordnet sind.

Zusammenfassend muss dieses Item aufgrund des schlechten MSQN-Wertes, einesnegativen Wertes für „Disc“, negativer Korrelationen von Item- und Testheftscores und falschangeordneter Durchschnittsfähigkeitswerte (je Kategorie) als äußerst kritisch bewertet werden.

Report 23

Die erste Hälfte von Report 23, die Tabellen und grafische Darstellungen für geschlechts-spezifische Unterschiede bei Itemschwierigkeiten enthält, wird hier exemplarisch anhand einesTesthefts beschrieben. Abbildung IV.19 und Abbildung IV.20 enthalten die Analyse-Ergebnisseder Reading-Aufgaben aus Testheft 2. Jedem Item ist eine Zeile gewidmet.

In Abbildung IV.19 finden sich (von links nach rechts gelesen):• die Delta-Werte für männliche und weibliche Testpersonen, die dem Schwierigkeits-

schätzwert der Raschskalierung für die jeweilige Subpopulation entsprechen,• ein „Adjusted Delta“, eine Skalentransformation der Delta-Werte,• die Differenzen zwischen den Schätzern für Jungen und Mädchen und ein standardisierter

Wert dieser Differenzen,• der zugehörige Chi-Quadrat-Koeffizient und der p-Wert.


Item: 7

-0.06Point Biserial by Category

-0.6

-0.3

0.0

0.3

0.6

0 1 2 3 4 5 6 7 8 9 R

Infit Sq: 1.52

R071Q01

Key:

-2

-1

0

1

2

0 1 2 3 4 5 6 7 8 9 R

Point Biserial by Category

Average Ability by Category

70 0 0 0 0 0 028 (no. of students)

29 71 0 0 0 0 0 (%)0

0 0 0

0 0 0

Die durchschnittlichen Fähigkeiten sind ebenfalls falsch angeordnet (sie müssten, wie obenerwähnt, logischerweise geordnet entsprechend der Scores sein: also je höher der Score, destohöher der Durchschnittswert der Schüler/innen, die so geantwortet haben).Der entsprechende Abschnitt aus Report 22 (Abbildung IV.18) verdeutlicht das.


Abbildung IV.19: Gender DIF für Booklet 2 - Reading

P I S A : R e a d i n g i t e m s C O U N T R Y B o o k l e t 2

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

C o m p a r i s o n o f I t e m e s t i m a t e s f o r g r o u p s m a l e a n d f e m a l e o n t h e a l l s c a l e

L = 1 7 o r d e r = i n p u t

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =

| D e l t a | A d j u s t e d D e l t a | D i f f e r e n c e | |

| - - - - - - - - - - - - - - - - - | - - - - - - - - - - - - - - - - - - - | - - - - - - - - - - - - - - - - - | |

| m a l e | f e m a l e | m a l e | f e m a l e | d 1 - d 2 | d 1 - d 2 | C h i - S Q | p

I T E M N A M E | | | d 1 | d 2 | | s t d ' i s e d | |

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

R 1 0 0 Q 0 1 P o l i c e | 1 . 7 7 | 0 . 9 5 | 1 . 5 8 | 0 . 9 5 | 0 . 6 2 | 1 . 0 6 | 1 . 1 2 | . 2 9

| 0 . 5 1 | 0 . 3 0 | | | | | |

| | | | | | | |

R 1 0 0 Q 0 2 P o l i c e | 1 . 7 7 | 1 . 1 3 | 1 . 5 8 | 1 . 1 2 | 0 . 4 5 | 0 . 7 6 | 0 . 5 8 | . 4 5

| 0 . 5 1 | 0 . 3 0 | | | | | |

| | | | | | | |

R 1 0 0 Q 0 3 P o l i c e | - 0 . 5 3 | - 0 . 4 9 | - 0 . 7 2 | - 0 . 4 9 | - 0 . 2 3 | - 0 . 4 6 | 0 . 2 1 | . 6 5

| 0 . 4 1 | 0 . 3 0 | | | | | |

| | | | | | | |

R 1 0 0 Q 0 4 P o l i c e | - 0 . 2 1 | 0 . 0 0 | - 0 . 4 0 | 0 . 0 0 | - 0 . 4 1 | - 0 . 8 1 | 0 . 6 6 | . 4 2

| 0 . 4 1 | 0 . 2 9 | | | | | |

| | | | | | | |

R 1 0 0 Q 0 5 P o l i c e | 0 . 1 1 | 0 . 6 3 | - 0 . 0 9 | 0 . 6 3 | - 0 . 7 2 | - 1 . 4 3 | 2 . 0 3 | . 1 5

| 0 . 4 1 | 0 . 2 9 | | | | | |

| | | | | | | |

R 1 0 0 Q 0 6 P o l i c e | - 0 . 6 9 | - 1 . 7 6 | - 0 . 8 9 | - 1 . 7 7 | 0 . 8 8 | 1 . 5 3 | 2 . 3 4 | . 1 3

| 0 . 4 2 | 0 . 3 9 | | | | | |

| | | | | | | |

R 1 0 0 Q 0 7 P o l i c e | - 1 . 6 3 | - 1 . 6 3 | - 1 . 8 2 | - 1 . 6 3 | - 0 . 2 0 | - 0 . 3 2 | 0 . 1 0 | . 7 5

| 0 . 4 9 | 0 . 3 8 | | | | | |

| | | | | | | |

R 1 0 2 Q 0 1 S h i r t | - 0 . 3 7 | - 0 . 7 5 | - 0 . 5 6 | - 0 . 7 6 | 0 . 1 9 | 0 . 3 7 | 0 . 1 4 | . 7 1

| 0 . 4 1 | 0 . 3 1 | | | | | |

| | | | | | | |

R 1 0 2 K 0 2 S h i r t | - 0 . 3 2 | - 0 . 4 5 | - 0 . 5 2 | - 0 . 4 5 | - 0 . 0 7 | - 0 . 2 0 | 0 . 0 4 | . 8 4

| 0 . 2 6 | 0 . 2 0 | | | | | |

| | | | | | | |

R 1 0 2 Q 0 3 S h i r t | - 1 . 8 6 | - 2 . 7 3 | - 2 . 0 6 | - 2 . 7 3 | 0 . 6 8 | 0 . 9 1 | 0 . 8 2 | . 3 7

| 0 . 5 1 | 0 . 5 4 | | | | | |

| | | | | | | |

R 1 0 2 Q 0 4 A S h i r t | 0 . 7 7 | 0 . 8 7 | 0 . 5 7 | 0 . 8 7 | - 0 . 3 0 | - 0 . 5 8 | 0 . 3 3 | . 5 6

| 0 . 4 3 | 0 . 3 0 | | | | | |

| | | | | | | |

R 1 0 2 Q 0 4 B S h i r t | 0 . 4 3 | 1 . 3 9 | 0 . 2 3 | 1 . 3 9 | - 1 . 1 6 | - 2 . 2 2 | 4 . 9 4 | . 0 3

| 0 . 4 2 | 0 . 3 2 | | | | | |

| | | | | | | |

R 1 0 2 Q 0 5 S h i r t | 2 . 3 3 | 2 . 3 0 | 2 . 1 3 | 2 . 2 9 | - 0 . 1 6 | - 0 . 2 3 | 0 . 0 5 | . 8 2

| 0 . 5 8 | 0 . 3 9 | | | | | |

| | | | | | | |

R 1 0 2 Q 0 6 S h i r t | 1 . 7 7 | 1 . 9 1 | 1 . 5 8 | 1 . 9 1 | - 0 . 3 4 | - 0 . 5 5 | 0 . 3 0 | . 5 9

| 0 . 5 1 | 0 . 3 5 | | | | | |

| | | | | | | |

R 1 0 2 Q 0 7 S h i r t | - 0 . 6 9 | - 0 . 9 5 | - 0 . 8 9 | - 0 . 9 5 | 0 . 0 6 | 0 . 1 1 | 0 . 0 1 | . 9 1

| 0 . 4 2 | 0 . 3 2 | | | | | |

| | | | | | | |

R 1 0 8 Q 0 1 R e c i p e | 1 . 5 4 | 0 . 1 6 | 1 . 3 4 | 0 . 1 6 | 1 . 1 9 | 2 . 1 1 | 4 . 4 4 | . 0 4

| 0 . 4 8 | 0 . 2 9 | | | | | |

| | | | | | | |

R 1 0 8 Q 0 3 R e c i p e | - 0 . 8 6 | - 0 . 5 8 | - 1 . 0 6 | - 0 . 5 8 | - 0 . 4 8 | - 0 . 9 2 | 0 . 8 4 | . 3 6

| 0 . 4 3 | 0 . 3 1 | | | | | |

| | | | | | | |

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

M e a n s | 0 . 2 0 | 0 . 0 0 | 0 . 0 0 | 0 . 0 0 | C h i S Q = 1 8 . 9 5 ( d f = 1 6 , p = 0 . 2 7 )

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =

Von besonderem Interesse ist die Spalte, die mit „d1-d2 std’ised“ überschrieben ist. NegativeWerte zeigen an, dass ein Item für die Jungen leichter zu bewältigen ist, positive Werte bezeich-nen Items mit geringerer Itemschwierigkeit für die Mädchen. Werte über 1,96 bzw unter –1,96


sind statistisch signifikant (0,05). Der zugehörige Plot stellt die Inhalte dieser Spalte grafisch dar.Sternchen, die außerhalb des durch gepunktete Linien begrenzten Bereiches liegen, sind alssignifikant anzusehen. Die Verteilung der Sternchen innerhalb dieser Linien ist als zufällig zuwerten.

Abbildung IV.20: Plots des Gender-DIFs für Booklet 2 – Reading

Abbildung IV.20 zeigt die Ergebnisse aus Reading (Testheft 2). Hier sind zwei Items mitsignifikanten Werten zu sehen. Item „R102Q04B“ ist mit einem Wert von –2,22 als signifikantleichter für die Jungen anzusehen, Item „R108Q01“ mit 2,11 als leichter für die Mädchen.

Man kann die Abbildung aber auch umgekehrt lesen – also nicht nach Auffälligkeiten inden Ergebnisspalten, sondern gezielt nach Werten für ein bestimmtes Item suchen. Beispielsweisekönnte man für Beispiel 1 von oben in dieser Tabelle den so genannten „Gender-DIF“heraussuchen. Man findet bei Item „R100Q04“ den Wert –0,81, also einen nicht signifikantenWert, woraus geschlossen werden muss, dass das Item für Testpersonen beider Geschlechtergleich leicht bzw. schwierig ist.

1.4.2 Cross-Country Item Statistics

Um die Analysen und Berichte auf nationaler Ebene zusammenzufassen und die Testentwicklerund die FEGs bei ihrer Revisionsarbeit zu unterstützen, wurden einige zusammenfassendeBerichte geschrieben. In den Abbildungen im Anhang sind alle beim Feldtest verwendetenItems in den Zeilen aufgelistet. In den Spalten sind Problemkategorien notiert und in jederZelle ist die Anzahl der Länder angegeben, die in einer gewissen Kategorie bei einembestimmten Item Probleme hatten. Folgende Problemkategorien sind ausgewertet worden:

PISA: Reading items COUNTRY Booklet 2

Comparison of Item estimates for groups male and female on the all scale L = 17 order = input

-3 -2 -1 0 1 2 3+ + + + + + +

R100 Q01 . | * . R100 Q02 . | * . R100 Q03 . * | . R100 Q04 . * | . R100 Q05 . * | . R100 Q06 . | * . R100 Q07 . * | . R102 Q01 . | * . R102 K02 . | . R102 Q03 . | * .

R102 Q04 . * | . R102 Q04 . | . R102 Q05 . * | . R102 Q06 . * | . R102 Q07 . | . R108 Q01 . | . R108 Q03 . * | .

Easier for male Easier for female

25.08.99 10:54

Plot of Standardised Differences

*

**

*


• Item-by-Country Items: Bei jedem Item ist die Anzahl der Länder notiert, in denen dasItem als ungewöhnlich schwer oder ungewöhnlich leicht erachtet wurde. Diese Art derAnalyse ist nützlich für die Identifizierung von Übersetzungs-, Testerstellungs- oderKodierfehlern.

• Distractor Problems: Diese Problemkategorie gibt an, ob ein oder mehrere Distraktoreneine positive (bzw. negative) Pt-Biserial Korrelation aufweisen (vgl. Kapitel 1.4.1 in diesemAbschnitt).

• Category Difficulty Ordering: Bei jenen Items, bei denen „partial credit“ Scores (sieheAbschnitt VIII, Kapitel 1) vergeben werden, zeigt diese Spalte an, in wie vielen Länderndie Reihenfolge der Werte bei einem Item mit der Reihenfolge der durchschnittlichenLeistungen der Schüler/innen, die diese Werte erzielten, nicht übereinstimmen.

• Fit to Scaling Model: Gemessen durch den Infit MNSQ-Wert (vgl. Kapitel 1.4.1 in diesemAbschnitt).

1.4.3 Ergebnisse aus dem Feldtest

Aufgrund der Erfahrungen bei der Organisation und Durchführung des Feldtests und auchauf der Basis der Erfahrungen der Testadministratoren konnten die nationalen ZentrenRückmeldung an das internationale Zentrum geben, um so den endgültigen Itempool fürden Haupttest festzulegen. Weitere Informationsquellen für die Überarbeitung der Test-instrumentarien, sind die Rückmeldungen der Übersetzer, Erfahrungen vom Marking derTests, sowie die Ergebnisse der zweiten Review-Phase der nationalen Expertengruppen, in derdie übersetzten Versionen der Testinstrumente begutachtet und beurteilt wurden. Aufinternationaler Ebene wurden diese Informationen gesammelt, sortiert und ausgewertet undzusammen mit den Ergebnissen der Auswertung der Daten des Feldtests zur Selektion und/oderder Überarbeitung der Items für den Haupttest verwendet.

Auf Grund der Itemanalysen aus dem Feldtest wurde der Itempool im Bereich Readingvon 67 Units auf 37 Units für den Haupttest gekürzt. Bei den Mathematikaufgaben reduziertensich die Units von ursprünglich 38 im Feldtest auf 16 für den Haupttest und im BereichNaturwissenschaft von 31 Units auf 13. Weiters gab es im Feldtest integrierte Units (dieFragen zu allen drei Bereichen beinhalteten), diese wurden aber im Haupttest nicht mehreingesetzt.

1.5 Testdesign Haupttest 20001.5.1 Organisation des Testmaterials

Die Aufgaben sind in Form von Units gruppiert. Eine Unit beinhaltet jeweils einen odermehrere Stimuli (in Form von Texten, Diagrammen, etc.) und mehrere Fragen. Es gibt Unitsfür die Bereiche Lesen, Mathematik und Naturwissenschaften.

Die Units der einzelnen Bereiche sind zu Blöcken (Clustern) zusammengefasst. DerKompetenzbereich Lesen besteht aus neun Blöcken zu jeweils 30 Minuten Arbeitszeit. JederBlock besteht aus jeweils zwei bis fünf Units. Die Mathematik-Units wurden auf vier Blöckezu jeweils 15 Minuten Arbeitszeit aufgeteilt, wobei zwei dieser Blöcke drei Units umfassenund zwei jeweils fünf Units. Auch die Aufgaben aus dem Bereich der Naturwissenschaft wurdenzu vier Blöcken zusammengefasst (zu je 15 Minuten Arbeitszeit). Die Anzahl der darin enthaltenenUnits beträgt drei bzw. vier. Insgesamt gibt es Lesematerial für 270 Minuten Arbeitszeit undMathematik- und Naturwissenschaftsmaterial für jeweils 60 Minuten Arbeitszeit.


Aus diesen Blöcken wurden 9 Testhefte (Booklets 1 bis 9) zu jeweils 120 Minuten Arbeitszeitzusammengestellt (siehe Abbildung IV.21). Jedes Testheft umfasst vier verschiedene 30-Mi-nuten-Blöcke aus mindestens zwei der drei Bereiche. Jeweils zwei dieser 30-Minuten-Blöckewurden zu einem Testteil zusammengefasst. Somit gibt es zwei Testteile zu jeweils 60 Minu-ten Arbeitszeit.

Zusätzlich zu diesen 9 Testheften gab es ein weiteres Testheft für Sonderschüler. Um dieSonderschulen nicht aus dem Sample ausschließen zu müssen, wurde in Österreich für denFeldtest dieses 10. Testheft eingesetzt, das Items aus allen drei Bereichen im Umfang voninsgesamt 60 Minuten Bearbeitungszeit beinhaltet. Dieses Testheft wurde aus Items, die inden internationalen Booklets verwendet werden, zusammengestellt. Als Kriterium für dieAuswahl der Items diente der geschätzte Schwierigkeitsgrad – es wurden die Items aus demItempool ausgewählt, die von österreichischen Fachexperten in Bezug auf Unter- und Ober-stufe als sehr leicht bis leicht eingestuft wurden. Für den Haupttest gab es ein internationalesSonderschultestheft (Booklet 60 „SE“), das aus jedem Bereich Material zu jeweils 20 MinutenArbeitszeit umfasst.

1.5.2 Testrotation

Österreich führte einige nationale Zusatzerhebungen durch (PISA Plus; siehe Kapitel 3 imselben Abschnitt): Die Schüler/innen mussten zusätzlich zu den international verwendetenTestheften noch ein weiteres bearbeiten, in dem die basalen Lesefertigkeiten erfasst werden(Reading Speed). Das Material für diese Erhebung umfasst drei Varianten (Form A, B undC). Auch die Erhebung der Kontextinformationen im Schülerfragebogen wurde durch natio-nale Zusatzbefragungen angereichert, welche auf drei Fragebögen (A,B und C) aufgeteiltwurden. Auf Grund dieser Tatsache mussten in Öterreich nicht nur die PISA-Leistungstests,sondern auch die Lesefertigkeitstests und die Fragebögen rotiert werden. Einen Überblicküber die Rotation der Materialien gibt Abbildung IV.22.

Abbildung IV.21: Überblick Zusammensetzung der Testhefte

1 Reading 1 Reading 2 Reading 4 Maths 1+2

2 Reading 2 Reading 3 Reading 5 Science 1+2





7 Reading 7 Reading 1 Reading 3 Reading 8

8 Maths 4+2 Science 1+3 Reading 8 Reading 9

9 Science 4+2 Maths 1+3 Reading 9 Reading 8

SE

Lesen: 20 Min. Mathematik: 20 Min. Naturwissenschaft: 20 Min.

Teil 1 Teil 2


1.5.3 Aufbau der Testhefte

Das Deckblatt eines jeden Testhefts beinhaltet Angaben zum Geburtsdatum und zur Schulstufe.Am Beginn sind „Allgemeine Anweisungen“ formuliert. Diese enthalten Beispiel-Items undInformationen darüber, wie bei den verschiedenen Fragen-Formaten geantwortet werden sollund wie falsch angekreuzte Antworten auszubessern sind.

Zu Beginn des Tests werden diese Anweisungen vom Testadministrator vorgelesen undoffene Fragen geklärt. Danach folgen die beiden Testteile (Teil 1 und Teil 2) mit den für jedesTestheft festgelegten Blöcken. Auf der letzten Seite befindet sich noch eine Frage zurTaschenrechnerbenutzung.

2. Die Kontextfragebögen

Da es bei PISA nicht nur darum geht, festzustellen, in welchem Teilnehmerstaat die Schüler/innenin den verschiedenen Leistungsbereichen am besten (und in welchem am schlechtesten) sind, gibtes ergänzend zu den Leistungstests Kontextfragebögen (siehe Anhang). Diese sollen von Schüler/innen und Schulen Informationen einholen, die in Verbindung mit den Ergebnissen derLeistungstests Aufschluss über Stärken und Schwächen der einzelnen Bildungssysteme gebenkönnen. Außerdem wird erwartet, aus diesen Daten auch Schlüsse über Zusammenhängezwischen Faktoren, die auf verschiedensten Ebenen im Bildungsbereich eine Rolle spielen, undüber Unterschiede in den Schülerleistungen ziehen zu können.

Durch Analysen, die diese Kontextinformation mit den Schülerleistungen verbinden,können Ergebnisse zu folgenden Bereichen geliefert werden:• Unterschiede in Bildungssystemen und Unterrichtskontexten, die mit Unterschieden in

Schülerleistungen in Verbindung stehen,• Unterschiede in der Leistung zwischen den Ländern, die durch Inhalte der Lehrpläne und

durch pädagogische Prozesse beeinflusst sind,• das Ausmaß der Variation in der Leistung zwischen den Schulen (statt innerhalb der

Schulen) und die Unterschiede in dieser Variation über die Länder hinweg,• das Ausmaß, in dem die Schulen die Beziehungen zwischen sozialem und ökonomischem

Status und der Schülerleistung abschwächen oder verstärken,

Abbildung IV.22: Testrotation

Testheft Form

FB International

CCC PISA PLUS

Booklet 1 National A A (Lesen)

Booklet 2 National B B (Befindlichkeit)

Booklet 3 National C C (Qualität/IT)







Booklet 60 National A

Reading Speed

Ein

e e

inh

eitl

ich

e V

ers

ion

fü

r a

lle

Sch

üle

r/in

ne

n

Ein

e e

inh

eitl

ich

e V

ers

ion

fü

r a

lle

Sch

üle

r/in

ne

n

Ein

he

itlic

he

inte

rna

tion

ale

Ve

rsio

n

für

alle

Sch

üle

r/in

ne

n


• Beziehungen zwischen Schulfaktoren ( wie Größe und Ressourcen) und Schülerleistungund den Unterschieden zwischen den Ländern in diesen Beziehungen,

• das Ausmaß, in dem die Schulen die Beziehung zwischen Geschlecht (und anderendemografischen Variablen) und der Schülerleistung abschwächen oder verstärken,

• die Veränderung in den Geschlechtsunterschieden bei der Leistung über die Zeit hinweg.

Einleitend wird nun das Forschungsmodell, das als Grundlage für diese Annahme dient, kurzumrissen. In der Folge werden die Inhalte von Schul- und Schülerfragebogen, von dennationalen Fragebogenteilen (PISA Plus) und dem Cross-Curricular-Competencies Teilbeschrieben.

2.1 Das Forschungsmodell (Mehrebenenmodell)Ausgehend von dem Gedanken, dass gute und weniger gute Schülerleistungen Ursachen haben,die auf verschiedenen Ebenen anzusiedeln sind, orientiert sich PISA am Mehrebenenmodellpädagogischer Systeme. In Anlehnung an Scheerens wird postuliert, dass Schülerleistungen(Output) von verschiedenen Prozessen auf Schul-, Unterrichts- und Schülerebene bestimmtwerden (zit. nach Deutsches PISA-Konsortium, 1998). Diese Prozesse wiederum hängenebenfalls von Gegebenheiten auf diesen drei Ebenen ab (Input) und werden weiters von demKontext – vor allem übergeordneten Faktoren auf schuladministrativer Ebene – beeinflusst.

Als beeinflussende Faktoren werden z.B. materielle, finanzielle und personelle Ressourcenauf Schulebene, Erfahrungen der Lehrer oder Klassengröße auf Unterrichtsebene undGeschlecht und Alter der Schüler/innen oder Grad der elterlichen Unterstützung auf derSchülerebene angesehen. Variablen wie diese beeinflussen nach dem Modell (siehe AbbildungIV.23) Prozesse wie disziplinäre Verfahrensweisen auf Schulebene, Unterrichtsstrukturen undLernmöglichkeiten auf Unterrichtsebene oder etwa die Einstellung zum Lernen oderLernstrategien auf Schülerebene.

Damit eng in Verbindung steht die Idee, dass es bestimmte Indikatoren für Schüler-leistungen gibt – die sich in Anlehnung an das Mehrebenenmodell auf verschiedenen Ebenenbefinden. Unter einem Indikator wird ein Faktor verstanden, der anzeigt, ob es ein Problemgibt und der etwas über die Natur des Problems aussagt. Ein Indikator gibt nicht notwendi-gerweise die Ursache des Problems an, er liefert aber dennoch eine essentielle Information,indem er als Signal dafür dient, dass überhaupt ein Problem vorliegt und als Basis für dieSuche nach der Ursache verwendet werden kann.

In Anlehnung an das Mehrebenenmodell wurde für PISA eine Auswahl an Kontext-indikatoren getroffen. Eine Übersicht über diese, die auf die vier Kontextebenen Land, Schu-le, Familie und Schüler aufgeteilt werden können und die Dimensionen demographischerDaten, Strukturen, Politik und Ziele, Ressourcen und Verfahrensweisen berücksichtigen, gibtAbbildung IV.24.

Basierend auf diesem Set von Indikatoren wurde vom BPC eine Prioritätenliste erstellt.Für den Schulfragebogen umfasst diese Liste die folgenden Punkte:• Qualität der menschlichen und materiellen Ressourcen der Schule,• generelle Messungen des sozio-ökonomischen Status der Schüler/innen (Student Economic

Status; SES) auf Schulebene,• Schulvariablen in Bezug auf den Unterrichtskontext,• Grad der Verstädterung und Schulgröße,• Involviertheit der Eltern,• Öffentliche/private Kontrolle und Finanzierung.


Abbildung IV.23: Mehrebenenmodell

····

Leistungsanreize für Schüler und LehrerEntwicklung/Stellenwert von Bildung in der BevölkerungGliederung des Schulsystems/Typenvielfalt/AngebotLändliche/städtische/großstädtische Struktur

Schulebene Schulebene

Klassenebene Klassenebene

Schüler/innen Schüler/innen

-------

materielle Ressourcen finanzielle Ressourcen Lehrangebot Lehrer-Schüler Relation Elternunterstützung Schulgröße Zusammensetzung der

Schüler/innen

- --

---

Leistungsorientierung Pädagogische Führung Konsens, Kooperation

Unter den Lehrern Qualität Schulprogramm Schulklima/Atmosphäre Evaluationsbemühungen/

Leistungskontrolle

- - - -

LehrerkompetenzLehrererfahrungLehrermotivationKlassengröße

- - - - -

-

Struktur des UnterrichtsOpportunity to LearnLeistungs-Ergebnis-Erw.Klassenklima (S-S/S-L)systemat. Evaluation der

SchülerfortschritteMotivationale Prozesse

- - - - - - -

Intelligenz/Fähigkeitbisherige LeistungGeschlechtAlterMuttersprachesoziale SchichtElternunterstützung

- --

- - -

Time on Task allg.Interesse/MotivationEinstellung + Verhalten in

versch. Fächernallg. LernverhaltenErgebniserwartung/ZielHausübungsverhalten

Schüler/innen

-

- - - - - - - -

formelle Abschlüsse

WissenFähigkeitenFertigkeitenMetakognitiveFähigkeitenEinstellungenWerthaltungensoziale Komp.


Abbildung IV.24: Kontextindikatoren

Auf der Schülerebene wurde folgende Prioritätenliste erstellt:• demographische Daten (Geburtsdatum und Geschlecht),• globale Messung des SES,• Beschreibung der Schul- und Unterrichtsprozesse durch die Schüler/innen,• Lesegewohnheiten und Einstellungen zum Lesen,• Zugang zu Bildungsressourcen außerhalb der Schule (Bücher zu Hause, Ort zum Lernen),• Bildungsweg,• Sprache, die zu Hause gesprochen wird,• Erwartungen (z.B. Karriere, Bildungsziele).

2.2 Der internationale SchulfragebogenDer internationale Schulfragebogen beinhaltet eine ca. 30-minütige Befragung des Schulleiters.Die Fragen im Schulfragebogen lassen sich bestimmten thematischen Abschnitten (Modulen)zuordnen, die jeweils einem oder mehreren Indikatoren zuzuordnen sind und mit derPrioritätenliste des BPC in engem Zusammenhang stehen. Es gibt vier Kategorien, denenman die Fragen aus dem Schulfragebogen zuordnen kann:

Dimension

EbeneDemographi-

sches

Strukturen,

Politik, ZieleRessourcen

Verfahrens-

weisen

Landesebene

C1:Bevölkerung

Größe + Dichte

C2: Verteilung der

Bevölkerung nach

Alter

C3: Verteilung der

Bevölkerung nach

Bildung

C4: Lehrplan-

differenzierung

C5: Prüfungsan-

forderungen

C6: (De-)Zentra-

lisation bei

Entscheidungen

C7: Bruttonatio-

nalprodukt pro

Kopf

C8: Bildungs-

ausgaben

Schulebene

S1: Sozioökono-

mischer Hinter-

grund der Schule

und ihres

Einzugsgebietes

S2: Schultyp

S3: Schulgröße

S4: Unterrichts-

ausrüstung und

-materialien

S5: Schüler-

Lehrer-Verhältnis

S6: Unterrichts-

zeit

S7: innerschuli-

sche Differen-

zierung

S8: Schulklima

Familienebene

F1: Sprache zu

Hause

F2: Bücher zu

Hause

F3: Bildung der

Eltern

F4: Ziele der

Eltern für Kinder

F5: Bildungs-

ressourcen zu

Hause

F6: Kooperation

der Eltern mit der

Schule

Schülerebene

I1: Geschlecht

I2: ethnische

Zugehörigkeit

I3: Bildungsweg

I4: Bildungsziele

I5: Teilnahme an

außerschuli-

schem Unterricht

I6: Schulstufe

I7: Zeit verwendet

für Lesen und

Schreiben

I8: Anwesenheit

I9: Teilnahme an

nichtverpflich-

tenden Aktivitäten


beurteilung der Schüler/innen, Weiterleitung von Informationen über die Leistungen derSchüler/innen an andere Personen.

• Unterrichtsklima: Fragen zum Schulklima und zu Einstellungen der Lehrer/innen.

2.3 Der internationale SchülerfragebogenZur Erhebung von Daten auf der Schülerebene sowie auf Familien- und Schulebene aus Schüler-sicht gibt es einen Kontextfragebogen für Schüler/innen, der in etwa 30 Minuten im Anschlussan die Leistungstests beantwortet wird. Dieser Fragebogen ist ebenfalls (wie der Schul-fragebogen) thematisch in Module unterteilt, wobei jeweils ein Modul Informationen zueinem oder einer Gruppe von ähnlichen Indikatoren liefern soll.

Dieser Fragebogen beinhaltet Fragen zu folgenden Bereichen:• demographische Daten (Alter, Geschlecht, Muttersprache),• sozio-ökonomischer Hintergrund (Bildung und Beruf der Eltern),• Unterrichtsmethoden, wie sie von Schüler/innen wahrgenommen werden,• Schülereinstellungen und -gewohnheiten in Bezug auf Lesen,• pädagogische Ressourcen zu Hause und in der Schule (Anzahl der Bücher zu Hause oder

Vorhandensein einer Schulbibliothek),• Schullaufbahn,• Schülererwartungen in Bezug auf die Ausbildung.

2.4 Cross-Curricular-Competencies (CCC)1

Im Rahmen der internationalen Erhebung von Schülerleistungen ist auch die länder-übergreifende Erfassung von Fähigkeiten und Kenntnissen vorgesehen, die nicht einzelnenUnterrichtsgegenständen zugeordnet werden können, sondern in allen Unterrichtsgegenständenvermittelt werden sollen und für ein erfolgreiches Mitwirken in der Gesellschaft erforderlichsind. Diese werden als Cross-Curricular-Competencies (kurz CCC) bezeichnet und umfassenjene Bereiche, die im deutschen Sprachraum oft auch als Schlüsselqualifikationen bekanntsind. Dieser Teil ist eine internationale Option, d.h. die einzelnen Teilnehmerländer selbstentscheiden, ob sie die Cross-Curricular-Competencies mit erfassen wollen und erhalten,wenn sie sich zur Teilnahme entscheiden, die dafür vorgesehenen, international entwickeltenInstrumente. In jedem PISA-Zyklus wird ein Bereich der CCC miterfasst, wodurch über dieZeit hinweg ein Datensatz erstellt werden soll, der Informationen über eine Vielzahl vonCCC bietet und Möglichkeiten zur Verknüpfung mit anderen Schülerleistungen eröffnet.

Im ersten Zyklus wurde das Selbstkonzept der Schüler/innen als Lernende erfasst. Diedafür entwickelten Fragen beziehen sich auf ein Modell, dass kognitive, motivationale undsozio-kognitive Kompetenzen beinhaltet:• Die kognitive Komponente umfasst Vorwissen als einen das weitere Lernen unterstützenden

Faktor, was sowohl im deklarativen als auch im prozeduralen Sinn bei den fachspezifischenPISA-Erhebungen für Lesen, Mathematik und Naturwissenschaften erfasst wird.

die das Lernen an der Schule beeinträchtigen oder Kriterien für die Entscheidung, welchenSchultyp ein/e Schüler/in besucht.

• Organisation und Unterrichtspraktiken auf Klassenebene: Fragen z.B. zur Leistungs-

• Ressourcen der Schule: Diese Kategorie enthält z.B. Fragen über die Anzahl der Computeran der Schule und die Anzahl und Ausbildung der Lehrer/innen.

• Schulpolitik und Unterrichtspraktiken: Fragen z.B. zur Unterrichtszeit, mögliche Faktoren,


Der überfachliche Aspekt der kognitiven Komponente beinhaltet Wissen und Erfahrungenbezüglich Lernstrategien, wobei es um Memorieren, Elaboration und Kontrollstrategiengeht, sowie auch implizite Theorien über Lernen und Befähigungen. Die Erfassung dieserAspekte gibt Aufschluss über die Art und Weise wie Schüler/innen an den Wissenserwerbherangehen und sie spielen eine große Rolle für den Lernerfolg. Aber auch implizitenTheorien bzw. Überzeugungen über Lernen und Befähigung können Motivation undLernbemühungen beeinflussen und damit über den kognitiven Bereich hinaus wirksamzu werden.

• Die motivationale Komponente des Selbstkonzepts als Lernender umfasst die Lernmotiveim engeren Sinne, d.h. die Gründe, warum jemand lernt. Die Fragen dazu enthaltenneben der rein extrinsischen Motivation („Compliance“, d.h. lernen, weil man muss) undder rein intrinsischen Motivation („Interest-based“, d.h. lernen, weil man die Inhalte per-sönlich interessant findet) auch einen instrumentellen (wie man lernt, um daraus einenNutzen zu ziehen) und einen kompetitiven (Gründe für Lernstrategien, mit Hilfe dererman bessere Erfolge erzielt als andere) Aspekt. Auch Zielorientierungen zählen zur motiva-tionalen Komponente, die einerseits im Hinblick auf die Aufgabe und andererseits imHinblick auf das Selbst erfasst wurden. Aufgabenorientierte Schüler/innen beziehen Be-friedigung aus der Beschäftigung mit der Materie und dem erfolgreichen Bearbeiten vonfordernden Aufgaben, während Selbst- oder Ich-orientierte Schüler/innen ihre Erfolgser-lebnisse eher darin finden, sich und den anderen bewiesen zu haben, dass sie etwas wissenoder können.

• Die Items zum Bereich „selbstbezogene Kognitionen“ bziehen sich auf das Selbstkonzeptim engeren Sinn und beinhalten sowohl Fragen zum allgemeinen und gegenstands-spezifisches Selbstwertgefühl (d.h. auf die Überzeugung, zu guten Leistungen fähig zusein) als auch zur Selbsteinschätzung der Schüler/innen, gute Leistungen erbringen zukönnen, wenn sie wirklich wollen.

Die Fragen zu den Cross-Curricular-Competencies sind einerseits gegenstandsspezifisch (z.B.Selbsteinschätzung der Leistungsfähigkeit in Mathematik, Hartnäckigkeit beim Deutschlernen)und andererseits allgemeiner formuliert (z.B. allgemeines Selbstwertgefühl) um Aussagen überdie Spezifität derartiger Einschätzungen machen zu können.

Im Feldtest wurden 90 Items eingesetzt. Alle diese Items wurden bereits in vorangegangenenUntersuchungen eingesetzt und haben sich im relativ homogenen Rahmen von regionalenund nationalen Untersuchungen als hinreichend reliabel erwiesen. Im Haupttest wurde dieseItemliste auf 52 gekürzt und umfasste folgende Komponenten:• Strategien des selbstregulierenden Lernens, von denen abhängt, wie tief und systematisch

Informationen verarbeitet werden,• motivationale Präferenzen und Zielorientierungen, die einen Einfluss auf die für das Lernen

aufgewendete Zeit und Anstrengung sowie auf die Auswahl von Lernstrategien haben,• selbstbezogene Kognitionsmechanismen, die Handlungsziele und Handlungsabläufe

regulieren,• Strategien der Handlungskontrolle, insbesondere Anstrengung und Beharrlichkeit, die

den Lernprozess vor konkurrierenden Intentionen schützen und zur Überwindung vonLernschwierigkeiten beitragen,

• Präferenzen für bestimmte Typen von Lernsituationen, Lernstilen und sozialen Verhaltens-weisen, die für kooperatives Lernen erforderlich sind.


3. Nationale ZusatzerhebungenZusätzlich zu den internationalen Fragebogenteilen wurde PISA Plus entwickelt – ein um-fangreicher nationaler Survey, der die Lesegewohnheiten der Jugendlichen, die Nutzung vonInformationstechnologien innerhalb und außerhalb der Schule, die Befindlichkeit und denSchulerfolg der Schüler/innen am Übergang zur Sekundarstufe II und die an den Schulenbereits durchgeführten Qualitätsentwicklungsmaßnahmen (Q.I.S.) erforscht. Bis auf denBereich Befindlichkeit und Schulerfolg der Schüler/innen am Übergang zur Sekundarstufe IIwurden alle Teile sowohl auf Schüler- als auch auf Schulebene erhoben.

Ein weiterer nationaler Zusatz ist ein Test zur Erfassung der basalen Lesefertigkeiten(Reading Speed Test). Im Feldtest war dieser Teil als eine internationale Option konzipiert,die jedoch beim Haupttest weggefallen ist. Durch die Bemühungen des TeilnehmerlandesNiederlande (Jan Mejding) wurde auch für den Haupttest ein international verwendbarerReading Speed Test entwickelt, der als nationale Option durchgeführt werden konnte. InÖsterreich wurde diese nationale Option verwirklicht und durch weitere zwei Tests zur Messungder basalen Lesefertigkeiten ergänzt.

In den nun folgenden Unterkapiteln werden die Experten, die die jeweiligen PISA Plus In-strumente entwickelt haben, diese nationalen Zusatzprojekte beschreiben.

3.1 Lesegewohnheiten(Margit Böck)

In der folgenden Beschreibung der Forschungsinstrumente wird ein Überblick über die zen-tralen Fragestellungen der Teilprojekte PISA Plus (der erste Teil bezieht sich auf den Schüler-fragebogen [Lesegewohnheiten und Lesesozialisation der 15-/16-Jährigen] und der zweite aufden Schulfragebogen [Rahmenbedingungen der Leseförderung an den Schulen]) sowie ihreOperationalisierung gegeben, ohne dabei auf jede einzelne Frage einzugehen. Die beidenProgramme, die sich in ihrer jeweiligen Grundorientierung unterscheiden, werden getrenntvorgestellt.

3.1.1 Lesegewohnheiten und Lesesozialisation der 15-/16-Jährigen

Allgemeine Zielsetzung

Ziel dieses PISA Plus Teiles ist die Ermittlung von zentralen Dimensionen der Lesegewohn-heiten der 15-/16-Jährigen, die – auch im Zusammenhang mit ihren Testleistungen –Ansatzpunkte für Maßnahmen vor allem der schulischen, aber auch der außerschulischenFörderung des Lesens liefern sollen. Die Lesegewohnheiten, Erfahrungen der Lesesozialisationsowie der Stellenwert des Lesens im Kontext der anderen Medien stehen im Zentrum desForschungsinteresses, das sich vor allem auf das Buch als klassisches Lesemedium bezieht.Einerseits hat sich die kommunikationswissenschaftliche Leseforschung hauptsächlich aufdas Buch konzentriert, andererseits ist es im Besonderen das Buch, das in Konkurrenz mitanderen Medien als bedroht gesehen wird.

Die Konzeption der Studie orientiert sich an den Ergebnissen der RepräsentativbefragungLeseförderung als Kommunikationspolitik (Böck, 1998), an der Untersuchung Leseverhaltenvon Kindern und Jugendlichen in Österreich (Böck, 2000) sowie an aktuellen in Deutschlanddurchgeführten Arbeiten (z.B. Harmgarth, 1997; Lehmann, Peek, Pieper & von Stritzky,


1995). Dadurch soll eine Einbettung der Ergebnisse auf breiter Basis gewährleistet werden.Eine kommunikationswissenschaftliche Perspektive, die “Lesen” als medienbezogenes sozia-les Handeln versteht, bildet den theoretischen Hintergrund der Studie (z.B. Böck, 1998;Bonfadelli, 1998). Lesen ist an individuelle und gesellschaftliche Rahmenbedingungen, andie Lesekompetenz und Lesemotivation sowie an die Verfügbarkeit über und den Zugang zuLesemedien gebunden. Die Freizeit- und Medienumwelt beeinflusst mit ihren alternativenHandlungsmöglichkeiten die Entscheidung für oder gegen die Lektüre in potentiellen Lese-situationen. Auf Basis des theoretischen Bezugsrahmens und der allgemeinen Zielsetzung,Grundlagen für die Förderung des Lesens bereitzustellen, wurden Kontext- und Trend-indikatoren entwickelt, die das internationale Forschungsprogramm ergänzen und vor allemauch erklärenden Charakter für den aktuellen Schwerpunkt Lesen bzw. Leseverständnis(„reading literacy”) haben.

Zentrale Fragestellungen

Lesegewohnheiten:

Die im Rahmen des internationalen Kontextfragebogens thematisierten Lesegewohnheitender Schüler/innen werden vertiefend analysiert. Das Lesen von Büchern steht dabei im Vorder-grund. Neben der Freude am Buchlesen (Frage 1; vgl. Fragebogen im Anhang) sowie der Zahlder in den letzten zwölf Monaten in der Freizeit ungefähr gelesenen Bücher (Frage 4) wirdnach der Reichweite und der Dauer des Buchlesens in der Freizeit gefragt (Frage 2 und 3).

Bei Frage 2 und 3 wird – auf relativ globaler Ebene – differenziert zwischen dem Lesen„zur Unterhaltung“ und „zur Information bzw. Weiterbildung“. Mit diesem Trendindikatorsoll unter anderem die Entwicklung der Funktionszuweisung an das Buch in den nächstenJahren in dieser Altersgruppe beobachtet werden – dies vor dem Hintergrund, dass das quali-fizierende Lesen langfristig zunimmt (z.B. Schön, 1998). Diese Frage wird trotz der Ermitt-lung der Lesehäufigkeit unterschiedlicher Lesestoffe im internationalen Fragebogen (Frage36) gestellt, weil ein Schluss von gelesenen Buchkategorien auf die Funktionen bzw. Motiva-tionen des Lesens fragwürdig ist: „Inhaltsklassifikationen sind eine Sache; was den einzelnenLeser tatsächlich zum Lesen eines Buches bewegt, ist eine andere Sache“ (WissenschaftlicheKommision Lesen, 1977, S. 7).

Wie bereits bei der Befragung der ab 14-Jährigen sowie der 8- bis 14-Jährigen wird auchfür die 15-/16-Jährigen eine Typologie der „Buchleseintensität“ errechnet, um unterschiedlicheIntensitätsgrade einander gegenüberzustellen (Böck, 1998, 2000). Diese mehrdimensionaleTypologie wird aus den Angaben der Befragten zur Buchlesehäufigkeit, zur Lesedauer, zurZahl der pro Jahr in der Freizeit gelesenen Bücher und der Freude am Lesen ermittelt.

Das Wissen darüber, aus welchen Gründen Jugendliche Bücher lesen, ist ein wichtigerAnsatzpunkt für Maßnahmen der Leseförderung. Wie häufig verschiedene Leseimpulse bzw.Anregungen dazu führen, dass die Schüler/innen Bücher lesen, wird in Frage 5 angesprochen.Die einzelnen Items beziehen sich auf die Buchumgebung, auf interpersonale Kontakte undmediale Leseanregungen sowie auf Merkmale der gelesenen Bücher selbst.

Zwei Fragestellungen beschäftigen sich mit dem schulbezogenen Lesen. Welche Lesestof-fe wie häufig zu Hause für die Schule gelesen werden müssen, ist Inhalt von Frage 21. Dabeiwird unterschieden zwischen Schulbüchern, Romanen/Erzählungen, Gedichten/Lyrik, Sach-büchern, Nachschlagewerken/Lexika sowie Zeitungen/Zeitschriften. Meinungen der15-/16-Jährigen zum Lesen in der Schule werden in Frage 25 ermittelt. Es geht dabei unter anderem


um die Mitbestimmung der Schüler/innen bei der Auswahl der schulischen Lesestoffe, umdie Einstufung der in der Schule gelesenen Bücher sowie um einen möglichen eher negativenEinfluss der Schullektüre auf die Lesemotivation.

In einer weiteren Frage wird thematisiert, inwieweit die Schüler/innen in der erstenSekundarstufe (Hauptschule bzw. AHS-Unterstufe) verschiedene Maßnahmen der Leseförderung(z.B. Buchausstellungen, Lesungen von Autor/innen, Besuche von Bibliotheken) erlebt habenund wie sie diese einschätzen (Frage 20). Diese Fragestellung ist auch dem zweitenSchwerpunktinteresse dieses Teiles von PISA Plus zuzuordnen, der Frage nach den Erfahrungenund den Bedingungen der Lesesozialisation. Die Rahmenbedingungen des Lesens bzw. derLeseförderung an den von den 15-/16-Jährigen besuchten Schultypen werden im zweitenTeilprojekt von PISA Plus vertiefend ermittelt.

Lesesozialisation:

Besonderen Raum bekommen entsprechend ihrem zentralen Stellenwert die bisherigenLesesozialisationserfahrungen der Schüler/innen – differenziert nach den wichtigstenSozialisationskontexten (Böck, 1998; Hurrelmann, Hammer & Niess, 1993; Saxer, 1993).Die Zusammenstellung der Items kann sich dabei vor allem auf die Ergebnisse derösterreichischen Erwachsenenstudie stützen (Böck, 1998) sowie auf die Befunde des Forschungs-schwerpunkts der Bertelsmann Stiftung zur Lesesozialisation (Bonfadelli & Fritz, 1993;Hurrelmann et al., 1993).

Dieses Forschungsinteresse leitet sich nicht zuletzt daraus ab, dass sowohl die Lese-kompetenz als auch die Lesegewohnheiten wesentlich das „Resultat“ der bisher gemachtenErfahrungen mit der Kulturtechnik Lesen im weitesten Sinn sind. Es wurden für die einzelnenSozialisationskontexte Indikatoren gebildet, die eher positive bzw. eher negative Effekte aufdas spätere Leseverhalten erwarten lassen.

Auf Grund des schulischen Kontextes von PISA wird der Sozialisationsinstanz Schulebesondere Aufmerksamkeit gewidmet. Es wird zwischen Volksschule (Frage 12) sowieHauptschule bzw. AHS-Unterstufe (Frage 13) unterschieden. Gefragt wird z.B. danach, obkreativ mit Büchern gearbeitet wurde, ob es freie Lesestunden gab oder ob die Schüler/innenvon ihren Lehrer/innen Tipps und Hinweise zu interessanten Büchern bekommen haben.Schulbibliotheken sind wichtige Einrichtungen der schulischen Leseförderung, sofern sie fürdie Schüler/innen attraktiv und zugänglich sind. Ob es eine Schulbibliothek an der Hauptschuleoder AHS-Unterstufe gegeben hat, und wenn ja, wie häufig sie diese genutzt haben, wird inden Fragen 17 und 18 ermittelt. In Frage 19 sollen die Schüler/innen die Attraktivität derAngebote dieser Bibliothek einstufen (z.B. Aktualität der Literatur, Übersichtlichkeit derAufstellung, Atmosphäre, Wunsch nach anderen Medien etc.).

Bedingungen der Lesesozialisation und Leseförderung an der derzeit besuchten Schulewerden neben diesem retrospektiven Teil im Fragebogen für die Schüler/innen im Besonde-ren in der Befragung der Schulleiter/innen ermittelt (Rahmenbedingungen der Leseförderungan den Schulen).

Frage 11 thematisiert, ob und wie die Heranführung an das Lesen bereits im Kindergar-ten stattgefunden hat. Geschichten erzählen, kreativer Umgang mit Sprache, die Ausstattungdes Kindergartens mit Büchern und deren Zugänglichkeit stehen dabei unter anderem imBlickpunkt. Die vorschulische Lesesozialisation rückte als Grundlage für das Erlernen desLesens besonders in den letzten Jahren verstärkt in den Blickpunkt der Leseforschung undLeseförderung (z.B. Strecker & Pfarr, 1998; Wieler, 1997).

Die Familie als wohl wichtigste Vermittlungsinstanz einer stabilen Lesemotivation wird


in den Fragen 10 und 14 berücksichtigt. Die von den Schüler/innen in ihrer Kindheitwahrgenommenen Lesegewohnheiten der Eltern, ob die Eltern ihre Kinder z.B. durch häufigeBuchgeschenke oder gemeinsame Besuche von Buchhandlungen und Bibliotheken zumBuchlesen „verführen“ (Köcher, 1988) wollten bzw. die Kinder durch Ermahnungen zumLesen aufforderten, wird z.B. in Frage 14 gefragt.

Bedingungen der Lesefrühförderung (Bilderbücher anschauen, Erzählen von Geschichten,Vorlesen) in der Familie werden in Frage 10 angesprochen. Die Schüler/innen werden auchgefragt, ob sie bereits vor dem Eintritt in die Schule selbst Bücher lesen konnten. Dies kannals ein Indikator für eine selbstverständliche und für die Kinder attraktive und interessanteLeseumwelt interpretiert werden, die sie sich erschließen wollten – wobei die unterstützendeRolle von Erwachsenen zu berücksichtigen ist. Ob sich die 15-/16-Jährigen noch daran erinnernkönnen, wie leicht bzw. wie schwer es ihnen im Vergleich zu ihren Mitschüler/innen gefallenist, das Lesen zu lernen (Frage 16), ergänzt diese Frage.

Wie die 15-/16-Jährigen die gegenwärtigen Buchlesegewohnheiten ihrer Eltern perzipierenund ob sich die Eltern für ihr Lesen interessieren (z.B. Gespräche über Bücher), wird zusätzlichin Frage 24 erhoben. Diese Items geben – gemeinsam mit denen aus den Fragen 10 und 14 –einen Einblick in den Stellenwert des Buchlesens in der Familienumwelt der Befragten.

Der Stellenwert des Lesens in der Peer-Group, sowohl was die bisherige Sozialisation alsauch die gegenwärtige Situation betrifft, ist ein weiterer wichtiger Einflussbereich derLesesozialisation (Frage 15, 22 und 23). Buchleihe, Buchgeschenke und Leseempfehlungensowie die Häufigkeit von Gesprächen über Bücher sind Indikatoren für die soziale Einbindungdes Lesens in Kontakte mit Freundinnen und Freunden und eine soziale Stützung des Lesens,die sich daraus ableiten lässt. Der Vergleich der Gesprächshäufigkeit der 15-/16-Jährigen überBücher, Zeitungen und Zeitschriften mit der über audiovisuelle und interaktive Medien istauch Teil des dritten Frageschwerpunkts, innerhalb dessen das Lesen im Kontext der Nutzungvon bzw. der Einstellung zu anderen Medien analysiert wird.

Was die Einordnung der Ergebnisse zu den Fragen der Lesesozialisationserfahrungen betrifft,ist zu berücksichtigen, dass es sich hier um eine retrospektive Form der Datengewinnung handelt:Es werden die Erinnerungen der 15-/16-Jährigen erhoben. „Erinnern“ ist kein statischer,abgeschlossener Prozess mit immer gleichen Ergebnissen, sondern eine aktive Ausei-nandersetzung zwischen Gegenwart und Vergangenheit. Vergangenheit wird nach den Vor-gaben der jeweiligen Gegenwart der Lebensgeschichte rekonstruiert und ist erinnerteVergangenheit (Wischermann, 1996). So ist auch davon auszugehen, dass Schüler/innen, dieviel lesen, sich vermutlich detaillierter an ihre Lesesozialisation erinnern können und dieseErinnerungen auch anders gewichten werden als Jugendliche, in deren Alltag das Buch keinenbesonderen Stellenwert hat. Diese Einschränkung ist zu beachten.Andererseits ist davon auszugehen, dass sich 15-/16-Jährige noch wesentlich genauer an dieBedingungen ihres Aufwachsens erinnern können als Ältere, so dass im Vergleich zu so ge-nannten Erwachsenenstudien (z.B. Böck, 1998; Stiftung Lesen, 1993) der Effekt des Verges-sens wesentlich geringer ausfallen dürfte. Hervorzuheben ist, dass die Perzeption der 15-/16-Jährigen von Bedingungen der Lesesozialisation und -förderung erhoben wird und nicht dietatsächlichen Angebote (z.B. Vorhandensein und Zugänglichkeit einer Schulbibliothek vs. dies-bezügliches Wissen bei den Schüler/innen).

Lesen im Spannungsfeld anderer Medien:

Besonders in einer Phase von medialen Umbrüchen, die sich auch auf die Lesemedien unddie Lesegewohnheiten auswirken, rückt das Interesse am Stellenwert des Lesens im Kontext


bzw. Medien zunehmend nebeneinander nutzen (Böck, 2000; Schön, 1998). So stellen sichz.B. die Fragen, in welchen Funktionsbereichen die klassischen Lesemedien Buch, Zeitung,Zeitschrift für Jugendliche attraktiv bleiben oder sind oder ob die potentiellen Informations-funktionen der Netzkommunikation in den nächsten Jahren von den Jugendlichen verstärktwahrgenommen werden.

Der persönliche Medienbesitz der Schüler/innen wird in Frage 7 ermittelt. In Frage 8werden sieben unterschiedliche Funktionsbereiche (z.B. sich informieren, etwas lernen, sichausruhen, Spaß haben) der Nutzung von verschiedenen Medien einander gegenübergestellt.Die Bindung der Schüler/innen an die einzelnen Medien wird in Frage 9 thematisiert. Inwieweitdie 15-/16-Jährigen die Nutzung anderer Medien attraktiver als das Lesen von Bücherneinschätzen, wird in Frage 6 erhoben.

Besonders die Fragestellungen zum Stellenwert des Lesens im Umfeld der anderen Mediensind als Trendindikatoren angelegt, um den Wandel der Mediennutzungsgewohnheiten der15-/16-Jährigen längerfristig auf einer differenzierten Ebene zu beobachten – dies auch vordem Hintergrund von Befürchtungen, dass das Lesen durch die audiovisuellen und interaktivenMedien verdrängt werde.

3.1.2 Rahmenbedingungen der Leseförderung an den Schulen

Allgemeine Zielsetzung

Das Forschungsprogramm dieses zweiten Teilprojekts von PISA Plus ist – in Kombinationmit dem internationalen Fragebogen für die Schulleiter/innen – als eine Ergänzung von denFragen aus dem Schülerfragebogen zu sehen. Es interessiert, inwieweit an den von den15-/16-Jährigen besuchten Schulen die Förderung des Lesens bzw. ein positives Leseklimafortgesetzt und damit den Schüler/innen eine entsprechende Stellenwertzuschreibung an dieKulturtechnik Lesen vermittelt wird, die sich wiederum auf ihre Lesemotivation auswirkenkann. Unterschiedliche Strategien und Maßnahmen der Leseförderung an den jeweiligenSchulen stehen im Mittelpunkt dieses Teilprojekts. Diesbezügliche Stärken und möglicheDefizite sollen beschrieben werden.

Zentrale Fragestellungen

Schüler/innenzentrierte Formen der Leseförderung an der Schule:

Eingeleitet wird der von den Schulleiter/innen auszufüllende Fragebogen mit der Frage,inwieweit diese die Möglichkeit, 15-/16-jährige Nicht-Leser/innen für das Lesen zu interessieren,einschätzen (Frage 1). Es wird angenommen, dass eine positive Einstellung die Bereitschaftbeeinflusst, an der Schule in Leseförderung zu investieren. Frage 2 beschäftigt sich damit, obes an der Schule Arbeitsgruppen oder Vergleichbares gibt, die sich mit der Förderung desLesens auseinandersetzen. Ob Maßnahmen oder Angebote für leseschwache Schüler/innenan der Schule angeboten werden und wenn ja, welche (z.B. Diagnostik, Fördergruppen, Einzel-förderung), wird in Frage 5 ermittelt.

So genannte „freie“ Lesestunden und kreatives Arbeiten mit Texten als (mehr oder wenigerselbstverständlicher) Teil des Deutschunterrichts an der Schule werden in den Fragen 3 und 4thematisiert.

anderer Medien in den Vordergrund. Dies gilt speziell für Kinder und Jugendliche, die dieMöglichkeiten der neuen Medien im Allgemeinen recht unbefangen aufgreifen und in ihrenKommunikationsalltag integrieren – und damit ihr Zeitbudget auf mehr Medien verteilen


Die Schulbibliothek als Zentrum der Leseförderung:

Die Frage danach, in welche Einrichtungen der Schule in den letzten Jahren vorrangig investiertwurde bzw. wofür künftig Ressourcen zur Verfügung gestellt werden sollen (Frage 6), soll eineEinordnung des Stellenwerts der Schulbibliothek im Vergleich z.B. zu Computerräumenermöglichen. Diese Frage leitet über zum zweiten Schwerpunkt, der Schulbibliothek als einerwichtigen Institution der schulischen Leseförderung. Inwieweit die Schulleiter/innen dieRahmenbedingungen der Schulbibliothek als zufrieden stellend einschätzen oder nicht, wirdin Frage 9 angesprochen. Über welchen Bibliothekstyp die Schule verfügt (bzw. ob überhaupteine Schulbibliothek vorhanden ist) (Frage 7), wird der Frage vorangestellt, ob versucht wird,die vorgeschriebenen Öffnungszeiten der Schulbibliothek zu erweitern (Frage 8), um denZugang der Schüler/innen zur Bibliothek zu erleichtern. Diesen Programmpunkt abschließend,sollen die Schulleiter/innen in Frage 10 die Nützlichkeit der Schulbibliothek für unter-schiedliche Ziele, wie z.B. Erlernen der selbstständigen Beschaffung von Information,Heranführung an die Nutzung von Bibliotheken oder Erweiterung des Unterrichts, einstufen.

Maßnahmen der Leseförderung an den Schulen:

Die Durchführung von Buchausstellungen (Frage 11), von Lesungen von Autor/innen (Frage15) sowie die Kooperation mit öffentlichen Bibliotheken (Frage 18) werden als „klassische“Strategien der schulischen Leseförderung thematisiert. Ergänzt werden diese mit der Fragenach der Teilnahme der Schule bzw. von Schulklassen an der 1995 gestarteten Aktion „Zeitungin der Schule“ (Frage 19).

Mit ergänzenden Fragestellungen werden Informationen über die Gestaltung undBedingungen dieser Maßnahmen erhoben. Neben der Regelmäßigkeit ihres Stattfindens wirdz.B. gefragt, ob die Buchausstellungen bei den Eltern und Schüler/innen Akzeptanz finden(Frage 12) und mit wem die Schule dabei kooperiert (Frage 13). Bei den Lesungen vonAutor/innen wird ermittelt, wie viele Klassen üblicherweise teilnehmen (Frage 16) und wodiese Veranstaltungen stattfinden (Frage 17). Was die Kooperation mit öffentlichenBibliotheken betrifft, ist anzugeben, worin diese besteht (Frage 18).

„Leseförderung im System“:

Einerseits davon ausgehend, dass Leseförderung am ehesten dann wirksam werden kann, wennsie nicht punktuell, sondern im System durchgeführt wird, und andererseits vor dem Hintergrunddes Gedankens der Schulpartnerschaft, wird in Frage 20 nach der Bedeutung gefragt, die dieEltern der Schüler/innen aus der Sicht der Schulleiter/innen der Förderung des Lesensbeimessen. Das Interesse der Eltern sowie ihre Bereitschaft, sich an der Gestaltung vonFörderungsmaßnahmen zu beteiligen, wird wiederholt thematisiert (z.B. Öffnungszeiten derSchulbibliothek, Mitarbeit bei Buchausstellungen). Dies gilt auch für die Zusammenarbeitmit außerschulischen Kooperationspartnern der Leseförderung (Bibliotheken, Buchhandlungen,Medienunternehmen).

„Leseprofil“ der Schule:

Ob das Lesen bzw. die Förderung des Lesens in der Schulentwicklung einen besonderenStellenwert bekommen soll oder bereits bekommen hat, wird in Frage 21 thematisiert, dieden Fragebogen abschließt. Andere mögliche Schwerpunktbereiche sind z.B. Neue Technologien,Informatik, Fremdsprachen, Sport etc.


3.1.3 Schlussbemerkung

Die Legitimation der Leseförderung leitet sich aus dem besonderen Stellenwert ab, den dieseKulturtechnik gerade in Gesellschaften, in denen der Umgang mit Information und Kom-munikation immer wichtiger wird, auf individueller und gesellschaftlicher Ebene hat. EineAufgabe von Leseförderung bzw. das Ergebnis einer umfassenden Lesesozialisation bestehtaber nicht nur in der Vermittlung einer möglichst hohen Lesekompetenz.

Diese Befähigung ist allerdings im Zusammenhang mit der Lesemotivation zu sehen, weil„eine einseitige Orientierung am Lesenlernen zu kurz greift” (Bonfadelli, 1996, S. 65). DieKomplexität und Problematik von Leseförderung, besonders was die Schule betrifft, zeigtsich z.B. darin, dass das Lesen in der Schule oft negativ besetzt ist, weil es überwiegend der(fremd- bzw. lehrplanbestimmten) Wissensaneignung dient und vor allem extrinsisch motiviertist. Ein großes Problem des Literaturunterrichts z.B. ist das Auseinanderfallen von Schul- undPrivatlektüre, sowohl was die Lesestoffe als auch die Leseweisen angeht (z.B. Eggert & Garbe1995, S. 49ff ).

Das Auseinandertreten von Lesehäufigkeit und Lesefreude gerade bei den Jugendlichen(Böck, 1998, S. 114ff ), der so genannte „Leseknick” nach dem Abschluss der Schulbildungund die von den Jugendlichen weit überdurchschnittlich vertretene Ansicht, dass ihnen dieSchule die Freude am Lesen verleidet habe (ebd., 265ff ), sind Hinweise auf die Diskrepanzzwischen der Notwendigkeit der schulischen Pflichtlektüre einerseits und der Forderung andie Schule andererseits, Freude am Lesen zu vermitteln. Diese „Gratwanderung” derLeseförderung an der Schule gewinnt dadurch noch an Brisanz (z.B. Saxer, 1993; Schön,1993), dass durch den gesellschaftlichen Wandel allgemein und den Wandel derFamilienformen im besonderen die kompensatorischen Aufgaben der Schule auch in diesemBereich nicht geringer, sondern noch wachsen werden: „Vermutlich wird, gerade in derMedienerziehung, ein erheblicher Kompensationsbedarf auf die öffentlichen Erziehungs-einrichtungen zukommen” (Hurrelmann, 1998, S. 195).

Für diese Problembereiche nützliche Daten zu liefern, ist ein zentrales Anliegen dieserTeilstudie. „Leseförderung” wird dabei auch als die Schaffung von Zugangs-, Gestaltungs-und Entwicklungschancen verstanden. Dass diese, um auch wirklich effektiv zu sein, die Ori-entierung an den Bedürfnissen und Interessen der zu Fördernden, hier der 15-/16-jährigenSchülerinnen und Schüler, impliziert, ist ein Grundgedanke dieser Teilstudie, der nicht nurdarauf abzielt, den „Output” des Schulunterrichts an österreichischen Schulen zu messen,sondern weitere, zentrale Kontexte des Lesens in die Analyse mit einbezieht.

3.2 Basale Lesefertigkeiten - Reading Speed(Karin Landerl)

3.2.1 Theoretischer Hintergrund

Ziel der Erhebung der Lesegeschwindigkeit ist es, eine der potentiellen Ursachen für schlechteLeistungen bei den Aufgaben des PISA-Frameworks Lese-Kompetenz schnell und effizientabzuklären. Die Leseaufgaben im Rahmen der PISA-Erhebung erfordern, dass Texte schnellund flüssig durchgelesen und anschließend eine Reihe von Fragen zu den Inhalten der Textebeantwortet werden sollen. Es wird also erhoben, wie gut die Schüler/innen in der Lage sind,die Inhalte der gelesenen Texte zu erfassen und zu verarbeiten, kurz gesagt das Leseverständnis.Natürlich ist der Begriff Leseverständnis ein sehr komplexes Konstrukt, das sich aus vielenTeilkomponenten zusammensetzt (vgl. Rost, 1998). Gemäß der „Simple View of Reading“


(Gough & Tunmer, 1986; Hoover & Gough, 1990) spielen zwei Komponenten eine besonderswesentliche Rolle, nämlich das Sprachverständnis einerseits und eine flüssige Worterkennungandererseits. Schwierigkeiten bei einer dieser beiden Komponenten führen zu Defiziten imsinnerfassenden Lesen. Hohe Lesegenauigkeit und ein flüssiges Lesetempo sind also wichtigeVoraussetzungen für die kompetente Sinnentnahme beim Lesen von Texten jeglicher Art. Vorallem Perfetti (1977, 1985) weist darauf hin, dass die Mühe, die das Erkennen einzelnerWörter bereitet, die Fähigkeit einschränkt, die Textinformationen längere Zeit in einemaktivierten Zustand im Gedächtnis zu behalten und sie weiter zu bearbeiten.

Man könnte annehmen, dass die basalen Lesefertigkeiten, die in den ersten Grundschuljahrenerworben werden, in der 8. bis 10. Schulstufe bereits bei allen Schüler/innen so gut entwickeltsind, dass ausreichende kognitive Kapazität für die syntaktische und semantische Analyse undInterpretation des gelesenen Textes zur Verfügung steht. Dass dem aber bei weitem nichtimmer so ist, zeigt auf eindrucksvolle Art die von Klicpera & Gasteiger-Klicpera (1993)durchgeführte Längsschnittsstudie an Wiener Schüler/innen. Eine Gruppe von schwachenLesern hatte auch in der achten Schulstufe noch große Schwierigkeiten, Listen von mehrsilbigenWörtern und Pseudowörtern (das sind erfundene, aber aussprechbare Buchstabenabfolgenwie talire oder Aunkel, die Aufschluss geben, wie gut ein Leser mit unbekanntem Lesematerialumgehen kann) korrekt und mit angemessenem Tempo zu lesen. Sowohl die Anzahl derLesefehler als auch die benötigte Lesezeit waren etwa doppelt so hoch wie die vondurchschnittlichen Lesern dieses Alters. Ihre Leseleistung bei diesen Aufgaben, die die basalenLesefertigkeiten erheben, entsprach in etwa der von normal entwickelten Lesern am Ende der2. bzw. Beginn der 3. Schulstufe, das bedeutet, dass ihre Leseentwicklung um beachtlichesechs Jahre im Rückstand war. Ähnliche Befunde ergab auch eine Studie mit zwölfjährigenKindern, die eine altersgemäße nonverbale Intelligenz und einen normalentwickeltenWortschatz aufwiesen, deren Leseentwicklung aber spezifisch beeinträchtigt war (Landerl,1996). Für kurze, ein- bis zweisilbige Wörter war die Lesezeit der leseschwachen Kinder etwadoppelt, bei dreisilbigen Wörtern sogar dreimal so hoch wie die von normal entwickeltenLesern.

Diese Befunde zeigen, dass auch in der Sekundarstufe ein kleiner Teil der Schüler/innendie basalen Lesefertigkeiten noch nicht ausreichend gefestigt hat, wodurch sich natürlich fürden Schulalltag eine starke Benachteiligung ergibt. Ihre Lesegeschwindigkeit ist derart massivbeeinträchtigt, dass sie beim Lesen von Texten jeglicher Art ins Hintertreffen geraten. Siebrauchen schon zwei bis dreimal so lange wie ihre Klassenkameraden, um einen Text überhauptzu erlesen. Und es scheint nachvollziehbar, dass Texte, die für 15-/16-jährige Schüler/innenausgewählt wurden, mit einer Lesekompetenz, die der eines etwa neunjährigen Schülersentspricht, nicht ohne Weiteres zu bewältigen sind.

Es könnte demnach bei manchen Schüler/innen auch der Fall sein, dass auffallend schlechteLeistungen bei Leseaufgaben der PISA-Studie gar nicht auf ein beeinträchtigtes Leseverständnisan sich zurückzuführen sind, sondern auf mangelhaft entwickelte basale Lesefertigkeiten, diees den Schüler/innen nicht ermöglichen, die präsentierten Texte mit einer angemessenenFlüssigkeit zu erlesen. Aus diesem Grund schien es wichtig, Aufgabenstellungen zu entwik-keln, die auf die Erhebung der basalen Lesefertigkeiten abzielen, also der Fähigkeit der flüssi-gen und automatisierten Worterkennung. Ziel war es, zu erfassen, inwiefern schlechte Lei-stungen bei den Leseverständnisaufgaben auf Defizite in den basalen Lesefertigkeiten, alsoauf eine defizitäre Worterkennung zurückzuführen sind.

Zur Erfassung dieser basalen Lesefertigkeiten wurden im Feldtest sechs unterschiedlicheAufgabenstellungen erprobt. Zwei dieser Aufgabenstellungen wurden für den Haupttest


übernommen. Die von uns entwickelte Aufgabenstellung „Sätze Lesen“ wird nur im Rahmender österreichischen PISA-Erhebung, also als nationales Teilprojekt durchgeführt. Die zweite,unter dem Titel „Lesegeschwindigkeitstest international“ geführte Aufgabenstellung wurdeals nationale Option vom Danish Institute for Educational Research erstellt. Darüber hinauswurde eine Aufgabe entwickelt („Smiley-Test“), die nicht die basalen Lesefertigkeiten an sicherhebt, sondern Komponenten, die wichtige Voraussetzungen für eine gute Leseleistungdarstellen, nämlich die visuelle Verarbeitungsgeschwindigkeit und die allgemeine Aufmerksamkeits-steuerung. Diese Aufgabenstellungen werden im Folgenden genauer vorgestellt.

3.2.2 Aufgabenstellungen

Sätze Lesen

Die Aufgabe der Schüler/innen besteht darin, eine Abfolge von Einzelsätzen möglichst schnellund flüssig durchzulesen und anschließend eine Entscheidung zu treffen, ob der Satz inhaltlichkorrekt ist (z.B. „Eine Puppe, die an Fäden hängt, ist eine Marionette.“) oder nicht (z.B.„Indianer sind die Ureinwohner von Australien.“). Neben jedem Satz sind nebeneinander einHäkchen und ein Kreuzchen abgedruckt. Die Schüler/innen werden instruiert, bei Sätzen,die sie für korrekt halten, das Häkchen einzukreisen und bei Sätzen, die sie für inhaltlichfalsch halten, das Kreuzchen. Erhoben wird, wie viele Sätze innerhalb der vorgegebenenArbeitszeit von drei Minuten korrekt bearbeitet werden können. Die Vorgangsweise wurdeden Schüler/innen anhand eines Übungsblattes mit sechs Übungssätzen erläutert. Sie wurdeninstruiert, einen Satz nach dem anderen möglichst rasch zu bearbeiten und keinen Satzauszulassen. Die Schüler/innen wurden darauf aufmerksam gemacht, dass es nicht möglichsein würde, in der kurzen Zeit, die zur Verfügung stünde, alle Sätze zu bearbeiten, sonderndass das Kriterium sei, wie viele Sätze korrekt markiert werden könnten. Insgesamt wurden72 Sätze mit leicht ansteigender Satzlänge aufgeteilt auf drei Seiten präsentiert. Die Aufgabewurde in drei Versionen erstellt, wobei aber jeweils nur die Abfolge der Sätze geringfügigverändert wurde. So konnten Abfolgeeffekte kontrolliert werden, und es konnte verhindertwerden, dass einzelne Schüler/innen beim Sitznachbarn abschreiben.

Wichtig ist, dass die Entscheidung über die inhaltliche Korrektheit der vorgegebenenSätze nur basales Weltwissen erfordert und dass keine linguistisch komplexen Konstruktionenverwendet werden. Es sollte also nicht zu Verständnisproblemen auf Grund von mangelndemWeltwissen oder mangelnder Sprachkompetenz kommen. Die Ergebnisse des Feldtests zeigen,dass unsere theoretischen Ansprüche tatsächlich erfüllt werden konnten. Die Fehlerhäufigkeitwar sehr gering. Bei 80% der Schüler/innen lag die Fehleranzahl unter drei inkorrektenAntworten, kein/e einzige/r Schüler/in erzielte einen Fehlerwert, der auch nur annähernd ander Ratewahrscheinlichkeit von 50% lag. Zwischen der Anzahl bearbeiteter Sätze und derFehleranzahl zeigte sich lediglich ein schwacher Zusammenhang. Das bedeutet, dass einehohe Arbeitsgeschwindigkeit nicht auf Kosten der Arbeitsgenauigkeit ging. Es war also nichtso, dass Schüler/innen ihre Entscheidungen über die Korrektheit der Sätze vorschnell unddamit häufig falsch trafen, nur um möglichst viele Sätze bearbeiten zu können. Die hoheArbeitsgenauigkeit zeigt, dass der theoretische Anspruch des Tests, die erforderlichenVerständnisprozesse möglichst einfach zu halten, erfüllt werden konnte. Die Aufgabenstellung“Sätze Lesen” ist v.a. ein Maß für die schnelle und automatische Worterkennung, also diebasalen Lesefertigkeiten.

Ein weiteres Konstruktionskriterium war, dass für die Beurteilung der semantischenKorrektheit der Satz wirklich bis zum Ende gelesen werden muss. Ein illustratives Beispiel für


dieses Konstruktionsprinzip ist der Satz „Einen Berg, der Feuer und Lava speit, nennt manVentilator“. Erst nach der korrekten Lesung des letzten Wortes im Satz kann entschiedenwerden, dass dieser Satz falsch ist. Würde der Satz lauten „Ein Ventilator ist ein Berg, derFeuer und Lava speit.“, wäre bereits nach den ersten Wörtern klar, dass dieser Satz nichtstimmen kann – der Relativsatz müsste gar nicht mehr gelesen werden. Derartige Satzkonstrukt-ionen wurden bewusst vermieden.

Da die anfangs ausgeführten Befunde deutlich aufzeigen, dass schwache Leser insbesonderemit längeren, mehrsilbigen Wörtern Schwierigkeiten haben, wurde versucht, möglichst vielederartige Wörter einzubauen, wobei wiederum darauf geachtet wurde, dass die Wörter auchschwachen Schüler/innen gut vertraut sein sollten (z.B. „Lawinensuchhunde können mit ihremhervorragenden Geruchssinn verunglückte Schifahrer finden“).

Ein wesentlicher Pluspunkt dieser Aufgabenstellung ist, dass sie dem natürlichen Leseprozessentspricht. Die Sätze sind im Unterschied zu den PISA-Leseverständnisaufgaben sehr einfachkonstruiert, so dass selbst schwache Leser in der Lage sind, ihren Sinngehalt zu erfassen. DieAufgabe ist daher ein Maß für die Lesegenauigkeit und insbesondere für die Lesegeschwindigkeit.

Lesegeschwindigkeit International

Bei diesem Verfahren sollten die Schüler/innen einen aus insgesamt 1137 Wörtern bestehendenText („Ein gerechter Richter“ von Tolstoi) möglichst schnell durchlesen und an bestimmtenStellen markieren, welches von drei Auswahlwörtern den Text korrekt ergänzt. Gewertet wird,wie viele Wörter die Schüler/innen innerhalb von drei Minuten bewältigen können. AmEnde dieser beschränkten Arbeitszeit wird von den Schüler/innen markiert, welches Worter/sie als letztes gelesen hat. Entscheidend ist also auch bei dieser Aufgabenstellung, wie schnellund flüssig die Schüler/innen den präsentierten Text lesen können. Die Textstellen, an deneneine Auswahl zwischen drei möglichen Wörtern getroffen werden muss, dienen hauptsächlichder Gewährleistung, dass die Schüler/innen den Text tatsächlich aufmerksam lesen. Dadurchkann verhindert werden, dass einzelne Schüler/innen den Text vielleicht nur überfliegen odergar nicht lesen und dann angeben, sehr weit gekommen zu sein. Auch bei diesem Verfahrenist als wesentlicher Pluspunkt zu nennen, dass es dem natürlichen Leseprozess entspricht. Eingewisser Nachteil ist, dass einige Schüler/innen (insbesondere solche mit schlechtenDeutschkenntnissen) mit dem Verständnis des vorgegebenen Textes überfordert sein könnten.In diesem Fall wäre wieder nicht klar, ob eine schlechte Leistung auf nicht ausreichendentwickelte basale Lesefertigkeiten oder auf mangelnde Sprachkompetenz zurückzuführenwäre – ähnlich wie bei den Aufgaben der übrigen PISA-Leseaufgaben.

Smiley-Test

Diese Aufgabenstellung erhebt nicht Leseleistungen an sich, sondern wichtige Voraussetzungenfür eine gute Leseleistung, nämlich die visuelle Verarbeitungsgeschwindigkeit und dieallgemeine Aufmerksamkeitssteuerung, also ob ein/e Schüler/in in der Lage ist, an eineAufgabenstellung konzentriert und planvoll heranzugehen. In Zeilen mit lachenden undtraurigen Smileys (,), die oben und/oder unten mit einer variierenden Anzahl von kurzenStrichen versehen sind, müssen alle lachenden Smileys, die mit genau zwei Strichen versehensind, markiert werden. Alle anderen Smileys, also alle lachenden, die mit mehr oder wenigerals zwei Strichen versehen sind und alle traurigen Smileys – unabhängig von der Anzahl derStriche – müssen ignoriert werden.

Als Vorlage für die Smiley-Aufgabe diente der d2-Test (Brickenkamp, 1994). Im d2-Test


wird die Aufgabenstellung anhand von Buchstabenmaterial (d und p) realisiert.Dies schien für die gegenwärtige Fragestellung ungünstig, weil unklar bliebe, ob schwacheLeser möglicherweise auf Grund von Problemen in der Buchstabenerkennung schlecht ab-schneiden. Dies kann für den Smiley-Test ausgeschlossen werden. Schlechte Leistungen beidieser Aufgabe sind ein Hinweis auf Defizite in der visuellen Verarbeitung, ein allgemeinlangsames Arbeitstempo, Konzentrationsschwierigkeiten oder mangelnde Motivation.

Die Aufgabenstellung wird den Schüler/innen erläutert und an einer Übungszeile mit 22Smileys eingeübt. Dann erhalten die Schüler/innen drei Minuten Zeit, das Testblatt zubearbeiten, das aus 17 Zeilen mit insgesamt 561 Smileys besteht. Ausgewertet wird, wie vieleSmileys innerhalb dieser Zeitspanne bearbeitet werden können, wie viele zu markierendeSmileys übersehen wurden (Fehlerkategorie „miss“) und wie viele nicht zu markierende Smileysversehentlich markiert wurden (Fehlerkategorie „false alarm“).

3.2.3 Durchführungs- und Auswertungsökonomie

Die Erprobung der beiden Lesegeschwindigkeitstests (Sätze lesen und Lesegeschwindigkeitinternational) und des Smiley-Tests im Rahmen des PISA-Feldtests im Schuljahr 1998/99hat gezeigt, dass alle drei Aufgaben gut durchführbar sind. Es gab keine wesentlichen Problemebei der Instruktion. Alle Aufgaben sind innerhalb weniger Minuten durchzuführen, was imHinblick auf die Gesamtdauer der PISA-Erhebung ein wichtiges Kriterium war. Auch dieAuswertungsökonomie ist für alle drei Aufgaben hoch. Hauptkriterium ist jeweils die Anzahlder innerhalb der vorgegebenen Arbeitszeit bearbeiteten Items. Da die Arbeitsgenauigkeit imAllgemeinen hoch ist, kann auch das Auszählen von Falschantworten schnell und zuverlässigerfolgen. Zusammenfassend erheben die drei beschriebenen Aufgabenstellungen wichtigeVoraussetzungen für ein kompetentes Leseverständnis, nämlich die basalen Lesefertigkeiten(Lesegenauigkeit und Lesegeschwindigkeit), die visuelle Verarbeitungsgeschwindigkeit unddie allgemeine Aufmerksamkeitssteuerung. Diese Aufgabenstellungen ermöglichen also einerasche und effiziente Abklärung, inwiefern schlechte Leistungen bei den Aufgaben desPISA-Frameworks Lese-Kompetenz auf Defizite in diesen Bereichen zurückzuführen sind.

3.3 Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu II(Ferdinand Eder)

3.3.1 Fragestellungen und leitende Perspektiven

Der überwiegende Teil der in das Projekt einbezogenen Schüler/innen hat den Übergang vonder Sekundarstufe in die anschließenden Laufbahnen bereits vollzogen und ist soweit integriert,dass eine Abschätzung von Erfolg, Bewährung und Befinden in der neuen Laufbahn miteiner gewissen Zuverlässigkeit erfolgen kann. Damit besteht die Möglichkeit zu analysieren,inwieweit Erfolg und Bewährung in der neuen schulischen oder beruflichen Laufbahn einerseitsaus den bestehenden Voraussetzungen an der Schule bzw. bei den Schüler/innen, andererseitsaus den Erfahrungen in der Sekundarstufe I vorhergesagt werden kann.

Auf diese Weise können zum Beispiel die prognostische Validität von Noten der Sekundarstufe,die Auswirkungen schulischer Rahmenbedingungen auf die Leistung (z.B. Schultyp, Lage,Schwerpunkte, spezielle Angebote usw.), oder die Einflüsse affektiver Voraussetzungen derSchüler/innen auf Erfolg und Bewährung in der Schule abgeschätzt werden.Insgesamt sind Analysen zu drei Bereichen vorgesehen:


• Studie 1: Das Befinden der 15-/16-Jährigen in der Schule. Hier geht es um eine differenzierteAnalyse des Befindens in Abhängigkeit von schulorganisatorischen, schulökologischenund individuellen Merkmalen, insbesondere der Passung zur gewählten Schule. Zugleichsoll der Einfluss (rückerinnerter) früherer Schulerfahrungen und Schulmerkmale auf dasgegenwärtige Befinden in der Schule erfasst werden. Die Analysen sollen dazu beitragen,den Stellenwert von Befindensvariablen im Rahmen von Schulqualität zu bestimmen.Zugleich ist es möglich, Referenzdaten für die Anfangsjahre der weiterführenden Schulenzu gewinnen.

• Studie 2: Analysen zum Zusammenhang von Noten, Testleistungen und Befinden. Indieser Teilstudie geht es um die Abklärung des Zusammenhangs zwischen dem in Notendokumentierten Schulerfolg, gemessenen Testleistungen und Befindensmerkmalen inAbhängigkeit von schulorganisatorischen und individuellen Merkmalen, insbesondere derPassung zur gewählten Schule. Diese Analysen erlauben eine Abklärung des Verhältnissesvon externen Leistungsmessungen zu den von Lehrer/innen durchgeführten Leistungs-messungen sowie eine Analyse des Zusammenhangs von Befinden und Leistung,insbesondere der Frage, ob gute Leistung und positives Befinden in der Schule sichwechselseitig stützen oder beeinträchtigen.

• Studie 3: Der Übergang auf weiterführende Schulen bzw. in den Beruf. In dieser Teilstudiegeht es um die Fragestellung, inwieweit Merkmale und Erfahrungen aus der voraus-gegangenen Schule einen prägenden Einfluss auf den Erfolg und die Bewältigung dergewählten Schule haben bzw. inwieweit der Erfolg in der gewählten Schule aus diesenMerkmalen vorhersagbar ist. Dazu ist es erforderlich, Daten aus der vorausgegangenenSchule rückblickend zu erfassen und mit Erfolg und Bewährung in der gewählten Schulein Beziehung zu setzen. Die derzeit bestehenden Regelungen für den Übertritt von derSekundarstufe in die weiterführenden Schulen stützen sich auf die Noten dervorausgehenden Schule. Die Analysen erlauben Abschätzungen, inwieweit diese eineausreichende Basis darstellen. Zusätzlich kann geklärt werden, wie stark der Einflusswichtiger nichtkognitiver Voraussetzungen auf den Erfolg in der gewählten Schule ist,und welchen Stellenwert Schulmerkmale der vorausgehenden Schule (z.B. besondereorganisatorische Merkmale, Schwerpunkte, spezielle Angebote wie soziales Lernen,Kommunikation) für den Erfolg in späteren Schulen haben.

3.3.2 Methodischer Zugang

Zur Erfassung der für diese Analysen erforderlichen Informationen wurden nach MöglichkeitErhebungsinstrumente aus bisherigen Untersuchungen herangezogen, um eine entsprechendeVergleichbarkeit zu ermöglichen. Die wichtigste Quelle war die vom BMUK 1993 in Auftraggegebene Untersuchung zum Befinden von Kindern und Jugendlichen in der österreichischenSchule (Eder, 1995) sowie die Untersuchungen zum Schul- und Klassenklima (Eder, 1996).Darüber hinaus wurden eine Reihe spezifischer Indikatoren zu den bisherigen Schulerfahrungenentwickelt.

Übersicht über die erfassten Merkmale

Abbildung IV.25 zeigt in Übersicht, welche Merkmalsbereiche im Rahmen der Zusatz-untersuchungen erfasst wurden.


Abbildung IV.25: Übersicht über die erhobenen Merkmale

Darüber hinaus greifen die Analysen natürlich auch auf Ergebnisse der Leistungstests sowieauf die im Rahmen der übrigen Zusatzerhebungen erfassten Merkmale zurück.

Erhebungsverfahren und Konstrukte

Um die Qualität der Messungen zu erhöhen, wurde nach Möglichkeit versucht, Skalen zubilden, mit Hilfe derer die entsprechenden Indikatoren möglichst genau und verlässlich erfasstwerden sollten. Im Folgenden werden die Messzugänge zu den einzelnen Bereichen kurzbeschrieben und die verwendeten spezifischen Erhebungsinstrumente anhand einigerKennwerte charakterisiert. Die Reihenfolge der Darstellung orientiert sich an Abbildung IV.25.

Schul- und Klassenmerkmale:

Die organisatorischen Merkmale der Schule bzw. Klasse wurden von den Untersuchungsleiternbzw. von den Schüler/innen selbst in der üblichen Weise erfasst. Zusätzlich wurde bei den

Merkmale der derzeit besuchten Schule Merkmale der früher besuchten Schule

Schulart Schulart

Schultyp SchultypGröße der Klasse Maßnahmen zum Sozialen Lernen

Geschlechtszusammensetzung der Klasse

Klima Klima (rückerinnert)

Sozialer Druck Sozialer Druck

Schülerzentriertheit Schülerzentriertheit

Leistungsdruck Leistungsdruck

Gemeinschaft GemeinschaftDisziplin Disziplin

Leistung (Noten) Leistung (Noten)

Befinden Befinden

Schulzufriedenheit Schulzufriedenheit

Bewältigung des Unterrichts Integration bei MitschülerInnen

Integration bei MitschülerInnen

Integration bei den Lehrer/innen

Selbstkonzept und SelbstwertgefühlAllgemeines Selbstwertgefühl

Leistungsselbstkonzept

Soziales Selbstkonzept

Bisherige Schullaufbahn

Motive für die Wahl der Schule/des Berufes

Passung zum Schultyp und Bereitschaft zur

Wiederwahl Interessen

Maßnahmen der Berufswahlorientierung

5. Biographische und persönliche Merkmale

6. Vorbereitung und Realisierung des Übergangs nach der Sekundarstufe I

1. Schul- und Klassenmerkmale

2. Merkmale des Unterrichts (global)

3. Individuelle Lage der Schüler/innen

4. Selbstkonzept


Abbildung IV.26: Häufigkeit von Maßnahmen des sozialen Lernens bei verschiedenenSchülergruppen (rückerinnert)

Anmerkung.• Die Schüler/innen sollten angeben, wie oft die einzelnen Maßnahmen in ihrer früheren Klasse vorkamen

(„regelmäßig“, „bei besonderen Anlässen“, „nie“). Für die Darstellung wurden die Angaben zu „regelmäßig“und „bei besonderen Anlässen“ zu einer Kategorie zusammengefasst.

• AHS Allgemeinbildende höhere Schulen. BMS Berufsbildende mittlere Schulen. BHS Berufsbildendehöhere Schulen KISOZ Anstalten für Kindergarten-/Sozialpädagogik.

• Prozentangaben

Schüler/innen eine Erhebung durchgeführt, in welchem Ausmaß in ihrer Klasse Maßnahmenzur Förderung des sozialen Lernens durchgeführt wurden. Abbildung IV.26 zeigt in Übersicht,um welche Maßnahmen es sich dabei handelt, und wie oft sie von den Schüler/innen berichtetwerden.

Es scheinen Zweifel angebracht, in welchem Ausmaß die Angaben tatsächlich verlässlich sind.So erscheint es z.B. unwahrscheinlich, dass tatsächlich so viele Jugendliche Erfahrungen mitirgendeiner Form von Schülerparlament gemacht haben.

Eine Summenskala aus allen 7 Maßnahmen erreicht einen Reliabilitätswert von Alpha=.78.

Klima:

Als Klima wird hier die von den Schüler/innen subjektiv wahrgenommene Lernumwelt inder Klasse verstanden (vgl. Eder, 1996). Der Fragebogen enthält 16 Items, in denen dasKlima in der jetzigen Klasse beschrieben wird. Es handelt sich um zentrale Items aus den 14Skalen des LFSK 8-13 (Eder, 1998). Ihre Verwendung gewährleistet, dass ein unmittelbarerVergleich mit anderen Untersuchungen möglich ist, in denen diese Items ebenfalls verwendetwurden.

Die Klima-Items wurden zur Beschreibung der gegenwärtigen Klasse und – mit einerentsprechend geänderten Formulierung – auch zur Beschreibung der Schulklasse verwendet,die in der 8. Schulstufe besucht wurde.

Auf Basis einer Faktorenanalyse wurden fünf Teilaspekte des Klimas identifiziert und zugesonderten Indikatoren verarbeitet, die in Abbildung IV.27 dargestellt sind.

Polyt.

SchuleKlassen-vorstandsstunde

62 75 62 54 65 60 71

Klassenrat 35 58 27 38 30 32 38Morgenkreis 14 28 14 19 9 9 15Gemeinschafts-st

unden29 40 19 41 28 24 26

Soziales Lernen 28 45 23 36 27 22 11"Kokoko" 23 37 18 32 22 16 18Schüler-parlament

22 32 21 28 14 20 16

Durchschnitt 30 45 26 35 28 26 28N= 1500 148 326 304 241 446 35

BMS BHS KISOZDurch- schnitt

AHS Berufs- schule


Anmerkungen:• Die Klima-Items hatten ein fünfstufiges Antwortformat (stimmt genau, stimmt ziemlich, teils/teils, stimmt

etwas, stimmt nicht), denen die Ziffern 5 – 1 zugeordnet wurden. Hohe Werte bedeuten daher eine hoheAusprägung des Merkmals (Indikators).

• AM Arithmetisches Mittel• SD Standardabweichung• α Cronbachs Alpha als Maß für die Konsistenz

Indikator Kurzbeschreibung Items AM SD

Disziplin Ausmaß an Konzentration und

Lernbereitschaft in der Klasse2 6,5 1,9 0,54

Sozialer Druck erfasst das Ausmaß, in dem die Umwelt in

der Schul-klasse als einschränkend erlebt

wird, z.B. aufgrund restriktiven Verhaltens

der Lehrer/innen, erlebter Ungerechtigkeit

oder mangelnder Mitsprachemöglichkeiten

4 12,3

2,2 0,75

Schüler-

zentriertheit

erfasst das Ausmaß, in dem das Handeln

der Lehrer/innen in- und außerhalb des

Unterrichts als unterstützend und hilfreich

erlebt wird

5 17

3,6 0,69

3,4 0,68

2,9 0,78

Leistungs-

druck

erfasst das Ausmaß an Belastung durch

hohe Anforderungen und Tempo im

Unterricht

Gemein-

schaft

Ausmaß des sozialen Zusammenhalts und

positiver Emotionen zwischen den

Schüler/innen einer Klasse3 9,9

2 6,5

Abbildung IV.27: Übersicht über die Indikatoren des Klimas in der Klasse

Die errechneten Konsistenzkoeffizienten weisen eine angesichts der geringen Zahl der Itemspro Indikator befriedigende Höhe auf und sind für Forschungszwecke ausreichend hoch. Diegleichen Items bzw. Indikatoren wurden auch zur Beschreibung des Klimas in der früherbesuchten Schule verwendet; die gefundenen Konsistenzkoeffizienten liegen dort geringfügighöher.

Die individuelle Lage der Schüler/innen in der Schule:

Während unter dem Aspekt des Klimas die allgemeinen Verhältnisse in der Klasse angesprochenwerden, zielen die Indikatoren zur individuellen Lage auf die Leistungssituation, das individuelleBefinden und die Selbstwahrnehmung der Schüler/innen in ihrer schulischen Umwelt.

Zur Erfassung der Leistungssituation wurden die Noten aus den „Hauptgegenständen“(Deutsch, erste Fremdsprache, Mathematik/Rechnen) sowie die Noten in den naturwissen-schaftlichen Fächern (Physik, Chemie, Biologie) erfasst.

Zum Befinden in der Schule wurden folgende Indikatoren gebildet (vgl. Abbildung IV.28):Die vier Indikatoren sind im Verbund mit den Noten gut geeignet, die Lage von Schüler/innenim Hinblick auf die wichtigsten Aufgaben von Schule – die Bewältigung der Anforderungenund des sozialen Miteinanders – zu beschreiben. Die Konsistenzkoeffizienten liegen in einemmittleren Bereich, sind aber für Forschungszwecke ausreichend hoch.

Für das Befinden in der früheren Schule wurde ein auf drei Items beruhender Indikatorfür Gesamtzufriedenheit gebildet, der ebenfalls eine gute interne Konsistenz aufweist.


Selbstkonzept:

Die Schule ist für die meisten Kinder und Jugendlichen ein prägender Erfahrungsraum.Die dort gemachten Erfahrungen, insbesondere die Rückmeldungen über die Leistungen,sind in hohem Maße dafür verantwortlich, welches Bild eine Person von sich selbst, von dereigenen Leistungsfähigkeit und von den sozialen Kompetenzen entwickelt (Selbstkonzept).Diese Formung des Selbstkonzepts ist eine der zentralen Wirkungen der Schule, obgleichnatürlich auch außerschulische Faktoren dafür eine große Rolle spielen.

Die Erfassung dieses Selbstkonzepts erfolgte mit Hilfe einer Liste von 20 Statements(basierend auf der Selbstkonzeptliste von Eder, 1995), anhand derer sich die Schüler/innenselbst beschreiben. Die faktorenanalytische Überprüfung bestätigte die Erfassung von dreiAspekten des Selbstkonzepts, nämlich das allgemeine Selbstwertgefühl, das Leistungs-selbstkonzept und das soziale Selbstkonzept. Die entsprechenden Indikatoren sind in AbbildungIV.29 dargestellt.

Biographische und persönliche Merkmale:

Bei der Erfassung von Merkmalen aus diesem Bereich wurde einerseits versucht, die bisherigeSchullaufbahn jeder einzelnen Person vollständig zu rekonstruieren, und andererseits dieindividuelle Passung zwischen Person und jetzt besuchter Schule zu erfassen.

Zur Rekonstruktion der Schullaufbahn wurde ein Schema vorgegeben, in dem die Befragtenfür jedes bisher besuchte Schuljahr angeben sollten, an welcher Schulart sie es absolviert hatten.Aus diesen Angaben lassen sich bestimmte Muster von Schullaufbahnen erstellen, denen mandie einzelnen Personen zuordnen kann.

Abbildung IV.28: Übersicht über die Indikatoren zur individuellen Lage (Befinden)

Anmerkungen:• Die Items zur individuellen Lage haben im Allgemeinen ein vierstufiges Antwortformat, denen die Ziffern

1 - 4 so zugeordnet wurden, dass hohe Zahlenwerte mit einer sinngemäß hohen Ausprägung verbundensind. Hohe Werte bedeuten daher eine hohe Ausprägung des Indikators im Sinne der Benennung.



Integration bei den

Lehrer/innen

Ausmaß, in dem sich die

Schüler/innen von ihren Lehrern

akzeptiert und gerecht und fair

behandelt fühlen

4 12,5 2,5 0,67

Integration bei den

Mitschüler- /innen


Schüler/innen von ihren

Mitschüler/innen akzeptiert und

unterstützt fühlen

3 9,6 1,7 0,58

2,3 0,65

Gesamtbefinden Ausmaß, in dem Schüler/innen mit

der Schule zufrieden sind, sich dort

wohlfühlen und sie interessant und

nützlich finden

Bewältigung des

Unterrichts


Schüler/innen im Unterricht

auskennen, Wichtiges von

Unwichtigem unterscheiden können

und nicht auf mechanisches Lernen

zurückgreifen

3 8,9

5 15,2 3,19 0,77


Passung (Kongruenz) zwischen Person und Umwelt ist im beruflichen Bereich ein wichtigerPrädiktor für Erfolg und Bewährung und daher auch ein wichtiges Auslesekriterium; für denErfolg in weiterführenden Schulen ist ein derartiger Zusammenhang ebenfalls anzunehmen:Jugendliche, die ihre Schule auf Grund einer Entsprechung zu ihren individuellen Interessen,Fähigkeiten und Werthaltungen gewählt haben, sollten dort eher erfolgreich sein als solche,die lediglich unter externem Druck oder aus Zufall eine bestimmte Schule ausgewählt haben.Dementsprechend wurde erfasst, aus welchen Gründen Schüler/innen ihre Schule gewählthaben, wie sie diese Wahl im Nachhinein bewerten, und ob sich auch objektiv eine Entspre-chung zwischen ihren individuellen Interessen und dem Interessenprofil der gewählten Schu-le bzw. des gewählten Berufes feststellen lässt.

Zur Erfassung der Schulwahl- bzw. Berufswahlmotive wurden jeweils zwei Indikatorenerfasst (vgl. Abbildung IV.30).

Die Indikatoren erfassen die nach den Ergebnissen der Berufs- und Laufbahnforschung wich-tigsten subjektiven Einflussgrößen auf die Laufbahnentscheidungen mit einer hinreichendenMessgenauigkeit. Zusätzlich wurden die Schüler/innen in diesem Bereich noch gefragt, wiegut die gewählte Schule zu ihnen passe bzw. ob sie die Schule ein zweites Mal wählen würden.

Die Erfassung der individuellen Interessen erfolgte mit dem Allgemeinen Interessen-Struk-tur-Test (AIST) von Bergmann & Eder (1993), wobei zur Weiterentwicklung des Verfahrenseinige Items vor allem zum Bereich der neuen Informationstechnologien neu hinzugefügtwurden.

Das Verfahren erfasst nach dem Person-Umwelt-Modell von Holland (1985) sechsInteressendimensionen:

Anmerkungen:• Die Selbstkonzept-Fragen haben ein vierstufiges Antwortformat (stimmt genau, stimmt ziemlich, stimmt

etwas, stimmt nicht), denen die Ziffern 4 - 1 so zugeordnet wurden, dass hohe Zahlenwerte mit einersinngemäß hohen Ausprägung verbunden sind. Hohe Werte bedeuten daher eine hohe Ausprägung desIndikators im Sinne der Benennung.



Soziales

Selbstkonzept

Ausmaß, in dem jemand sozial

integriert ist bzw. sich für fähig

hält, mit anderen in positive

soziale Beziehungen einzutreten

7 22 3,7 0,78

4,5 0,83

Allgemeines

Selbstwert-

gefühl

Ausmaß, in dem sich jemand für

eine wertvolle und wichtige

Person hält

Leistungs-

selbstkonzept

Ausmaß, in dem sich jemand für

tüchtig hält und über Zutrauen in

die eigene Leistungsfähigkeit

verfügt

7 15,3

6 19,1 3,6 0,78

Abbildung IV.29: Übersicht über die Indikatoren zum Selbstkonzept


Anmerkungen:• Die Fragen zu den Schulbesuchs- bzw. Berufswahlmotiven haben ein vierstufiges Antwortformat (sehr

wichtig, wichtig, weniger wichtig, nicht wichtig), denen die Ziffern 4-1 so zugeordnet wurden, dasshohe Zahlenwerte mit einer sinngemäß hohen Ausprägung verbunden sind. Hohe Werte bedeuten dahereine hohe Ausprägung des Indikators im Sinne der Benennung.


Indikato r Kurzbeschreibung Item s AM SD

Externale E inflüsse bei der Berufswahl

Ausm aß , in dem Einflüsse w ichtiger Bezugspersonen (E ltern, Lehrer) bzw. situative Aspekte (Zufall u.ä) für die Schulw ahl ausschlaggebend sind

4 7,4 2,7 0,59

3,3 0,68

Selbstverw irklichungs-aspekte bei der Berufswahl

Ausm aß , in dem die Entsprechung zu den individuellen Interessen, Fähigkeiten, Z ielen und W erten bzw. materie lle Aspekte w ichtig für die Berufsentscheidung angesehen w ird

6 18,5

2,8 0,58

Selbstverw irklichungs-motive Schulwahl

Ausm aß , in dem die Entsprechung zu den individuellen Interessen, Fähigkeiten, Z ielen und W erten als w ichtig für die Schulentscheidung angesehen w ird

Externale E inflüsse auf die Schulwahl

Ausm aß , in dem Einflüsse w ichtiger Bezugspersonen (E ltern, Lehrer) bzw. situative Aspekte (Zufall u.ä) für die Schulw ahl ausschlaggebend sind

5 8,6

4 12,3 2,7 0,73

• R – Praktisch-technische Interessen• I – Intellektuell-forschende Interessen• A – Sprachlich-künstlerische Interessen• S – Soziale Interessen• E – Unternehmerische Interessen• C – Ordnend-verwaltende Interessen

Die psychometrischen Kennwerte des Verfahrens sind im Manual beschrieben. Auf Basis diesesTests ist es möglich, für alle teilnehmenden Personen ein Interessenprofil zu erstellen, diesesmit dem „Profil“ der gewählten Schule zu vergleichen und das Ausmaß der Übereinstimmungzu berechnen.

Vorbereitung des Übergangs:

Im Fragebogen wurden zwölf Maßnahmen vorgegeben, von denen erwartet werden kann,dass sie zumindest dem Großteil der Jugendlichen prinzipiell zugänglich sind, sei es alsschulisches Angebot (z.B. berufskundlicher Unterricht), sei es als individuelle Maßnahme(z.B. Beratung durch einen Berufs- oder Bildungsberater).

Erfasst werden soll das Ausmaß, in dem sich die Jugendlichen vor dem Übergang auf dieSchule oder in den Beruf mit dieser Aufgabe auseinandergesetzt haben, bzw. in welchemAusmaß sie dabei institutionelle Hilfen erhalten haben (vgl. Abbildung IV.31).

Abbildung IV.30: Übersicht über die Indikatoren zur Schul- bzw. Berufswahl


3.3.3 Stichprobe

Wegen der insgesamt umfangreichen Erhebungssituation wurden die Zusatzprojekte gesplit-tet und nur in einem zufällig ausgewählten Teil der Stichprobe vorgegeben. Die oben be-schriebenen Daten liegen daher mit wenigen Ausnahmen lediglich für ca. ein Drittel derPISA-Gesamtstichprobe vor. Insgesamt ergeben sich die in Abbildung IV.32 dargestelltenStichprobengrößen.

Gesamt Polyt.

Schule

AHS Berufs-

schule

BMS BHS KISOZ

Vortrag durch

Berufsberater 35 35 26 35 35 43 37

Berufsinfor-mationszentrum

52 55 30 56 57 60 69

Beratung durch LehrerIn

29 37 23 32 29 28 26

Broschüren über

Berufe 53 48 41 49 52 68 71

Betriebs-besichtigung

29 46 13 50 32 24 6

Übung zur

Berufsorientierung 31 43 18 37 35 32 34

Schule/Lehrplatz besichtigt

45 35 34 46 43 57 66

N= 1500 148 326 304 241 446 35

Anmerkungen:• Von den Befragten wurde angegeben, an welchen Maßnahmen sie bereits teilgenommen hatten.• AHS Allgemeinbildende höhere Schulen• BMS Berufsbildende mittlere Schulen• KISOZ Anstalten für Kindergarten-/Sozialpädagogik• Prozentangaben

Abbildung IV.31: Häufigkeit berufsorientierender Erfahrungen in der vorausgehenden Schule

Abbildung IV.32: Stichprobe für die Zusatzerhebungen zum Bereich Schulerfolg, Befindlichkeit und Übergang

N % weiblich männlich

Hauptschule 63 4 33,3 66,7Polyt. Schule 148 9,5 39,7 60,3AHS 326 20,9 49,2 50,8Berufsschule 304 19,4 30,4 69,6BMS 241 15,4 60 40BHS 446 28,5 56,6 43,4KI- u.SOZPÄD 35 2,2 94,3 5,7

Gesamt 1563 100 48,9 51,1


3.4 Nutzung von Informationstechnologien(Claudia Reiter)

3.4.1 Zielsetzungen

Die Zusatzerhebung „Nutzung von Informationstechnologien“ verfolgt drei Hauptziele: Zumeinen stellt die Fähigkeit der Nutzung moderner Informationstechnologien einen wichtigenTeil der Voraussetzungen zum lebenslangen Lernen dar (vgl. Baumgartner, Gramlinger,Niedersüss & Neurater, 1998). Zum anderen ist der Ist-Zustand in Bezug auf die Nutzungvon Informationstechnologien ein wichtiger Teil des Konzepts der Schulqualität (vgl. Kapitel3.5 in diesem Abschnitt). Somit kann diese Erhebung auch als Ergänzung zum PISA Plus Teil„Qualität in Schulen“ interpretiert und verwendet werden. Weiters interessieren Zusammen-hänge auf individueller Basis, also Fragestellungen, die Gewohnheiten, Fähig- und Fertigkeiteneines Schülers/einer Schülerin im Bereich Informationstechnologien mit anderen Daten,insbesondere Leistungsdaten aus den PISA-Tests, in Verbindung bringen. Ein – allerdingsuntergeordneter – Aspekt ist die Fortsetzung der Befragungen zur Computernutzung imRahmen der vorangegangenen Studien COMPED (1992) und TIMSS (1995).

Die hierzu benötigten Informationen wurden auf zwei Ebenen erhoben, in Form einesSchülerfragebogens und als kurzer Teil des Fragebogens für die Schulleitungen. Diese beidenInstrumente werden im Folgenden (getrennt voneinander) beschrieben.

3.3.4 Anmerkungen

Soweit eine psychometrische Überprüfung der erfassten Konstrukte möglich und sinnvollwar, führten sie zu Reliabilitätskoeffizienten, die für Forschungszwecke als befriedigend bisgut eingestuft werden müssen. Sie bilden damit eine ausreichende Grundlage für die weiterenAnalysen.

Die konkreten Begleitumstände bei der Erfassung der Zusatzangaben müssen bei derAuswertung der Daten kritisch in Rechnung gestellt werden. Das Splitting der Zusatzprojekteführte zu einer Reduktion der Stichprobe, die bei einzelnen Schularten relativ geringe Stich-probengrößen zur Folge hatte. Vermutlich kam es vor allem bei leistungsschwächerenTeilnehmer/innen zu deutlichen Ermüdungserscheinungen. Immerhin mussten die Schüler/innen nach mehreren Stunden kognitiver Leistungstests dann noch Fragebögen bearbeiten.

Diese Rahmenbedingungen sind möglicherweise auch dafür verantwortlich, dass dieGütekennwerte bei den einzelnen Konstrukten nicht immer die erwartete Größenordnungerreichen.

Die geringen Stichprobengrößen bei einzelnen Schularten bedeuten natürlich auch eineEinschränkung, wenn man Ergebnisse im Sinne von Richtwerten (Referenzdaten) für einzelneSchularten interpretieren möchte (z.B. hinsichtlich der Zufriedenheit von Schüler/innen).Andererseits ist in Rechnung zu stellen, dass trotz des Splittings die gesamte Stichprobe inden Daten repräsentiert ist und lediglich der „Klumpencharakter“ der Stichprobe verringertwurde. Die Voraussetzungen für eine Generalisierung von Ergebnissen wurden also nicht injenem Ausmaß reduziert, wie man es auf Grund der Verkleinerung der Stichprobe vermutenkönnte.

Als ungeahnt schwierig erwies sich die Erfassung der bisherigen Schullaufbahn der Schüler/innen,weil sich offensichtlich nicht alle an die einzelnen Stadien ihrer Laufbahn zuverlässig erinnernkönnen, und weil einige schulorganisatorische Bezeichnungen nicht allen Schüler/innengeläufig sind.


3.4.2 Der Schülerfragebogen: „Computer und Internet“

Die Daten, die auf Schülerebene in Bezug auf die Nutzung von modernen Informations-technologien erhoben wurden, können inhaltlich in zwei Bereiche gegliedert werden: dieNutzung von Computern und die Verwendung des Internets. Beide Bereiche werden nachAnwendung im schulischen und außerschulischen Umfeld unterteilt. Ergänzt wird dies durchzwei Skalen zur Selbsteinschätzung der computer- und internetbezogenen Fähigkeiten derSchüler/innen. So entstehen die (auch für die Schüler/innen als solche erkennbaren) fünfTeile des Fragebogens (siehe Abbildung IV.33).

Abbildung IV.33: Inhaltliche Blöcke des IT-Schülerfragebogens

Die Teile 1-4 sind sehr ähnlich strukturiert, um einerseits Vergleiche zwischen der Verwendungvon Computer und Internet, sowie Vergleiche zwischen der Nutzung von Informations-technologien in und außerhalb der Schule zu ermöglichen. Andererseits dient dies auch dazu,allgemeine Aussagen über die Vertrautheit der Schüler/innen mit Computer und Internetdurch die Zusammenfassung der Informationen aus den Teilen 1 und 3 (Computernutzung)bzw. 2 und 4 (Internetnutzung) machen zu können.

Jeder dieser Teile beginnt – zwangsweise – mit einer Einstiegsfrage, die danach fragt, obComputer oder Internet in oder außerhalb der Schule überhaupt schon einmal benutzt wordensind (Fragen 1, 8, 14 und 20; vgl. Fragebogen im Anhang). Diese dienen auch jeweils alsFilterfrage: Bei negativer Antwort werden die Schüler/innen sofort zum nächsten für sieinhaltlich sinnvollen Fragebogenteil weitergeleitet. Weiters werden die Dauer und Häufigkeitder Nutzung erhoben. Dies erfolgt durch die Erfragung der erstmaligen Nutzung (Fragen 2,9, 15 und 21) und die Häufigkeit der Computer- bzw. Internetnutzung bezogen auf dieletzten beiden Schuljahre (Fragen 3, 10, 17 und 23). Bei den schulbezogenen Teilen erfolgtzusätzlich eine Gliederung dieser Information nach Unterrichtsfächern (Fragen 4 und 11),außerschulisch nach Nutzungsorten (Fragen 16 und 22).

Als weiteres charakterisierendes Merkmal wird nach der Verfügbarkeit von Computern zuHause gefragt (Frage 17). Die Teile zur schulischen Nutzung enthalten jeweils eine Frage zurMöglichkeit der Computer- bzw. Internet-Nutzung in der Schule außerhalb des Unterrichts(Fragen 7 und 13), die sich auch im Schulfragebogen wiederfinden.

Ein weiterer wichtiger Aspekt der IT-Nutzung ist die Art der Verwendung (Fragen 5, 12,19 und 24). Erfasst wird diese Information nach Häufigkeiten bei bestimmten Tätigkeiten

Internet

Schulisch Teil 2

Privat Teil 4

Computer-Kenntnisse

Internet- Kenntnisse

Selbsteinschätzung: Teil 5

Computer

Teil 1

Teil 3


(z.B. „Texte verfassen“ oder „Grammatik-Übungen machen“ beim Computer oder „E-Mailsversenden und empfangen“ oder „einfach nur zum Spaß im Internet surfen“ bei den Internet-Teilen). Die Antwortalternativen sind jeweils bei den Fragebogenteilen zur schulischen undprivaten Nutzung identisch, um Vergleiche zu ermöglichen.

Außerdem findet sich im ersten Teil ein Fragenbündel zu Problemen in der Schule imZusammenhang mit der Nutzung von Computern (Frage 6). Die Schüler/innen werden hierbeinach ihrer Einschätzung der Größe verschiedener Probleme gefragt. Ergänzt durch weiterepotenzielle Probleme findet sich dieser Fragenkomplex auch im Schulfragebogen wieder.

Am Ende des Schülerfragebogens (im erwähnten fünften Teil) werden noch einige Fragenan alle Schüler/innen gestellt – egal ob sie angeben, Computer oder Internet in oder außer-halb der Schule zu verwenden. Diese umfassen Informationen zur beruflichen und privatenComputer- und Internetnutzung verschiedener Personen aus dem Umfeld der Schüler/in-nen, wie Eltern, Geschwister, Freunde (Frage 25).

Zudem finden sich hier zwei Fragenbündel zur Selbsteinschätzung der Schüler/innenbezüglich ihrer Fähigkeiten im Umgang mit Computern und dem Internet. Hierbei werdenauf einer dreistufigen Skala (kann ich nicht – kann ich ein wenig – kann ich gut) die eigenenFähigkeiten in Bezug auf verschiedene konkrete Tätigkeiten wie „einen Aufsatz oder Brief mitTextverarbeitung verfassen und ausdrucken“ oder „eine eigene Homepage im Internet erstel-len“ eingeschätzt. Diese Art der Erhebung hat sich als äußerst leistungsfähig, weil leicht durch-zuführen und datenmäßig stabil, herausgestellt (vgl. Haider, 1994). Die beiden Skalen (ge-trennt nach computer- und internetbezogenen Fähigkeiten) wiesen im Feldtest zufriedenstellende Kennwerte auf und können als eindimensional angesehen werden.

3.4.3 Der Schulfragebogen: „Die Nutzung von Informationstechnologien“

Die Fragen im Schulfragebogen lassen sich in drei Teile gliedern: Ein erster Teil widmet sichAusstattung, Problemen und Praktiken in Bezug auf Computer. Danach wird die Internet-Ausstattung und der Umgang der Schule mit dem Medium Internet erhoben. Den Abschlussdes Fragebogens bildet ein Fragenbündel zur Einschätzung des Stellenwerts der Weiter-entwicklung im Bereich moderner Informationstechnologien.

Im ersten Teil wird versucht, Umfang und Güte der EDV-Ausstattung der Schulen zuerfassen (Fragen 1 bis 5). Dies umfasst Daten zur Anzahl an Computern und EDV-Räumen,sowie zur Modernität und Ausstattung der Geräte. Diese Angaben müssen allerdings im Kon-text der Schulgröße interpretiert und verglichen werden. Außerdem findet sich hier das –etwas erweiterte – Fragenbündel aus dem Schülerfragebogen zu Problemen der Schule inBezug auf die Nutzung von Computern (Frage 6). Die Schulleitungen (bzw. der/die EDV-Beauftragte/der Schule) werden hier gebeten, einzuschätzen, inwieweit verschiedene Um-stände Probleme für ihre Schule darstellen. Der Anfang der hier dargebotenen Liste ent-spricht den im Schülerfragebogen angeführten potentiellen Problembereichen. Diese sindaber im Schulfragebogen durch einige Schüler/innen weniger zugängige Problemfelder er-gänzt.

Ebenfalls ergänzend zum Schülerfragebogen – und von der Formulierung her ähnlich –wird erhoben, ob es Schüler/innen möglich ist, Schulcomputer außerhalb des Unterrichts zuverwenden (Frage 7).

Der zweite Teil konzentriert sich auf die Möglichkeit von Schüler/innen, in der Schuledas Internet zu nutzen. Auch hier wird versucht, Kennwerte für die Güte der technischenAusstattung zu erfassen (Fragen 8 bis 11). Ein Fragenkomplex am Ende dieses Teils (Frage 12)


widmet sich dem Umgang der Schule mit dem Internet. Dies umfasst Ausmaß und Art derNutzung. So wird z.B. erfragt, ob Schüler/innen E-Mails an der Schule versenden könnenoder die Schule oder einzelne Lehrer/innen eigene Homepages haben.

Das Ende des Fragebogens bildet ein Fragenkomplex, der verschiedene Vorhaben im Bereichder Nutzung von Informationstechnologien auflistet (Frage 13). Hier wird gebeten, dieseVorhaben in Bezug auf ihre Priorität der Schule für die nahe Zukunft – definiert als dienächsten beiden Schuljahre – auf einer dreistufigen Skala (nicht wichtig – niedrige Priorität –hohe Priorität) einzuordnen. Die Auswertung dieser Informationen hat vor dem Hintergrundder schon vorhandenen Ausstattung der Schule (Fragen 1-5) sowie den wahrgenommenenProblemen (Frage 6) stattzufinden. Außerdem können zur Interpretation dieser ErgebnisseDaten aus dem PISA Plus Teil „Lesen“ von Interesse sein. In Frage 21 des Schulfragebogenszu diesem Bereich wird nach einer Reihung von verschiedenen Bereichen – unter anderemder Computernutzung – in Bezug auf ihren Stellenwert im Schulprofil gebeten.

3.4.4 Erwartete Produkte

In einem ersten Schritt soll auf der Grundlage deskriptiver Analysen der Daten eine Base-Line zur Entwicklung einer systematischen Datenbasis in diesem Bereich geschaffen werden.Hierbei werden die Ergebnisse im Zusammenhang mit Daten aus älteren Studien (z.B.COMPED) und im Kontext der aktuellen Literatur zum Thema erläutert.

Tiefer gehende Analysen, die Zusammenhänge auf Individualbasis aufdecken helfenkönnen, indem die Ergebnisse aus den internationalen PISA-Leistungstests mit einbezogenwerden, sollen folgen. Denkbar ist hier die Entwicklung einer Typologie, die Daten zuComputernutzung, Leistungsdaten und andere Kontextinformationen in Verbindung bringt.

3.5 Qualität in Schulen(Günter Haider)

Um bildungspolitische Entscheidungen seriös begründen und in der Öffentlichkeit plausibelargumentieren zu können, sind gesicherte Informationen über den Qualitätszustand und dieQualitätsentwicklung des Bildungswesens aus repräsentativen empirischen Studien erforderlich.Das internationale PISA-Projekt liefert uns solche wertvollen Zustandsinformationen in denwichtigen Bereichen Lesen, Mathematik und Naturwissenschaften bei den 15-/16-Jährigenund erlaubt deren Vergleich mit den Leistungen der Schüler/innen in den 30 wichtigstenIndustriestaaten der Erde.

Schülerkenntnisse sind als ein zentraler Output ein wesentlicher Indikator für die Qualitäteines Schulsystems – es gibt darüber hinaus auch noch weitere wichtige Aspekte vonSchulqualität. Für das seit 1998 laufende österreichische Q.I.S. Projekt (Qualität in Schulen)wurde eine Übersicht erstellt, die alle Aspekte von Schulqualität in „Fünf Qualitätsbereiche“zusammenfasst (vgl. Kapitel 3.5.2 dieses Abschnitts):

I. Die Qualität des Unterrichts (Lehr- und Erziehungsqualität)II. Die Qualität des Lebensraumes Schule/KlasseIII. Schulpartnerschaft und Außenbeziehungen der SchuleIV. Die Qualität des Schulmanagements (Leitung, Organisation)V. Professionalität und Personalentwicklung bei Lehrer/innen


Eine hohe Qualität aller Bereiche zusammen trägt dazu bei, dass Unterricht und Erziehungmit Erfolg stattfinden.

Im nationalen PISA Plus Projekt „Q.I.S.“ wird das Ziel verfolgt, die vorhandenen PISA-Outputdaten mit einer Reihe von interessanten weiteren Qualitätsinformationen zu verknüp-fen, die in zusätzlichen Fragebogenerhebungen bei Schüler/innen und Schulleiter/innen ge-wonnen werden.

3.5.1 Q.I.S. „Qualität in Schulen“: Maßnahmen der Schulentwicklung(Nationaler Schulfragebogen Qualitätsentwicklung - Qualitätssicherung)

Zielpersonen sind die Schulleiterinnen und Schulleiter der 213Stichprobenschulen. Siebekamen im Haupttest 2000 zusätzlich zu den etwa 30 Minuten PISA-Kernfragen iminternationalen Teil des Schulfragebogens weitere etwa 15–20 Minuten nationales Materialvorgelegt, mit dem Schwerpunkt auf Schulqualität. Als Strukturierungsgrundlage bei derFragebogenkonstruktion konnten dabei die im Projekt Q.I.S. entwickelten „Fünf Qualitäts-bereiche“ (s.u.) herangezogen werden.

Im Mittelpunkt des Erhebungsinteresses stehen Maßnahmen der untersuchten Schulenim Bereich Schulqualität/Schulentwicklung, z.B.• Ziele und Unternehmensphilosophie der Schule,• entwickelte Schulprofile/Leitbilder,• Fortschritte in der Schulprogrammentwicklung,• Schnittstelle zu zuführenden und weiterführenden Bildungseinrichtungen,• laufende Qualitätsentwicklungen (Prioritäten, Initiativen);• Selbstevaluationsmaßnahmen,• Schulpartnerschaft, Involvierung ins Schulleben (Mitgestaltung und Möglichkeiten,

Schulpartnerschaft) usw.

Insbesondere geht es darum, einen quantitativen Überblick über alle laufenden Qualitäts-aktivitäten zu gewinnen. Die intensiven Anstrengungen (und gesetzlichen Neuerungen) indiesen Q.I.S.-Bereichen seitens des BM:BWK sollten in den Longitudinal-messungen (PISA2003, 2006 etc.) gut abgebildet werden – wir werden sehen, wie schnell und in welcher Formsich die Q.I.S.-Anstrengungen in praktischen Veränderungen auf Schulebene erkennen las-sen.

Der nationale Schulfragebogen zu „Qualität in Schulen“ besteht daher aus folgenden Teilenbzw. erbringt die folgenden Informationen:(1) Eine Liste von 26 möglichen Qualitätsmaßnahmen (von der Leitzieldiskussion über die

Festlegung von Leistungsstandards bis zur Durchführung Pädagogischer Konferenzen),deren Stand der Durchführung an der Schule erfragt wird;

(2) Eine Prioritätenliste von in nächster Zukunft an dieser Schule geplanten Qualitäts-entwicklungsmaßnahmen;

(3) Die Beurteilung wichtiger Rahmenbedingungen für die Qualitätsentwicklung an der Schule;(4) Der derzeitige Stand an gesetzlichen Regelungen in Sachen Schulprogramm/Leitbild und

Selbstevaluation, der für diese Schule gilt;(5) Fördernde und hemmende Personen/Personengruppen in Sachen neuer Qualitätsmaßnahmen;(6) Eine Bewertung der eigenen Schule in den 5 Q.I.S. Qualitätsbereichen ;(7) Eine Einschätzung der Bekanntheit und des Nutzungsumfanges bestehender Q.I.S. Ange-

bote (Internet, Qualitätsnetzwerk, etc.).


Indikatoren Kurzbez Beschreibung Art des Indikators

A01 EIGFAIR fair - gerecht single A02 EIGHUMOR humorvoll - fröhlich single A03 EIGHILF hilfsbereit - unterstützend single A04 EIGFREUN freundlich single A05 EIGENGAG engagiert - aktiv single A06 EIGVERST verständnisvoll - rücksichtsvoll single A07 EIGEHRL ehrlich - aufrichtig single A08 EIGKOOP kooperativ - kontaktfreudig single A09 EIGTOLER tolerant - lassen Kritik zu single A10 EIGENGES Gesamtskalenwert: Eigenschaften der Lehrer/innen composite

Der PISA Plus Schulfragebogen wurde im Frühjahr 1999 einem umfangreichen Feld-test unterzogen und auf Grund der Ergebnisse gestrafft und in der Verständlichkeitüberarbeitet.

3.5.2. Q.I.S. „Qualität in Schulen“: Wie gut ist deine Schule?(Nationaler Schülerfragebogen zur Qualitätsentwicklung)

Zielpersonen sind die Schüler/innen in den rund 220 Stichprobenschulen. Sie bekamen zu-sätzlich zu den etwa 30 Minuten PISA-Kernfragen im internationalen Teil des Schülerfrage-bogens weitere etwa 15–20 Minuten nationales Material zu Qualitätsindikatoren vorgelegt.Diese nationale Zusatz-Befragung der Schülerinnen und Schüler fand am festgelegten Testtagnach der internationalen Testung und Befragung statt und wurde durch den externen Test-administrator vorgenommen.

Um die zeitliche Gesamtbelastung der Schüler/innen möglichst gering zu halten, wurdedieser Fragebogenteil (wie alle anderen nationalen Teile auch) im Haupttest 2000 in dreiverschiedenen Formen rotiert: Q.I.S. wurde (zusammen mit dem IT-Teil) der Fragebogen-version C zugeteilt. Durch die Rotation ergab sich eine Stichprobengröße von rund 1500 bis1600 Schüler/innen pro Fragebogenteil. Dies ist ausreichend, um eine vernünftige Parameter-schätzung für diese Altersgruppe vornehmen zu können.

Als Instrumente wurden die von einer Salzburger Arbeitsgruppe unter der Leitung vonDDr. Günter Haider im Auftrag des BM:BWK entwickelten Feedback-Fragebögen (Qualitäts-skalen unter dem Titel „Wie gut ist deine Schule?“) verwendet. Sie sind im Internet unter„www.qis.at“ im Bereich „Fragebögen“ frei zugänglich. Durch PISA Plus wird es damit mög-lich, aussagekräftige Referenzdaten für den Bereich „Qualitätsfeedback auf Schulebene“ zusichern.

Durch PISA Plus können für Österreich speziell interessante Sachverhalte im Längsschnittdargestellt und eine Vielzahl von Indikatoren aus den verschiedensten PISA-Bereichen (Test-leistungen, CCC, ...) mit Qualitätsindikatoren verknüpft werden. Wir können so interessan-ten Zusammenhängen auf mehreren Ebenen nachgehen, was in herkömmlichen Einzelstudiennie möglich ist.

Der Schülerfragebogen zur Qualitätsentwicklung umfasst folgende fünf große Bereiche:

TEIL A: Eigenschaften deiner Klassenlehrer

Im ersten Frageteil werden den Schüler/innen neun wichtige positive menschliche Eigen-schaften vorgegeben, die für Lehrer/innen von besonderer Bedeutung sind. Die Schüler/innensollen durch Ankreuzen angeben, auf wie viele der Klassenlehrer/innen diese Eigenschaftenzutreffen.


Indikatoren Kurzbez. Beschreibung Art des Indikators C01-C20 KLASS01-20 Die 20 Items zu Klassenklima-

Klassengemeinschaft single

C22 KLASSGES Skalengesamtwert Klassenklima-Klassengemeinschaft

composite

C21 KLASSSMI Klassenklima - Wert der Smileys single

TEIL B: Der Unterricht deiner Klassenlehrer/innen

Dieser Teil enthält 18 Statements/Behauptungen zum Unterricht der Klassenlehrer/innenund ein zusammenfassendes „Smiley-Item“. Die Fragen konzentrieren sich vor allem auf denQualitätsbereich I „Qualität des Unterrichts“. Folgende Teilbereiche werden durch Itemsberücksichtigt (siehe detaillierte Aufstellung der Teilbereiche im Kapitel 3.5.3):

A) Fachkompetenz: Item 12B) Unterrichtsgestaltung: Items 2, 3, 16C) Differenz. Förderung: Item 17D) Hausübungen: Item 15E) Erziehungsstil: Item 7F) Motivierung: Items 9, 11, 13G) Disziplin Item 10H) Bedeutsamkeit: Item 4I) Anforderungen: Items 1, 5, 14J) Noten: Item 8K) Ergebnisse: Item 6L) Längerfristige Auswirkungen: Item 18I) Allgem. Zufriedenheit: Smiley-Item 19

TEIL C: Deine Klasse, deine Mitschüler/innen

Dieser Teil enthält 20 Items zum Bereich Klassenklima (zum Teil adaptiert aus Eder, LFSK II,1996; erste Spalte gibt Bezug zu „5 Qualitätsbereichen“ an - siehe Anhang) und zwar:

II B 1) zur Gemeinschaft: Items 1, 3, 7, 8, 10II B 2) zur Lernbereitschaft: Items 6, 11, 20II B 3) zur Rivalität in der Klasse: Items 2, 5, 9, 14II B 4) zur Störneigung: Items 12, 18II B 5) zu Freunden: Items 13, 17II B 6) zur Toleranz: Items 4, 15II B 7) zu Gewalt und Drogen: Items 16, 19II B 7) Allgem. Zufriedenheit: Smiley-Item 21

Indikatoren Kurzbez. Beschreibung Art des Indikators B01-B18 UNTER01-18 Die 18 Items zum Unterricht der Klassenleh-

rer/innen single

B20 UNTERGES Skalengesamtwert Unterricht der Klassenleh-rer/innen

composite

B19 UNTERSMI Unterricht Wert Smileys single


TEIL D: Deine Schule, das Leben an dieser Schule

Dieser Teil enthält 22 Items zum Bereich Schulklima und zwar:II C Schulklima allgemein: Items 1, 6, 8, 9, 10, 14, 18, 20, 21,III F Öffnung nach außen: Item 2II C Bedeutung von Leistung: Items 9, 13, 22II F reichhalt. Schulleben/Angebot: Items 3, 7II E mater. Rahmenbedingungen: Items 12, 19IV C Schulleitung: Item 4III C Schülerbeteiligung/Partnerschaft: Items 11, 17II D zu Gewalt und Drogen: Items 5, 15, 16II C Allgem. Zufriedenheit: Smiley-Item 23

TEIL E: Was dir gefällt – was dich stört

Enthält fünf offene Fragen und gibt Gelegenheit zu speziellem Schüler-Feedback an Lehrerund Schule (Fragebogen im Anhang).

3.5.3 Fünf Qualitätsbereiche der Schulentwicklung - Kategoriensystem

I. Die Qualität des Unterrichts (Lehr- und Erziehungsqualität)

(A) Die Vorbereitung des Unterrichts durch die Lehrperson (fachliche/inhaltliche Kompetenz,ausreichende sachliche/lehrstrategische Vorbereitung, Vorbereitung des Lehrmittel-einsatzes, individuelle Gestaltung von Medien, Sicherheit und Improvisation)

(B) Die didaktische Gestaltung des Unterrichts durch die Lehrperson (Sprache/Verständ-lichkeit/Klarheit, Gliederung/Ordnung, Abwechslung und zusätzliche Anregung, Ziel-/Ergebnisorientierung, Denk- und Vermittlungsqualität: Lehr-/Lern-/Sozialformen,Arbeitstempo/Unterrichtsdruck, sachliche Korrektheit, Herstellung größerer Zusammen-hänge/Querverbindungen/Orientierungshilfen, fächerübergreifende Kooperation/Projekt-unterricht, Beteiligung der Schüler/innen am Unterricht, passender Einsatz von Lernhil-fen/Medien, Fragen und Rückmeldungen, ausreichende Übungs-/Wiederholungsphasen)

(C) Differenzierte Förderung und Unterstützung: Förderung von schwächeren/leistungs-schwachen und von besonders begabten/leistungsfähigen Schüler/innen (Differenzierung-Individualisierung: Angebote, Engagement)

(D) Hausübungen und häuslicher Lernaufwand (Qualität und Umfang/notwendiger Zeit-aufwand, Beurteilung/Vergleich des gesamten Arbeits- bzw. Lernaufwands, selbstständigeLösung/Bewältigung der Hausübungen, Kontrolle und Rückmeldung durch Lehrer/innen)

(E) Sozialverhalten und Erziehungsstil im Unterricht: Kommunikations- und Kooperations-kultur von Lehrer/innen und Schüler/innen, Positive Erfolgserwartung vermittelnd,Hilfsbereitschaft und Rücksichtnahme, Freundlichkeit, Geduld, Zuwendung, Achtung-Wärme-Rücktsichtnahme, Umgang mit leistungsschwachen Schüler/innen; Verhaltender Schüler/innen zum Lehrer

(F) Motivierung durch den Lehrer (Wertschätzung von Wissen und Kompetenz, persönlichesEngagement, Anregung zum selbstständigen Lernen, aktivierende, interessante, moti-

Indikatoren Kurzbez. Beschreibung Art des Indikators D01-D22 SCHUL01-20 Die 20 Items zu Schulklima single

D24 SCHULGES Skalengesamtwert Schulklima composite D23 SCHULSMI Schulklima - Wert der Smileys single


vierende Gestaltung des Unterrichts, Lebensnähe/Herstellung aktueller/praktischer Bezügeaus der Lebenswelt der Schüler/innen,) und Lernbereitschaft der Schüler/innen (allgemeineLeistungsbereitschaft/Mitarbeit der Schüler/innen)

(G) Strenge/Disziplin: Kontrolle der schulischen/unterrichtlichen Situation, Ausmaß derBeachtung und Betonung der Einhaltung disziplinärer Vorschriften (Haus-/Schulord-nung), Maßnahmen/Verhalten des Lehrers zur Erreichung von Ordnung und Disziplinder Schüler/innen (Mitarbeit der Schüler/innen/Störung des Unterrichts)

(H) Die Bedeutsamkeit der gewählten Lerninhalte (wie relevant sind die präsentierten Inhalte,Auswahl aus Lehrplan/Kernstoff und Erweiterungsstoffe, Aktualität, gesellschaftlicheRelevanz, „Allgemeinbildung“, Praxisbezug/berufliche Relevanz, Bezug zum Ausbildungsziel)

(I) Lernanforderungen und Stress/Leistungsdruck (Orientierung an klaren fachlichen Standards,Höhe/Umfang der Lernanforderungen, Selektionsdruck der auf die Schüler/innenausgeübt wird, Stress/wahrgenommene Belastung durch Schüler/innen durch Leistungs-anforderungen, Ausmaß der in Anspruch genommenen Nachhilfe)

(J) Prüfungen und Notengebung (Klarheit der Anforderungen, Verständlichkeit der Kriterien,Angemessenheit der Aufgaben, rechtzeitige Ankündigung, korrekte Durchführung vonLeistungsmessungen, Information über/Begründung von Noten, Akzeptanz der Beurteilung)

(K) Ergebnisse des Unterrichts: Fachliches Wissen und Fertigkeiten der Schüler/innen als Erfolgdes Unterrichts (Leistungen der Schüler/innen in den Kern- und den autonomenBereichen); Meinungen/Haltungen/Wertschätzungen/Einstellungen der Schüler/innenals Ergebnis von Unterricht; formale Abschlüsse

(L) Längerfristige Auswirkungen des Unterrichts; Unterrichts- und Ausbildungsqualitätinsgesamt, Chancen durch Besuch dieser Schule; Attraktivität und Image der Schule fürInnen- und Außenstehende: Erfolg der Absolventen in weiterführenden Schulen,Übertrittsraten, Arbeitsplatzangebote, Zufriedenheit der „Abnehmer“ (weiterführendeSchulen, Arbeitgeber)

II. Die Qualität des Lebensraumes Schule/Klasse

A) Individuelles/subjektives Wohlbefinden („psychologisches Klima“) – Wahrnehmung des eige-nen Befindens durch den einzelnen Schüler/Lehrer (Berufs-, Schul-) Zufriedenheit, Stress,somatische Belastungen/Müdigkeit, Ausgebrannt-Fühlen (Burn-out), Schul- und Prü-fungsangst, Freude am Schulbesuch

B) „Klassenklima“ - Bezugsebene Klasse/Gruppe: L-S-Beziehungen (Wertschätzung, Mitspra-che und Verantwortung der Schüler/innen, Aushandlung von Regeln und Einhaltung)und S-S-Beziehungen (Hilfsbereitschaft, Gemeinschaft/Rivalität, Lernbereitschaft/Stör-neigung, unsoziales/aggressives Verhalten, Umgang mit Minderheiten)

C) „Schulklima“ Bezugsebene Schule: Soziale Qualität in der Schule (Wärme, Strenge, Viel-falt, Wertschätzung von Wissen und Kompetenz, Anonymität, Gewalt/Vandalismus) bzw.Klima im Kollegium, kooperative Schulleitung, Zufriedenheit mit den gegebenen Ar-beitsbedingungen, Verhalten des nicht-lehrenden Personals (Schulwart etc.)

D) Ausmaß von und Umgang mit Problemen (erziehungsschwierige Schüler/innen, schwieri-ge Lehrer/innen, problematische Eltern, schwierige Bedingungen im sozialen Umfeld derSchule), adäquate Maßnahmen zur Konfliktlösung, zur Unterstützung und Beratung (Be-rufsberatung, Drogenberatung, Umgang mit Minderheiten, etc.), Kontrolle des Leistungs-stresses (Fördermaßnahmen, Umgang mit Leistungsschwachen, Nachhilfe-Situation,Repetierquoten, Drop-outs/häufiges „Schulversagen“/„Hinausprüfen“)


E) Qualität der Rahmenbedingungen, die die Schule bietet, Arbeitsplatz „Schulklasse“, Ge-staltung der Räumlichkeiten/„Ambiente“, Qualität der Möbel (Größenentsprechung,Bequemlichkeit) und der Beleuchtung, funktionale Sitzposition (z.B. Sicht zur Tafel),„Freundlichkeit“ und Bequemlichkeit des Arbeitsplatzes der Lehrer/innen, technischeAusstattung (Medien, Bibliothek, Computer), Unterstützung durch nicht-lehrendes Per-sonal

F) reichhaltiges Schulleben, attraktive und interessante Angebote der Schule – z.B. schulische/unterrichtliche Wahlmöglichkeiten (z.B. mehrere Sprachen) und Freigegenstände, außer-unterrichtliche Angebote/Aktivitäten (kulturelle Angebote/Feste/Feiern, Sport, Computer-club, Teilnahme an Wettbewerben, Interessen-/Begabungsförderung, Sprachferien/Schüler-reisen, Internationalisierung), Entfaltungsmöglichkeiten für Lehrer/innen und Schüler/innen, gemeinschaftsfördernde Maßnahmen, interessante Schulversuche

III. Schulpartnerschaft und Außenbeziehungen der Schule

A) Die subjektive Zufriedenheit der Eltern, Schüler/innen und Lehrer/innen hinsichtlich derwahrgenommenen Schulpartnerschaft (Information, Kommunikation, Kooperation), dieEntwicklung gemeinsamer Wertvorstellungen, Konsens bezüglich der wesentlichen Ziele

B) Elternpartizipation: Qualität und Ausmaß der Kommunikation und Kooperation der Leh-rer/innen und des Schulleiters mit den Eltern (Schulforen/SGA, Sprechtage, und darüberhinaus), Mitsprache/Beteiligung/selbstständige Beiträge der Eltern

C) Schülerpartizipation: Die Beteiligung der Schüler/innen am Schulgeschehen, Mitspracheund Verantwortungsübernahme durch die Schüler/innen, die Kooperation mit Schüler/innen, selbstständige Beiträge von Schüler/innen zur Schulgemeinschaft

D) Kommunikation und Kooperation mit der zuständigen/vorgesetzten Schulverwaltung(Schulaufsicht, BSR, LSR, BMUK), dem Schulerhalter und der pädagogischen “Infrastruk-tur” (PA, PI, Uni, etc.)

E) Kommunikation und Kooperation mit dem nicht-lehrenden Personal an der Schule (z.B.Sekretariat, Schulwart)

F) Öffnung nach außen: Auseinandersetzung mit gesellschaftlichen Vorgaben und Her-ausforderungen, die Kommunikation und Kooperation mit schulexternen Institutionen(z.B. Unternehmen), pädagogische Leistungen der Schule für das Umfeld, Teilnahme anregionalen, nationalen, internationalen Wettbewerben, externe Darstellung der Schule

IV. Qualität des Schulmanagements (Leitung, Organisation)

A) Die Organisation und Administration der Schule durch den Leiter/die Leiterin: Entwick-lung eines klaren/eigenständigen schulischen Konzepts/Profils/Schwerpunkts (Schulprogramm,Qualitätsprogramm Schulprofil), Qualität des organisatorischen Konzepts, Einhaltung dergesetzlichen Bestimmungen, Lehrfächerverteilung, Stunden-, Supplier-, Aufsichtspläne,Mittelaufteilung, Informationssysteme, Amtsschriften, Terminpläne, Planung von Ver-anstaltungen, administrative Arbeit mit übergeordneten Schulbehörden und mit demSchulerhalter

B) Die Führung der Schule durch den Leiter/die Leiterin: Führungsstil, Verteilung von Auf-gaben, Aushandlung von Kompromissen, Treffen von Entscheidungen, Anerkennung/Lob/Rückmeldung, Qualitätskontrolle/Qualitätsentwicklung/Durchführung der Dienstauf-sicht, Organisation schuleigener Lehrerbildung, Innovationsanstöße, ausgewogene För-derung von Wettbewerb und Teamgeist, Autonomie/Ausnutzen autonomer Spielräume,


Hausordnungen, Leitung von Konferenzen, Kooperation mit der Personalvertretung,Öffnung der Schule nach außen, Informationsfluß zu den Schulpartnern, Elternarbeit,Vertretung nach außen z.B. beim Schulerhalter; Leitung und Kontrolle des nicht-lehren-den Personals

C) Die pädagogisch-beraterische Kompetenz des Leiters/der Leiterin (besonderes pädagogischesKonzept als Teil des Schulprogramms/ Schulprofils, pädagogische Beratung und Ent-scheidung, Konfliktmanagement, Einzelberatung-Coaching, systematisches Recruiting/systematische Personalentwicklung, Einbringen pädagogischer Kompetenz in außer-schu-lische Bereiche)

D) Erfolg der Schulleitung in der Beschaffung von notwendigen und zusätzlichen Ressourcen(z.B. für Ausstattung, Unterrichtsmittel/Medien, Arbeitsmittel, Gebäude/Räume, Veran-staltungen)

V. Professionalität und Personalentwicklung

A) Gemeinsame Bewältigung der an die Lehrer/innen gestellten Aufgaben an der Schule: Identi-fikation mit der Schule, selbstständige Übernahme von Aufgaben, professionelle Koope-ration (in Fächern, Projekten, Qualitätszirkeln), „Teamgeist“/Team Teaching, Zusammen-arbeit in der Unterrichtsvorbereitung, pädagogisches Engagement, Mitwirkung der Perso-nalvertretung an Zielerreichung

B) Pädagogische Entwicklungsarbeit an der Schule (curricular, didaktisch, evaluativ): Qualitäts-entwicklung und Qualitätskontrolle/Evaluation, Entwicklung von Schul/-Qualitäts-programmen, systematische Qualitätsprüfung, entstandene Produkte (Lehrziel-kataloge,Pläne, Medien, neue Unterrichtsmittel), Teilnahme an pädagogischen Forschungs-Pro-jekten

C) Systematische Personalentwicklung (lehrendes Personal): FORTBILDUNG: Erwerb berufs-spezifischer formaler/fachlicher/pädagogischer Qualifikationen, Ausmaß schulinterner und-externer Fortbildung, eigenständige Beiträge zur Lehrerfortbildung (Vortrag, Leitung),schuleigene Fortbildung; WEITERBILDUNG: Erwerb zusätzlicher pädagog-psycholog.oder fachlicher Qualifikationen (an Universitäten, in Kursen, Lehrgängen)

D) Innovationsbereitschaft der Lehrer/innen: Bereitschaft und Kompetenz der Lehrer/innen,Neues zu versuchen: z.B. Initiierung von Schulversuchen, Modellschulen, Integrationvon Behinderten, Anwendung von Informationstechnologien/Computer/Internet, bil-dungspolitisches Reform-Engagement, Teilnahme an Wettbewerben (Olympiaden,Assessments)

E) Vorhandensein/Erwerb spezieller sozialpädagogischer/Beratungs-/oder therapeutischer Kom-petenzen an der Schule, spezielle Angebote von Beratung und speziellen Maßnahmen(z.B. Konfliktbewältigung, Drogenberatung, Beratungslehrer/innen)


meldung sollte eine endgültige nationale Version erstellt werden. Sowohl für die Übersetzungder Items als auch für die Übersetzung der Fragebögen musste diese Prozedur angewendet

4. Übersetzung und Adaption der TestinstrumenteAuf Grund der Tatsache, dass alle Schüler/innen, die an PISA teilnehmen, in der Sprachegetestet werden, in der sie (hauptsächlich) unterrichtet werden, ergibt sich die Notwendigkeitder Übersetzung aller PISA-Materialien in die jeweiligen Landessprachen (wenn in einemLand mehr als 5% der Zielpopulation in einer weiteren/anderen Sprache unterrichtet wer-den, so werden diese Schüler/innen ebenfalls in ihrer jeweiligen Unterrichtssprache getestet).Nach der Übersetzung und Anpassung der Materialien an nationale Besonderheiten werdendiese von einem Übersetzer (externe Mitarbeiter des Konsortiums), der speziell trainiert wird,verifiziert.

Folgende Materialien mussten von den Teilnehmerländern übersetzt werden:• Units/Testaufgaben (Stimulus, eine oder mehrere Fragen, Information über Art und Absicht

der Fragen und Markeranweisungen),• Schul- und Schülerfragebögen,• Manuale für Schulkoordinatoren und Testadministratoren und der Marking Guide.

4.1 Die international festgelegte ÜbersetzungsprozedurFür die Übersetzungsprozedur wurden vom internationalen Zentrum genaue Richtlinien fest-gelegt. Danach musste in jedem Land eine „multiple translation procedure“ angewendet wer-den. Neben der englischen Originalversion, die als Referenzversion für alle Übersetzungenund Übersetzungsverifikationen diente, gab es auch eine „second source“-Version in französi-scher Sprache. Mit Hilfe dieser Version sollte veranschaulicht werden, bis zu welchem Aus-maß Abweichungen bei der Übersetzung in die entsprechenden Landessprachen von der eng-lischen Version erlaubt sind (z.B. bei Namen, Straßen, ...) und sie sollte zu einem besserenVerständnis bei unklaren Passagen in den Items führen, sowie zur Lösung von auftretendenÜbersetzungsschwierigkeiten beitragen. Zwei nationale Übersetzer sollten aus diesen beidenQuellversionen zwei voneinander unabhängige Übersetzungen produzieren, d.h. einer der bei-den sollte die Instrumente aus der englischen Originalversion in die jeweilige Landesspracheübersetzen und der zweite aus der französischen Version.

Jeder der Übersetzer sollte für jedes Item in der „National Adaptation Form“ alle Abwei-chungen von der Originalversion (inklusive Begründung) notieren. Bei den nationalen An-passungen musste darauf geachtet werden, dass die Komplexität des Textes nicht verändertund eine Antwort nicht plausibler wurde. Durch einen dritten Übersetzer sollte eine nationa-le Verifikation (eine Überprüfung der Richtigkeit der Übersetzung) dieser beiden Versionenund die Zusammenfügung zu einer nationalen Version erfolgen. Die daraus resultierendeVersion musste gemeinsam mit den Anmerkungen des dritten Übersetzers (nationale Verifi-kation) und den von den Übersetzern ausgefüllten National Adaptation Forms an das inter-nationale Zentrum zur Verifikation weitergeleitet werden.

Diese zweite internationale Verifikation (Überprüfung der Richtigkeit der Übersetzungauf internationaler Ebene) diente der Gewährleistung, dass bei allen nationalen Versionen derInstrumente dieselben Übersetzungsprinzipien angewendet wurden. Als Grundlage zur Über-setzungsverifikation dienten die Übersetzungsrichtlinien und eine Checkliste, in der alle Pro-bleme und Auffälligkeiten eingetragen werden mussten. Nach der internationalen Verifikati-on erhielten die nationalen Projektzentren eine Rückmeldung. Auf Grundlage dieser Rück-


Termine Arbeitsschritte

Ende August 1998 Draftversion der Übersetzungsrichtlinien ist verfügbar

Erste Teile der englischen Version der Feldtests sind fertig

und es wird mit der Übersetzung ins Französische begonnen

September 1998 Die englischen Draftversionen sind vollständig

Oktober 1998 Die Draftversion der französichen Übersetzung ist vollständig

Fertigstellung der Übersetzungsrichtlinien

Übersetzungstraining für NPM und/oder nationale Übersetzer

November 1998 Senden der Rückmeldung über die Instrumente durch den

NPM und der nationalen Anmerkungen der nationalen

Übersetzer an die Testentwickler

Dezember 1998 Deadline für das Aussenden der beiden Versionen an die

NPMs

Ende Jänner 1999 Deadline für das Senden der nationalen Übersetzungen zur

Verifikation

Februar 1999 Training der internationalen Übersetzungsverifizierer

Ende Februar 1999 Deadline für die Aussendung der Rückmeldungen über die

Übersetzung an die NPMs

März 1999 Fertige nationale Versionen

werden; für die Übersetzung der Manuals war die Anwendung der multiplen Übersetzungs-prozedur optional.

Neben der Beschreibung der Übersetzungsprozedur umfassten diese Richtlinien auch:• Hinweise bezüglich häufiger Übersetzungsprobleme (z.B. Veränderung des Seitenlayouts,

weil durch die Übersetzung Textdokumente länger werden als in der Originalversion;Vereinfachung des Vokabulars und der Syntax),

• Unterstützung bezüglich der Verwendung der Fragenabsicht und der Punktevergabe,• Anmerkungen zur Handhabung von Übersetzungshinweisen der Testentwickler,• Spezielle Hinweise für die Übersetzung der Mathematik- und Naturwissenschafts-Items.Vor Beginn der Übersetzung wurde vom internationalem Zentrum ein Übersetzertraining(im Oktober 1998) für die NPMs und deren Übersetzer abgehalten, bei dem die Richtlinienpräsentiert wurden.

Abbildung IV.34 gibt einen Überblick über den vom internationalen Zentrumfestgelegten Zeitplan für die Übersetzung und die anschließende Verifikation aller Instrumente.

Abbildung IV.34: Zeitplan für die Übersetzung und Verifikation im Feldtest

Im Haupttest war keine derartige Übersetzungsprozedur mehr notwendig, da bei diesem nurTeile des Materials verwendet wurden, welches für den Feldtest entwickelt wurde. Die Itemswurden auf der Basis der Feldtestanalysen ausgewählt und überarbeitet und an die Teilnehmer-länder (wieder in englischer und französischer Sprache) versendet. Somit musste im Haupt-test beim Stimulusmaterial und bei den Fragen keine neue Übersetzung mehr vorgenommenwerden. Alle Veränderungen in den Quellversionen wurden in die nationalen Versionen im-plementiert. Um das zu verwirklichen, gab es für jedes Item eine Liste mit allen vom interna-tionalen Zentrum vorgenommenen Veränderungen. Weiters sollten all jene Items, die sichauf Grund der nationalen Itemanalyse als problematisch erwiesen hatten, sorgfältig überprüft


und gegebenenfalls Übersetzungsfehler ausgebessert werden.Alle Abweichungen in den nationalen Haupttestversionen von der nationalen Feldtest-

version mussten in „National Revision Forms“ dokumentiert werden. Da im Bereich derMarking Instructions (die Bestandteile der Units sind) allerdings vom Feldtest- zur Haupt-testversion sehr viele Veränderungen gemacht wurden, musste dieser Teil der Units fast völligneu übersetzt werden. Alle revidierten nationalen Versionen und die National Revision Formsmussten wie auch schon im Feldtest verifiziert werden. Dieses Mal inkludierte die Verifikati-on zwei Schritte. Zunächst mussten alle Units (Stimulusmaterial, Fragen und MarkingInstructions) hinsichtlich sprachlicher und übersetzungstechnischer Aspekte verifiziert wer-den. In einem zweiten Schritt mussten die fertigen Testhefte in Form von Hardcopies zurVerifikation geschickt werden, wo sie bezüglich des Layouts überprüft wurden. Weiters warim Haupttest eine Verifikation der Manuals vorgeschrieben. In Abbildung IV.35 ist der zeit-liche Ablauf der Anpassungs- und Verifikations-prozedur dargestellt.

Abbildung IV.35: Zeitplan für die Revision und Verifikation im Haupttest

4.2 Umsetzung der internationalen Übersetzungsrichtlinien in Österreich

4.2.1 Übersetzung und Verifikation der Items

Für die Übersetzung der Feldtest-Items in den drei Bereichen Lesen, Mathematik undNaturwissenschaft wurde im Oktober 1998 zwischen den Ländern Deutschland, Luxemburg,Schweiz und Österreich folgende Kooperationsvereinbarung getroffen (eine derartigeÜbersetzungskooperation zwischen Ländern mit einer gemeinsamen Unterrichtssprache wurdein den Übersetzungsrichtlinien des internationalen Zentrums angeregt, um möglichst wenigeVarianten in den verschiedenen Versionen des Materials zu haben, das die Schüler/innenbekommen, die in derselben Sprache unterrichtet und getestet werden):

• Die Schweiz übersetzt die Items aller drei Kompetenzbereiche aus dem Französischen;• Deutschland übersetzt alle Lese-Items aus dem Englischen;• Österreich übersetzt alle Mathematik- und Naturwissenschafts-Items aus dem Englischen;• Luxemburg sammelt alle Übersetzungen und erstellt im Anschluss an einen Über-

setzungsworkshop eine gemeinsame deutsche Version aller Items.

Termine Arbeitsschritte

Anfang November 1999 NPMs erhalten die englische Version der selektierten Items

22.-26. November NPM Meeting in Melbourne - Diskussion des Materials für

den Haupttest; NPMs informieren das Konsortium über den

zeitlichen Ablauf der Revisionen der nationalen Versionen

und für welchen Zeitraum die Verifikation durch das

Konsortium geplant ist

Ende Dezember 1999 Das Konsortium liefert die finalisierten englischen und französischen Versionen an die NPMs, sowie eine Liste der

vorgenommenen Revisionen und Information über diese

Items auf Basis des nationalen Feldtestberichtes

Jänner 2000 Training des internationalen Verifikatoren-Teams; Revision

der nationalen Versionen und Beginn des

Verifikationsprozesses


In Österreich fand zunächst ein „nationales Übersetzertraining“ statt, bei dem die Übersetzerdie international vorgeschriebenen Richtlinien erhielten und diese gemeinsam besprochenwurden. Dann wurden die Mathematik- und Naturwissenschafts-Items von zwei Übersetzernaus dem Englischen übersetzt. Einer der Übersetzer war für den Bereich Mathematik und derzweite für den Bereich Naturwissenschaft zuständig. Bevor diese beiden Versionen von einemweiteren Übersetzer wieder ins Englische rückübersetzt und mit der englischen Original-version verglichen wurden, wurden die Übersetzungen zwischen den zwei Übersetzern ausge-tauscht und gegengelesen. Die daraus entstandene Endversion wurde nach Luxemburg ge-schickt, wo bis zum 17. Dezember 1998 alle Übersetzungen der Items gesammelt wurden.Am 18. Dezember fand ein Treffen der luxemburger Experten (Lehrer/innen) statt, die dieAufgabe hatten, die Übersetzungen der deutschsprachigen Länder zu verifizieren. Vom 7. bis9. Jänner wurde in Luxemburg ein Übersetzungsworkshop der Kooperationspartner abgehal-ten. Basierend auf den zwei vorhandenen Übersetzungen eines jeden Items wurden bei die-sem Workshop jene Textpassage ausgewählt, die dem Originaltext am besten entsprach. Diedadurch entstandenen deutschen Endversionen der Items wurden vor Ort von einem einge-richteten Schreibservice in das richtige Format gebracht, so dass am Ende des Workshopsjedes Teilnehmerland die endgültige Fassung der Items auf Diskette erhielt. Diese gemeinsa-me deutsche Version wurde dann von einem externen Mitarbeiter des Konsortiums (SteveDept) verifiziert und im Anschluss daran wurden in Österreich die nationalen Anpassungenvorgenommen. Alle Abweichungen von der gemeinsamen deutschen Version wurden inAdaptionsformularen festgehalten und mussten nochmals verifiziert werden.

Folgende Arten von nationalen Adaptionen wurden durchgeführt:• Anwendung der neuen Rechtschreibung bei allen Materialien,• Angabe von Geldbeträgen in Euro,• Änderungen von Namen und Adressen (falls inhaltlich sinnvoll),• Anpassung an Besonderheiten des österreichischen Gebrauchs der deutschen Sprache.

Für die notwendigen Revisionen der Haupttest-Items und die Übersetzung der MarkingInstructions war zwischen den deutschsprachigen Ländern wieder eine Kooperation geplant:• Deutschland sollte die Revision und die Übersetzung der Marking Instructions im Bereich

Lesen durchführen;• Österreich war für die Revision und Übersetzung der Marking Instructions im Bereich

Mathematik und Naturwissenschaft verantwortlich;• der Schweiz wurden auf Grund der umfangreichen Übersetzungsarbeiten im Feldtest keine

Revisionstätigkeiten für den Haupttest zugeteilt.

Diese Kooperation kam jedoch nur in einer etwas veränderten Form zustande: Alle notwen-digen Revisionen in den Items aller drei Kompetenzbereiche wurden vom ÖsterreichischenProjektzentrum selbst durchgeführt. Ebenso wurden die Marking Instructions aus dem Be-reich Mathematik und Naturwissenschaft übersetzt. Nachdem die vollständigen Units in die-sen beiden Bereichen verifiziert waren, wurden diese an die anderen Kooperationsländer wei-tergeleitet. Im Bereich Lesen wurden nur die Revisionen (die vom Österreichischen Projekt-zentrum durchgeführt wurden) des Stimulusmaterials und der Fragen zur Verifikation ge-schickt (obwohl eigentlich eine Verifikation der gesamten Units [inklusive Marking


Instructions] vorgeschrieben war), da sämtliche Revisionen und Übersetzungen der MarkingInstructions (vom Kooperationspartner Deutschland) aus dem Bereich Lesen erst zu einemZeitpunkt ans Österreichische Projektzentrum geschickt wurden, zu dem sich die Testhefteschon in Druck befanden. Aus diesem Grund erfolgte die Verifikation der Marking Instructionserst nach dem Druck der Testhefte und nach den nötigen Anpassungen der Übersetzung (ausDeutschland) an die österreichischen Items. Bei dieser Verifikation wurden das Stimulus-material und die Fragen (also die gesamte Unit) nochmals mitgeschickt, wobei aber nur mehrdie Marking Instructions verifiziert wurden.

4.2.2 Übersetzung und Verifikation der Schul- und Schülerfragebögen

Bei der Übersetzung der Fragebögen für den Feldtest kam es ebenfalls zu einer Übersetzungs-kooperation der deutschsprachigen Länder. Sowohl Österreich (durch einen Mitarbeiter desösterreichischen Projektzentrums) als auch Deutschland erstellten unabhängig voneinanderje eine Version der Fragebögen, unter Verwendung der englischen Quellversion und die Schweizübersetzte die Fragebögen aus dem Französischen. Nachdem diese zwischen den Ko-operationsländern ausgetauscht und mit Anmerkungen versehen worden waren, wurden siean die Schweiz weitergeleitet, wo sowohl für den Schul- als auch für den Schülerfragebogeneine offizielle gemeinsame deutsche Version erstellt wurde. Nach den nötigen österreichischenAdaptionen wurden die Fragebögen zur Verifikation an einen externen Mitarbeiter desInternationalen Zentrums (Steve Dept) weitergeleitet.

Für den Haupttest wurden sowohl beim Schul- als auch beim Schülerfragebogen größereVeränderungen gegenüber dem Feldtest vorgenommen. Im November 1999 wurde beim NPM-Meeting eine Draft-Version aller Änderungen für den Haupttest präsentiert; die Endversionlag am 17. Dezember 1999 vor. In dieser Phase gab es wieder eine Kooperation derdeutschsprachigen Länder, die so gestaltet war, dass Österreich und Deutschland voneinanderunabhängig jeweils eine Version erstellen. In Österreich wurde eine vorläufige Übersetzungbereits anhand der im November ausgeteilten Draft-Version der Fragebögen vorgenommen,was sich als sehr hilfreich herausstellte, da die Endversion kaum mehr Änderungen enthieltund so der Zeitplan leichter eingehalten werden konnte.

Die deutschen und österreichischen Versionen wurden dann an die Schweiz weitergeleitet,die einen Übersetzungsworkshop (Anfang Jänner 2000) zur Erstellung einer gemeinsamenVersion organisierte. Diese gemeinsame Version diente als Basis für die jeweiligen nationalenAdaptionen, wurde jedoch nicht als offizielle gemeinsame deutsche Version verifiziert. JedesKooperationsland schickte seine Version der beiden Fragebögen zur Verifikation, wobei diesewieder in den beiden zuvor beschriebenen Schritten (Kapitel 4.1 im selben Abschnitt) stattfand.Die National Adaptation Forms, in denen die geplanten Änderungen einzutragen waren, diedie Kodierung der Daten betreffen, waren bereits vor der Verifikation der Fragebögen vomDatenmanager von A.C.E.R. verifiziert worden.

4.2.3 Die Auswahl der Übersetzer für die Units und Fragebögen

Für die Übersetzung der Mathematik- und Naturwissenschafts-Items wurden in Österreichbewusst keine „professionellen Übersetzer“ gewählt, sondern zweisprachige Lehrer, die übergroße Schul- und Unterrichtserfahrung sowohl in Österreich als auch im englischenSprachbereich verfügen. Dadurch konnte sichergestellt werden, dass die Fachausdrücke, diein den einzelnen Items enthalten waren, im Sinne des Gebrauchs in der Schule übersetztwurden und nicht in „korrekte“ deutsche Ausdrücke. Die Rückübersetzung der deutschenVersionen ins Englische wurde von einem professionellen Übersetzer durchgeführt, da es


dabei vorrangig um eine Kontrolle hinsichtlich der grammatikalischen und sprachlichenRichtigkeit ging, die „schülergerechte“ Übersetzung war hierbei jedoch von untergeordneterBedeutung.

Die Fragebögen wurden vom NPM selbst übersetzt (und an keinen professionellen Über-setzer weitergeleitet), weil dazu einerseits fundiertes Wissen über das österreichische Schulsy-stem notwendig ist, damit die Fragen von den Schüler/innen und Schulleiter/innen richtigverstanden werden, andererseits erfordert dies auch gewisse Kenntnisse und theoretisches Wis-sen bezüglich der Erstellung eines Fragebogens.

4.2.4 Übersetzung und Verifikation des Schulkoordinatoren-Manuals

Für die Übersetzung der Manuals war die multiple Übersetzungsprozedur optional. Die eng-lische Originalversion des Manuals für Schulkoordinatoren wurde zwar von einem Mitarbei-ter des Projektzentrums ins Deutsche übersetzt, jedoch nicht in dieser Form an dieSchulkoordinatoren weitergegeben. Die Schulkoordinatoren wurden sowohl für den Feld- alsauch für den Haupttest durch zwei Briefe über ihre Aufgaben und den Ablauf der Testsitzungeninformiert. Um sie so viel wie möglich zu entlasten, wurden teilweise Aufgaben, die für denSchulkoordinator vorgesehen waren, von Mitarbeiterinnen des Projektzentrums oder von denTestadministratoren übernommen. Die Briefe an die Schulkoordinatoren entsprachen in-haltlich dem Manual, und wurden immer dann verschickt, wenn bestimmte Arbeiten not-wendig waren. Im Feldtest war keine Verifikation der Manuals vorgesehen. Im Haupttesterfolgte eine nur teilweise termingerechte Verifikation, da zum Zeitpunkt der Aussendungdes ersten Briefes noch keine Endversion des Manuals vorlag. Der zweite Brief wurde zeitge-recht (vor der Aussendung) wieder von einem externen Mitarbeiter des Internationalen Zen-trums verifiziert.

4.2.5 Übersetzung und Verifikation des Testadministratoren-Manuals

Für die Übersetzung des Testadministratoren-Manuals gab es ebenfalls vom internationalenZentrum vorgeschriebene Richtlinien, in denen genau festgelegt wurde, welche Abweichun-gen erlaubt sind: Es durften zwar Abweichungen bezüglich der nationalen Prozeduren undeine Anpassung an die nationalen Schulpraktiken vorgenommen werden, die Instruktionen,die der Testadministrator den Schüler/innen während der Testsitzung gab, mussten allerdingswörtlich übersetzt werden. Für den Feldtest wurde das Manual von einem Mitarbeiter desösterreichischen Projektzentrums übersetzt. Eine Verifikation fand im Feldtest nicht statt.Zur Erstellung des Manuals für den Haupttest wurden folgende Hilfsmittel herangezogen:die Fassung des Feldtests, die Version aus Deutschland, die Rückmeldungen der Test-administratoren aus dem Feldtest und die englische Originalversion. Im Anschluss erfolgteeine Verifikation durch einen externen Mitarbeiter des Internationalen Zentrums.

4.2.6 Übersetzung des Marking Guides

Der Marking Guide beinhaltet neben den Marking Instructions (Richtlinien zur Bewertungder Schülerantworten auf offene Fragen) eine Einleitung, in der allgemeine Richtlinien fürdas Verkoden, einige verbreitete Probleme bei der Verkodung und spezielle Codes beschrie-ben werden, sowie ein Inhaltsverzeichnis und einen Index. Für den Marking Guide mussteallerdings nur die Einleitung übersetzt werden (durch eine Mitarbeiterin des PISA Zentrums),da die Marking Instructions bereits bei der Übersetzung der Units mitübersetzt worden wa-ren. Diese wurden aus den Units herauskopiert und im Marking Guide zusammengefügt.


Bibliographie

Nach der Erstellung des Inhaltsverzeichnisses und des Indexes wurde der gesamte MarkingGuide zur Verifikation an einen externen Mitarbeiter des Internationalen Zentrums weiterge-leitet.

4.2.7 Kooperation mit dem internationalen Konsortium

Die vom internationalen Zentrum vorgegebenen Deadlines waren nicht immer leicht einzu-halten, da die notwendigen Dokumente oder Vorlagen manchmal etwas verzögert ausge-schickt wurden. Weiters erhielten wir drei Tage vor dem Druck der Booklets eine Liste vominternationalen Zentrum, die Änderungen in den Units und den Fragebögen enthielt. Dasich zu diesem Zeitpunkt die Fragebögen bereits im Druck befanden, konnten diese nichtmehr berücksichtigt werden.

Hauptsächlich handelte es sich dabei um Tipp- und grammatikalische Fehler in der eng-lischen Originalversion, die in der deutschen Version ohnehin nicht mehr vorhanden waren.Die Änderungen im Bereich der Units konnten durch intensives Arbeiten von zwei Projekt-mitarbeiterinnen noch rechtzeitig vor dem Druck der Instrumente vorgenommen werden.

Die Zusammenarbeit mit dem externen Mitarbeiter des Konsortiums, der für die Verifikationder österreichischen Instrumente zuständig war, verlief äußerst professionell. Die wechselseitigvereinbarten Abgabetermine konnten meist eingehalten werden.

Bergmann, C. & Eder, F. (1993). Allgemeiner-Interessen-Struktur-Test. Weinheim: Beltz Verlag.Böck, M. (1998). Leseförderung als Kommunikationspolitik. Zum Mediennutzungs- und Leseverhalten sowie zur

Situation der Bibliotheken in Österreich (Neue Aspekte in Kultur- und Kommunikationswissenschaft Nr. 14).Wien: Österreichischer Kunst- und Kulturverlag.

Böck, M. (2000). Das Lesen in der neuen Medienlandschaft. Zu den Lesegewohnheiten und Leseinteressen von 8-bis 14-Jährigen in Österreich. Innsbruck: Österreichischer StudienVerlag.

Bonfadelli, H. & Fritz, A. (1993). Lesen im Alltag von Jugendlichen. In Leseerfahrungen und Lesekarrieren.Studien der Bertelsmann Stiftung (Lesesozialisation; Bd. 2, S. 7–214). Gütersloh: Verlag Bertelsmann Stiftung.

Bonfadelli, H. (1996). Lesen im Alltag Jugendlicher - Umfang, Motivation und Modalitäten. In J. S. Hohmann &J. Rubinich (Hrsg.), Wovon der Schüler träumt: Leseförderung im Spannungsfeld von Literaturvermittlung undMedienpädagogik (S. 51–66). Frankfurt am Main: Peter Lang.

Bonfadelli, H. (1998). Theoretische und methodische Anmerkungen zur Buchmarkt- und Leserforschung. InStiftung Lesen (Hrsg.), Lesen im Umbruch - Forschungsperspektiven im Zeitalter von Multimedia (S. 78–89).Baden-Baden: Nomos.

Brickenkamp, R. (1994). Test d2 Aufmerksamkeits-Belastungs-Test (8., erweiterte Auflage). Göttingen: Hogre-fe.Eder, F. (1995). Skala zur Erfassung des Selbstkonzepts. Instrumente zur Befindensuntersuchung. Manuskritpt,

Universität Linz.Eder, F. (Hrsg.). (1995). Das Befinden von Kindern und Jugendlichen in der Schule. Innsbruck: StudienVerlag.Eder, F. (1996). Schul- und Klassenklima. Ausprägung, Determinanten und Wirkungen des Klimas an weiterfüh-

renden Schulen. Innsbruck: StudienVerlag.Eder, F. (1998). Linzer Fragebogen zum Schul- und Klassenklima für die 8.–13. Klasse (LFSK 8–13). Göttingen:

Hogrefe.Eggert, H. & Garbe C. (Hrsg.). (1995). Literarische Sozialisation. Stuttgart: Metzler.Deutsches PISA-Konsortium (Hrsg.). (2000). Schülerleistungen im internationalen Vergleich. Eine neue Rahmen-

konzeption für die Erfassung von Wissen und Fähigkeiten. Berlin: Max-Planck-Institut für Bildungsforschung.Gough, P. B. & Tunmer, W. E. (1986). Decoding, reading, and reading disability. Remedial and Special Educa-

tion, 7, 6–10.Harmgarth, F. (Hrsg.). (1997). Lesegewohnheiten - Lesebarrieren: öffentliche Bibliothek und Schule - neue Formen

der Partnerschaft. Ergebnisse der Schülerbefragung 1995/96. Gütersloh: Verlag Bertelsmann Stiftung.Holland, J. L. (1985). Making Vocational Choices: A theory of careers. Englewood Cliffs, New Jersey: Prentice Hall

Inc.


Schön, E. (1998). Kein Ende von Buch und Lesen. Entwicklungstendenzen des Leseverhaltens in Deutschland -Eine Langzeitbetrachtung. In Stiftung Lesen (Hrsg.). Lesen im Umbruch - Forschungsperspektiven im Zeitaltervon Multimedia (S. 39–77). Baden-Baden: Nomos.

Stiftung Lesen (Hrsg.). (1993). Leseverhalten in Deutschland 1992/93. Repräsentativstudie zum Lese- und Me-dienverhalten der erwachsenen Bevölkerung in Deutschland. Zusammenfassung der Ergebnisse. Mainz: ohneVerlag.

Strecker, S., & Pfarr, C. (1998). Kinder wollen Bücher. Modellprojekt Handlungsorientierte Evaluation vonMaßnahmen der Leseförderung zur Prävention von Analphabetismus in sozialen Brennpunkten. Unveröf-fentlichter Abschlussbericht der Stiftung Lesen, Mainz: ohneVerlag.

Wieler, P. (1997). Vorlesen in der Familie. Fallstudien zur literarisch-kulturellen Sozialisation von Vierjährigen.Weinheim: Juventa.

Wischermann, C. (Hrsg.). (1996). Die Legitimität der Erinnerung und die Geschichtswissenschaft. Stuttgart:Steiner.

Wissenschaftliche Kommission Lesen (1977). Leseförderung und Buchpolitik. Eine Expertise. Bonn: ohneVerlag.

Hoover, H.D. & Gough, P.B. (1990). The simple view of reading. Reading and Writing: An InterdisciplinaryJournal, 2, 127–160.

Hurrelmann, B. (1998). Lese- und Mediengewohnheiten im Umbruch - Eine pädagogische Herausforderung. InStiftung Lesen (Hrsg.), Lesen im Umbruch - Forschungsperspektiven im Zeitalter von Multimedia (S. 187–195). Baden-Baden: Nomos.

Hurrelmann, B., Hammer, M. & Nieß F. (1993). Leseklima in der Familie. Eine Studie der Bertelsmann Stiftung(Lesesozialisation Bd. 2). Gütersloh: Verlag Bertelsmann Stiftung.

Klicpera, C. & Gasteiger-Klicpera, B. (1993). Lesen und Schreiben: Entwicklung und Schwierigkeiten. Bern:Huber.

Köcher, R. (1988). Familie und Lesen. Eine Untersuchung über den Einfluss der Eltern auf das Leseverhalten. InArchiv für Soziologie und Wirtschaftsfragen des Buchhandels LXIII. Frankfurt am Main, W 2275–W 2364.

Landerl, K. (1996). Legasthenie in Deutsch und Englisch. Frankfurt: Peter Lang.Lehmann, R. H., Peek, R., Pieper I. & Von Stritzky R. (1995). Leseverständnis und Lesegewohnheiten deutscher

Schüler und Schülerinnen. Weinheim: Beltz.Perfetti, C.A. (1977). Language comprehension and fast decoding: some prerequisites for skilled reading com-

prehension. In J.T. Guthrie (Hrsg.), Cognition, curriculum and comprehension. Newark, Del.: InternationalReading Association.

Perfetti, C.A. (1985). Reading ability. New York: Oxford University Press.Rost, D. H. (1998). Leseverständnis. In D.H. Rost (Hrsg.), Handwörterbuch Pädagogische Psychologie (S. 334–

339). Weinheim: Beltz.Saxer, U. (1993). Lesesozialisation. In Leseerfahrungen und Lesekarrieren: Studien der Bertelsmann Stiftung

(Lesesozialisation Bd. 2, S. 311–374). Gütersloh: Verlag Bertelsmann Stiftung.Schön, E. (1993). Jugendliche Leser und ihr Deutschunterricht. In H. Balhorn & H. Brügelmann (Hrsg.), Bedeu-

tungen erfinden - im Kopf, mit Schrift und miteinander. Zur individuellen und sozialen Konstruktion vonWirklichkeiten (S. 220–226). Konstanz: Faude.

1 Die Autorin dankt Erich Svecnik sehr herzlich für die Zurverfügungstellung der Informationen zumBereich der Cross-Curricular-Competencies.

Der Autor dankt Christina Wallner-Paschon für ihren Einsatz und ihre Mitarbeit an diesem Abschnitt.

1. Die Zielgruppe von PISA – die PISA-Population1.1 Grundsatzentscheidung 1: Schulstufen- vs. altersbasierte Population1.2 Grundsatzentscheidung 2: Welche Altersgruppe bzw. welcher Jahrgang?1.3 Grundsatzentscheidung 3: Alterskohorte oder Schülerkohorte?1.4 Grundsatzentscheidung 4: Das generelle Sampling Design

2. Die verschiedenen Populationskonzepte und die Ausschlüsse von der Zielpopulation

3. Die festgelegten 20 Strata

4. Stichproben im Feldtest 1999 und Haupttest 20004.1 Die Feldtest-Stichprobe 19994.2 Die Haupttest-Stichprobe 2000

5. Stichprobenziehung5.1 Indirektes Stratum: Geografische Verteilung5.2 Praktischer Ablauf der Stichprobenziehung5.3 Die Wahrung der Vertraulichkeit und der Anonymität

In diesem Abschnitt werden die grundlegenden Komponenten der Zielgruppenfestlegungund Stichprobenziehung sowie die damit in Beziehung stehenden Entscheidungen,Sachverhalte und Abläufe in PISA 2000 erläutert.

VVVVVVVVVV

Günter Haider

POPULATIONEN UND STICHPROBEN


Es ist unwirtschaftlich und statistisch auch nicht notwendig, die Gesamtpopulation von zirka90.000 österreichischen Schüler/innen eines Jahrgangs zu testen, um herauszufinden, wie gutderen Lese- oder Mathematikleistungen sind. Die Kosten dafür wären unverhältnismäßighoch, bei relativ geringem Informationsgewinn im Verhältnis zu den Ergebnissen aus einergroßen Zufallsstichprobe. Für ein sicheres Urteil über das Leistungsvermögen der österreichischenSchüler/innen ist statistisch gesehen eine zweistufig gezogene Stichprobe von etwa 5.000Schüler/innen völlig ausreichend – damit lassen sich auch die gewünschten Systemvergleichein der OECD sehr gut durchführen.

Die Auswahl dieser Schüler/innen für einen internationalen Leistungsvergleich erfordert dieDefinition, Festlegung bzw. Anfertigung von mehreren grundlegenden Komponenten:(1) Die Definition der Zielgruppe, die untersucht werden soll (mit allen Ein- und Ausschluss-

kriterien).(2) Die Erstellung der Liste von Schulen, in der sich die Zielschüler/innen befinden, d.h. von

jeder Schule in einem Land, in dem sich wenigstens ein Zielschüler befindet.(3) Die zufällige Auswahl von Schulen aus dieser Liste („Schulstichprobe“ – Stufe 1 der

Stichprobenziehung), so dass eine ausreichend selbst gewichtende Stichprobe entsteht.(4) Die Erstellung einer Liste aller Ziel-Schüler/innen innerhalb jeder Stichprobenschule.(5) Die Auswahl einer bestimmten Anzahl von Schüler/innen aus dieser Liste („Schülerstich-

probe“ – Stufe 2 der Stichprobenziehung).(6) Die Festlegung eines zeitlich begrenzten Testfensters, in dem der Test in jedem Land

stattzufinden hat.(7) Die Festlegung von Mindestkriterien, die bei der Realisierung der Stichproben einzuhalten

sind (z.B. Mindestrücklauf auf Schul- und Schülerebene).(8) Die vollständige Dokumentation des gesamten Prozesses und aller Berechnungen und

Auswahlvorgänge zum Zwecke der Qualitätskontrolle und um die Vergleichbarkeitzwischen den Ländern/Systemen zu sichern.

Im Folgenden erklären wir die mit diesen grundlegenden Komponenten der Zielgruppen-festlegung und der Stichprobenziehung zusammenhängenden Entscheidungen, Sachverhalteund Abläufe in PISA 2000.

1. Die Zielgruppe von PISA – die PISA-PopulationBevor die OECD die in PISA zu untersuchende Schülergruppe im Detail spezifizieren konn-te, mussten einige Grundsatzentscheidungen vorgenommen werden. Diese Entscheidungenwurden im Board of Participating Countries (BPC) getroffen. Die Vorarbeiten dazu stammenin vielen Fällen aus dem Network A des INES-Projekts (Indicators of Education Systems) derOECD. Diese Grundsatzentscheidungen müssen von allen beteiligten Staaten ausVergleichbarkeitsgründen mitgetragen bzw. eingehalten werden, und sie müssen unverändertbis zum Ende des PISA-Zyklus bestehen, um die Längsschnittskomponente PISA 2000 –2003 – 2006 nicht zu gefährden.

1.1 Grundsatzentscheidung 1: Schulstufen- vs. altersbasierte PopulationPISA untersucht das Wissen, die Fähigkeiten und Kompetenzen von Schüler/innen in einemAltersbereich, der sich in den meisten OECD-Staaten am Ende der Pflichtschulzeit befindet.

Abschnitt V: Populationen und Stichproben 147

Um die Vergleichbarkeit und faire Interpretation der Ergebnisse der PISA-Tests herzustellen,ist es notwendig, für alle Teilnehmerstaaten verbindlich eine exakte Definition der angezieltenAltersgruppe (Population) anzugeben.

Dabei gibt es in diesem Alterssegment prinzipiell zwei gebräuchliche Alternativen: Entwederdie Definition der Zielpopulation(1) über Schulstufen (grade-based option) oder(2) über das Geburtsdatum (age-based option).

Bisherige internationale Leistungsvergleiche (z.B. alle IEA-Projekte wie TIMSS oderCOMPED) trafen die Populationsfestlegung über Schulstufen. So wurde etwa die TIMSSPopulation 2 in Österreich als „Schüler/innen der 7. und 8. Schulstufe“ definiert.

Für diese „grade-based option“ spricht hauptsächlich die einfachere Testadministration: Inden ausgewählten Schulen steht jeweils eine bestimmte Anzahl an Klassen zur Verfügung, dieeindeutig einer Schulstufe zuordenbar sind. Für den Test werden dann meist vollständigeKlassen („intact classrooms“) ausgewählt, was die Administration stark vereinfacht, denn dieZielschüler/innen haben gemeinsam Unterricht, haben dieselben Lehrer/innen, etc. Günstigist auch, dass Schüler/innen einer bestimmten Schulstufe in vielen Variablen meist eine sehrähnliche Schulkarriere aufweisen (Dauer der Schulzeit, Besuch bestimmter Schulfächer, ge-meinsame Lehrer/innen, ...). Ein weiterer Vorteil ist die Möglichkeit, Lehrerinformationenund Schülerleistungen besser verbinden zu können (eine Klasse hat z.B. meist nur einenPhysiklehrer, einen Biologielehrer).

Der große Nachteil der Definition über Schulstufen ist einerseits das ungleiche Einschu-lungsalter in den OECD-Staaten (8. Schulstufe kann 13-, 14- oder 15-Jährige je nach Landmeinen) und andererseits die relative breite Streuung des Alters in den Klassen, die durchRepetenten und frühzeitig Eingeschulte noch vergrößert wird. Es ist durchaus üblich, dass inmanchen Klassen der 8. oder 9. Schulstufe Altersunterschiede von 2, ja 2,5 Jahren vorkom-men. Dazu kommt das Problem für Vergleiche, dass manche Bildungssysteme weniger einjahrgangsorientiertes Klassen, denn ein interesse- oder leistungsorientiertes Gruppensystemhaben (z.B. die USA).

Außerdem verschlechtert das – bei den nach Schulstufen definierten Studien allgemeinübliche – Testen vollständiger Klassen die Aussagekraft der Stichproben („Designeffekt“). Dadie Schüler/innen einer Klasse leistungsmäßig meistens etwas homogener sind als ihreKolleg/innen in der gesamten Schule, ist zur genauen Bestimmung der Leistungsparameterin einer Population eine deutlich größere Stichprobe notwendig.

Die Tatsachen, dass die an dem Test beteiligten Schulsysteme die Kinder mit 5, 6 oder 7Jahren einschulen, dass sie eine niedrige, mittlere oder hohe Repetentenquote oder dass sieeher homogene oder heterogene Klassen haben, vermindert also die Aussagekraft von Studien,deren Population über Schulstufen definiert wird.

Fairer scheint hier die Zugangsweise über das Geburtsdatum/Alter der Schüler/innen zu sein(age-based option), die in PISA gewählt wurde. „Alter“ ist ein klar definierbares und leichtverständliches Konzept. Die angezielte Schüler/innen-Gruppe wurde daher folgendermaßendefiniert:


PISA 2000 Populationsdefinition:

Die Zielpopulation von PISA 2000 sind Schülerinnen und Schüler des Altersjahrgangs 1984,das sind Schüler/innen, deren Geburtsdatum vom 1. 1. 1984 bis maximal zum 31. 12. 1984reicht. Um Vergleichbarkeit zu erreichen, testen alle Staaten Schülerinnen und Schüler desselbenAlters.

Für den Feldtest im Jahr 1999 wurden analog zu dieser Entscheidung daher Schülerinnenund Schüler des Jahrgangs 1983 getestet.

Dies führt zu einer altersmäßig prinzipiell zwischen den Teilnehmerstaaten gut vergleichbarenTest-Population. Nachteile gegenüber schulstufenbezogenen Konzepten sind in der aufwändigerenTestadministration zu sehen: Die Schüler/innen des Jahrgangs 1984 können in vielen Schultypenpraktisch über alle Schulstufen verteilt in allen Klassen vorkommen und ihre Erfassung undTestung ist daher mühsamer. Bei System-Vergleichen muss außerdem berücksichtigt werden,wie viele Schuljahre die Zielschüler/innen bereits absolviert haben (je nach Einschulungsalter).

Da die Schüler/innen vor allem in größeren Schulen aus vielen verschiedenen Klassen(mit vielen verschiedenen Lehrer/innen) kommen, ist mit einer solchen Stichprobe dieHerstellung eines Bezugs von Schülern zu bestimmten Lehrern bzw. deren Unterricht nurmit vergrößertem Aufwand bei reduzierter Information möglich.

Für den korrekten internationalen Vergleich muss diese Definition für die Länder vor allemder südlichen Hemisphäre, deren Testzeitpunkt bzw. Testfenster einige Monate später liegt(z.B. weil das Schuljahr im Jänner beginnt), entsprechend angepasst werden, so dass währenddes Testfensters keine gravierenden Altersunterschiede gegeben sind (Altersadjustierung).

In Österreich wurde als Testfenster der Monat Mai gewählt – damit konnte die internationalePopulationsdefinition ohne Altersadjustierung voll übernommen werden.

Anmerkung:Zusätzliche „grade-based option“(= im ersten Schritt altersbasiert auswählen, in einem zweiten Schritt zusätzliche Schüler/innen aus einer oder zwei Klassen hinzufügen) – ein Angebot der OECD.Dafür spräche, dass man dann auch Lehrerbefragungen durchführen könnte und dadurchetwas konkretere Daten über Instruktionsprozesse in den aktuellen Klassen erhielte. Dagegenspricht der enorme zeitliche und finanzielle Aufwand im Verhältnis zu relativ wenigzusätzlicher, möglicherweise wenig reliabler aktueller, erklärender Information (Lehrerberichteüber die letzten Monate erklären wahrscheinlich wenig im Bereich Lesen oder Mathematik).Es müssten zusätzlich in den Schulen intact-classes gesampelt werden und die Stichproben-größen erheblich erweitert werden (um rund 50% z.B. in der 9. Schulstufe). Dagegensprechen auch die Verstreutheit der Stichprobe über rund ein Dutzend Schultypen und die„ungünstigen“ involvierten Altersgruppen, weder die 9. noch die 10. Schulstufe würdenz.B. longitudinale Vergleiche mit TIMSS erlauben (prinzipiell wäre die 12./13. Stufe oderdie 7./8. Stufe wesentlich interessanter). Und der Aufbau einer zusätzlichen grade-basedVergleichspopulation wäre wohl nur dann sinnvoll, wenn es entsprechende Vergleichspartnerinternational gäbe (die Beteiligung daran ist nicht hoch). Wir haben dem BMUK davonabgeraten – diese Option wurde in Österreich nicht in das Projekt aufgenommen.


1.2 Grundsatzentscheidung 2: Welche Altersgruppe bzw. welcher Jahrgang?Das ausgewählte Alter sollte – laut OECD – das höchstmögliche sein, in dem die meistenSchüler/innen in den Teilnahmestaaten noch in der Schule erfassbar sind. Im Hintergrundder Altersgruppenentscheidung stand auch die Überlegung, die Schüler/innen ungefähr ambzw. vor dem Übergang von Sekundarstufe I zu Sekundarstufe II zu erfassen, um das kumulierteErgebnis der Leistungsbemühungen der Pflichtschulen zu messen: Sehr viele Staaten habeneine neun bis zehn Jahre dauernde Schulpflicht.

In der Diskussion waren die Altersgruppen der 14-/15-Jährigen (für PISA 2000 alsoJahrgang 1985) oder die um ein Jahr Älteren. Das BPC (=Board of Participating Countries)entschied sich letztlich für die ältere Gruppe (Jahrgang 1984). Dies war aus praktischenGründen eine für Österreich ungünstigere Entscheidung: Während die 14-/15-Jährigen hierzu Lande weitaus überwiegend noch zur Hauptschule (70%) oder in die AHS-Unterstufe(30%) gehen, so verteilen sich die rund 95.000 15-/16-Jährigen bereits über die gesamte undenorme Breite unseres gegliederten Schulsystems, von der Hauptschule über die allge-meinbildenden und berufsbildenden höheren Schulen, bis zu Fach- und Berufsschulen. Dieserfordert höhere Stichproben, umfassende Stratifizierung und einen komplizierten Auswahl-vorgang der Schulen und Schüler/innen.

1.3 Grundsatzentscheidung 3: Alterskohorte oder Schülerkohorte?Die OECD entschied, dass in PISA reine Schülerkohorten getestet werden: Die obige Definitionder PISA-Population enthält daher die Formulierung: „Die Zielpopulation von PISA 2000sind Schülerinnen und Schüler des Jahrgangs 1984 ...“ (und nicht „Personen“ des Jahrgangs)und legt damit fest, dass mit PISA nur „beschulte“ Jugendliche des Jahrgangs 1984 erfasstwerden. Jugendliche des Jahrgangs 1984, die ihre Schulpflicht bereits beendet haben undkeine weiterführende Schule mehr besuchen („Drop outs“ oder „out-of-school-population“),werden also nicht mehr erfasst/getestet. Und das sind in Österreich (laut Angaben der StatistikÖsterreich) insgesamt 7,65% des Jahrgangs 1984 oder rund 7.300 Schüler/innen. AlleInterpretationen der PISA-Ergebnisse beziehen sich daher ausschließlich auf „Schüler/innendes Jahrgangs 1984“.

Eine ziemlich problematische Situation entsteht dadurch bei der Durchführung und beimVergleich von Schulsystemen/Ländern: Je mehr die OECD-Staaten hinsichtlich der Größeder „nicht-beschulten“ Population der 15-/16-Jährigen differieren, desto kritischer wird eindirekter Vergleich der Leistungsdaten. Vergleicht man jene Länder (wie Japan) mit praktisch100% beschulter Population im Jahrgang 1984, mit Ländern wie Italien, Portugal oder anderensüdlichen Staaten (die mehr als 10% bis zu 50% [im Fall von Mexiko] nicht-beschulteJugendliche dieses Alters aufweisen), so hinkt dieser Vergleich jedenfalls. Vor allem deswegen,weil die „drop-outs“ aus dem Schulsystem leistungsmäßig keine zufällige Gruppe sind, sonderngroßteils aus dem unteren Bereich der Leistungsverteilung stammen. Ihre „Abwesenheit“ beimPISA-Test „verbessert“ den Gesamtmittelwert der übrigen 15-/16-Jährigen in manchen Staatenerheblich und führt so möglicherweise zu massiven Verzerrungen.

Österreichs Vorstoß (getragen hauptsächlich vom BPC-Mitglied MR Mag. FriedrichPlank), auch diese „out-of-school-population“ in PISA einzubeziehen und damit die Ergebnissebesser vergleichbar zu machen, wurde im BPC abgelehnt. Als Grund wurde die schlechteErreichbarkeit dieser Jugendlichen angegeben – sie befinden sich nicht mehr in der Schuleund müssten relativ mühsam gesucht werden (Annoncen, Arbeitsamt, Sozialversicherung, etc.).Ihre Testung würde daher sehr viel Geld kosten.


In Österreich haben wir geschätzt, dass es möglicherweise bis zu 2 Mio. ATS (rund 145.000Euro) kosten könnte, eine repräsentative Stichprobe aus diesen Drop-Outs zu ziehen und zutesten. Trotzdem haben wir diese Vorgangsweise entschieden vertreten und dafür geworben.Wir sind letztlich aber an der Mehrheit im BPC gescheitert.

Unser wichtigstes Argument neben der besseren Interpretierbarkeit der Ergebnisse wardie Tatsache, dass sich gerade unter diesen „Drop-Outs“ sehr viele so genannte Risikojugendlichebefinden, die in weiterer Folge häufiger arbeitslos und vermehrt straffällig werden. Gerade dasStudium solcher Risikogruppen und der internationale Vergleich wäre für die österreichischeBildungspolitik – und nicht nur für diese – eine wertvolle Hilfe.

1.4 Grundsatzentscheidung 4: Das generelle Sampling DesignIn bisherigen Leistungsvergleichsstudien (z.B. der IEA) wurden stets zweistufige Stichproben-Designs gewählt, wobei in der ersten Stufe Schulen zufällig gezogen wurden und in der zweitenStufe (wegen der grade-based option) vollständige Klassen ausgewählt wurden.

In PISA ist man aus guten Gründen von dieser Praxis abgewichen und hat beschlossen, inder zweiten Stufe unter allen vorhandenen Zielschüler/innen (Jahrgang 1984) der Schuleeine Zufallsstichprobe zu ziehen. Dies ist aufwändiger, ergibt insgesamt aber eine zuverlässigereStichprobe mit geringerem Designeffekt, d.h. bei gleicher Zahl getesteter Schüler/innen istdie Präzision der Schätzung genauer. Diese Stichprobenwahl maximiert die Effizienz für dieParameterschätzungen auf Schüler/innen-Ebene.

Dafür ist es aber notwendig, dass jede Schule eine Liste aller Zielschüler/innen erstelltund an das PISA Zentrum sendet, wo die Auswahl der Schüler/innen per Zufallsalgorithmusvorgenommen wird.

Dieses Design erlaubt eine gewisse Verbindung von Schüler/innen-Daten mit Schuldaten(aus dem Schulfragebogen). Es ist jedoch kein besonderes Ziel von PISA, extensive Schuldatenbzw. Schul-Ebenen-Indikatoren zu erstellen und zu analysieren.

2. Die Populationskonzepte und Ausschlüsse von der ZielpopulationDie Zielgruppe des PISA-Tests wird aus dem internationalen und nationalen Blickwinkelfolgendermaßen festgelegt und beschrieben:

••••• International Desired Target Population (International gewünschte Zielgruppe): Diegrundlegende Definition der Population der OECD als Ausgangspunkt (=alle Schülerinnenund Schüler des Altersjahrgangs 1984); das Ziel ist, eine maximale Abdeckung (coverage)dieser Population in jedem Land zu erzielen.

••••• National Desired Target Population (National gewünschte Zielgruppe): Jeder NationaleProjektmanager muss die internationale Populations-Definition in die Begriffe undStrukturen seines Landes „übersetzen“. Dabei ist es notwendig, begründete Entscheidungenüber mögliche Ausschlüsse von Populationsteilen (Schultypen, Einzelschulen, Schüler/innen)zu fällen, z.B.

- welche Organisationen sind Schulen und welche nicht (eine im Einzelfall oft garnicht so einfach zu entscheidende Frage),

- wie werden die Sonderschulen berücksichtigt,- wie werden Schüler nicht-deutscher Muttersprache berücksichtigt, u.a.m.

••••• National Defined Target Population (National definierte Zielgruppe): Das Ergebnis der


Entscheidungen über alle Ausschlüsse oder Spezialfälle im Zusammenhang mit dernationalen Population sind in dieser Definition berücksichtigt. Aus ihr ergibt sich derStichprobenrahmen für die Auswahl der Schulen (welche Schulen kommen in die Listeder Schulen für die Stichprobenziehung?). Die National Defined Target Population mussmindestens 95% der National Desired Target Population ausmachen.

Den Unterschied zwischen der gewünschten und der definierten Population machen dienationalen Ausschlüsse („excluded population“) aus. Die OECD wacht streng darüber, dassdiese nur nach den aufgestellten Regeln vorgenommen und auf einem Minimum gehaltenwerden (möglichst unter 1%).

• Generelle Ausschlüsse auf nationaler Ebene (z.B. ganze Schultypen) wurden in Österreichgrundsätzlich nicht vorgenommen, alle Schulen und alle Schüler/innen sollten die Chanceerhalten, für den PISA-Test ausgewählt zu werden.

• Ausschlüsse auf Schulebene (z.B. Ausschluss einzelner Schulen) wurden nicht vorgenommen.Jede Schule mit wenigstens einem Zielschüler/innen (Jg. 1984) wurde in die Liste für dieStichprobenziehung aufgenommen.

Anm.: Da für die Stichprobenziehung nur die BM:BWK-Datenbanken für das jeweilsvorhergegangene (und nicht das aktuelle) Schuljahr zur Verfügung standen, könnte essein, dass einige ganz wenige Schulen (mit einer sehr geringen Anzahl von Zielschüler/innen) für die Stichprobenziehung „verloren wurden“. Dies hat keinen erheblichenEffekt auf die Stichprobe und ist durch einen entsprechenden Passus im SamplingManual („extremely small sized schools“) gedeckt.

• Eine geringe Anzahl von Ausschlüssen auf Schülerebene (z.B. Ausschluss einzelnerSchüler/innen) wurden nach sehr strengen Regeln vorgenommen bzw. toleriert. Es gibtprinzipiell fünf mögliche Gründe, die vor dem Testtermin noch zur Eliminierung des Namensdes Schüler/der Schülerin von der bereits erstellten und zugesandten Testschüler-Liste durchden Schulkoordinator führen können:A. Der ausgewählte Schüler/die ausgewählte Schülerin weist eine so schwere dauernde

körperliche oder geistige Behinderung auf, dass eine Teilnahme am PISA-Test entwedernicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist.

B. Dem ausgewählten Schüler/der ausgewählten Schülerin nichtdeutscher Muttersprachemangelt es an Deutsch-Kenntnissen, sodass ein Verstehen der Anleitung und derTestaufgaben nicht möglich ist (z.B. wenn ein/e Schüler/in erst kurze Zeit in Österreichist und noch sehr schlecht Deutsch spricht).Achtung: Schüler/innen, die bereits länger als ein Jahr als ordentliche Schüler/innen inÖsterreich eine Schule besuchen, fielen keinesfalls mehr unter diese Regelung.

C. Der ausgewählte Schüler oder die ausgewählte Schülerin haben sich inzwischen vondieser Schule offiziell abgemeldet.

D. Die Eltern melden den Schüler/die Schülerin vom PISA-Test ab.E. Der Schüler/die Schülerin weigert sich persönlich, am PISA-Test teilzunehmen.

Diese von der Schule bzw. dem Schulkoordinator gemeinsam mit den Klassenlehrer/innen vorge-schlagenen Ausschlüsse wurden vor Ort durch den jeweiligen Testadministrator nochmals mitdem Schulkoordinator besprochen und kontrolliert.

Wir haben uns entschlossen, die Kinder der Sonderschulen nicht (wie es bei ähnlichen


Studien in der Vergangenheit der Fall war) prinzipiell vom Test auszuschließen. Dazu war esjedoch dann notwendig, ein eigenes, leichteres Testheft für diese Zielgruppe zu entwickeln,denn der herkömmliche 50 bis 60 Seiten lange Standardtest ist Sonderschülern nicht zuzu-muten. Auf Anregung mehrerer Staaten (darunter auch Österreich) wurde ein solcher speziel-ler Testbogen aus den leichtesten Aufgaben ab dem Haupttest 2000 in das internationalePISA-Programm aufgenommen.

Insgesamt nahmen wir bei der Erstellung des Sampling-Plans an, dass diese Ausschlüsseunter 1% liegen würden (falls nicht durch irgendwelche Umstände eine unverhältnismäßiggroße Abmeldewelle der Schüler/innen ausgelöst würde).

Wie groß letztendlich die tatsächlichen Ausschlüsse waren, können Sie der Rücklaufstatistikentnehmen (Abschnitt VII). Sie entspricht der••••• National Achieved Target Population (National realisierte Zielgruppe):

Das Ergebnis des Rücklaufs der PISA Studie:National Defined Target Population

– NonResponse-Anteil (Stichprobenausfall auf Schul- und Schüler-Ebene)= ergibt die realisierte Zielgruppe.

Für die Größe und Struktur dieser national zu realisierenden Stichproben gibt es seitens derOECD strenge Mindestanforderungen für den Haupttest:

Mindest-Response-Quoten

(1) Bei Stichproben/Samples nahe 4.500 Schüler/innen sollten die Stichproben möglichstselbstgewichtend sein (nicht signifikant von der Populationsstruktur abweichen).

(2) Eine Mindest-Rücklaufquote auf Schulebene von 85% musste erreicht werden (d.h. inÖsterreich, dass nicht mehr als 33 der 221 ausgewählten Schulen ausfallen durften). Diesgilt für die Basis-Stichprobe (erste Welle) – sollten 85% nicht in der ersten Welle erreichtwerden, sind Replacement-Schulen prinzipiell zulässig. Dies könnte jedoch zu einerVerzerrung der geschätzten Mittelwerte führen.

(3) Eine Mindest-Rücklaufquote auf Schülerebene von 80% musste erreicht werden – und zwarinnerhalb der teilnehmenden Schulen (gesampled + replacement). So genannte Make-up-Sessions (Nachtesttermine) waren erlaubt in Schulen, in denen mehr als fünf Schüler/innen beim Originaltesttermin fehlten.

(4) Auf Schulebene durften maximal 35 Ziel-Schüler/innen pro Schule getestet werden, umden Design-Effekt nicht zu groß werden zu lassen.a) Gab es 35 oder weniger Schüler des Jahrgangs 1984 an der Schule, wurden alle diese

Schüler/innen getestet,b) waren es mehr als 35 Ziel-Schüler/innen, so wurden 35 davon per Zufall aus der

Schülerliste gezogen.

Aus unseren früheren Assessment-Studien haben wir eine gewisse Erfahrung im Umgang mitden Schulen bzw. mit dem erzielbaren Response (Rücklauf ). Allerdings lag trotz allerBemühungen die Teilnahmebereitschaft der österreichischen Schulen in TIMSS 1995, derersten und letzten großen Leistungsstudie in Österreich vor PISA, knapp unterhalb von 50%,d.h. nur jede zweite ausgewählte und eingeladene Schule beteiligte sich schlussendlich auchin Form von Daten. Dies war eine der niedrigsten Quoten (ohne replacement, d.h. ohneReserveschulen) unter allen mehr als 40 TIMSS-Teilnehmerstaaten.


Die Ursachen dafür sind hauptsächlich „schul-kultureller“ Natur, z.B. gibt es eine nur geringausgeprägte Kultur der freiwilligen Qualitätsprüfung an österreichischen Schulen, es herrschtweit verbreitet Unmut bei Leitern und Lehrern über zusätzliche und unbezahlte Tätigkeitenund jede Art der „Überprüfung“ von außen – sei sie noch so vertraulich/anonym – wecktebisher häufig das Misstrauen der Lehrer.

Die unmittelbar drohenden Folgen von solch hohem Non-Response (am Beispiel TIMSS):• Eine Stichprobe, die zu mehr als der Hälfte aus Replacement-Schulen bestand, was die

Qualität der Stichprobe (möglicherweise) in Zweifel zieht, und als Folge in den offizielleninternationalen Berichten das berühmte Sternchen beim Ländernamen oder eine Ver-bannung „unter den Strich“ in den Tabellen bedeutete.

• Eine möglicherweise verzerrte Stichprobe bzw. Probleme bei der Gewichtung, weil die

Abbildung V.1: Übersicht der angestrebten bzw. definierten PISA-Population


Schulen verschiedener Replacement-Wellen sich oft erst spät zur Teilnahme entscheiden,z.B. wenn auch bereits die Reserveschule teilnimmt - und so Schulen desselbenReplacement-Platzes im Sample vertreten sind. Oder weil die Rücklaufquoten regional(Wien hat traditionell eine äußerst niedrige Teilnahmebereitschaft) oder schultypspezifisch(HTL und HAK sind die besten Rückläufer) stark verzerrt sind.

• Ein sehr mühsamer, zeitaufwändiger und kostenintensiver Screening-Prozess, der mitunterzweier oder dreier Replacement-Wellen bedarf und so fast doppelt oder dreimal so vieleSchulen involviert als im Sample notwendig wären. Dabei „explodieren“ fast die Kostenfür postalische Aussendungen, telefonische Rückfragen, Mahnungen etc. Im Gegensatzdazu gibt es Staaten, wo im ersten Umlauf die angeschriebenen Schulen vollständigteilnehmen (z.B. in Ostasien).

Die OECD schreibt hier allerdings in PISA für eine positive Teilnahme eines Mitgliedslandeseine sehr hohe Mindest-Rücklaufquote ohne Replacement-Schulen von 85% auf Schulebenevor. Das bedeutete, dass Österreich seine Rücklaufquoten gegenüber TIMSS enorm steigernmusste, um eine ausreichende Stichprobenqualität zu erreichen und in die Reports der OECDaufgenommen zu werden.

Vor allem die Verwendung von trainierten, externen Testadministratoren sollte dieBeteiligung heben, denn damit fällt das häufigste Argument (der administrativen Überbelastungdes Schulleiters bzw. der Lehrer) weit gehend weg. Zusätzlich wird die Bezahlung der (geringen)Arbeit der Schulkoordinatoren positiv zu Buche schlagen (600.- ATS). Darüber hinaus wurdeversucht, durch weit reichende Informationen und die Einbeziehung der Schulaufsicht, derEltern-, Lehrer/innenund Schüler/innenvertreter eine positive Teilnahmestimmung zuerreichen.

3. Die festgelegten 20 StrataDie Populationsdefinition der OECD („Jahrgang 1983“ für Feldtest, „Jahrgang 1984“ fürHaupttest) bedeutet, dass in Österreich fast alle Schultypen und Schulsparten Zielschüler/innen für PISA enthalten. Für eine diesbezüglich saubere Stichprobe ist es notwendig, durchFestlegung von Strata (Schichtmerkmalen) die Auswahl der Schulen und Schüler/innenproportional zu quotieren.

Insgesamt haben wir (im Einvernehmen mit dem BM:BWK) die Schultypen/Schulartenzusammengefasst und die folgenden 20 Strata ausgewählt:

Allgemeinbildende Pflichtschulen1 Volksschule2 Hauptschule3 Polytechnische Schule4 Sonderschule

Allgemeinbildende Höhere Schulen5 Gymnasium6 Realgymnasium und wirtschaftskundliches RG7 Oberstufenrealgymnasium8 Sonstige Allgemeinbildende Schulen/mit Statut


Berufsschulen (Berufsbildende Pflichtschulen)9 Berufsschule (technisch-gewerblich)10 Berufsschule (kaufmännisch/Handel und Verkehr)11 Berufsschule (landund forstwirtschaftlich)

Berufsbildende Mittlere Schulen12 BMS gewerblich-technisch-kunstgewerbliche Fachschulen13 BMS kaufmännische/Handelsschulen14 BMS wirtschaftsberuflich-sozialberufliche Fachschulen15 BMS landund forstwirtschaftliche Fachschulen

Berufsbildende Höhere Schulen16 BHS technische und gewerbliche höhere Schulen17 BHS kaufmännische höhere Schulen18 BHS höhere Schulen für wirtschaftliche Berufe/sozialberufliche höhere Schulen19 BHS landund forstwirtschaftliche höhere Schulen

Anstalten der Lehrer/innenund Erzieher/innen-Bildung20 Anstalten der Lehrer/innenund Erzieher/innen-Bildung

Alle Zielschüler/innen gehören genau einem Stratum an – und die 20 Strata decken das gesamteSpektrum aller PISA-relevanten Schularten ab (d.s. Schularten, die Schüler/innen des Jahrgangs1984 enthalten).

Die Strata werden ausschließlich dazu benutzt, um die Qualität der Stichprobe zu sichernbzw. überprüfen zu können. Es ist nicht möglich und wäre auch wenig sinnvoll, für die einzelnenStrata eigene Statistiken zu erstellen – die Fallzahlen dafür sind bei den meisten Strata viel zuniedrig. Alle Ergebnisse beruhen später auf aggregierten Daten, d.h. im Zentrum aller Analysenstehen die Mittelwerte der Gesamtstichprobe als Schätzer für die angezielte Population desgesamten Jahrgangs.

Als Erklärung für die aktuelle Leistung sind die Strata kaum geeignet. Da es bei PISA2000 vor allem um Lesen und Leseverständnis geht, ist der aktuelle Schultyp, in dem sich einSchüler/eine Schülerin im Jahr 2000 gerade befindet, wahrscheinlich deutlich wenigereinflussreich oder bedeutend für die aktuelle Leistung, als die Qualität der Schule/n auf derElementar- und Sekundarstufe I (daher erheben wir im Schülerfragebogen auch dieSchulkarriere retrospektiv).

Die geschätzte Anzahl aller Zielschüler/innen in den jeweiligen Strata enthalten die beidenStichproben-Tabellen (siehe Abbildungen V.2 und V.3 im nächsten Kapitel).

4. Stichproben im Feldtest 1999 und Haupttest 2000Die Vorgabe der OECD für den Feldtest 1999 betrug 25-30 Schulen mit mindestens 800Schüler/innen, für den Haupttest 2000 mindestens 4.500 resultierende Schüler/innen ausmindestens 150 Schulen, d.h. nach Abzug der „natürlichen Ausfälle“ (z.B. fehlende Schüler/innen am Testtag) und einer gewissen Non-Response-Quote auf Schulebene (Nicht-Rücksendung oder Nicht-Einlangen von Testheften aus ausgewählten Schulen) solltenunbedingt 4.500 auswertbare Fälle aus der definierten Population bereitstehen (Populations-definition siehe oben).


In der Realität bedeutet dies,• dass aus Sicherheitsgründen im Feldtest etwa 20-25% auf diese Basisstichprobe

aufgeschlagen werden sollten, um nicht Gefahr zu laufen, die resultierende nationaleMindestfallzahl zu unterschreiten (dies ist die „worst-case“-Annahme für Non-Response)– der Aufschlag für den Haupttest 2000 sollte je nach Erfahrung im Feldtest festgelegtwerden,

• dass wegen der Stratifizierung und der dort notwendigen Mindestfallzahl auch in kleinenStrata eine geringe Erhöhung der Stichprobengrößen erfolgen muss,

• dass aber in manchen Strata (z.B. 2 und 4) durch internes Gewichten eine etwas geringereAnzahl an Schulen ausreicht.

Da der Feldtest das Ziel verfolgte, Instrumente, Prozeduren und Abläufe zu testen, wich dieStichprobenziehung etwas vom Haupttestdesign ab: Es wurde aus jedem der 20 Strata einekleine Anzahl von Schulen gezogen und auf die Selbstgewichtung der Stichprobe kein Wertgelegt. Daher können die Feldtestwerte auch nicht als Populationsschätzer innerhalb des Landesgelten (man kann also keine Leistungsvergleiche damit anstellen).

Die österreichische Feldtest-Stichprobe für Mai 1999 umfasste daher 35 Schulen mit rund1000 Schüler/innen aus allen 20 Strata.

Die Haupttest-Stichprobe für Mai 2000 bestand dann aus 221 Schulen mit ca. 5.800Schüler/innen.

4.1 Die Feldtest-Stichprobe 1999Das österreichische PISA Zentrum konnte für den Feldtest die kleinste und kostengünstigsteVariante IV aus dem internationalen PISA-Handbuch wählen (n = 800 + rund 20%„Sicherheitspolster“), denn die deutschsprachigen Länder (D, A, CH, LUX) werden für dieAnalyse der Itemeigenschaften gewissermaßen als Einheit betrachtet.

Der Feldtest erfüllt folgende Aufgaben:• die Prüfung der Itemeigenschaften der Testinstrumente (Itemanalyse), um für den Haupttest

die besten Items auswählen zu können,• die Erprobung der Field Operations, insbesondere der Einsatz von externen Test-

administratoren und Schulkoordinatoren,• die Erprobung aller vorgeschriebenen Prozeduren der Schul- und Schülerauswahl, der

Durchführung an der Schule, der Befragung und Testung.

Wichtig für die Feldtest-Stichprobe ist es daher, möglichst viele verschiedene Schultypen undmöglichst alle problematisch erscheinenden Bereiche einem Praxistest zu unterziehen. Daherwird die Proportionalität der Stichprobe nach Strata etwas weniger exakt genommen, umauch aus den kleinen Strata Fälle erproben zu können. Nach Vorschrift der OECD müssenalle Schultypen und Schüler/innen aus allen wichtigen Schulstufen beteiligt sein, sowie einegewisse demografische, regionale und sozioökonomische Streuung berücksichtigt werden. Diesist durch eine reine Zufallsziehung mit proportionaler Schichtung (wie im späteren Haupttest)nicht zu erreichen. Daher wurde vom PISA Zentrum Österreich ein nach den OECD-Regelnkorrigiertes und an die Erfordernisse angepasstes Feldtest-Sample erstellt (siehe die Sampling-Tabelle in Abbildung V.2).


Abbildung V.2: PISA Austria FELDTEST-Stichprobe

Die Namen der für den Feldtest ausgewählten Schulen sind nicht öffentlich - sie werden nurden zuständigen Schulbehörden und den Schulen selbst etwa sechs Wochen vor der Testungbekannt gegeben.

(weighted) number of students in sample 1000 maxim. sampled students per school 35

estimated number of students in sample 1002 minimum number of schools in sample 30

SCHOOLS students in estim.average estimated estimated

w. students theoretical target stud. sample sample

Primary + Secondary I born in 82 sample per school (# schools) (# students)

ISCED 14.911 16,3% 163 7 72

1 Volksschule/Oberstufe (Primary School, g4-8) 2A 7 0,01% 6 0 1 0 0

2 Hauptschule (Secondary I, g5-8) 2A 5.394 5,89% 1034 59 5 3 16

3 Polytechnische Schule (grade 9) 3C 7.805 8,52% 334 85 23 2 47

4 Sonderschule (Special schools, g1-9) 2A 1.705 1,86% 363 19 5 2 9

Secondary I + Secondary II

ISCED 20.556 22,4% 224 7 222

5 Gymnasium (g5 -8 and 9 -12) 2A/3A 7.496 8,18% 196 82 38 2 70

6 Realgymnasium (g5-8 and 9 -12) 2A/3A 7.696 8,40% 200 84 38 2 70

7 Oberstufenrealgymnasium (g9 - 12) 3A 4.990 5,45% 82 54 61 2 70

8 Sonstige Allgemeinbild./Statut (g5 - 12) 2A/3A 374 0,41% 32 4 12 1 12

Secondary II

Berufsschule (Apprenticeship) ISCED 17.014 18,6% 186 6 192

9 Berufsschule (technisch-gewerblich) 3B 13.147 14,35% 141 144 93 3 105

10 Berufsschule (kaufmännisch/Handel&Verkehr) 3B 3.700 4,04% 62 40 60 2 70

11 Berufsschule (Land-&Forstwirtschaft) 3B 167 0,18% 10 2 17 1 17

BMS (Medium Vocational Schools) ISCED 14.905 16,3% 163 6 201

12 BMS gewerblich-technisch-kunstgewerblich 3B 2.559 2,79% 85 28 30 1 30

13 BMS kaufmännisch/Handelsschulen 3B 3.912 4,27% 118 43 33 2 66

14 BMS wirtschafts-/sozialberuflich 3B/3C 4.664 5,09% 119 51 39 2 70

15 BMS land-/forstwirtschaftlich 3B/3C 3.770 4,12% 106 41 36 1 35

ISCED 22.531 24,6% 246 7 245

16 BHS technisch/gewerblich 3A/4A/5B 9.407 10,27% 88 103 107 2 70

17 BHS kaufmännisch 3A/4A/5B 7.937 8,67% 104 87 76 2 70

18 BHS wirtschafts-/sozialberuflich 3A/4A/5B 4.594 5,02% 62 50 74 2 70

19 BHS land-/forstwirtschaftlich 3A/4A 593 0,65% 12 6 49 1 35

ISCED 1.678 1,8% 18 2 70

20 Anst. der Kindergarten-/Sozialpädagogik 3A 1.678 1,83% 30 18 56 2 70

91.595 100% 2574 1000 35 1002

BHS (Higher Vocational Schools)

Höhere Anst. der Lehrer- und Erzieherbildung

TOTAL

target STUDENTS

born in 1982S T R A T A

APS (Pflichtschulen, Compulsory Schools)

AHS (General Higher Schools)

PISA - AUSTRIAFIELD TEST 1999 - Population and Samples

estimated in November 1998 - based on data from school-year 1997/98 and age cohort 1982 from ÖSTAT 1998, by Günter Haider, NPM

TARGET POPULATION S A M P L E


4.2 Die Haupttest-Stichprobe 2000Die endgültigen Festlegungen für die Haupttest-Stichprobe (Mai 2000) wurden erst im Herbst1999, nach Kenntnis der Feldtestergebnisse, getroffen. Wir verwendeten dieselben 20 Stratawie im Feldtest. Allerdings wurden die Proportionen der Strata Ende 1999 mit Hilfe derBM:BWK-Schulstatistik 1998/99 an den neuesten Stand angepasst und auch die aktuellstenDaten des ÖSTAT zur Population nochmals eingeholt. Die endgültige Ziehung der HT-Stichprobe erfolgte dann im Winter 1999/2000. Es wurden sämtliche von der OECDverlangten Kriterien eingehalten (Mindestgröße, Selbstgewichtung).

Darüber hinaus wurde ein gewisser Sicherheitspolster von rund 10% Non-Response aufSchüler-Ebene und 15% Non-Response auf Schul-Ebene einkalkuliert (nach den positivenErfahrungen des Feldtests konnte dieser Sicherheitspolster etwas reduziert werden).

Die resultierende Stichprobentabelle finden Sie in Abbildung V.3 und den offiziellen nationalenSampling-Plan für die OECD im Anschluss an das nächste Kapitel (vgl. Abbildung V.5)

5. StichprobenziehungFür die erste Stufe des zweistufigen Sampling-Verfahrens, das zufällige Ziehen der Schulen,verwendeten wir die Schuldatenbank des BM:BWK als Grundlage (für den Haupttest Stand1998/99). Die Quotierung der Schulen nach Schulsparten/Schultyp (20 Strata, siehe oben)erfolgte nach ihrem Anteil an Zielpopulations-Schüler/innen (Jahrgang 1983 bzw. 1984) –dieser Vorgang wird PPS-Sampling, proportional-to-size, genannt. Die Chance der Schulen,in die Stichprobe zu gelangen, ist von der geschätzten Größe ihrer Zielpopulation abhängig.

Ein weiteres Quotieren scheint wegen der entstehenden geringen Zellhäufigkeiten wenigsinnvoll. Dieses Vorgehen entspricht exakt den OECD-Vorgaben.

5.1 Indirektes Stratum: Geografische Verteilung (Bundesland und Bezirke)

Innerhalb dieser 20 Strata (Sub-Samples) wird durch Ordnen bzw. Reihen nach der sechsstelligenSchulkennzahl einer Schule eine geografisch faire Verteilung sichergestellt. Denn die erste Zifferder Schulkennzahl steht für das Bundesland, die beiden nächsten für den Bezirk.

Die Ziehung erfolgt auf Grund der gereihten Schulen – es werden per Zufall die Schulenund Reserveschulen aus den Tabellen gezogen (Beispiel siehe unten). Auf diese Weise wirdeine zufrieden stellende, selbst gewichtende regionale Verteilung der Gesamtpopulation erreicht(allerdings nicht für jedes Stratum, weil hier oft die notwendigen Schulzahlen so gering sind,dass manche Bundesländer und Bezirke nicht im Subsample vertreten sind).

Eine Überprüfung des ausgewählten Samples nach relevanten Variablen (regionaleStreuung, Gemeindegröße, usw.) ist selbstverständlich. Für jede im Screening eventuellausfallende Schule wird eine vorher ebenfalls zufällig ausgewählte Schule desselben Typs und(meistens) derselben geografischen Region eingesetzt („Replacement-Schule“).

Die kleinste Zellhäufigkeit für Schulsparten (APS/AHS/BS/BMS/BHS) sollte drei betragen,d.h. aus jeder Sparte sollen mindestens drei Schulen ausgewählt werden. Dies ist relativ leichteinzuhalten und führt nur bei landund forstwirtschaftlichen mittleren und höheren Schu-len zu einem minimalen Oversampling.


5.2 Praktischer Ablauf der Stichprobenziehung

Um das Sample korrekt nach den oben genannten Rahmenbedingungen zu ziehen, wurdedie folgende Vorgangsweise gewählt:

Abbildung V.3: PISA Austria HAUPTTEST-Stichprobe

(weighted) number of students in sample 5692 maxim. sampled students per school 35

estimated number of students in sample 5834 minimum number of schools in sample 150

# SCHOOLS

w. students

Primary + Secondary I born in 83

ISCED 15.002 16,6% 946 11 71 759

1 Volksschule/Oberstufe (Primary School, g5-8) 2A 4 0,00% 3 0 1 0 0

2 Hauptschule (Secondary I, g5-8) 2A 5.278 5,84% 1048 333 5 35 175

3 Polytechnische Schule (Sec II, grade 9) 3C 8.038 8,90% 326 507 24 22 528

4 Sonderschule (Special schools, g1-9) 2A 1.682 1,86% 352 106 4 14 56

Secondary I + Secondary IIISCED 19.475 21,6% 1229 33 38 1261

5 Gymnasium (g5-8 and 9 -12) 2A/3A 7.186 7,96% 196 453 35 13 455

6 Realgymnasium (g5-8 and 9 -12) 2A/3A 7.154 7,92% 202 451 35 13 455

7 Oberstufenrealgymnasium (g9 - 12) 3A 4.729 5,24% 83 299 35 9 315

8 Sonstige Allgemeinbild./Statut (g5 - 12) 2A/3A 406 0,45% 32 26 12 3 36

Secondary II

Berufsschule (Apprenticeship) ISCED 17.802 19,7% 1123 34 36 1218

9 Berufsschule (technisch-gewerblich) 3B 13.673 15,14% 132 862 35 25 875

10 Berufsschule (kaufmännisch/Handel&Verkehr) 3B 3.911 4,33% 61 247 35 8 280

11 Berufsschule (Land-&Forstwirtschaft) 3B 218 0,24% 10 14 21 3 63

BMS Berufsb. Mittlere Sch. (Medium Vocational Schools) ISCED 14.419 16,0% 910 33 29 951

12 BMS gewerblich-technisch-kunstgewerblich 3B 2.725 3,02% 86 172 31 6 186

13 BMS kaufmännisch/Handelsschulen 3B 3.599 3,98% 118 227 30 8 240

14 BMS wirtschafts-/sozialberuflich 3B/3C 4.315 4,78% 115 272 35 8 280

15 BMS land-/forstwirtschaftlich 3B/3C 3.780 4,19% 104 239 35 7 245

ISCED 22.097 24,5% 1395 35 44 1540

16 BHS technisch/gewerblich 3A/4A/5B 9.537 10,56% 89 602 35 18 630

17 BHS kaufmännisch 3A/4A/5B 7.464 8,26% 105 471 35 14 490

18 BHS wirtschafts-/sozialberuflich 3A/4A/5B 4.552 5,04% 66 287 35 9 315

19 BHS land-/forstwirtschaftlich 3A/4A 544 0,60% 12 35 35 3 105

ISCED 1.527 1,7% 97 35 3 105

20 Anst. der Kindergarten-/Sozialpädagogik 3A 1.527 1,69% 30 97 35 3 105

# of target STUDENTSborn in 1983

BHS Berufsb. Höhere Sch. (Higher Vocational Schools)

S T R A T A

Höhere Anst. der Lehrer- und Erzieherbildung

APS (Pflichtschulen, Compulsory Schools)

AHS (General Higher Schools)

# students theoretical

sample

estimatedtarget stud.

per school

estimatedsample

# of schools

estimatedsample

# of students

SIZE OF TARGET POPULATIONestimated by age cohort of 1983

PISA - AUSTRIA Official Sampling TableMAIN TEST 2000 - Population and Samples

estimated in November 1999 - based on data from school-year 1998/99 and age cohort 1983 from ÖSTAT 1999, by Günter Haider, NPM

THEORETICAL SAMPLE SIZE

90.322 100% 3170 5700 26 221 5834TOTAL (for cohort 1983 in 1999)


(1) Es wurden zwanzig getrennte Datenfiles erstellt, für jedes explizite Stratum eine eigeneDatei – die Angaben über diese Schulen stammten aus der neuesten verfügbarenSchuldatenbank des BM:BWK (Schuljahr 1998/99) und wurden aus rund einer halbenMillion Datensätze (Geschlecht x Jahrgang x Klasse) gefiltert.

(2) In jedem der 20 Datenfiles befanden sich als Einheiten alle Schulen, die der Definitionder Population und der Definition des jeweiligen Stratums entsprachen.

(3) Die Einheiten (Schulen) in jedem Datenfile wurden nach der Schulkennzahl sortiert(dies entspricht in der Praxis einer Sortierung nach Bundesländern und Bezirken).

(4) Die im Folgenden beschriebene Prozedur wurde in jedem Stratum extra (unabhängig)durchgeführt.

(5) Die Anzahl der Schüler/innen in jedem Stratum wurde durch die Anzahl der gewünsch-ten (auszuwählenden) Schüler/innen dividiert – dies ergibt das Sampling Interval (SI).Die Mindestanzahl der Schulen wurde durch die Vorgabe aus der Gesamt-Sampling-Tabelle („selbst gewichtend“) festgelegt und nur durch Übersampeln kleiner Strata(11 und 19) in Österreich erweitert.

(6) Nach einem Zufallszahl-Algorithmus wurde eine Startzahl ermittelt (Random Startzwischen 0 und dem SI).

(7) Nun wurden (proportional to size) durch Addieren des Sampling Intervals zur Startzahlmit Hilfe der jeweiligen aufaddierten (kumulierten) Schulgrößen die Sample-Schulenin diesem Stratum ermittelt.

(8) Die auf die ausgewählten Sample-Schulen folgenden Schulen in der geordneten Listewurden als Reserve-Schulen (Replacement-Schools) 1 bzw. 2 bezeichnet.

In Abbildung V.4 wird ein Beispiel für eine solche Sample-Liste gezeigt (hier für alleösterreichischen Gymnasien = Stratum 5, nur der Listenkopf und die ersten 25 Schulen wurdenhier illustrierend eingefügt).

(9) Alle ausgewählten Sample-Schulen wurden angeschrieben und um die Liste derZielschüler/innen (Jahrgang 1984) gebeten.

(10) Für die zweite Stufe des Sampling-Verfahrens, die zufällige Auswahl der Schüler/inneninnerhalb einer Schule, wurde in Österreich folgende Vorgangsweise gewählt:• Jede ausgewählte Schule (der Schulkoordinator) sandte dem nationalen PISA

Zentrum eine vollständige Liste aller Schüler/innen der Zielpopulation (eineComputerliste des Jahrgangs oder das ausgefüllte Formblatt „Student TrackingForm“). Die Liste musste die Namen, das Geschlecht, das Geburtsdatum und dieKlassenzugehörigkeit der Ziel-Schüler/innen enthalten.

• Wenn eine Schule weniger als oder genau 35 Zielschüler/innen hatte: Das Natio-nale PISA Zentrum bestätigte die Namensliste der Schule (dem Schulkoordinator)und schickte diese Liste an den externen Testadministrator (der die Testung vor-nehmen würde).

• Wenn eine Schule mehr als 35 Zielschüler/innen hatte: Das Nationale PISA Zen-trum nahm eine Zufallsziehung von genau 35 Schüler/innen aus der Schüler-Liste vor und sandte diese ausgewählte Liste an den Schulkoordinator und denexternen Testadministrator (der die Testung vornehmen würde). Nur diese 35Schüler/innen wurden dann getestet.


Abbildung V.4: Basis für die Sample-Ziehung: Beispielliste mit fiktiven Zahlen

Dieses von der OECD empfohlene Verfahren ist etwas teurer und Zeit raubender alsdie Ziehung an den Schulen selbst, weil die Schulen ihre Listen mit Namen nachSalzburg schicken müssen – das Verfahren ist aber transparenter, weniger fehleranfälligund auch schwerer manipulierbar (in anderen Ländern soll es schon vorgekommensein, dass bei der Ziehung an der Schule die schlechtesten Schüler unter den Tischfielen ...).Ein enormer Vorteil gegenüber den (in der IEA) bisher angewandten Ziehungen ge-samter, vollständiger („intakter“) Klassen ist der deutlich geringere Design-Effekt der sogewonnenen Stichprobe, d.h. durch die Vollerhebung (bis 35 Schüler/innen) bzw. durchdie Zufallsziehung (über 35 Schüler/innen) an jeder Schule wird der Schätzfehler derStatistiken deutlich geringer, die Schätzung der Parameter bei gleich großer Schüler-Stichprobe wesentlich genauer. Ein Nachteil entsteht durch die Tatsache, dass die Ziel-schüler/innen nunmehr über viele Klassen einer Schule streuen, die Organisation desTests (Raum/Zeit/Schülergruppe) daher etwas komplexer wird.

SAMPLING LISTE STRATUM 05 Random start 155

AHS (Allgemeinbildende Höhere Schulen, Gymnasium) Sampling interval (SI) 456,3526

Auswahl der

SCHULKZ BEZIRK JG 1984 Strat05 kumuliert SI Start Sample Nr. Schule

102012 101 68 18 18

109026 101 24 24 42

106216 106 58 34 76

109018 107 61 39 115

109447 108 63 19 134

108438 109 67 51 185 30 01 SAMPLE201062 109 18 18 203 48 01 REPLACE1

204062 201 79 73 276 121 01 REPLACE2

207112 201 75 66 342 187

205014 201 90 45 387 232

202023 201 61 23 410 255

201750 201 39 21 431 276

208428 202 108 44 475 320

201469 202 83 55 530 375

207120 205 54 32 562 407

202429 205 38 38 600 445

206448 206 42 42 642 487 02 SAMPLE302102 208 51 16 658 503 02 REPLACE1

414025 209 55 47 705 550 02 REPLACE2

415026 301 52 33 738 127

416735 301 36 12 750 139

416789 302 84 26 776 165

456620 302 47 47 823 212

468050 304 59 44 867 256

512306 304 46 11 878 267

526350 305 27 27 905 294

SCHUL-ID ZIELSCHÜLER


(11) Schulen, die auf unsere Einladung negativ oder trotz Erinnerungen und telefonischerKontaktaufnahme nicht reagierten oder nicht teilnehmen wollten, wurden durch diezufällig ermittelten Replacement-Schulen ersetzt (dies ist nur ein einziges Mal in PISAvorgekommen).

(12) In den ausgewählten Schulen bzw. ausgewählten Schüler/innen-Gruppen wurden dieSchüler/innen alternierend anhand der Schülerliste den verschiedenen PISA-Testheftenzugeteilt (ein rotiertes Schema von 9 Testheften, in Stratum 4 allerdings nur das Spezial-Testheft). Diese Liste erhielt der Testadministrator, so dass eine eindeutige, aber zufälligeZuordnung aller Schüler aller Schulen zu bestimmten Testheften damit festgelegt war.

Diese Sampling-Informationen wurden mit Hilfe der computergestützten Datenbank aufEtiketten übertragen. Jedes Testheft und jeder Fragebogen erhielt so einen eindeutigen Codefür die Schule und den/die Schüler/in, mit dem diese eindeutig identifizierbar waren undwomit die gesamte Datenverwaltung für die PISA-Analysen arbeiten konnte. Die Anonymitätwurde dabei aber gewahrt.

5.3 Die Wahrung der Vertraulichkeit und der AnonymitätDie österreichischen Gesetze verpflichten uns dazu, dass wir die Daten der Schüler/innenwährend des Untersuchungsprozesses vertraulich behandeln und sie anschließend anony-misieren, d.h. dass wir alle persönlichen Identifikationsvariablen und die Bezeichnungen derSchulen für die Weiterverarbeitung im nationalen und internationalen Zentrum entfernen.

Durch das System der externen Testadministratoren ist es für uns auch besser möglich, dieunmittelbaren Test- und Surveydaten absolut vertraulich zu behandeln, als wenn die Testungendurch Lehrer/innen der Schule vorgenommen würden. So ist sichergestellt, dass kein Lehrereiner Schule die ausgefüllten Testhefte und Fragebögen seiner (oder anderer) Schüler/innenzu Gesicht bekommt.

Für die Berechnungen und Analysen in PISA ist eine persönliche Identifikation vonSchüler/innen oder die Bezeichnung einer Schule auch nicht notwendig.• Daher werden sofort nach der Überprüfung der Qualität und Vollständigkeit des Rücklaufs

anhand der Schülerlisten alle vorhandenen Verbindungen zwischen Namen und Daten/Tests entfernt bzw. gelöscht, so dass ab diesem Zeitpunkt niemand, der mit den Leistungs-und Befragungsdaten arbeitet, den Namen eines Schülers oder den einer bestimmtenSchule identifizieren kann. Als Identifikationscode werden für Schüler/innen ab diesemZeitpunkt nur noch fortlaufende Nummern verwendet.

• Sobald die Qualität des Rücklaufs und die Zuordnung aller Schüler/innen zu bestimmtenEinheiten (Schulen, Bundesland, Schulart) sorgsam geprüft wurde, werden alle schul-bezogenen Hinweise gelöscht, d.h. eine bestimmte Schule ist in diesem Datensatz dannnicht mehr identifizierbar. Auch für Schulen werden ab diesem Zeitpunkt nur noch fort-laufende Nummern als Identifikationscodes verwendet.

Die gesamte Sampling-Prozedur wurde 1999 vollständig dokumentiert dem internationalenProjektzentrum für PISA (ACER bzw. Keith Rust/Westat) vorgestellt und vom zuständigenSampling-Referee als korrekt akzeptiert (siehe „Sampling Plan Austria“ in Abbildung V.5).


Abbildung V.5: Nationaler Sampling-Plan, genehmigt von der OECD

PISA 2000 Sampling Plan October 1999

Country: AUT – Austria National Project Manager: Prof. DDr. Günter Haider E-mail address: [email protected] Time of Testing: May 2000 Dates of Birth: 1984 (1.1. – 31.12.1984) Conforms to PISA Population Age Requirements? Yes Population: all students born in 1984

age cohort of 1984 (in 12/1999): 95.041 (100,00%) student population born 1984 (in 99/00) 87.766 (92,35%) approx. 7,65 % of age cohort out of school Exclusions on system level: none National population options: none Sampling: Sample Size

4500 students + 10% max. non response on student level + 15% max. non response on school level

5692 students + oversampling of small strata 11 and 19. – some schools of strata 2 and 4 (strata weighted)

~ 5864 students in the theoretical national sample Sampling procedure:

1. Database: All Austrian schools with students born in 1984 Estimated from database 1998/99 of the Federal Ministry of Education and

Cultural Affairs (n = 2555 schools with eligible students).

2. Explicit Stratification: 20 Strata (see table)

3. Implicit Stratification: Schools within strata sorted by school-id (1st digit: states; 2nd + 3rd digit: district)

4. Proportional to size sampling

5. Exclusions only on student level by school coordinator (severely handicapped, mentally retarded students or non-native language speaker, estimated < 1%).

6. Within school sampling: Center selects students from lists sent by schools Selection: National project center, University of Salzburg

Database is the statistical report (school year 1998/99) of the Federal Ministry of Education and Cultural Affairs.

Notes: External Testadministrators will be used (paid by the center).

Follow-up sessions if more than 5 students are absent. Using Special booklet for stratum 4 (as in Field Trial).

UND TESTADMINISTRATION

In diesem Abschnitt werden alle Tätigkeiten beschrieben, die im Feld (= in denSchulen) stattfinden bzw. in Kooperation mit im Feld stehenden Personen (= außerhalbdes nationalen PISA Zentrums) ausgeführt werden, beschrieben. Die dargestelltenTätigkeiten, wie Einladungen un Kontakt mit Schulen und Koordinatoren,Datenerhebung und Rücklauf, lassen sich unter dem Begriff „Field Operations“zusammenfassen.

1. Ablauf der Feldarbeit – Chronologische Übersicht

2. Durchführung der Feldarbeit

2.1 Screening

2.2 Einsatz und Aufgaben der Schulkoordinatoren

2.3 Einsatz und Aufgaben von Testadministratoren - Aufgabenbereiche der Testadministratoren - Testadministratorentraining - Rückmeldungen der Testadministratoren

2.4 Organisation und Versand der Testmaterialien - Etikettierung der Testmaterialien - Testadministratorentraining - Verteilung der Testmaterialien

2.5 Datenerhebung und Verwahrung des Testmaterials - Zusammenstellung und Kennzeichnung der Testpakete - Rücklauf und Registrierung der Testpakete

VIVIV IV IV IV IV IV IV IV I

Gudrun Kremsleithner

FIELD OPERATIONS: SCREENING


In diesem Kapitel geht es darum, die Umsetzung der im vorhergehenden Kapitel aufgelistetenTätigkeiten der Feldarbeit zu beschreiben. Sie sind folgenden fünf Bereichen zugeordnet,denen jeweils ein eigenes Teilkapitel gewidmet ist:• Screening• Einsatz und Aufgaben der Schulkoordinatoren• Einsatz und Aufgaben der Testadministratoren• Organisation und Versand der Testmaterialien• Datenerhebung und Verwahrung der Testmaterialien

Alle Ausführungen dieses Abschnitts beziehen sich sowohl auf die Durchführung des Feldtestsim Mai 1999, als auch auf den Haupttest im April/Mai 2000. Soweit es in der Durchführungder Feldarbeit Unterschiede gab, werden diese explizit dargestellt.

In diesem Kapitel werden alle Arbeitsschritte der Field Operations aufgelistet und beschrieben.Dabei wird ein Einblick in die zeitliche Abfolge der Feldarbeiten gegeben sowie die Umsetzungdieser Tätigkeit im Detail beschrieben.

Definition Field OperationsAlle Tätigkeiten, die im Feld (= Schulen) stattfinden sowie Tätigkeiten die in Kooperationmit im Feld stehenden Personen (= alle Personen außerhalb des nationalen PISA Zentrumswie beispielsweise die Schulleiter/innen) ausgeführt werden.

Im Zusammenhang mit der PISA-Studie werden darunter folgende Tätigkeitsbereiche ver-standen:• Information und Zusammenarbeit mit den zuständigen Schulbehörden• Kooperationen mit den zu testenden Schulen• Rekrutierung und Schulung von Schulkoordinator und Testadministratoren• Vorbereitung und Aussendung der Testmaterialien• Organisation der Testsitzungen• Rücklauf der Testmaterialien nach der Datenerhebung

1. Ablauf der Feldarbeit – Chronologische ÜbersichtAbbildung VI.1 zeigt eine chronologische Darstellung aller Tätigkeiten der Field Operationsin der PISA-Studie getrennt nach Feld- und Haupttest.

Wie aus dieser Abbildung hervorgeht, kommen alle Tätigkeiten der Feldtestarbeit auchim Haupttest vor. Umgekehrt ist dies nicht der Fall, da die Logistik im Haupttest, vor allemauf Grund der größeren Stichprobe, ein wenig von jener im Feldtest abweicht. Tätigkeiten,die nur im Haupttest ausgeführt werden, werden mittels Fettdruck gekennzeichnet.

2. Durchführung der Feldarbeit

Abschnitt VI: Field Operations: Screening und Testadministration 167

PHASEN der Feldarbeit

FELDTEST 1999 2000

Informationsbrief und PISA-Folder an zuständige

Schulbehörden11

Einladung der Schulen zur Testteilnahme 12

Einladung der Testadministratoren zum Training 16

Aussendung der Schüler- und Elterninformationen 16

NCQM Visit und SQM Schulung 16

Kontrollprozeduren der Testmaterialien 16

Etikettieren der Testhefte und Surveyinstrumente 16

Organisation der Testmaterialien 16

Kontrolle der Testpakete 17

Druck des Testadministratorenmanuals 17

Testadministratorentraining 17

Rückmeldungen der Testtermine ans PISA Zentrum 19

Rücklaufkontrolle 21

Telefonische Erinnerung der Schulleitung bzgl. der Bearbeitung der Schulfragebögen

21

HAUPTTEST 1999 2000

Adaption und Druck der PISA-Folder und Plakate 43

Information an Testadministratoren des Feldtests 46

Information an zuständige Schulbehörden 47

Raum- und Terminvereinbarung für Testadministratoren-

trainings47

Einladung der Schulen zur Testteilnahme 49

Information an (neue) Testadministratoren 50

Einladung der Testadministratoren zum Training 5

Aussendung der Schüler- und Elterninformationen, Plakate und Schülerlisten

9

Durchführung der Kontrollprozeduren der Testmaterialien 10 - 13

Etikettieren der Testhefte und Surveyinstrumente 11 - 12

Aussendung der TA-Materialien 11

Rückmeldungen der Testtermine ans PISA Zentrum 9

Organisation der Testmaterialien 11

Kontrolle der Testpakete 12 - 13

Druck des Testadministratorenmanuals 11

Testadministratorentrainings 13-14

NCQM Visit und SQM Schulung 15

Information an TAs über Rücklauf der Testmaterialien 19

Rücklaufkontrolle 22

Telefonische Erinnerung der Schulleitungen bzgl. der Bearbeitung der Schulfragebögen

23 -24

Dankschreiben an die Schulleitung sowie Urkunde und

Feedbackbogen an Schulkoordinator26

KALENDERWOCHEN

Abbildung VI.1: Tätigkeiten im Rahmen der Field Operations


2.1 ScreeningUnter dem Terminus „Screening“ sind alle Tätigkeiten und Bemühungen zu verstehen, diezur Teilnahmevereinbarung mit den zur Testung ausgewählten Schulen führen. Chronologischgesehen sind es jene Tätigkeiten, die unmittelbar nach dem Sampling (vgl. Abschnitt V, Kapitel5) beginnen und bei der Teilnahmezusage der Schulen enden.

Von großer Bedeutung ist dabei sowohl die enge Kooperation mit dem Bundesministeriumfür Bildung, Wissenschaft und Kultur sowie allen zuständigen Schulbehörden als auch derpersönliche Kontakt mit der Schulleitung.

Folgende chronologisch aufgelisteten Tätigkeiten sind diesem Bereich zuzuordnen und wer-den anschließend detailliert beschrieben:• Information an zuständige Schulbehörden• Einladung der Schulen zur Testteilnahme• Aussendung der Schüler- und Elterninformation

(siehe Anhang)

Unmittelbar nach dem Sampling erfolgte die Kontaktaufnahme mit den zuständigen Schul-behörden. Bei der ersten Kontaktaufnahme wurden sowohl Landesschulratspräsidenten alsauch Landesschulinspektoren schriftlich über die PISA-Studie informiert und um Mithilfegebeten. Ein Erlass von Frau Bundesministerin Gehrer, in dem sie ebenfalls zur Mithilfe andieser Studie aufruft, wurde den Briefen an die zuständigen Schulbehörden beigelegt.

In der nächsten Phase wurden die Schulleiter/innen der Schulen, welche zufällig für die Teil-nahme an der PISA-Studie ausgewählt wurden, ebenfalls vom PISA Zentrum schriftlich überdas Projekt informiert und zur Teilnahme eingeladen.1 Sie wurden ersucht, eine Kontaktper-son (Schulkoordinator) an der jeweiligen Schule zu benennen. Die erste Aufgabe desSchulkoordinators bestand darin, eine Liste aller Schüler/innen des ausgewählten Schultypsdes Geburtsjahrgangs 1984 zu erstellen und an das nationale Projektzentrum zu senden(vgl. Kapitel 2.2 in diesem Abschnitt).

Im Falle einer Nichtteilnahme einer ausgewählten Schule waren die Schulleiter/innenverpflichtet, dies innerhalb einer Woche der Schulbehörde erster Instanz, dem BM:BWK(Abt. Präs. 1, MR Mag. Friedrich Plank) und dem Österreichischen PISA Zentrum unterAngabe triftiger Gründe zur Kenntnis zu bringen.

Ein Großteil der Schulen gab während der vorgeschriebenen zweiwöchigen Meldefrist keineRückmeldung ans nationale Projektzentrum. Nach weiteren zwei Wochen, während derer diebereits eingelangten Rückmeldungen dokumentiert und Materialien gesammelt wurden, be-gannen Mitarbeiter/innen des nationalen Projektzentrums die Schulen telefonisch zu kon-taktieren. Falls erforderlich, wurden die Informationsmaterialien nochmals versandt. Bei vie-len Schulen war eine mehrmalige Kontaktaufnahme notwendig, um den Teilnahmestatusermitteln zu können bzw. den Namen des jeweiligen Schulkoordinators in Erfahrung zu brin-gen.

Die Bemühungen und die weiteren notwendigen Schritte können folgendermaßen beschrie-ben werden:


(1) Die Schule wurde telefonisch erreicht und vom zuständigen Schulkoordinator eine gültigeSchülerliste an das nationale Projektzentrum gesandt.

(2) Die Schule wurde erreicht, aber es wurde keine gültige Schülerliste an das nationaleProjektzentrum gesandt. Gelangten trotz weiterer Aufforderungen bei prinzipieller Zusagekeine Schülerlisten ans nationale Zentrum, wurde der/die zuständige Landesschulinspektor/in um Mithilfe gebeten. Die lokale Schulbehörde wurde in diesen Fällen ersucht, nocheinmal genau über die PISA-Studie zu informieren und bei der Lösung etwaiger Problemebehilflich zu sein. Einige Schulen konnten die Schülerlisten erst sehr spät an das PISAZentrum schicken. Dabei handelte es sich vor allem um saisonal geführte Berufsschulen,welche teilweise selbst erst kurz vor der Erhebungsphase die gültigen Schülernamenerhielten.

(3) Die Schule wurde erreicht und die Nichtteilnahme ausgesprochen. Betont werden mussjedoch, dass es im Haupttest nur eine Absage (es musste nur eine Replacementschuleherangezogen werden; vgl. Abschnitt VII, Kapitel 2) gab, und im Feldtest alle zufälligausgewählten Schulen an der PISA-Studie teilnahmen.

Zwei Wochen vor der Durchführung des Feldtests bzw. drei Wochen vor dem Haupttestwurde an alle an der Studie teilnehmenden Schulen eine entsprechende Anzahl an Eltern-und Schülerinformationsblättern, ein Fragebogen für die Schulleitung und ein PISA-Posterzur schulinternen Information gesandt. Die Aufgabe des Schulkoordinators war es, das Kolle-gium, die ausgewählten Schüler/innen und deren Eltern mittels Übergabe der Informations-blätter über die Studie zu informieren. Eltern stand es frei, ihr Kind vom Test abzumeldenund auch die Schüler/innen konnten ihre Nichtteilnahme ohne Angabe von Gründen erklä-ren. Abmeldungen kamen jedoch nur vereinzelt vor (Abschnitt VII, Kapitel 2).

Mit oben beschriebenen Schritten war die Screeningphase abgeschlossen, jedoch werden indiesem Kapitel einige weitere Informationstätigkeiten beschrieben, die im weitesten Sinnnoch zur Phase des Screenings zu rechnen sind.

2.2 Einsatz und Aufgaben der SchulkoordinatorenWie bereits erläutert, ernannte jede am PISA Feld- und Haupttest 2000 teilnehmende Schuleeinen Schulkoordinator (SK), der als Kontaktperson zwischen der Schule und dem PISAZentrum auftrat. Der Schulkoordinator war verantwortlich für die Koordination aller dieStudie betreffenden Aktivitäten innerhalb der Schule. Der Aufgabenbereich eines Schul-koordinators wurde mit ATS 600,- honoriert und konnte von Lehrer/innen, Schulleiter/innenoder Schuladministratoren übernommen werden.

Die Aufgaben eines SK, welche sich vor allem auf administrative Tätigkeiten beziehen, kön-nen wie folgt zusammengefasst werden:• Erstellung einer Schülerliste

Die Schulkoordinatoren erhielten in einer ersten Aussendung Informationen über Ziele,Organisation der Studie sowie ihre Aufgaben im Zusammenhang mit der PISA-Studie.Die erste Aufgabe des Schulkoordinators bestand darin eine Schülerliste zu erstellen undan das nationale Projektzentrum zu schicken. Für den Feldtest wurden alle Schüler/innendes Jahrgangs 1983 und für den Haupttest Schüler/innen des Jahrgangs 1984 benötigt.Die Schülerlisten mussten folgende Informationen enthalten2: Die genaue Bezeichnung


und Adresse der Schule; den Namen des Schulkoordinators; Telefonnummer, Faxnummer(evtl. E-Mail-Adresse) der Schule/des Schulkoordinators; Name, Geschlecht, Klassen,Geburtsdaten aller Schüler/innen des Jahrgangs 1984, die zum Testzeitpunkt April/Mai2000 als „ordentliche“ Schüler/innen einzustufen waren (im Anhang befindet sich einMusterblatt zur Erstellung von Schülerlisten).Die Schülerlisten wurden, sofern sie nicht bereits in entsprechendem Format vorhandenwaren, von Mitarbeitern des nationalen Projektzentrums elektronisch erfasst und hin-sichtlich ihrer Vollständigkeit kontrolliert. Fehlten auf Listen notwendige Informationenwurden die Schulen telefonisch kontaktiert und um zusätzliche Auskünfte bzw. eine wei-tere, verbesserte Liste gebeten.Bestand eine Liste aus mehr als 35 Schüler/innen wurden vom internationalen Zentrumunter Verwendung der Software KeyQuest maximal 35 Schüler/innen jeder Schule zufälligausgewählt, um am Test teilzunehmen. Das within-school-sampling (= Zufallswahl derzu testenden Schüler/innen aus einer gezogenen Testschule; vgl. Abschnitt V, Kapitel 5)unter Verwendung der vom internationalen Zentrum zur Verfügung gestellten SoftwareKeyQuest – war Aufgabe des nationalen Projektzentrums. Aufgrund erheblicher technischerProbleme, die zur völligen Funktionsunfähigkeit der neuen Software führten, wurde dieseAufgabe jedoch vom internationalen Zentrum übernommen.

• Weiterleiten von InformationenZwei Wochen vor der Durchführung des Feldtests und drei Wochen vor dem Haupttesterhielt der SK die gültige Schülerstichprobenliste (=Student tracking form) mit denausgewählten Schüler/innen, eine entsprechende Anzahl an Eltern- und Schüler-informationsblättern, einen Fragebogen für die Schulleitung und ein PISA-Poster zurschulinternen Information. (vgl. Anhang) Die Aufgabe des Schulkoordinators war es -wie bereits erwähnt - das Kollegium, die ausgewählten Schüler/innen und deren Elternmittels Übergabe der Informationsblätter über die Studie zu informieren.Der SK hatte zu diesem Zeitpunkt die Möglichkeit nach genau vorgegebenen Kriterien(schwere dauernde körperliche oder geistige Behinderung, mangelnde Kenntnisse derdeutschen Sprache, Abmeldung des Schülers oder der Schülerin von der Schule) Schüler/innenvom Test auszuschließen (siehe Anhang). Bei einem Ausschluss auf Grund der dargestelltenKriterien mussten vom Schulkoordinator keine Ersatzschüler/innen gefunden werden (vgl.Abschnitt V, Kapitel 5).

• Termin- und RaumplanungDer SK legte zusammen mit dem Testadministrator (= externe Person, welche den Test inder Schule durchführt) den Termin für die Testdurchführung fest und übernahm dieOrganisation der Räumlichkeiten (vgl. Kapitel 2.3.1 in diesem Abschnitt).

• TesttagDie Aufgabe des SK am Testtag bestand darin, den Testadministrator eine Stunde vorTestbeginn zu empfangen, diesem den Testraum zugänglich zu machen und ihn/sieeventuell bei den Vorbereitungsmaßnahmen zu unterstützen. Der SK stellte sicher, dassdie ausgewählten Schüler/innen an den Testsitzungen (und evtl. an einem Nachtest)teilnahmen, begrüßte die Schüler/innen und stellte den Testadministrator vor. Außerdemübergab der SK dem Testadministrator den ausgefüllten Schulleiterfragebogen.

• QualitätskontrolleNeben dem Testadministrator wurden im Feld- und im Haupttest ausgewählte Schulenvon einem „Qualitätsüberwacher“ (School Quality Monitor; SQM) besucht. Die


Abbildung VI.2: Einsatz von School Quality Monitors im Feld- und Haupttest

Hauptaufgabe der SQMs bestand in der Dokumentation der Testdurchführung mit demZiel die Qualität zu bestimmen und zu verbessern (vgl. Abschnitt IX, Kapitel 5). BeiAnwesenheit des SQMs gehörte es zu den Aufgaben des Schulkoordinators sich für einkurzes Leitfadeninterview unmittelbar nach der PISA-Testsitzung zur Verfügung zu stellen.3Beim Feldtest wurden 5 Schulen und beim Haupttest 37 Schulen für den Besuch einesSQMs ausgewählt, wie in Abbildung VI.2 ersichtlich wird.

• TestwiederholungEine weitere Aufgabe des Schulkoordinators bestand darin, gemeinsam mit demTestadministrator einen weiteren Testtermin zu vereinbaren. Ein weiterer Testtermin(= follow up) war dann notwendig, wenn am Testtag fünf oder mehr Schüler/innen bzw.mehr als 15% der für die Testung ausgewählten Schüler/innen fehlten.

Bei der Beschreibung der Aufgaben des Schulkoordinators ist bereits deutlich geworden, wieeng dieser mit dem Testadministrator (TA) zusammenarbeiten muss, um einen reibungslosenAblauf der Testsitzungen zu gewährleisten. Im nächsten Kapitel werden die Aufgaben derTestadministratoren und ihr Einsatz beschrieben.

2.3 Einsatz und Aufgaben von TestadministratorenDie PISA-Testungen in der Schule wurden von externen, speziell geschulten Personen(Testadministratoren) durchgeführt.

Das Nationale Projektzentrum hat ein stehendes Netz an Testadministratoren in allenBundesländern aufgebaut, das aus etwa 70 Personen besteht. Die Personen haben große Er-fahrung im Umgang mit Schüler/innen und zeichnen sich durch hohes Engagement undEinsatzbereitschaft aus (Die TAs sind vorwiegend Angestellte der Pädagogischen Institute derBundesländer oder Lehrer/innen).

Folgende Vorteile ergeben sich aus dem Einsatz von externen Testadministratoren:• Der Einsatz von externen Testadministratoren ermöglicht eine objektive Testdurchführung

sowie einen kontrollierten, standardisierten Testablauf.• Da es sich bei den Administratoren um schulfremde Personen handelt, wird einerseits die

Vertraulichkeit von Informationen und die Anonymität der Schüler/innen gesichert und

BUNDESLÄNDER

Feldtest Haupttest Feldtest Haupttest

Burgenland 4 6 - -

Kärnten 4 16 - 4

Niederösterreich 4 39 - 2

Oberösterreich 5 42 4 7

Salzburg 2 15 1 5

Steiermark 5 34 - 4

Tirol 3 17 - 4

Vorarlberg 3 12 - 1

Wien 5 40 - 10

TOTAL 35 221 5 37

ANZAHL DER SCHULEN SQM-EINSÄTZE


andererseits ehrlichere/objektivere Antworten von Seiten der Schüler/innen erwartet (vgl.Abschnitt IX, Kapitel 3).

• Für die Testschulen ergibt sich durch den Einsatz externer Personen ein verminderterorganisatorischer Aufwand.

• Für das Nationale Projektzentrum bedeutet der Einsatz geschulter Testadministratorendie Sicherung der Testmaterialien und die Bewahrung vor Verlust und Missbrauch vonTestheften und Fragebögen (vgl. Abschnitt IX, Kapitel 4).

2.3.1 Aufgabenbereiche der Testadministratoren

Die externen Testadministratoren waren für die Testdurchführung an einer oder mehrerenSchulen sowie für die Aufbewahrung der dafür notwendigen Testmaterialien und der Zurücksen-dung dieser Materialien an das Nationale Zentrum verantwortlich. Ihre Aufgabenbereichekönnen wie folgt kurz zusammengefasst werden:• Entgegennahme und Überprüfung der Schuladressenlisten und selbstständiges Erarbeiten

der Inhalte des Testadministratorenmanuals4

Im Feldtest wurden die zu testenden Schulen direkt während des Trainings den zuständigenTestadministratoren zugeteilt sowie das TA-Manual übergeben.Beim Haupttest wurde den Testadministratoren sowohl die Schulstichprobenliste desjeweiligen Bundeslandes, die Adressen der anderen TAs ihres Bundeslandes als auch dasTA-Manual zugesandt. Alle TAs wurden gebeten, bis zum Trainingstermin Kontakt mitden anderen TAs ihres Bundeslandes aufzunehmen, um die zu testenden Schulenuntereinander aufzuteilen.

• Teilnahme am PISA-TestadministratorentrainingDie Testadministratoren wurden durch Mitarbeiter/innen des PISA Zentrums inregionalen Trainings auf die Durchführung der Tests vorbereitet. Wie Abbildung VI.3zeigt, nahmen beim Feldtest 92% und beim Haupttest 97% aller Testadministratoren amTraining teil. Konnte ein Testadministrator nicht am Training teilnehmen (Erkrankung),wurde er von einem geschulten TA in einem Einzeltraining unterwiesen (vgl. Kapitel 2.3.2in diesem Abschnitt).

Abbildung VI.3: Teilnahme der Testadministratoren am Training im Haupt- und Feldtest

BUNDESLÄNDER

Burgenland 3 2 3 3

Kärnten 3 3 10 9

Niederösterreich 4 4 10 10

Oberösterreich 3 3 9 8

Salzburg 2 2 5 5

Steiermark 1 1 4 4

Tirol 3 2 4 4Vorarlberg 2 2 2 2

Wien 2 2 12 12

TOTAL 23 21 59 57

FELDTEST HAUPTTEST

Anzahl der TAsam Training

teilgenommenAnzahl der TAs

am Training teilgenommen


• Entgegennahme der Testmaterialienpakete vom nationalen Projektzentrum undGewährleistung ihrer Sicherheit.

• Kooperation mit dem SchulkoordinatorIm Feldtest hatten die TA erst nach dem Training die Möglichkeit Testtermine mit denzuständigen Schulkoordinatoren zu vereinbaren. Im Haupttest konnten die Admini-stratoren dieser Aufgabe bereits Wochen vor dem TA-Training nachkommen. Die TAswurden beauftragt, das nationale Zentrum über den vereinbarten Termin sowie etwaigeÄnderungen zu informieren. Unverzügliche Meldungen über etwaige Terminveränder-ungen waren besonders wichtig, da PISA-Testschulen unangekündigt von einem SQM(School Quality Monitor) besucht werden konnten und auch deren Zeitpläne denÄnderungen angepasst werden mussten (vgl. Abschnitt IX, Kapitel 5).

• Ein bis zwei Tage vor der Testdurchführung sollten sich die TAs nochmals mit dem SK inVerbindung setzten, um eventuell aufgetretene Probleme in Erfahrung zu bringen undgegebenenfalls das nationale Projektzentrum darüber zu informieren.

• Durchführung der PISA-Testung in den jeweiligen SchulenAm Testtag fand der TA sich ungefähr eine Stunde vor Testbeginn in der Schule ein, umdie notwendigen Vorbereitungen zu treffen.

• Die Details des Testablaufs im TA-Protokoll festhaltenEine weitere Aufgabe des TA bestand darin, ein halbstandardisiertes Protokoll über denTestablauf zu führen. Diese Aufzeichnungen gaben vor allem Aufschluss über aufgetreteneProbleme und Mängel während der Testdurchführung. Die Protokolle waren ein Teil desTestpaketes und gelangten in diesem wieder ans PISA Zentrum zurück (vgl. AbschnittIX, Kapitel 5).

• Testwiederholung anberaumenFalls fünf oder mehr Schüler/innen bzw. 15% der für die Testung ausgewählten Schüler/innen am Testtag nicht anwesend waren, musste entsprechend den internationalenVorgaben sowohl beim Feld- als auch beim Haupttest ein Nachtest (Follow-up session)anberaumt werden. Dieser weitere Testtermin durfte sowohl beim Feldtest als auch beimHaupttest das Testfenster nicht mehr als eine Woche überschreiten.Im Feldtest war eine Wiederholung der Testdurchführung in drei Schulen notwendig. Eshandelte sich dabei um Berufsschulen, die entweder saisonal geführt wurden oder umjene Berufsschulform, bei welcher der Unterricht von den Schüler/innen nur einmal proWoche besucht wird.Die Testdurchführung in Berufsschulen ist auf Grund des häufig auftretenden saisonalenUnterrichts grundsätzlich ein Problem. Aufgrund dessen waren in den Berufsschulenvergleichsweise viele Nachtestungen notwendig. Wie in Abbildung VI. 4 ersichtlich wird,wurden im Haupttest bis zu vier Nachtestungen an einer Schule durchgeführt. Obwohlnach internationalen Richtlinien lediglich eine Nachtestung gefordert war, wurden dieTests trotz erheblicher finanzieller Belastung mehrfach wiederholt, um eine möglichsthohe Teilnahmequote zu erhalten.

• Zurücksenden der MaterialienIm Feldtest bestand die letzte Aufgabe des TA darin, das gesamte Testmaterialienpaket(inklusive des Schulleiterfragebogens und der Protokolle) postalisch an das nationaleProjektzentrum zurückzusenden.Beim Haupttest wurden in jedem Bundesland an einem Pädagogischen Institut bzw. inSalzburg am Institut für Erziehungswissenschaft Sammelplätze für die Testpakete eingerichtet.


Die Materialien wurden vom TA zum Sammelplatz gebracht und von Mitarbeitern desnationalen Projektzentrums persönlich abgeholt. In einigen Schulen wurden Nachtestsanberaumt, die das Testfenster überschritten. Die Testpakete dieser Schulen wurden dannauf postalischem Weg an das nationale Projektzentrum gesendet.

2.3.2 Testadministratorentraining

Um in jeder PISA-Testschule eine standardisierte Testdurchführung gewährleisten zu können,wurden die 23 Testadministratoren des Feldtests und die 59 Testadministratoren des Haupttestsvon Mitarbeiter/innen des nationalen Projektzentrums in halbtägigen Trainings auf dieTestdurchführung vorbereitet.

Im Feldtest wurden alle TAs in Salzburg am Institut für Erziehungswissenschaft gemeinsamgeschult. Da im Haupttest eine erhöhte Zahl an TAs notwendig war, fanden die Test-administratorentrainings in dieser Phase in Räumlichkeiten der Pädagogischen Institute (Wien,Graz) und der Tiroler Landesregierung (Innsbruck) sowie am Institut für Erziehungs-wissenschaft Salzburg statt.

Ziel der halbtägigen Trainings war, neben der Vorbereitung auf die Testdurchführung auchüber die PISA-Studie und ihre Ziele zu informieren, um damit der weiteren Funktion derTestadministratoren als PISA-Multiplikatoren gerecht zu werden. Dabei stand der Zyklus Ider PISA-Studie im Vordergrund. Die Teilnehmer wurden über den Ablauf des Feld- bzw.Haupttests, über die Länge des Testfensters sowie über eingesetzte Materialien (Fragebögen,Testhefte etc.) informiert.

Im Testadministratorentraining des Feldtests wurde auf die Darstellung der PISA-Studie,ihre Ziele und ihre Organisation besonderen Wert gelegt. Ein weiterer Unterschied zum Trai-ning des Haupttests bestand darin, dass die Testadministratoren im Feldtest angehalten wur-den, die Testpakete noch während des Trainings auf Vollständigkeit zu überprüfen. Es stelltesich heraus, dass beide Trainingsinhalte sehr zeitintensiv waren und auf Grund des begrenztenZeitpotentials zu wenig Raum für die Beantwortung von Fragen und Unklarheiten blieb.

Auf Grund dieser Erfahrungen aus dem Feldtest wurde das Testadministratorentrainingim Haupttest umstrukturiert. Der Umfang an Informationen über die PISA-Studie wurdereduziert und die Testadministratoren erhielten den Auftrag die Testmaterialien nach demTraining zu überprüfen. Auf Grund der Umstrukturierung konnte einerseits auf die Darstellung

Abbildung VI.4: Anzahl der Testtermine und Nachttestungen nach Bundesländern

BUNDESLÄNDER

Testung 1 Nachtest 1 Testung 1 Nachtest 1 Nachtest 2 Nachtest 3

Burgenland 4 - 6 - - -

Kärnten 4 - 15 3 2 2

Niederösterreich 4 1 38 1 - -

Oberösterreich 5 - 41 2 - -

Salzburg 2 - 15 2 - -Steiermark 5 - 32 5 - -

Tirol 3 2 17 - - -

Vorarlberg 3 - 12 1 - -

Wien 5 - 37 9 - -

GESAMT 35 3 213 23 2 2

FELDTEST HAUPTTEST


der Regeln und der Bedeutung der Testadministration im PISA-Test, andererseits auf diegenaue Besprechung des Ablaufes einer Testsitzung eingegangen werden.

Grundsätzliche Regeln für Testadministratoren:

• Beachtung der vorgeschriebenen Regeln im TA-Manual• Kooperation mit Schulkoordinatoren• Rechtzeitige und klare Terminvereinbarung mit Schulen• Persönliche Vorbereitung auf Durchführung• Vorbereitung der Materialien/Schulpakete• Pünktlichkeit am Testtag• Strikte Auswahl ausschließlich der zugelassenen Schüler/innen• Wörtliche Beachtung der Scripts• Vertraulichkeit aller Informationen• Beaufsichtigung der Testgruppe (kein Verlassen der Gruppe)• Ruhe und Gelassenheit bei der Durchführung• Genauigkeit bei der Beachtung der Zeiten• Sicherung der Materialien• Kontakt mit bzw. Information des PISA Zentrums bei Problemen oder Abweichungen

Im Testadministratorenmanual (vgl. Abbildung VI.5) werden alle bedeutsamen Punkte genaubeschrieben.

2.3.3 Rückmeldungen der Testadministratoren

Eine weitere Aufgabe der Testadministratoren bestand in der Protokollierung des Testvorgangs.Die TAs beantworteten dabei Fragen zur Kooperation mit den Schulkoordinatoren oderSchüler/innen, Probleme mit Testtagen und Testzeiten sowie Fragen zu Gestaltung und Inhaltder Testinstrumente. Diese Aufzeichnungen gaben vor allem Aufschluss über aufgetreteneMängel oder Probleme während der Testdurchführung und sind für die qualitative Aufbereitungbedeutsam. Die TA-Protokolle wurden statistisch ausgewertet (vgl. Abschnitt IX, Kapitel 5).

2.4 Organisation und Versand der TestmaterialienNach Übersetzung, kultureller Adaption, Layoutierung und Verifikation wurden die österreichischenTest- und Surveyinstrumente gedruckt. Jene von der Lieferung des gedruckten Testmaterialsbis zur Übergabe der Testpakete notwendigen Schritte werden in diesem Abschnitt erläutert.

2.4.1 Etikettierung der Testmaterialien

Wie in Abschnitt IV bereits erläutert, besteht das PISA-Testmaterial aus neun verschiedenenTestheften sowie aus dem Testheft 60, welches in Sonderschulen eingesetzt wurde, dreiverschiedenen Formen von Schülerfragebögen sowie einem Test zur Lesefertigkeit von Schüler/innen in drei verschiedenen Formen (Reading Speed).

Nach der Lieferung der gedruckten Testmaterialien bestand ein Beitrag zur Qualitätskontrolledarin, die Testhefte und Fragebögen einem manuellen,”physikalischen” Check auf Voll-ständigkeit und Qualität des Drucks zu unterziehen. Nach Ausschluss der Testhefte undFragebögen die drucktechnisch ungenügend waren, wurden die Materialien gemäß ihrenRotationsformen (A/B/C) an Tischen angeordnet.


Abbildung VI.5: Inhaltsverzeichnis des Manuals für Testadministratoren

1. EINFÜHRUNG

1.1 Allgemeine Informationen zum

Programme for International Student Assessment (PISA)

1.2 Verantwortlichkeiten bei der Durchführung der Studie

1.3 Die Rolle des/r Testadministrators/der Testadministratorin

1.4 PISA-Materialien

1.5 Zeitrahmen für die Testsitzung

1.6 Organisation dieses Manuals

1.7 Checkliste der Aufgaben

2. DEN TEST VORBEREITEN

Aufgabe 1: Teilnahme an der regionalen PISA TA-Schulung (am PI)

Aufgabe 2: Erhalt/Kontrolle Testmaterial, Schuladressen und Teilnahmelisten

Aufgabe 3: Kooperation mit dem Schulkoordinator/der Schulkoordinatorin (SK)

3. DEN PISA-TEST DURCHFÜHREN

Aufgabe 4: Vorbereitung im Testraum – den Ablauf mit dem/der SK besprechen

Aufgabe 5: Die Schülerteilnahmeliste aktualisieren

Aufgabe 6: Die Testhefte für die Erhebung vorbereiten

Aufgabe 7: Die Schüler/innen empfangen und gemäß der Liste setzen

Aufgabe 8: Verlesen der schriftlichen Anweisungen zum Testablauf

Aufgabe 9: Verteilung des Testmaterials

Aufgabe 10: Zeitnahme einzelner Testteile

Aufgabe 11: Beaufsichtigung der Testsitzung

Aufgabe 12: Beendigung der Testsitzung

Aufgabe 13: Sicherung des Testmaterials und Wahrung der Vertraulichkeit

4. NACH DER TESTSITZUNG

Aufgabe 14: Eintragungen zum Teilnahmestatus auf der Teilnahmeliste

Aufgabe 15: Einen Nachtest vereinbaren

Aufgabe 16: Ausfüllen der Testsitzungsprotokolle

Aufgabe 17: Den Schulfragebogen einsammeln

Aufgabe 18: Das Testmaterial zurückbringen

Aufgabe 19: Durchführung eines Nachtests

5. ANHANG

Anhang 1 Testleiterskript

Anhang 2 Testsitzungsprotokoll

Anhang 3 Erläuterungen zum internationalen Schülerfragebogen

Anhang 4 Teilnahmeliste


Abbildung VI.6: Rotationsschema Etikettierung der Testmaterialien Haupttest 2000

Schüler

IDTestheft Form FB

1 Booklet 1 A2 Booklet 2 B3 Booklet 3 C4 Booklet 4 A5 Booklet 5 B6 Booklet 6 C7 Booklet 7 A8 Booklet 8 B9 Booklet 9 C

10 Booklet 1 A11 Booklet 2 B12 Booklet 3 C13 Booklet 4 A14 Booklet 5 B15 Booklet 6 C

16 Booklet 7 A17 Booklet 8 B18 Booklet 9 C

19 Booklet 1 A20 Booklet 2 B21 Booklet 3 C22 Booklet 4 A23 Booklet 5 B24 Booklet 6 C25 Booklet 7 A26 Booklet 8 B27 Booklet 9 C

28 Booklet 1 A29 Booklet 2 B30 Booklet 3 C31 Booklet 4 A32 Booklet 5 B33 Booklet 6 C34 Booklet 7 A35 Booklet 8 B

Reading Speed

A

B

BCAB

A

CABC

CABC

ABC

ABCABC

CAB

ABC

ABCAB

Als nächster Schritt wurde ein Rotationsschema (vgl. Abbildung IV.6) erstellt, welches jedemSchüler und jeder Schülerin einer ausgewählten Schule eine Testheftform, eine Reading SpeedVersion (A/B/C) und eine Fragebogenform (A/B/C) zuordnete. Durch diese Vorgehensweisekommt bei maximal 35 Schüler/innen einer Testschule jede Testheftform maximal viermal,jede Reading Speed Version und Fragebogenform maximal zwölfmal zum Einsatz.

Vom Rotationsschema ausgenommen wurden die Testmaterialien für die Sonderschule.Schüler/innen der getesteten Sonderschulen bearbeiteten das Testheft 60, den internationa-len Teil des Schülerfragebogens sowie die Reading Speed Version A.


Schuladresse Schüleridentifikationscode

Schulkennzahl Stratum

Dreistellige laufende Schulnummer

BerufsschuleSt. Musterhausen

Mustergasse 59900 St. Musterhausen

229918 19009 09

Abbildung VI.7: Etikett für Testhefte und Schülerfragebogen

Das Testmaterial (Testhefte und Surveyinstrumente) wurde beim Feldtest innerhalb von dreiTagen und beim Haupttest innerhalb von zwei Wochen von Mitarbeitern des nationalenProjektzentrums manuell mit Schüleretiketten versehen. Für jeden Schüler und für jede Schü-lerin wurden, wie das Rotationsschema verdeutlicht, drei Etiketten bedruckt, die folgendeInformationen enthielten.

Auf den Testmaterialetiketten (vgl. Abbildung VI.7) findet man neben dem Schüleridentifikations-code (09), die Schuladresse, die sechsstellige Schulkennzahl (229918), die dreistellige laufen-de Schulnummer, die vom nationalen Projektzentrum vergeben wurde (009) sowie das Stratum5

des jeweiligen Schultyps.

Die Testmaterialien wurden „schulweise“ nach oben beschriebenem Rotationsschema etiket-tiert. Dabei wurden die Testmaterialien weiteren Qualitätschecks unterzogen (vgl. AbschnittIX, Kapitel 2):(1) Vor dem Etikettieren wurde jedes einzelne Testheft und jeder Fragebogen manuell noch

einmal hinsichtlich Druckqualität und Vollständigkeit geprüft.2) Nach dem Etikettieren wurden die Testhefte noch einmal bezüglich der Übereinstimmung

mit dem Rotationsschema geprüft (vgl. Abbildung VI.6).

2.4.2 Zusammenstellung und Kennzeichnung der Testpakete

Bevor die Materialien verpackt werden konnten, mussten die Kartons mit Schuletiketten(Schuladresse, Stratum und laufende Nummer) versehen werden.

Die Pakete wurden nach der Kennzeichnungsprozedur räumlich nach Bundesländerngeordnet.

Nach den oben beschriebenen Kontrollprozeduren wurden die Materialien zu Testpaketenzusammengestellt und in den vorbereiteten Kartons verpackt.

Jedes Testpaket enthielt folgende Materialien:(1) die Liste des Testpaketinhalts(2) eine Schülerliste mit allen zu testenden Schüler/innen


Abbildung VI.8: Testfenster Haupttest PISA 2000

(3) ein Testheft, einen Lesefertigkeitstest und einen Schülerfragebogen für jede/nSchüler/in,

(4) ein zusätzliches Testheft, einen Lesefertigkeitstest und einen Schülerfragebogen als Ersatz,(5) einen PISA-Kugelschreiber für jede/n Schüler/in und(6) das Testsitzungsprotokoll für den Testadministrator.

Nach der Verpackung der Testmaterialien wurde der Inhalt jedes einzelnen Pakets doppelt aufVollständigkeit überprüft.

Die Vorbereitung und Verpackung der Testmaterialien für 5480 Schüler/innen war mit einemenormen organisatorischen und logistischen Aufwand verbunden. Auf Grund häufiger undkonzentrierter Qualitätschecks konnten Fehler weitgehend vermieden werden.

2.4.3 Verteilung der Testmaterialien

Die Testpakete wurden sowohl im Feldtest als auch im Haupttest direkt beim Testad-ministratorentraining an die TAs übergegeben. Neben den Testpaketen für die Schulen er-hielt jeder Testadministrator eine TA-Trainingstasche, die eine Stoppuhr, Post It’s und Reserve-kugelschreiber enthielt.

2.5 Datenerhebung und Verwahrung des TestmaterialsWie Abbildung VI.8 zeigt wurde der PISA-Haupttest zwischen 27. 04. 2000 und 09. 06. 2000durchgeführt. Im Testfenster standen 24 Testtage (graue Zellen markieren Testtage) zurVerfügung (für höhere Schulen mit Samstagsunterricht insgesamt 29 Testtage).

1 Feiertag 1 Feiertag2 23 3 Samstag4 4 Sonntag5 56 Samstag 67 Sonntag 78 89 9

10111213 Samstag14 Sonntag151617181920 Samstag21 Sonntag22

23 Ostersonntag 23

Montag 24Dienstag 25Mittwoch 26

27 27 Samstag28 28 Sonntag29 Samstag 2930 Sonntag 30

31

NACHTEST

APRIL MAI JUNI


Auf Grund von Erfahrungen im Feldtest wurde während dieser Zeit im nationalen Projekt-zentrum ein telefonischer Hotlinedienst eingerichtet. Die Testadministratoren sollten vor al-lem in der Vorbereitungsphase (1 Stunde vor Testbeginn) die Möglichkeit haben, bei Unklar-heiten Rückfragen ans nationale Projektzentrum stellen zu können.

2.5.1 Eine typische Testadministration

Maßgeblich für den Erfolg der PISA-Studie in Österreich war die standardgemäße Durch-führung der Testsitzungen. Folgende Darstellung einer typischen Testadministration soll Ein-blick in den Ablauf einer PISA-Testsitzung geben (vgl. Abbildung IV.9). Abbildung 10 zeigtdie Anahl der getesteten Schulen pro Testtag.

Eintreffen in der Testschule - Treffen mit Schulkoordinator

Testraum besichtigen, Sitzanordnung prüfen - Sitze zählen

Sitzplan mit Nummern und Post It's im Protokoll erstellen,Kugelschreiber vorbereiten

Schulfragebogen vom SK einsammeln

Öffnen des Schulpaketes - Entnahme der TA Teilnehmerliste

Besprechen der Abmeldungen/Ausschlüsse von Schüler/innen mit Schulkoordinator anhand der SK-Liste

Übertragen der Daten in die TA-Teilnahmeliste (+ später: heute fehlende Schüler/innen)

Testhefte aus dem Schulpaket nehmen

Entfernen der Testhefte der fehlenden/ausgeschlossenenen Schüler/innen (laut TA-Liste)

Endgültigen Testheft-Stapel vorbereiten und auf Tisch legen; TA-Teilnehmerliste daneben

Timer vorbereiten und aufstellen

Eintreffen der Schüler/innen im Testraum - laufendeAnwesenheitsfeststellung

Zuweisung der Plätze laut Sitzplan (und Post It's Nummern)

Abschluss der Anwesenheitskontrolle

Schulkoordinator begrüßt Schüler/innen und Testadministrator

Begrüßung der PISA-Schüler/innen laut Skript durch TA

Anwesenheitsliste ist abgeschlossen

Austeilen der PISA-Testhefte an die Schüler/innen

Besprechung der Hilfsmittel (Taschenrechner, Lineal,Kugelschreiber)

Anweisungen/Erläuterungen zum Test/zu Aufgaben laut Skript

Verständnisfragen der Schüler/innen beantworten

Timer kontrollieren (60 min)

VO

RB

ER

EIT

UN

GS

PH

AS

E

1 Stunde vor

Beginn

45 min vor

Beginn

ab ca. 15 min

vor Beginn

EIN

LE

ITU

NG

Beginn


Abbildung VI.9 Eine typische Testadministration

Testbeginn Beginn des PISA-Tests (Teil 1)

+ 30 min

Feststellen, ob Nachtest wegen fehlender Schüler/innennotwendig ist

+ 50 min Vorbereitung des Lesefertigkeitstests

Vorlesen der Testanleitung

+ 60 min STOPP (Ende Testteil 1)

15 min Pause Fünfzehnminütige Pause für Schüler/innen

FORTSETZUNG DES PISA-TESTS

+ 30 min Vorlesen der Testanleitung

Vorbereitung des Fragebogens

+ 50 min Vorlesen der Testanleitung

STOPP (Ende des Tests)

Testhefte schließen, absammeln und prüfen

Fünfzehnminütige Pause für Schüler/innen

LFT-Beginn Beginn des Lesefertigkeitstests

LFT-Hefte nach Sitzordnung ausgeben

Anweisungen vorlesen

3 min LFT-Aufgabe 1 durchführen

Anweisungen für LFT Aufgabe 2 vorlesen

3 min LFT-Aufgabe 2 durchführen

Anweisungen für LFT Aufgabe 3 vorlesen

3min LFT-Aufgabe 3 durchführen

STOPP Absammeln der LFT Hefte und Überprüfung

(keine PAUSE) Timer wird neu eingestellt

FB-Beginn Austeilen der vorbereiteten Schülerfragebögen laut Sitzplan

Vorlesen der Anleitung zum Ausfüllen des Fragebogens

Beginn des Schülerfragebogens

+ 60 min Ende der Befragung; Fragebogen absammeln und prüfen

Alle Hefte sichern; Schüler/innen danken und entlassen

Hefte für den Nachtest aussortieren

Protokoll der Sitzung ausfüllen

Prüfung: Schulfragebogen vorhanden

Materialien (mit Ausnahme der Materialien für den Nachtest) indas Schulpaket zurücksortieren und auf Vollständigkeit prüfen

Verabschiedung von Schulkoordinator –evt. Besprechung desNachtesttermins

Ende und Rückfahrt; Ablage des Schulpakets; Evt.Vorbereitung des Nachtests

FR

AG

EB

OG

EN

AB

SC

HL

US

S

15 min Pause

LE

SE

FE

RT

IGK

EIT

PIS

A T

ES

T


Abbildung VI. 10 PISA-Haupttest 2000: Anzahl getesteter Schulen pro Testtag6

Anzahl der Schulen Gesamtanzahl

pro Testtag

Testdatum

26.04.01 9

27.04.01 16

28.04.01 7

29.04.01

30.04.0101.05.0102.05.01 15

03.05.01 13

04.05.01 4 13

05.05.01 11

06.05.01 2

07.05.0108.05.01 2 16

09.05.01 2 19

10.05.01 13

11.05.01 17

12.05.01 10

13.05.01 1

14.05.01

15.05.01 1 8

16.05.01 1 14

17.05.01 3 10

18.05.01 7

19.05.01 1 5

20.05.0121.05.0122.05.01 1 8

23.05.01 4

24.05.01 1 4

25.05.01 1 2

26.05.01 2 6

27.05.0128.05.0129.05.01 1 3

30.05.01 3 3

31.05.01 2

01.06.0102.06.0103.06.01

04.06.0105.06.0106.06.0107.06.0108.06.01 1 1

09.06.01

Gesamt 239

2

205 10 15


2.5.2 Rücklauf und Registrierung der Testpakete

Die Aufbewahrung der Testpakete oblag den Testadministratoren. Im Feldtest wurden diePakete auf postalischem Weg ins nationale Projektzentrum gesendet oder persönlich zurück-gebracht.

Beim Haupttest mit 221 Schulen erwies sich diese Methode als finanziell untragbar. Ausdiesem Grund wurden in Linz, Hollabrunn, Neusiedl, Wien, Graz, Innsbruck, Bregenz, Salz-burg und Klagenfurt Sammelstellen eingerichtet. Mitarbeiter/innen des nationalen Projekt-zentrums holten diese an zwei Tagen mit Lastwagen persönlich ab. Dabei wurden bis zu1000kg Material pro Fahrt „bewegt“.

Großer Vorteil dieser Methode ist, dass nicht ein einziges Testheft zwischen Datenerhe-bung und Rücklaufkontrolle verloren ging.

Nachdem alle Testpakete im PISA Zentrum eingelangt waren, wurde die Rücklaufkontrolledurchgeführt (vgl. Abschnitt VII, Kapitel 1 und 2). Die Ergebnisse der einzelnen Kontrollschrittewurden in einer Rücklaufkontrollliste festgehalten.

Eine Sonderstellung im Materialienrücklauf nahm im Haupttest der Schulfragebogen ein.Die meisten Schulfragebögen gelangten mit den anderen Materialien in den Testpaketen andas nationale Zentrum zurück. Jene Fragebögen, die zum Testzeitpunkt von der Schulleitungbzw. dem Schulkoordinator noch nicht ausgefüllt worden waren, wurden auf postalischemWeg zurückgesendet. Um die vollständigeRücksendung der Schulfragebögen zu gewährlei-sten, waren in einigen Fällen wiederholte telefonische Erinnerungen durch Mitarbeiter/in-nen des PISA Zentrums notwendig.

Nachdem die Rücklaufkontrolle vollständig abgeschlossen war, wurden die Testmaterialiensortiert. Dabei wurden die Testinstrumente, die Fragebögen und die Reading Speed Heftevoneinander getrennt. Die Fragebögen (A/B/C) wurden gemäß ihren Formen und die Test-hefte (1-9/60) nach Schul-ID/Schüler-ID sortiert.

1 Die schriftliche Einladung der für den Test zufällig ausgewählten Schulen befindet sich im Anhang.2 Hinweise zur Erstellung einer Schülerlisten und eine Musterschülerliste befinden sich im Anhang.3 Die Ergebnisse der Beobachtungen und Interviews durch den SQM werden in Abschnitt IX, Kapitel 5

beschrieben.4 Dokumente zum Schriftverkehr mit den Testadministratoren befinden sich im Anhang.5 Da es sich bei der PISA-Population um alle Schüler/innen eines festgelegten Geburtsjahrgangs handelt und

dadurch alle österreichischen Schultypen zu berücksichtigen sind, wurde eine so genannte Stratifizierungvorgenommen. Um eine möglichst saubere Stichprobe zu erhalten, wird die Gesamtpopulation in einzelneSubpopulationen (Strata) unterteilt (vgl. Abschnitt V, Kapitel 3 in diesem Abschnitt).

6 Diese Informationen stammen aus den Testadministratorenprotokollen. Aus diesem Grund stimmt dieGesamtanzahl der Testschulen (inklusive Nachtestungen) nicht mit den Samplinginformationen überein,da in den Protokollen Testungen mehrerer Schüler/innen der selben Schule aber unterschiedlicher Schulsparten(z.B. HBLA-Formen) als eine Testsitzung geführt wird.

Günter Haider & ChristinaWallner-Paschon

Die im Abschnitt V dargestellten Vorgaben und Prozeduren für Populationen undSamples/Stichproben führten zu einem Stichprobenplan für Österreich, der denErhebungen im Feld zu Grunde lag. In diesem Abschnitt VII stellen wir dar, inwie-weit diese Stichprobengrößen realisiert werden konnten, welche Stichprobenausfälleauftraten und wie die Qualität der PISA-Stichprobe zu bewerten ist.

1. Rücklauf PISA-Feldtest 19991.1 Das Screening der Schulen1.2 Der Rücklauf der Instrumente (Response 1999)1.3 Analyse der Stichprobenausfälle im Feldtest1.4 Die resultierende Feldtest-Stichprobe 19991.5 Qualität und Verwendung der Stichprobe1.6 Die PISA Plus Stichprobe im Feldtest 1999

2. Rücklauf PISA-Haupttest 20002.1 Das Screening der Schulen2.2 Der Rücklauf der Instrumente (Response 2000)2.3 Die resultierende Haupttest-Stichprobe 20002.4 PISA Plus: Stichprobe für die nationalen Zusatzprojekte2.5 Analyse der Stichprobenausfälle im Haupttest2.6 Deskriptive Daten zur Struktur der realisierten Stichprobe2.7 Die Notwendigkeit der Gewichtung der Stichprobe2.8 Die Beurteilung der Qualität der Stichprobe

VIVIVIVIVIIIIIIVIVIVIVIVIIIIIIRÜCKLAUF, STICHPROBENAUSFALL

UND STICHPROBENGRÖSSEN


1. Rücklauf PISA-Feldtest 1999Der Feldtest 1999 war die erste internationale Erprobung der neu konstruierten PISA-Instru-mente und Prozeduren und diente in erster Linie zur Prüfung der Qualität der Testaufgabenund der Surveyinstrumente sowie der Durchführbarkeit und Brauchbarkeit der geplantenOperationen im Feld. Auf eine exakt proportionale Stichprobe (Stichprobendefinition undAuswahl der Schulen und Schüler/innen im Feldtest siehe Abschnitt V, Kapitel 4) wurdedaher weniger Wert gelegt und auf die Berechnung von nationalen Schülermittelwerten völ-lig verzichtet. Für das Aufspüren möglicher Problemgebiete war eine breite Streuung derFeldtestschulen über alle Schultypen vorgesehen (siehe im Detail Abschnitt V).

1.1 Das Screening der SchulenDieser Vorgang, das „Einladen“ der zufällig gezogenen Schulen zur Teilnahme am PISA-Test,ist entscheidend für die Teilnahmequote auf Schulebene. Dabei wurden den ausgewählten 35Schulen und allen unmittelbar und mittelbar Beteiligten (Direktor/in, Schulkoordinator/in,Schulaufsicht in Bezirk und Land, etc.) Informationsmaterialien über PISA zugesandt. DieSchulen wurden gebeten, eine/n Schulkoordinator/in namentlich bekannt zu geben und inweiterer Folge eine Liste der Schüler/innen des Jahrgangs 1983 an das PISA Zentrum inSalzburg zu senden (über den genauen Vorgang des Screenings gibt Abschnitt VI Auskunft).Im Feldtest 1999 ist es gelungen, alle 35 für PISA ausgewählten Schulen zur Teilnahme zubewegen, der Rücklauf auf Schulebene betrug somit 100% (siehe Abbildung VII.1).

1.2 Der Rücklauf der Instrumente (Response 1999)Bei den Schulfragebögen (35 Stück, Zielpersonen Schulleiter bzw. Administratoren) wurde einvollständiger Rücklauf (100%) erzielt. Wobei diese Fragebögen von den Schulleitern zumTeil unvollständig ausgefüllt wurden (dies hatte auch später Änderungen in der Haupttest-version zur Folge).

Die Rücklaufquote aller Schüler-Instrumente (Testhefte/Fragebögen) war mit einem Durch-schnitt von 86,4% im Vergleich zu den Erfahrungen in früheren österreichischen Studienaußergewöhnlich hoch und sehr zufrieden stellend.

Von den insgesamt 1047 Schüler/innen des Jahrgangs 1983 in der Stichprobe wurde• das Testheft von 917 Schüler/innen (87,6%),• der Schülerfragebogen von 911 Schüler/ innen (87%) und• der Reading Speed Test von 885 Schüler/innen (84,5%)bearbeitet und von den Testadministratoren so zurückgebracht bzw. zurückgesendet, dass dieDaten zeitgerecht eingegeben werden konnten (siehe Abbildung VII.2 und 3).

Insgesamt war der Rücklauf also sehr zufrieden stellend und erfüllte auch alle Response-Kri-terien der OECD (85% auf Schul- und auf Schülerebene bei Testheften und bei Fragebögen).

Abschnitt VII: Rücklauf, Stichprobenausfall und Stichprobengrößen 187

Anteil der

Anzahl Anteil in % Anzahl Rücklauf Schulsparten

1 Volksschule 0 0 0 -2 Hauptschule 3 8,6% 3 100%3 Polytechnische Schule 2 5,7% 2 100%4 Sonderschule 2 5,7% 2 100% 20,0%

5 Gymnasium 2 5,7% 2 100%6 Realgymnasium und wirtschaftskundliches RG 2 5,7% 2 100%7 Oberstufenrealgymnasium 2 5,7% 2 100%8 Sonstige Allgemeinbildende Schulen/mit Statut 1 2,9% 1 100% 20,0%

9 Berufsschule (technisch-gewerblich) 3 8,6% 3 100%10 Berufsschule (kaufmännisch/Handel und Verkehr) 2 5,7% 2 100%11 Berufsschule (landund forstwirtschaftlich) 1 2,9% 1 100% 17,1%

12 BMS gewerblich-technisch-kunstgewerbliche Fachschulen 1 2,9% 1 100%13 BMS kaufmännische/Handelsschulen 2 5,7% 2 100%14 BMS wirtschaftsberuflich-sozialberufliche Fachschulen 2 5,7% 2 100%15 BMS landund forstwirtschaftliche Fachschulen 1 2,9% 1 100% 17,1%

16 BHS technische und gewerbliche höhere Schulen 2 5,7% 2 100%17 BHS kaufmännische höhere Schulen 2 5,7% 2 100%18 BHS höh. Schulen f.wirtschaftl.B./BHS sozialberufl.höh.Sch. 2 5,7% 2 100%19 BHS landund forstwirtschaftliche höhere Schulen 1 2,9% 1 100% 20,0%

20 Anstalten der Lehrerbildung und Erzieherbildung 2 5,7% 2 100% 5,7%

35 100% 35 100% 100,0%

GEPLANTE STPRStratum Bezeichnung/Schultypen

REALISIERTE STPR

SCHULENrealisiert Anzahl Anteil

2 Hauptschule 3 26 2,8 %3 Polytechnische Schule 2 67 7,3 %4 Sonderschule 2 18 2,0 %

5 Gymnasium 2 71 7,7 %6 Realgymnasium und wirtschaftskundliches RG 2 75 8,2 %7 Oberstufenrealgymnasium 2 45 4,9 %8 Sonstige Allgemeinbildende Schulen/mit Statut 1 14 1,5 %

9 Berufsschule (technisch-gewerblich) 3 90 9,8 %10 Berufsschule (kaufmännisch/Handel und Verkehr) 2 38 4,1 %11 Berufsschule (landund forstwirtschaftlich) 1 12 1,3 %

12 BMS gewerblich-technisch-kunstgewerbliche Fachschulen 1 12 1,3 %13 BMS kaufmännische/Handelsschulen 2 31 3,4 %14 BMS wirtschaftsberuflich-sozialberufliche Fachschulen 2 68 7,4 %15 BMS landund forstwirtschaftliche Fachschulen 1 33 3,6 %

16 BHS technische und gewerbliche höhere Schulen 2 80 8,7 %17 BHS kaufmännische höhere Schulen 2 98 10,7 %18 BHS höh. Schulen f.wirtschaftl.B./BHS sozialberufl.höh.Sch. 2 38 4,1 %19 BHS landund forstwirtschaftliche höhere Schulen 1 34 3,7 %

20 Anstalten der Lehrerbildung und Erzieherbildung 2 67 7,3 %35 917 100,0 %

Anmerkung: Geringfügige Überschreitung der Maximalzahlen, weil in anderen Schulen aus "gemischten" Klassen einzelne Schüler dieses Typs dazukamen (z.B.

GYM- und RG-Schüler aus gemischten ORG-Klassen oder HAK-/HASCH-Schüler) - ist für die Analyse des Feldtests von keiner Relevanz

Stratum Bezeichnung/SchultypenSCHÜLER REALISIERT

*

*

*

*

*

Abbildung VII.1: PISA-Feldtest 99: realisierte Stichprobe auf Schulebene (nach Strata)

Abbildung VII.2: PISA-Feldtest 99: Verteilung der Schüler/innen/Testhefte auf die Strata


1.3 Analyse der Stichprobenausfälle im FeldtestWie aus Abbildung VII.3 hervorgeht, beträgt der Stichprobenausfall/Non-Response imwichtigsten Bereich (bei den Testheften) rund 12,4% (130 von 1047 Schüler/innen). Indiesen Rücklaufquoten inkludiert sind• die bereits im Vorfeld der Testung korrekt abgemeldeten 54 Schüler/innen (mit den

möglichen Begründungen A bis E laut internationaler Liste, s.u.),• Schüler/innen aus saisonalen Berufsschulen, die trotz Nachtestungen nicht erreichbar waren

(nationaler Code: F) und• Schüler/innen, die am Testtag gefehlt haben und nicht durch eine Nachtestung erfasst

wurden.

Abbildung VII.3: PISA-Feldtest 1999: Rücklaufquoten der Schüler-Instrumente insgesamt

Schüler Jg 83 Rücklauf Rücklauf

in der Stichprobe Instrumente Quote

Testhefte 1047 917 87,6%

Reading Speed 1047 885 84,5%

Fragebögen 1047 911 87,0%

Eine Wiederholung der Testdurchführung (Follow-up-Sitzung), die nach internationalerVorgabe bei fünf oder mehr fehlenden Schüler/innen an einer Schule abgehalten werdenmusste, war in drei Schulen notwendig. Zwei davon waren kaufmännische Berufsschulen,wobei es in einer dieser beiden Schulen nötig war, sogar einen dritten Testtag anzuberaumen.So konnten 22 von den in der ersten Testsitzung fehlenden Schüler/innen durch Follow-up-Sitzungen doch noch getestet werden.

AKZEPTABLE URSACHEN FÜR DIE STREICHUNGVON SCHÜLER/INNEN VON DER PISA-TESTSCHÜLERLISTE

Es gab prinzipiell fünf mögliche Gründe, die vor dem Testtermin noch zur Eliminierung des Namens vonder bereits erstellten und zugesandten Testschüler-Liste durch den Schulkoordinator führen konnten:A. Der ausgewählte Schüler/die ausgewählte Schülerin weist eine so schwere dauernde körperliche oder

geistige Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht möglich, ethisch nichtvertretbar oder nicht sinnvoll ist (z.B. in Sonderschulen).

B. Dem ausgewählten Schüler/der ausgewählten Schülerin nichtdeutscher Muttersprache mangelt esan Deutsch-Kenntnissen, so dass ein Verstehen der Anleitung und der Testaufgaben nicht ausrei-chend möglich ist (z.B. wenn ein/e Schüler/in erst kurze Zeit in Österreich ist und noch sehr schlechtDeutsch spricht).Schüler/innen, die bereits länger als ein Jahr als ordentliche Schüler/in in Österreich eine Schulebesuchen, fallen keinesfalls mehr unter diese Regelung. Im Zweifelsfall sollte der Schüler/die Schü-lerin teilnehmen (wir erfragen den Gebrauch von Deutsch im Schüler-Fragebogen).

C. Der ausgewählte Schüler oder die ausgewählte Schülerin haben sich inzwischen von dieser Schuleoffiziell abgemeldet (haben die Schule gewechselt, Drop-outs, etc.).

D. Die Eltern meldeten den Schüler/die Schülerin beim Schulleiter oder TA vom PISA-Test ab.E. Der Schüler/die Schülerin weigert sich persönlich, am PISA-Test teilzunehmen/meldet sich ab.F. (nur in Österreich) Schüler/in wegen saisonalem Unterricht trotz Nachtestung nicht erreichbar.


Code Bezeichnung des Grundes Schüler Anteil

Schüler/innen Jahrgang 1983 in der Stichprobe (35 Schulen) 1047 100%

A Schüler mit schwerer Behinderung 8 0,8%B mangelnde Deutschkenntnisse (nicht-deutsche Mutterspr.) 4 0,4%C Schüler haben seit Screening Schule verlassen 19 1,8%D Abmeldung von Schüler/innen vom Test durch Eltern 10 1,0%E eigene Abmeldung von Schüler/innen vom Test 13 1,2%

Summe Ausschluss vor dem Test durch den Schulkoordinator 54 5,2%

F nicht erreichbar wegen saisonmäßigem Unterricht an versch. Tagen 25 2,4%G Schüler fehlen am Testtag (allgemein begründet, meist Erkrankung) 51 4,9%

Summe fehlender Schüler/innen am Testtag 76 7,3%

NONRESPONSE INSGESAMT 130 12,4%

daher => resultierende (realisierte) Stichprobe im Feldtest 917 87,6%

Abbildung VII.4: Aufgliederung des Non-Response bei den Testheften im PISA-Feldtest 1999

Eine Erkenntnis des Feldtests war, dass die Testdurchführung auf Grund von saisonalemUnterricht in manchen Berufsschulen grundsätzlich etwas problematisch ist, da die Durch-führung von zwei oder mehr Testtagen an diesen Schulen den finanziellen Rahmen von PISAsprengen könnte. Die Aufgliederung des Non-Response im Feldtest 1999 nach diesen Kate-gorien zeigt folgendes Ergebnis:

1.4 Die resultierende Feldtest-Stichprobe 1999Die 917 auswertbaren Testhefte und 911 brauchbaren Schülerfragebögen dienten als Grundlagefür die nationalen und internationalen Analysen. Die folgende Abbildung VII.5 charakterisiertdie Stichprobe (Schüler-Testhefte) zusätzlich nach den Merkmalen Geschlecht und Schulstufe.

Abbildung VII.5: Aufgliederung der Feldtest-Stichprobe nach Strata, Geschlecht und Schulstufen

männlich 2 0,5% 21 5,4% 137 35,2% 229 58,9% 38950,0% 0,2% 47,7% 2,3% 39,1% 15,3% 45,8% 25,5% 43,3%

weiblich 2 0,4% 23 4,5% 213 41,8% 271 53,2% 50950,0% 0,2% 52,3% 2,6% 60,9% 23,7% 54,2% 30,2% 56,7%

Spaltensumme 4 0,4% 44 4,9% 350 39,0% 500 55,7% 898

Anmerkung: Berechnungen beruhen auf den Schülerangaben + Schüler mit fehlenden Angaben 19

917Anzahl Zeilen%

Spalten% Total%

Erklärung des

Zelleninhalts

Zeilen-

summe

SCHULSTUFEN7 8 9 10


1.5. Qualität und Verwendung der StichprobeBei allen Analysen, die mit der Feldtest-Stichprobe 1999 durchgeführt wurden, fandBeachtung,• dass die Stichprobenziehung zweistufig erfolgte (1. Stufe Schulen, 2. Stufe: Schüler/innen

Jg. 83) und korrekt nach genehmigtem OECD-Stichprobenplan verlaufen ist,• der Rücklauf sowohl auf Schulebene (100%) als auch auf Instrumentenebene (rund 87%)

ausgezeichnet war und Verzerrungen wegen Non-Response eher nicht zu erwarten sind,• dass es sich um keine selbst gewichtende Stichprobe handelte – die Anteile einzelner Strata/

Schultypen und Schulstufen war nicht proportional zur tatsächlichen Größe in der Populationund

• dass die Auswahl von oft nur einer oder zwei Schulen eines Schultyps eine möglicheQuelle von starken zufälligen Verzerrungen darstellt,

• und dass daher keine Populationsmittelwerte (Populationsschätzer) bzw. Vergleichswerteaus diesen Daten berechnet werden konnten/sollten.

Dies war auch von der OECD und vom PISA Zentrum nicht beabsichtigt – die Daten wurdenhauptsächlich auf Itemebene zur Beurteilung der Aufgabenqualität ausgewertet.

1.6. Die PISA Plus Stichprobe im Feldtest 99Das nationale PISA Plus Programm besteht aus folgenden Teilen:• einem nationalen Zusatz zum PISA-Schulfragebogen (an den Schulleiter gerichtet),• einem zusätzlichen Test auf Lesegeschwindigkeit (Reading Speed),• vier zusätzlichen Befragungsmodulen:

– Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu II– Lesegewohnheiten (Leseverhalten und Lesesozialisation)– Anwendung von Computer und Internet– Schulqualität (Q.I.S. Instrumente).

Aus Gründen der begrenzten Belastbarkeit der Schüler/innen bei der Befragung (30 Min fürinternationalen Fragebogen + max. 20-30 Minuten für PISA Plus) wurden die nationalenFragebogenteile für die Schüler/innen für jeweils ein Drittel der Stichprobe „rotiert“. Dasbedeutet, dass ca. 300 Schüler/innen jeweils einen• A-Teil: Lesegewohnheiten (Leseverhalten und Lesesozialisation)• B-Teil: Befindlichkeit und Schulerfolg• C-Teil: Anwendung von Computer/Internet; Schulqualität (Q.I.S. Instrumente) erhielten.

Die Rotation erfolgte sequentiell/laufend durch die gesamte Stichprobe: Der erste Schü-ler erhält Form A, der zweite B, der dritte C, der vierte wieder A, usw. Dieses Schema wurdeauch über die Schulen hinweg beibehalten (wenn der letzte in Schule 7 eine Form B hatte, soerhielt der erste Schüler in Schule 8 die Form C). Das bedeutet, dass in einer Schule mit 35Schüler/innen, ca. 11 bis 12 Schüler/innen jeweils eine der Formen beantworteten.

Auch der Lesegeschwindigkeitstest wurde im Feldtest 99 in drei Formen A, B und C inderselben Weise rotiert, um möglichst viele verschiedene Testaufgaben auf ihre Brauchbarkeitprüfen zu können – bei minimaler Belastung der Schüler/innen. So haben auch dort ca. 300Schüler/innen jeweils eine Version beantwortet.


Abbi

ldun

g VII

.6: P

ISA-

Feld

test

1999

: Auf

teilu

ng d

er re

alisi

erte

n St

ichpr

obe n

ach

den

einge

setzt

enun

d ro

tierte

n na

tiona

len B

efrag

ungs

-Instr

umen

ten

in P

ISA

Plus

RE

ALIS

IER

TE S

TIC

HP

RO

BE S

CH

ÜLER

FR

AG

EB

ÖG

EN

PIS

A P

LU

Sna

ch F

rage

bogen

vers

ion

und

Str

atum

REA

LIS

IER

T

Sch

üler

frag

ebög

enA

in %

Bin

%C

in %

2H

aupt

schu

le26

934

,6%

934

,6%

830

,8%

3Pol

ytec

hnis

che

Sch

ule

6721

31,3

%22

32,8

%24

35,8

%

4Son

ders

chul

e18

527

,8%

738

,9%

633

,3%

5G

ymna

sium

7122

31,0

%26

36,6

%23

32,4

%

6R

ealg

ymna

sium

und

wirt

scha

ftsku

ndlic

hes

RG

7526

34,7

%24

32,0

%25

33,3

%

7O

bers

tufe

nrea

lgym

nasi

um45

1635

,6%

1635

,6%

1328

,9%

8Son

stig

e Allg

emei

nbild

ende

Sch

ulen

/mit

Sta

tut

144

28,6

%5

35,7

%5

35,7

%

9Ber

ufss

chul

e (te

chni

sch-

gew

erbl

ich)

9031

34,4

%31

34,4

%28

31,1

%

10Ber

ufss

chul

e (k

aufm

änni

sch/

Han

del u

nd V

erke

hr)

3811

28,9

%11

28,9

%16

42,1

%

11Ber

ufss

chul

e (la

nd- un

d fo

rstw

irtsc

haftl

ich)

124

33,3

%4

33,3

%4

33,3

%

12BM

S g

ewer

blic

h-te

chni

sch-

kuns

tgew

erbl

iche

Fac

hsch

ulen

124

33,3

%5

41,7

%3

25,0

%

13BM

S k

aufm

änni

sche

/Han

dels

schu

len

319

29,0

%9

29,0

%13

41,9

%

14BM

S w

irtsc

hafts

beru

flich

-soz

ialb

eruf

liche

Fac

hsch

ulen

6820

29,4

%26

38,2

%22

32,4

%

15BM

S la

nd- u

nd fo

rstw

irtsc

haftl

iche

Fac

hsch

ulen

3312

36,4

%12

36,4

%9

27,3

%

16BH

S te

chni

sche

und

gew

erbl

iche

höh

ere

Sch

ulen

8025

31,3

%27

33,8

%28

35,0

%

17BH

S k

aufm

änni

sche

höh

ere

Sch

ulen

9835

35,7

%30

30,6

%33

33,7

%

18BH

S h

öh. S

chul

en f.

wirt

scha

ftl.B

./BH

S s

ozia

lber

ufl.h

öh.S

ch.

3813

34,2

%12

31,6

%13

34,2

%

19BH

S la

nd- u

nd fo

rstw

irtsc

haftl

iche

höh

ere

Sch

ulen

3411

32,4

%11

32,4

%12

35,3

%

20Ans

talte

n de

r Leh

rerb

ildun

g un

d Erz

iehe

rbild

ung

6723

34,3

%21

31,3

%23

34,3

%

Tota

l91

730

132

,8%

308

33,6

%30

833

,6%

STR

ATU

MFR

AG

EB

OG

EN

VE

RSIO

N


2. Rücklauf PISA-Haupttest 2000Der Feldtest 1999 war die erste internationale Erprobung der neu konstruierten PISA-Instrumente und Prozeduren und diente in erster Linie zur Prüfung der Qualität derTestaufgaben und der Surveyinstrumente sowie der Durchführbarkeit und Brauchbarkeit dergeplanten Operationen im Feld durch das Internationale Zentrum. Auf dessen Ergebnissenaufbauend wurden für den Haupttest sowohl die Test- und Befragungsinstrumente als auchdie Erhebungsprozeduren in Arbeitsgruppen diskutiert und optimiert.

In Österreich wurden bereits im Feldtest ein – auch im internationalen Vergleich –hervorragender Rücklauf und eine exzellente Datenqualität erreicht (die Daten werden vomInternationalen Zentrum einer rigorosen Überprüfung und Bewertung unterzogen). DieserErfolg beruht auf einem Zusammenspiel verschiedener Maßnahmen in der Informations-,der Screening- und der Erhebungsphase (farbige Broschüren, Verwendung externerTestadministratoren, Bezahlung der Schulkoordinatoren, Einbeziehung der Schulaufsicht,usw.), sowie einer sorgfältigen Arbeit bei der Datenverarbeitung.

Neben den Erhebungsprozeduren hat sich auch die Verwendung der 20 Strata in derösterreichischen Feldtest-Stichprobe bewährt – die Beibehaltung für den Haupttest wurdedaher empfohlen. Von Vorteil war diesmal, dass im Haupttest für die Sonderschulen einneues, international abgestimmtes Spezial-Testheft (mit leichteren Aufgaben und kürzererBearbeitungszeit von 60 Minuten) zur Verfügung stand.

2.1 Das Screening der SchulenLaut dem von der OECD genehmigten Stichprobenplan (siehe Abschnitt V für eine genaueDarstellung) wurden 221 Schulen in den 20 österreichischen Strata vom PISA Zentrum perZufall gezogen, davon informiert, dass sie der PISA-Stichprobe angehören und ersucht, unsbeim Testen ihrer Schüler/innen zu unterstützen.Die Schulen wurden wie im Feldtest gebeten, eine/n Schulkoordinator/in namentlich bekanntzu geben und in weiterer Folge eine Liste der Schüler/innen des Jahrgangs 1984 an das PISAZentrum in Salzburg zu senden (über den genauen Vorgang des Screenings gibt Abschnitt VI,Kapitel 2 näher Auskunft).

Die Basis für die Stichprobenerstellung im Testjahr ist jeweils die Schulstatistik des BM:BWKvom vorhergehenden Schuljahr – sie stellt die aktuellste Datenlage dar. Im Haupttest war diesdaher die Schulstatistik des Schuljahres 1998/99. Daher kann in seltenen Fällen die Situationeintreten, dass eine ausgewählte PISA-Schule im darauffolgenden Schuljahr 1999/2000 (demPISA-Testjahr) gar keine Schüler/innen des Jahrgangs 1984 mehr hat oder in noch seltenerenFällen die Schule nicht mehr existiert.

Dieser Fall lässt sich kaum vermeiden, es sei denn, man würde alle 6500 österreichischenSchulen zu Beginn des Schuljahrs 1999/2000 einer Befragung unterziehen. Dies ist auspraktischen Gründen nicht denkbar (es würde zu lange dauern, im Verhältnis zur Verbesserungzu viel Geld kosten und durch Non-Response wahrscheinlich neue Unschärfen produzieren).

Wir nehmen also in Kauf, dass wir einige Schulen in die Stichprobe wählen, bei denen sichnachträglich herausstellt, dass gerade in diesem Testjahr kein Schüler des gewünschten Jahrgangsmehr an der Schule ist oder die Schule selbst nicht mehr existiert. Dies betrifft hauptsächlichallgemeinbildende Pflichtschulen, insbesondere Hauptschulen, denn dort sind 15-/16-Jährigeeher selten anzutreffen (ev. Repetenten, die im 9. oder 10. Schuljahr sind). Und es kann leichtpassieren, dass es in einem Jahr einen solchen Schüler gibt und im kommenden Jahr nicht.


Insgesamt ist dieser Fall viermal im Screening zum Haupttest vorgekommen – vier der 221Schulen hatten also in diesem Testjahr keinen Schüler des Jahrgangs 1984 in ihren Klassen.Weiters wurde eine dieser 221 Schulen in der Zwischenzeit aufgelöst und in drei der gesampeltenSchulen wurden alle Schüler/innen Jahrgang ´84 im Vorfeld ausgeschlossen. Es handelte sichdabei um drei Sonderschulen, deren gesampelte Schüler/innen alle eine starke körperlichebzw. geistige Beeinträchtigung aufwiesen. Laut OECD-Regel werden solche Schulen als „Schu-len mit 0 Schüler/innen“ geführt und nicht durch Reserveschulen ersetzt. Die Anzahl derSchulen, die also zumindest eine/n Zielschüler/in Jg. 1984 hatten, reduzierte sich dadurchauf 213.

Eine einzige von den 213 österreichischen Screening-Schulen schaffte es weder, uns inder zur Verfügung stehenden Zeit eine Liste ihrer Zielschüler/innen zu senden noch einenSchulkoordinator zu benennen (es war eine BMS in NÖ). Die Schule (und die zuständigeSchulaufsicht) wurden mehr als ein Dutzend Mal schriftlich oder telefonisch kontaktiert,vom zuständigen Inspektor auf die Teilnahme hin angesprochen und sogar von Seiten desBM:BWK zur Erbringung dieser bescheidenen Leistungen hin gebeten. Sie schaffte es nicht –in der Zwischenzeit wurde dort auch die Schulleitung vakant und von den Lehrern war niemandbereit, die Schülerliste zu erstellen und als Schulkoordinator zu fungieren. Aus diesem Grundwurde für diese Schule im Screening eine „Zwillingsschule“ als Ersatzschule (Replacement)gezogen.

Das bedeutete, eine andere Schule desselben Typs aus derselben Region wurde von uns alsScreening-Replacement-Schule bestimmt. Diese Schule hat umgehend alle Unterlagen ge-sandt, so dass wir die Erhebung mit den gewünschten 213 Schulen beginnen konnten.

Ein Ergebnis von 99,5% Rücklauf/Teilnahmebereitschaft im Screening vor Replacementund 100% (mit einem Replacement) ist wie bereits das Feldtestergebnis als ausgezeichnet zubewerten und erfüllt bei weitem alle Anforderungen der OECD an die Qualität der Stichprobe.Vor allem, wenn man bedenkt, dass die Vorläuferstudie IEA-TIMSS (1995) trotz großer An-strengungen einen Rücklauf (ohne Replacement) von nur rund 50% erreichen konnte, istdies ein großer Erfolg. Die Erfahrungen aus dieser TIMSS-Studie (auch sie wurde in Salzburgdurchgeführt) haben uns sehr geholfen, bessere und zielführendere und letztlich erfolgreiche-re Maßnahmen für PISA 2000 zu planen.

Für das Testfenster von Ende April bis Ende Mai 2000 standen dem österreichischenPISA Zentrum nunmehr 213 nach OECD-Stichprobenplan und zufällig ausgewählte Schulenzur Verfügung. Alle (!) Schulen, an die unsere Testadministratoren im Haupttest 2000 kamen, haben amTest teilgenommen und aus allen Schulen haben wir Testhefte und Fragebögen wieder zu-rückbekommen. Der Rücklauf im Haupttest beträgt auf Schulebene daher 100%.


Abbi

ldun

g VII

.7: P

ISA-

Hau

ptte

st 20

00: G

epla

nte u

nd re

alisi

erte

Stic

hpro

be a

uf S

chul

eben

e

REA

LIS

IER

TE S

TIC

HPR

OB

E A

UF S

CH

ULEB

EN

E (Ü

BER

BLIC

K)

nach

Str

atum

STR

ATU

MA

nza

hl

ohne

Jg 8

4A

usg

angs-

Rep

lace

-

Sch

ule

nA

nte

ilSch

ulj.

200

0st

ichpro

be

ausg

esan

dt

eingel

angt

Rück

lauf

men

tau

sges

andt

eingel

angt

Rück

lauf

02H

aupt

schu

le35

15,3

%2

3333

3310

0%0

3333

100%

03Pol

ytec

hnis

che

Sch

ule

2210

,2%

022

2222

100%

022

2210

0%

04Son

ders

chul

e14

5,6%

59

99

100%

09

910

0%

05G

ymna

sium

136,

0%0

1313

1310

0%0

1313

100%

06R

ealg

ymna

sium

und

wirt

scha

ftsku

ndlic

hes

RG

136,

0%0

1313

1310

0%0

1313

100%

07O

bers

tufe

nrea

lgym

nasi

um9

4,2%

09

99

100%

09

910

0%

08Son

stig

e Allg

emei

nbild

ende

Sch

ulen

/mit

Sta

tut

31,

4%0

33

310

0%0

33

100%

09Ber

ufss

chul

e (te

chni

sch-

gew

erbl

ich)

2511

,6%

025

2525

100%

025

2510

0%

10Ber

ufss

chul

e (k

aufm

änni

sch/

Han

del u

nd V

erke

hr)

83,

7%0

88

810

0%0

88

100%

11Ber

ufss

chul

e (la

nd- u

nd fo

rstw

irtsc

haftl

ich)

31,

4%0

33

310

0%0

33

100%

12BM

S g

ewer

blic

h-te

chni

sch-

kuns

tgew

erbl

iche

Fac

hsch

ulen

62,

8%0

66

610

0%0

66

100%

13BM

S k

aufm

änni

sche

/Han

dels

schu

len

83,

2%1

77

710

0%0

77

100%

14BM

S w

irtsc

hafts

beru

flich

-soz

ialb

eruf

liche

Fac

hsch

ulen

83,

7%0

88

788

%1

88

100%

15BM

S la

nd- u

nd fo

rstw

irtsc

haftl

iche

Fac

hsch

ulen

73,

2%0

77

710

0%0

77

100%

16BH

S te

chni

sche

und

gew

erbl

iche

höh

ere

Sch

ulen

188,

3%0

1818

1810

0%0

1818

100%

17BH

S k

aufm

änni

sche

höh

ere

Sch

ulen

146,

5%0

1414

1410

0%0

1414

100%

18BH

S h

öh. S

chul

en f.

wirt

scha

ftl.B

./BH

S s

ozia

lber

ufl.h

öh.S

ch.

94,

2%0

99

910

0%0

99

100%

19BH

S la

nd- u

nd fo

rstw

irtsc

haftl

iche

höh

ere

Sch

ulen

31,

4%0

33

310

0%0

33

100%

20Ans

talte

n de

r Leh

rerb

ildun

g un

d Erz

iehe

rbild

ung

31,

4%0

33

310

0%0

33

100%

Tota

l22

110

0%8

213

213

212

99,5

%1

213

213

100%

GEPLA

NTE S

TIC

HPR

OB

ER

ück

lauf Scr

eenin

g (ohne

Rep

l.)re

alis

iert

e S

tich

pro

be

Öst

erre

ich

SC

REEN

ING

HA

UPTTEST 2

000


Schüler Jg 84 Rücklauf Rücklauf

in der Stichprobe Instrumente Quote

Testhefte 5480 4745 86,6%

Reading Speed 5480 4730 86,3%

Fragebögen 5480 4726 86,2%

2.2 Der Rücklauf der Instrumente (Response 2000)Bei den Schulfragebögen (213 Stück, Zielpersonen Schulleiter bzw. Administratoren) wurdeein vollständiger Rücklauf (100%) erzielt, wobei einige Fragebögen von den Schulleiternzum Teil (wie im Feldtest) unvollständig ausgefüllt wurden.

Die Rücklaufquote aller Schüler-Instrumente (Testhefte/Fragebögen) war mit einemDurchschnitt von 86,4% im Vergleich zu den Erfahrungen in früheren österreichischen Studienwieder außergewöhnlich hoch und sehr zufrieden stellend.Von den insgesamt 5480 Schüler/innen des Jahrgangs 1984 in der Stichprobe wurde• das Testheft von 4745 Schüler/innen (86,6%),• der Schülerfragebogen von 4726 Schüler/innen (86,2%) und• der Reading Speed Test von 4730 Schüler/innen (86,3%)bearbeitet und von den Testadministratoren so zurückgebracht bzw. zurückgesendet, dass dieDaten zeitgerecht eingegeben werden konnten (siehe Abbidlung VII.8). Der Non-Responsestammt hauptsächlich von den am Testtag fehlenden Schüler/innen – weitere Gründe fürfehlenden Rücklauf werden nach den Kriterien A–E in Abbildung VII.16 dargestellt

Abbildung VII.8: PISA-Haupttest 2000:Realisierte Anzahl von Instrumenten auf Schülerebene

Insgesamt war der Rücklauf also sehr zufrieden stellend und erfüllte auch alle Response-Kriterien der OECD (85% auf Schul- und auf Schülerebene bei Testheften und bei Fragebögen= zusammen also mindestens 72,3% => in Österreich größer als 86%).

In der österreichischen Stichprobe werden nur die 20 Schultypen/Schularten als Strata expli-zit eingesetzt (siehe Abschnitt V, Kapitel 3). Implizit gingen aber auch das Bundesland undder Bezirk als Auswahlkriterium in die Stichprobenziehung mit ein:

Die Schulen waren für die Stichprobenziehung innerhalb der 20 Strata nach der 6-stelligenösterreichischen Schulkennzahl sortiert, wobei die erste Stelle das Bundesland und die Stellen2+3 die Bezirke repräsentieren. Da die Ziehung sequentiell (mit Zufallszahlen und fixemAbstand) erfolgte, wird durch diese Art des Vorgehens auch eine gewisse kontrollierte Streu-ung der Schulen über die Bundesländer erreicht. Sie ist nicht direkt selbst gewichtend, weichtaber auch nicht dramatisch von der Populationsverteilung ab. Einen Überblick auf das Ergeb-nis gibt die Abbildung VII.9.


2.3 Die resultierende Haupttest-Stichprobe 2000Die 4745 auswertbaren Testhefte und 4726 brauchbaren Schülerfragebögen dienten alsGrundlage für die nationalen und internationalen Analysen.

2.3.1 Die PISA-Testhefte

Wichtigstes Instrument im PISA-Projekt sind die umfangreichen Testhefte in Lesen/Leseverständnis (Reading Literacy), Mathematik (Mathematics) und Naturwissenschaft(Science). Im Zentrum von PISA steht ja der Vergleich der Schülerleistungen. AbbildungVII.10 charakterisiert die realisierte Stichprobe „Schüler-Testhefte“ nach den Strata.


Burgenland 6 2,8 0 0,0% 6 100,0%Kärnten 15 6,9 0 0,0% 15 100,0%Niederösterreich 38 18,1 0 0,0% 38 100,0%Oberösterreich 41 19,4 0 0,0% 41 100,0%Salzburg 15 6,9 0 0,0% 15 100,0%Steiermark 32 14,8 0 0,0% 32 100,0%Tirol 17 7,9 0 0,0% 17 100,0%Vorarlberg 12 5,6 0 0,0% 12 100,0%

Wien 37 17,6 0 0,0% 37 100,0%

Österreich 213 100 0 0,0% 213 100,0%

Bundesland AUSGESANDTE SCHULEN REALISIERTE SCHULENNONRESPONSE HAUPTTEST

Abbildung VII.10: PISA-Haupttest 2000:Aufgliederung der auswertbaren PISA-Testhefte nach Strata


02 Hauptschule 255 4,7 60 23,5% 195 76,5%


04 Sonderschule 57 1,0 33 57,9% 24 42,1%

05 Gymnasium 420 7,7 46 11,0% 374 89,0%
















Total 5480 100 735 13,4% 4745 86,6%

STRATUMSCHÜLER laut LISTE NONRESPONSE HT REALISIERT

Abbildung VII.9: PISA-Haupttest 2000:Realisierte Stichprobe auf Schulebene nach regionaler Verteilung


Insgesamt wurden im Haupttest von der OECD neun verschiedene Standard-Testhefte ein-gesetzt, die über die Schulen und Schüler/innen hinweg rotiert wurden (s.o.), d.h. in einerGruppe von 35 Schüler/innen hatten nur maximal 4 dasselbe Testheft. Dementsprechendverteilen sich die Schüler/innen der Gesamtstichprobe relativ gleichmäßig über diese neunHefte. Zwischen minimal 499 bis maximal 539 Schüler/innen entfielen auf ein Heft – derNon-Response scheint erwartungsgemäß nicht vom Hefttyp abzuhängen (χ2=7,98; n.s.).

Als Sonderfall ist das Testheft 0 (auch Testheft 60 genannt) einzustufen, das nur in Son-derschulen eingesetzt wurde.

Wie im vorigen Absatz zu Abbildung VII.9 bereits erwähnt, streut die Stichprobe durch diebesondere Listenerstellung auch kontrolliert über die regionalen Einheiten (Länder/Bezirke).Abbildung VII.12 gibt Auskunft über die Verteilung der realisierten Stichprobe auf Schüler-ebene (Testhefte) über die neun österreichischen Bundesländer.

Den besten Rücklauf erzielten wir im Burgenland (92,9%), gefolgt von Salzburg und Kärn-ten, am relativ schlechtesten war er in Wien (78,7%) und Niederösterreich. Ein bemerkens-wertes Ergebnis ist die deutlich geringere Rücklaufquote im Bundesland Wien (Differenzrund 8% zum Österreichdurchschnitt), ein aus früheren Studien bereits bekanntes Phäno-men. Bei praktisch allen Assessments und Befragungen des IEA- und PISA Zentrums in denvergangenen 12 Jahren lag die Beteiligung der Wiener Schulen, Lehrer/innen und Schüler/innen stets deutlich, manchmal bis zu 20% unter dem Response der anderen Bundesländer(„Wien ist anders“). Es zeigt vor allem ein geringes Engagement für Arbeiten oder Projekte(und seien sie mit noch so wenig Aufwand verbunden wie in PISA), die von außen an dieSchulen herangetragen werden.

Abbildung VII.11: PISA-Haupttest 2000: Aufgliederung der auswertbarenPISA-Testhefte nach Testheftformen

TESTHEFTE

10 Formen Anzahl Anteil Anzahl Non-R in % Anzahl Resp in %

1 608 11,1% 69 11,3% 539 88,7%

2 603 11,0% 78 12,9% 525 87,1%

3 598 10,9% 99 16,6% 499 83,4%

4 606 11,1% 81 13,4% 525 86,6%

5 603 11,0% 91 15,1% 512 84,9%

6 589 10,7% 63 10,7% 526 89,3%

7 608 11,1% 80 13,2% 528 86,8%

8 611 11,1% 79 12,9% 532 87,1%

9 607 11,1% 72 11,9% 535 88,1%

5433 99,1% 712 13,1% 4721 86,9%

0 (Spezial) 47 0,9% 23 48,9% 24 51,1%

Total 5480 100,0 735 13,4% 4745 86,6%

SCHÜLER laut LISTE NONRESPONSE HT REALISIERT


Abbildung VII.12: PISA-Haupttest 2000:Aufgliederung der auswertbaren PISA-Testhefte nach Bundesländern


Burgenland 182 3,3% 13 7,1% 169 92,9%

Kärnten 359 6,6% 39 10,9% 320 89,1%

Niederösterreich 953 17,4% 139 14,6% 814 85,4%

Oberösterreich 1079 19,7% 122 11,3% 957 88,7%

Salzburg 396 7,2% 39 9,8% 357 90,2%

Steiermark 810 14,8% 92 11,4% 718 88,6%

Tirol 431 7,9% 50 11,6% 381 88,4%

Vorarlberg 291 5,3% 32 11,0% 259 89,0%

Wien 979 17,9% 209 21,3% 770 78,7%

Österreich 5480 100,0% 735 13,4% 4745 86,6%

BundeslandSCHÜLER laut LISTE NONRESPONSE HT REALISIERT

2.3.2 Die Schülerfragebögen

Im Anschluss an den Test beantworteten die Schüler/innen einen etwa 30-minütigenSchülerfragebogen. In wenigen Fällen war es so, dass Schüler/innen nach dem Test oder vordem Ausfüllen des Fragebogens die Erhebung abbrechen mussten (Schulbus, Erkrankung,usw.). In Sonderschulen kam es vor, dass auf Grund geringer Lesegeschwindigkeit das Zeitlimitbei der Beantwortung des Fragebogens überschritten wurde. Insgesamt wurden 4726Fragebögen so ausgefüllt, dass sie auswertbar waren (Differenz zu Testheften – 19 Stück).Einen Überblick über die zur Analyse bereistehenden Fragebögen (nach Strata gegliedert)gibt Abbildung VII.13.

2.4 PISA Plus: Stichprobe für die nationalen ZusatzprojekteWie schon im Feldttest wurden auch im Haupttest folgende Instrumente eingesetzt:• einen Zusatz im allgemeinen PISA-Schulfragebogen (n=213, Rücklauf 100%, gleiche

Struktur wie der PISA-Schulfragebogen, s.o.)• das Reading-Speed-Testheft (n=4730, Rücklauf 86,3%)• Zusätze A, B oder C (rotiert) zu den Schülerfragebögen (n=4676 ,Rücklauf 85,3%)

2.4.1 Die Testhefte für Reading Speed (Lesegeschwindigkeit)

Als internationale Option bzw. nationale Zusatzuntersuchung (PISA Plus) lief die Messungder Lesegeschwindigkeit als kurzer Test mit (ca. 10 Minuten). Damit sollen wichtige Datenfür die Analyse der Ursachen der PISA-Leseleistungen bzw. des Leseverständnisses geliefertwerden. Auch der Reading Speed Test wurde im Verlauf des PISA-Tests durchgeführt (amBeginn des nationalen Teils). Einen Überblick über den Non-Response und die realisierteStichprobe gibt Abbildung VII.14.


Abbildung VII.13: PISA-Haupttest 2000:Aufgliederung der auswertbaren PISA-Schülerfragebögen nach Strata

Abbildung VII.14: PISA-Haupttest 2000:Aufgliederung der auswertbaren Reading Speed Testbögen nach Strata


02 Hauptschule 255 4,7 61 23,9% 194 76,1%


04 Sonderschule 57 1,0 33 57,9% 24 42,1%

05 Gymnasium 420 7,7 46 11,0% 374 89,0%
















Total 5480 100% 754 13,8% 4726 86,2%

STRATUMSchüler laut Liste Nonresponse HT Realisiert

Anzahl in % Anzahl in % Anzahl in %02 Hauptschule 255 4,7 61 23,9% 194 76,1%


04 Sonderschule 57 1,0 33 57,9% 24 42,1%

05 Gymnasium 420 7,7 46 11,0% 374 89,0%
















Total 5480 100% 750 13,7% 4730 86,3%

STRATUMSchüler laut Liste Nonresponse HT Realisiert


2.4.2 Die PISA Plus Schülerfragebögen

Die Rotation der nationalen Schülerfragebogenteile wie im Feldtest erbrachte rund 1600Schüler/innen pro Fragebogenversion:• 1570 Schüler/innen für den A-Teil: Lesegewohnheiten (Leseverhalten und Lesesozialisation),• 1553 Schüler/innen für den B-Teil: Befindlichkeit und Schulerfolg• 1553 Schüler/innen für den C-Teil: Anwendung von Computer/Internet; Schulqualität

(Q.I.S.-Instrumente)

Die genaue Aufstellung der rotierten Teile und den Non-Response im Bereich PISA Plus zeigtAbbildung VII.15.

2.5 Analyse der Stichprobenausfälle im Haupttest 2000Wie aus der obigen Abbildung VII.8 hervorgeht, beträgt der Stichprobenausfall/Non-Responseim wichtigsten Bereich (bei den Testheften) rund 13,4% (735 von 5480 Schüler/innen desJahrgangs 1984 an den 213 Zielschulen).In diesen Rücklaufquoten inkludiert sind• die bereits im Vorfeld der Testung korrekt abgemeldeten 420 Schüler/innen (mit den

möglichen Begründungen A bis E laut internationaler Liste, s.u.),• 315 Schüler/innen, die am Testtag gefehlt haben und nicht durch eine Nachtestung erfasst

wurden.Eine Wiederholung der Testdurchführung (Follow-up-Sitzung), die nach internationaler Vor-gabe bei fünf oder mehr fehlenden Schüler/innen an einer Schule abgehalten werden musste,war in 23 Schulen (10,8%) notwendig. Insgesamt konnten durch die Follow-up-Sitzungen204 Schüler/innen (39%) von den in der ersten Testsitzung fehlenden 519 Schüler/innendoch noch getestet werden. Eine genaue Aufschlüsselung der Testtage pro Schule und geglie-dert nach den Strata findet sich in Abbildung VII.20 und VII.21.

AKZEPTABLE URSACHEN FÜR DIE STREICHUNGVON SCHÜLER/INNEN VON DER PISA-TESTSCHÜLERLISTE

Es gab prinzipiell fünf mögliche Gründe, die vor dem Testtermin noch zur Eliminierung des Namens vonder bereits erstellten und zugesandten Testschüler-Liste durch den Schulkoordinator führen konnten:A. Der ausgewählte Schüler/die ausgewählte Schülerin weist eine so schwere dauernde körperliche

oder geistige Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht möglich, ethischnicht vertretbar oder nicht sinnvoll ist (z.B. in Sonderschulen).

B. Dem ausgewählten Schüler/der ausgewählten Schülerin nichtdeutscher Muttersprache mangeltes an Deutsch-Kenntnissen, so dass ein Verstehen der Anleitung und der Testaufgaben nicht aus-reichend möglich ist (z.B. wenn ein/e Schüler/in erst kurze Zeit in Österreich ist und noch sehrschlecht Deutsch spricht).Schüler/innen, die bereits länger als ein Jahr als ordentliche Schüler/in in Österreich eine Schulebesuchen, fallen keinesfalls mehr unter diese Regelung. Im Zweifelsfall sollte der Schüler/die Schü-lerin teilnehmen (wir erfragen den Gebrauch von Deutsch im Schüler-Fragebogen).

C. Der ausgewählte Schüler oder die ausgewählte Schülerin haben sich inzwischen von dieser Schuleoffiziell abgemeldet (haben die Schule gewechselt, Drop-outs, etc.).

D. Die Eltern meldeten den Schüler/die Schülerin beim Schulleiter oder TA vom PISA-Test ab bzw.der Schüler/die Schülerin weigert sich persönlich, am PISA-Test teilzunehmen/meldete sich ab.

E. Der ausgewählte Schüler/die ausgewählte Schülerin kann aus anderen Gründen (Auslandsaufent-halt, Projektwochen) nicht an der Testsitzung teilnehmen.


Abbi

ldun

g VII

.15:

PIS

A-H

aupt

test

2000

: Rea

lisier

te S

tichp

robe

- au

swer

tbar

e Sch

üler

frage

böge

n PI

SA P

lus n

ach

den

drei

rotie

rten

Teile

n un

d St

rata

REA

LIS

IER

TE S

TIC

HPR

OB

E S

CH

ÜLER

INN

EN

PIS

A P

LU

Snac

h F

rageb

ogen

vers

ion u

nd S

trat

um

Ain

%B

in %

Cin

%

02H

aupt

schu

le69

4,4%

603,

9%61

3,9%

190

03Pol

ytec

hnis

che

Sch

ule

146

9,3%

145

9,3%

145

9,3%

436

04Son

ders

chul

e (e

igen

er F

rage

boge

n oh

ne P

ISA P

lus)

00,

0%0

0,0%

00,

0%0

05G

ymna

sium

117

7,5%

127

8,2%

130

8,4%

374

06R

ealg

ymna

sium

und

wirt

scha

ftsku

ndlic

hes

RG

103

6,6%

996,

4%10

26,

6%30

4

07O

bers

tufe

nrea

lgym

nasi

um85

5,4%

825,

3%86

5,5%

253

08Son

stig

e Allg

emei

nbild

ende

Sch

ulen

/mit

Sta

tut

151,

0%16

1,0%

171,

1%48

09Ber

ufss

chul

e (tec

hnis

ch-g

ewer

blic

h)23

014

,6%

229

14,7

%22

114

,2%

680

10Ber

ufss

chul

e (k

aufm

änni

sch/

Han

del u

nd V

erke

hr)

674,

3%62

4,0%

583,

7%18

7

11Ber

ufss

chul

e (la

nd- un

d fo

rstw

irtsc

haftl

ich)

100,

6%11

0,7%

110,

7%32

12BM

S g

ewer

blic

h-te

chni

sch-

kuns

tgew

erbl

iche

Fac

hsch

ulen

483,

1%46

3,0%

483,

1%14

2

13BM

S k

aufm

änni

sche

/Han

dels

schu

len

694,

4%69

4,4%

634,

1%20

1

14BM

S w

irtsc

hafts

beru

flich

-soz

ialb

eruf

liche

Fac

hsch

ulen

774,

9%76

4,9%

764,

9%22

9

15BM

S la

nd- un

d fo

rstw

irtsc

haftl

iche

Fac

hsch

ulen

513,

2%50

3,2%

483,

1%14

9

16BH

S te

chni

sche

und

gew

erbl

iche

höh

ere

Sch

ulen

181

11,5

%17

411

,2%

177

11,4

%53

2

17BH

S k

aufm

änni

sche

höh

ere

Sch

ulen

150

9,6%

148

9,5%

151

9,7%

449

18BH

S h

öh. S

chul

en f.

wirt

scha

ftl.B

./BH

S s

ozia

lber

ufl.h

öh.S

ch.

925,

9%94

6,1%

946,

1%28

0

19BH

S la

nd- un

d fo

rstw

irtsc

haftl

iche

höh

ere

Sch

ulen

312,

0%30

1,9%

322,

1%93

20Ans

talte

n de

r Le

hrer

bild

ung

und

Erz

iehe

rbild

ung

291,

8%35

2,3%

332,

1%97

Tota

l15

7010

0,0%

1553

100,

0%15

5310

0,0%

4676

33,6

%33

,2%

33,2

%10

0,0%

STR

ATU

MFR

AG

EB

OG

EN

VER

SIO

NSU

MM

E


Die Aufgliederung des Non-Response im Haupttest 2000 nach diesen Kategorien zeigt fol-gendes Ergebnis:

Der größte Anteil der Non-Response (5,7%) fällt auf Schüler/innen, die am Testtag gefehlthaben (Kategorie F). Auch der Anteil jener Schüler/innen, die zum Zeitpunkt des Tests nichtmehr an der Schule gemeldet sind (4,7%) ist im Vergleich zu den anderen Kategorien hoch.Die Ursache hierfür ist der relativ lange Zeitraum von ca. 4 Monaten, der zwischen Anforde-rung der Schülerlisten und Testung liegt. 104 Schüler/innen (1,9% der Non-Response) ha-ben sich selbst bzw. wurden von ihren Eltern offiziell vom Test abgemeldet.

Insgesamt kann gesagt werden, dass der Non-Response mit 13,4% gering ist und dieinternational vorgegebenen Qualitätskriterien hinsichtlich der Stichprobenausfälle leicht er-füllt.

Wie zu erwarten, stammen beinahe alle Ausfälle der Kategorie A aus dem Stratum „Son-derschule“. Ein hoher Non-Response innerhalb der Kategorie C (zum Testzeitpunkt nichtmehr an der Schule gemeldete Schüler/innen) fällt in den Berufsschulen (technisch-gewerb-lich und kaufmännisch) auf, und liegt darin begründet, dass in vielen Berufschulen erst beiSchulbeginn eine verbindliche Anmeldeliste der Schüler/innen vorliegt.

Obwohl wir in den betroffenen Berufsschulen mit der Anforderung der Schülerliste, dieder Stichprobenziehung innerhalb der Schule zu Grunde lag, bis zum letztmöglichen Zeit-punkt gewartet haben, konnten diese Stichprobenausfälle zwar eingeschränkt, aber nicht ganzverhindert werden.

Der größte Anteil an Non-Response (13,9%) findet sich im Stratum „Berufsschule“ (tech-nisch-gewerblich), wobei hier sowohl die Kategorie C (nicht mehr an der Schule gemeldeteSchüler/innen; s.o.) als auch die Kategorie F (fehlende Schüler/innen) zum Tragen kommtund für den Berufsschulbereich unter Berücksichtigung der saisonalen Berufsschulen nichtaußergewöhnlich ist.

Code Bezeichnung des Grundes Schüler Anteil

Schüler/innen Jahrgang 1984 in der Stichprobe (in allen getesteten Schulen) 5480 100%

A Schüler mit schwerer körperlicher Behinderung 25 0,5%B mangelnde Deutschkenntnisse (nicht-deutsche Mutterspr.) 24 0,4%C Schüler haben seit Screening Schule verlassen 260 4,7%D Abmeldung von Schüler/innen vom Test durch Eltern oder durch Schüler selber 104 1,9%E andere Gründe (Schüler/innen im Ausland oder auf Projektwochen) 7 0,1%

Summe Ausschluss vor dem Test durch den Schulkoordinator 420 7,7%

F Schüler fehlen am Testtag (allgemein begründet, meist Erkrankung) 315 5,7%Summe fehlender Schüler/innen am Testtag 315 5,7%

NONRESPONSE INSGESAMT 735 13,4%

daher => resultierende (realisierte) Stichprobe im Haupttest 4745 86,6%

Abbildung VII.16: PISA-Haupttest 2000:Aufgliederung des Non-Response bei den Testheften (nach Ursachen)


Abbi

ldun

g VII

.17:

PIS

A-H

aupt

test

2000

: Auf

glied

erun

g de

s Non

-Resp

onse

bei d

en T

esthe

ften

(Ver

teilu

ng d

er K

ateg

orien

übe

r die

Stra

ta)

AU

FG

LIE

DER

UN

G D

ES N

ON

-RESPO

NSE (TESTH

EFTE)

nac

h S

trat

um

AB

CD

EF

02H

aupt

schu

le10

1310

2760

8,2%

03Pol

ytec

hnis

che

Sch

ule

429

342

7810

,6%

04Son

ders

chul

e24

32

13

334,

5%

05G

ymna

sium

131

428

466,

3%

06R

ealg

ymna

sium

und

wirt

scha

ftsku

ndlic

hes

RG

26

1316

375,

0%

07O

bers

tufe

nrea

lgym

nasi

um1

19

618

354,

8%

08Son

stig

e Allg

emei

nbild

ende

Sch

ulen

/mit

Sta

tut

32

50,

7%

09Ber

ufss

chul

e (tec

hnis

ch-g

ewer

blic

h)60

61

3510

213

,9%

10Ber

ufss

chul

e (k

aufm

änni

sch/

Han

del u

nd V

erke

hr)

445

1362

8,4%

11Ber

ufss

chul

e (la

nd- u

nd fo

rstw

irtsc

haftl

ich)

31

37

1,0%

12BM

S g

ewer

blic

h-te

chni

sch-

kuns

tgew

erbl

iche

Fac

hsch

ulen

1115

263,

5%

13BM

S k

aufm

änni

sche

/Han

dels

schu

len

118

1635

4,8%

14BM

S w

irtsc

hafts

beru

flich

-soz

ialb

eruf

liche

Fac

hsch

ulen

84

1123

3,1%

15BM

S la

nd- un

d fo

rstw

irtsc

haftl

iche

Fac

hsch

ulen

29

111,

5%

16BH

S te

chni

sche

und

gew

erbl

iche

höh

ere

Sch

ulen

130

1738

8611

,7%

17BH

S k

aufm

änni

sche

höh

ere

Sch

ulen

108

2038

5,2%

18BH

S h

öh. S

chul

en f.

wirt

scha

ftl.B

./BH

S s

ozia

lber

ufl.h

öh.S

ch.

312

215

324,

4%

19BH

S la

nd- un

d fo

rstw

irtsc

haftl

iche

höh

ere

Sch

ulen

24

511

1,5%

20Ans

talte

n de

r Le

hrer

bild

ung

und

Erz

iehe

rbild

ung

33

28

1,1%

Tota

l25

2426

010

47

315

735

100%in

%STR

ATU

MN

ON

RESPO

NSE N

AC

H K

ATEG

OR

IEN

Sum

me

Non-R

esp


Abbildung VII.18: PISA-Haupttest 2000:Struktur der realisierten Stichprobe (Testhefte), nach Geschlecht und Schulstufen

männlich 1 0,0% 6 0,3% 140 6,2% 928 40,8% 1195 52,6% 2 0,1% 2272100,0% 0,0% 42,9% 0,1% 66,0% 3,1% 48,8% 20,5% 50,0% 26,4% 66,7% 0,0% 50,2%

weiblich 0 0,0% 8 0,4% 72 3,2% 973 43,2% 1196 53,2% 1 0,0% 22500,0% 0,0% 57,1% 0,2% 34,0% 1,6% 51,2% 21,5% 50,0% 26,4% 33,3% 0,0% 49,8%

Spaltensumme 1 0,0% 14 0,3% 212 4,7% 1901 42,0% 2391 52,9% 3 0,1% 4522

Anmerkung: Berechnungen beruhen auf den Schülerangaben + Schüler mit fehlenden Angaben 223

4745Anzahl Zeilen%

Spalten% Total%

Erklärung des

Zelleninhalts

Zeilen-

summe6 7 8 9

SCHULSTUFEN10 11

2.6 Deskriptive Daten zur Struktur der realisierten StichprobeUm die Struktur der realisierten Stichprobe besser verstehen zu können, fügen wir die näch-sten Abbildungen VII.18 bis VII.23 ein. Sie zeigen, wie sich die Schüler/innen nach Ge-schlecht, Strata und Schulstufen verteilen, wie viele Testtage notwendig waren und wie vieleSchüler/innen pro Schule getestet wurden.

Die Abbildungen zeigen, dass mehr als die Hälfte der Schüler/innen der PISA-Stichprobe(rund 53%) bereits in der 10. Schulstufe sind (= 2. Klasse der höheren oder mittleren Schulen,1. Jg. Berufsschule), 42% befinden sich in Schulstufe 9 (Polytechnischer Lehrgang, 1. Klassehöherer oder mittlerer Schulen). Rund 5% sind noch in der 8. Stufe oder darunter. Bei derAufgliederung nach Schulstufe ist noch anzumerken, dass vielleicht eine gewisse Unschärfedadurch in diese Daten kommt, dass die Angabe der Schulstufe von den Schüler/innenvorgenommen wurde (nach Erklärung durch unseren Testadministrator).

Bei rund 180 bzw. 223 Schüler/innen fehlen die Angaben zu Geschlecht oder zu Schulstufe(zwischen 3,8% und 4,6% Missings).


Abbi

ldun

g VII

.19:

PIS

A-H

aupt

test

2000

: Stru

ktur

der

real

isier

ten

Stich

prob

e (Te

stheft

e), n

ach

Schu

lstuf

en u

nd S

trata

STR

UK

TU

R D

ER

REA

LIS

IER

TEN

STIC

HPR

OB

E (TESTH

EFTE)

nac

h S

chuls

tufe

n und

Str

atum

02H

aupt

schu

le11

73,3

%17

982

,5%

190

4,2%

03Pol

ytec

hnis

che

Sch

ule

446

23,2

%44

69,

8%

04Son

ders

chul

e

05G

ymna

sium

110

0%3

20,0

%20

9,2%

145

7,5%

199

8,3%

368

8,1%

06R

ealg

ymna

sium

und

wirt

scha

ftsku

ndlic

hes

RG

16,

7%17

7,8%

136

7,1%

144

6,0%

298

6,5%

07O

bers

tufe

nrea

lgym

nasi

um12

86,

7%11

54,

8%1

33,3

%24

45,

3%

08Son

stig

e Allg

emei

nbild

ende

Sch

ulen

/mit

Sta

tut

10,

5%35

1,8%

120,

5%48

1,1%

09Ber

ufss

chul

e (te

chni

sch-

gew

erbl

ich)

650

27,0

%2

66,7

%65

214

,3%

10Ber

ufss

chul

e (k

aufm

änni

sch/

Han

del u

nd V

erke

hr)

165

6,9%

165

3,6%

11Ber

ufss

chul

e (la

nd- un

d fo

rstw

irtsc

haftl

ich)

321,

3%32

0,7%

12BM

S g

ewer

blic

h-te

chni

sch-

kuns

tgew

erbl

iche

Fac

hsch

ulen

774,

0%65

2,7%

142

3,1%

13BM

S k

aufm

änni

sche

/Han

dels

schu

len

975,

0%10

04,

2%19

74,

3%

14BM

S w

irtsc

hafts

beru

flich

-soz

ialb

eruf

liche

Fac

hsch

ulen

130

6,8%

974,

0%22

75,

0%

15BM

S la

nd- u

nd fo

rstw

irtsc

haftl

iche

Fac

hsch

ulen

101

5,3%

451,

9%14

63,

2%

16BH

S te

chni

sche

und

gew

erbl

iche

höh

ere

Sch

ulen

256

13,3

%24

310

,1%

499

10,9

%

17BH

S k

aufm

änni

sche

höh

ere

Sch

ulen

186

9,7%

260

10,8

%44

69,

8%

18BH

S h

öh. S

chul

en f.

wirt

scha

ftl.B

./BH

S s

ozia

lber

ufl.h

öh.S

ch.

105

5,5%

173

7,2%

278

6,1%

19BH

S la

nd- u

nd fo

rstw

irtsc

haftl

iche

höh

ere

Sch

ulen

422,

2%48

2,0%

902,

0%

20Ans

talte

n de

r Le

hrer

bild

ung

und

Erz

iehe

rbild

ung

371,

9%60

2,5%

972,

1%

Spa

lten

sum

me

110

0%15

100%

217

100%

1921

100%

2408

100%

310

0%45

6510

0%

Anm

erku

ng: B

erec

hnun

gen

beru

hen

auf d

en S

chül

eran

gabe

n

+ S

chül

er m

it fe

hle

nde

n A

nga

ben

180

4745

Zei

len-

sum

me

Ant

eil

STR

ATU

M6

SC

HU

LSTU

FEN

1110

98

7


2.6.1 Testtage

Bei fast 90% der Schulen war ein Testtag zur Erreichung der erforderlichen Schülerzahlausreichend. Fehlten am Testtag 5 oder mehr Schüler/innen, musste nachgetestet werden. Insaisonalen Berufsschulen kam es vor, dass bis zu 4 Nachtesttermine notwendig waren (= 4Testtage), weil die Zielschüler/innen an unterschiedlichen Wochentagen Schule hatten.

Eine Aufstellung der notwendigen Testtage und die Verteilung über die Strata zeigen dieAbbildungen VII.20 und VII.21.

Neun der insgesamt 23 Schulen, in denen ein odermehrere Nachtests durchgeführt werden mussten,waren Berufsschulen. Bei zwei dieser neun Be-rufsschulen war es sogar nötig, insgesamt je vierTesttage anzuberaumen.

Die Problematik bei saisonalen Berufsschu-len wurde bereits im Feldtest erkannt, weshalb dieAnzahl der Wiederholungen auf maximal 4 Test-sitzungen beschränkt wurde, um den finanziel-len Rahmen von PISA nicht zu sprengen. Dar-über hinaus wurden die Testleiter/innen instru-

iert im Falle einer vierten Testsitzung nochmals mit dem PISA Zentrum Rücksprache zuhalten, um gemeinsam unter Berücksichtigung der dadurch entstehenden Kosten über dieNotwendigkeit einer vierten Testsitzung zu entscheiden. Durch diese Regelungen ist es ge-lungen, die Teilnehmerquote in den saisonalen Berufsschulen gemäß der internationalen Richt-linien einzuhalten, ohne dabei den finanziellen Aspekt zu vernachlässigen.

Anzahl derSchulen

1 190 89,2%2 21 9,9%3 0 0,0%4 2 0,9%

SUMME 213 100,0%

Anzahl Testtage in %

Abbildung VII.20: PISA-Haupttest 2000:Anzahl notwendiger Testtage pro Schule

Abbildung VII.21: PISA-Haupttest 2000:Anzahl notwendiger Testtage pro Schule (gegliedert nach Strata)

Summe

Schulen

02 Hauptschule 33 15,5% 33

03 Polytechnische Schule 20 9,4% 2 0,9% 22

04 Sonderschule 9 4,2% 9

05 Gymnasium 12 5,6% 1 0,5% 13

06 Realgymnasium und wirtschaftskundliches RG 12 5,6% 1 0,5% 13

07 Oberstufenrealgymnasium 8 3,8% 1 0,5% 9

08 Sonstige Allgemeinbildende Schulen/mit Statut 1 0,5% 2 0,9% 3

09 Berufsschule (technisch-gewerblich) 21 9,9% 3 1,4% 1 0,5% 25

10 Berufsschule (kaufmännisch/Handel und Verkehr) 3 1,4% 4 1,9% 1 0,5% 8

11 Berufsschule (landund forstwirtschaftlich) 3 1,4% 3

12 BMS gewerblich-technisch-kunstgewerbliche Fachschulen 6 2,8% 6

13 BMS kaufmännische/Handelsschulen 6 2,8% 1 0,5% 7

14 BMS wirtschaftsberuflich-sozialberufliche Fachschulen 8 3,8% 8

15 BMS landund forstwirtschaftliche Fachschulen 6 2,8% 1 0,5% 7

16 BHS technische und gewerbliche höhere Schulen 16 7,5% 2 0,9% 18

17 BHS kaufmännische höhere Schulen 13 6,1% 1 0,5% 14

18 BHS höh. Schulen f.wirtschaftl.B./BHS sozialberufl.höh.Sch. 8 3,8% 1 0,5% 9

19 BHS landund forstwirtschaftliche höhere Schulen 3 1,4% 3

20 Anstalten der Lehrerbildung und Erzieherbildung 2 0,9% 1 0,5% 3

Total 190 89,2% 21 9,9% 0 0% 2 0,9% 213

STRATUMAnzahl der durchgeführten Testtage1 2 3 4


Anzahl derSchulen in %

1 - 5 27 12,7%

6 -10 22 10,3%

11 - 15 16 7,5%

16 - 20 15 7,0%

21 - 25 16 7,5%

26 - 30 41 19,2%

31 - 35 76 35,7%

SUMME 213 100%

Anzahl Schüler/innen

Abbildung VII.22: PISA-Haupttest 2000:Anzahl getesteter Schüler/innen pro Schule

2.6.2 Anzahl der getesteten Schüler/innen pro Schule

Theoretisch konnte die Anzahl der getesteten Schüler/innen eine Spanne von 1 bis 35 auf-weisen, denn 35 war die von der OECD festgesetzte Obergrenze (um das Gewicht großerSchulen nicht zu stark werden zu lassen und den Designeffekt zu reduzieren). Tatsächlichfanden sich in etwas mehr als einem Drittel der Schulen (35,7%) 31 bis 35 Schüler/innenzum Test ein. Aber auch Schulen mit nur wenigen Testschülern wurden von unseren Test-administratoren besucht: In 12,7% der Schulen (= 27) waren fünf oder weniger Schüler/innen zu testen. In einem Großteil der Schulen (164 = 74%) befanden sich zwischen 11 und35 zu testende Schüler/innen.

Die Anzahl der getesteten Schüler/innen pro Schule schwankte erheblich je nach Schulart/Schultyp. Höhere Schulen oder Berufsschulen erreichten häufig das obere Limit – in allge-meinbildenden Schulen fanden sich relativ wenig Zielschüler (was auf Grund des Alters derSchüler/innen auch logisch ist). Abbildung VII.23 zeigt dies durch die Verteilung auf die 20Strata.

2.6.3 Waldorfschulen – Zusatzstichprobe und realisierter Rücklauf

Die 11 österreichischen Alternativschulen nach Rudolf Steiner (Waldorfschulen) stellen nebendem „Regelschulsystem“ die größte geschlossene Gruppe von Schulen dar, die nach einemeinheitlichen, vom öffentlichen System deutlich abweichenden Plan und eigener Didaktik arbeiten.In Diskussionen mit den Lehrer/innen der Waldorfschulen wurde die Idee geboren, in den 11Waldorfschulen eine PISA-Vollerhebung durchzuführen, um die Leistungen der „Alternativ-Schüler/innen“ mit den Gleichaltrigen der Regel-Schüler/innen vergleichen zu können. DieseErhebung stellt eine Zusatzstichprobe dar, die nicht in die PISA-Stichprobe eingerechnet wurde(mit Ausnahme einer Waldorfschule, die in Stratum 08 zufällig gezogen wurde).

Es wurde vereinbart, dass die Ergebnisse vor einer etwaigen Veröffentlichung mit denLehrer/innen der Waldorfschulen diskutiert werden. Abbildung VII.24 zeigt die realisierteStichprobe.


Abbi

ldun

g VII

.23:

PIS

A-H

aupt

test

2000

: An

zahl

not

wen

dige

r Test

tage

pro

Sch

ule (

gegl

ieder

t nac

h St

rata

)

AN

ZAH

L G

ETE

STETER

SC

HÜ

LER

/INN

EN

PR

O S

CH

ULE

nac

h Str

atum

Sum

me

Sch

ulen

2H

aupt

schu

le17

8,0%

125,

6%3

1,4%

10,

5%33

3Pol

ytec

hnis

che

Sch

ule

10,

5%3

1,4%

41,

9%3

1,4%

20,

9%5

2,3%

41,

9%22

4Son

ders

chul

e8

3,8%

10,

5%9

5G

ymna

sium

10,

5%1

0,5%

52,

3%6

2,8%

13

6R

ealg

ymna

sium

und

wirt

scha

ftsku

ndlic

hes

RG

10,

5%2

0,9%

20,

9%1

0,5%

31,

4%4

1,9%

13

7O

bers

tufe

nrea

lgym

nasi

um2

0,9%

10,

5%6

2,8%

9

8Son

stig

e Allg

emei

nbild

ende

Sch

ulen

/mit

Sta

tut

10,

5%1

0,5%

10,

5%3

9Ber

ufss

chul

e (tec

hnis

ch-g

ewer

blic

h)1

0,5%

31,

4%1

0,5%

20,

9%5

2,3%

136,

1%25

10Ber

ufss

chul

e (k

aufm

änni

sch/

Han

del u

nd V

erke

hr)

10,

5%1

0,5%

20,

9%3

1,4%

10,

5%8

11Ber

ufss

chul

e (la

nd- un

d fo

rstw

irtsc

haftl

ich)

20,

9%1

0,5%

3

12BM

S g

ewer

blic

h-te

chni

sch-

kuns

tgew

erbl

iche

Fac

hsch

ulen

10,

5%1

0,5%

31,

4%1

0,5%

6

13BM

S k

aufm

änni

sche

/Han

dels

schu

len

10,

5%3

1,4%

31,

4%7

14BM

S w

irtsc

hafts

beru

flich

-soz

ialb

eruf

liche

Fac

hsch

ulen

10,

5%1

0,5%

20,

9%4

1,9%

8

15BM

S la

nd- un

d fo

rstw

irtsc

haftl

iche

Fac

hsch

ulen

10,

5%2

0,9%

10,

5%2

0,9%

10,

5%7

16BH

S te

chni

sche

und

gew

erbl

iche

höh

ere

Sch

ulen

41,

9%5

2,3%

94,

2%18

17BH

S k

aufm

änni

sche

höh

ere

Sch

ulen

10,

5%1

0,5%

125,

6%14

18BH

S h

öh. S

chul

en f.

wirt

scha

ftl.B

./BH

S s

ozia

lber

ufl.h

öh.S

ch.

10,

5%8

3,8%

9

19BH

S la

nd- un

d fo

rstw

irtsc

haftl

iche

höh

ere

Sch

ulen

10,

5%2

0,9%

3

20Ans

talte

n de

r Le

hrer

bild

ung

und

Erz

iehe

rbild

ung

10,

5%2

0,9%

3

Tota

l27

12,7

%22

10,3

%16

7,5%

157,

0%16

7,5%

4119

,2%

7635

,7%

213

STR

ATU

MA

NZA

HL

GETE

STETE

R S

CH

ÜLE

R/IN

NEN

1 - 5

6 -1

011

- 1

516

- 2

021

- 25

26 -

3031

- 35


2.7 Die Notwendigkeit der Gewichtung der StichprobeÄhnlich dem Feldtest wurde bei den Analysen, die mit der Haupttest-Stichprobe 2000durchgeführt wurde, Folgendes beachtet• dass die Stichprobenziehung zweistufig erfolgte (1. Stufe: Schulen zufällig, 2. Stufe: Schüler/

innen Jg. 84 zufällig) und korrekt verlaufen ist,• der Rücklauf auf Schulebene (100%) und auf Instrumentenebene (rund 86%) ausgezeichnet

war und Verzerrungen wegen des Non-Response eher nicht zu erwarten sind,• dass es sich um keine selbst gewichtende Stichprobe handelte – die Anteile einzelner Strata/

Schultypen waren nicht exakt proportional zur tatsächlichen Größe in der Population(aus Gründen der Festlegung im Stichprobenplan oder wegen des etwas ungleichenRücklaufs) und

• daher bei jeder Auswertung vorher eine die Strata-Proportion korrigierende Gewichtungnotwendig ist.

Zur Illustration für eine einfache Gewichtung dient die Aufstellung in Abbildung VII.25 aufder nächsten Seite. Hier sieht man, dass Sonderschulen, Hauptschulen und landwirtschaftlicheMittlere Schulen deutlich unterrepräsentiert sind – während z.B. die Anzahl der BHS-Schüler/innen insgesamt etwas zu hoch ist, gemessen am tatsächlichen Anteil in der Population.

2.8 Die Beurteilung der Qualität der StichprobeAus der Sicht des PISA Zentrums Salzburg ist die PISA-Stichprobe der beste, d.h. repräsenta-tivste/unverzerrteste Datensatz, der je in Österreich in einem Leistungstest/Assessment erho-ben wurde. Die sorgfältige Stichprobenziehung, der hohe Rücklauf auf Schul- und Schüler-ebene sowie die sorgfältige Kodierung der Daten (insbes. im Marken und Scoren) weist aufeine hohe Qualität hin (vgl. Abschnitt IX, Kapitel 4 und 5). Die vorgeschriebenen Mindest-werte der OECD wurden weit überboten und die intensive Kontrolle der Datenqualität durchdas Internationale Zentrum hat ergeben, dass korrekt vorgegangen und hoch reliabel gescortund kodiert wurde.

Die aus diesen Daten gewonnenen Analysen werden zum jetzigen Stand der Auswertung(Mai 2001) kaum durch Stichprobenanomalien oder Mangel an Repräsentativität gefährdetsein.

Abbildung VII.24: PISA-Haupttest 2000: Realisierte Zusatzstichprobe der Waldorfschulen

Schulen/Bezeichnung Schul-

fragebogen ausgesandt eingelangt Rücklauf ausgesandt eingelangt Rücklauf ausgesandt eingelangt Rücklauf

1 Rudolf Steiner-Schule Klagenfurt 1 10 10 100% 10 10 100% 10 10 100%

2 Rudolf Steiner Landschule Schönau 1 8 8 100% 8 8 100% 8 8 100%

3 Freie Waldorfschule Linz 1 21 18 86% 21 18 86% 21 18 86%

4 Rudolf Steiner-Schule Salzburg 1 27 24 89% 27 24 89% 27 24 89%

5 Freie Waldorfschule Graz 1 31 25 81% 31 25 81% 31 25 81%

6 Karl-Schubert-Schule Verein 0 2 2 100% 2 2 100% 2 2 100%

7 Freie Waldorfschule Innsbruck 1 12 9 75% 12 9 75% 12 9 75%

8 Rudolf Steiner-Schule Wien-Pötzleinsdorf 1 26 19 73% 26 17 65% 26 17 65%

9 Rudolf Steiner-Schule Wien-Mauer 1 27 25 93% 27 25 93% 27 25 93%

Total 8 164 140 85% 164 138 84% 164 138 84%

Anzahl der Testhefte

REALISIERT IM HAUPTTESTAnzahl der Schülerfragebögen Anzahl der Reading-Speed-Tests


Abbi

ldun

g VII

.25:

PIS

A-H

aupt

test

2000

: Illu

strier

ende

s Beis

piel

für e

ine n

otw

endi

ge G

ewich

tung

(weg

en u

npro

port

iona

ler G

röße

der

Stra

ta)

REA

LIS

IER

TE S

TIC

HPR

OB

E S

CH

ÜLER

/INN

EN

(GEW

ICH

TU

NG

)A

ntei

le n

ach

Str

atum

Ant

eill

laut

Sta

tistik

Jg. 1

984

in %

Anz

ahl

Ant

eil i

n %

propo

rtio

nal

Gew

icht

Anz

ahl

Ant

eil i

n %

01Vol

kssc

hule

0,00

4%0

00

00

0,00

%

02H

aupt

schu

le5,

84%

195

4,11

%70

,3%

1,42

277

5,84

%

03Pol

ytec

hnis

che

Sch

ule

8,90

%45

19,

50%

106,

8%0,

9442

28,

90%

04Son

ders

chul

e1,

86%

240,

51%

27,2

%3,

6888

1,86

%

05G

ymna

sium

7,96

%37

47,

88%

99,1

%1,

0137

87,

96%

06R

ealg

ymna

sium

und

wirt

scha

ftsku

ndlic

hes

RG

7,92

%30

56,

43%

81,2

%1,

2337

67,

92%

07O

bers

tufe

nrea

lgym

nasi

um5,

24%

257

5,42

%10

3,4%

0,97

248

5,24

%

08Son

stig

e Allg

emei

nbild

ende

Sch

ulen

/mit

Sta

tut

0,45

%49

1,03

%22

9,7%

0,44

210,

45%

09Ber

ufss

chul

e (tec

hnis

ch-g

ewer

blic

h)15

,14%

684

14,4

2%95

,2%

1,05

718

15,1

4%

10Ber

ufss

chul

e (k

aufm

änni

sch/

Han

del u

nd V

erke

hr)

4,33

%18

83,

96%

91,5

%1,

0920

54,

33%

11Ber

ufss

chul

e (la

nd- u

nd fo

rstw

irtsc

haftl

ich)

0,24

%32

0,67

%27

9,4%

0,36

110,

24%

12BM

S g

ewer

blic

h-te

chni

sch-

kuns

tgew

erbl

iche

Fac

hsch

ulen

3,02

%14

22,

99%

99,2

%1,

0114

33,

02%

13BM

S k

aufm

änni

sche

/Han

dels

schu

len

3,98

%20

54,

32%

108,

4%0,

9218

93,

98%

14BM

S w

irtsc

hafts

beru

flich

-soz

ialb

eruf

liche

Fac

hsch

ulen

4,78

%23

04,

85%

101,

5%0,

9922

74,

78%

15BM

S la

nd- u

nd fo

rstw

irtsc

haftl

iche

Fac

hsch

ulen

4,19

%15

03,

16%

75,5

%1,

3219

94,

19%

16BH

S te

chni

sche

und

gew

erbl

iche

höh

ere

Sch

ulen

10,5

6%53

511

,28%

106,

8%0,

9450

110

,56%

17BH

S k

aufm

änni

sche

höh

ere

Sch

ulen

8,26

%45

29,

53%

115,

3%0,

8739

28,

26%

18BH

S h

öh. S

chul

en f.

wirt

scha

ftl.B

./BH

S s

ozia

lber

ufl.h

öh.S

ch.

5,04

%28

15,

92%

117,

5%0,

8523

95,

04%

19BH

S la

nd- u

nd fo

rstw

irtsc

haftl

iche

höh

ere

Sch

ulen

0,60

%94

1,98

%32

8,9%

0,30

290,

60%

20Ans

talte

n de

r Leh

rerb

ildun

g un

d Erz

iehe

rbild

ung

1,69

%97

2,04

%12

0,9%

0,83

801,

69%

Tota

l10

0,0%

4745

100,

0%47

4510

0,0%

Ant

eil r

ealis

iert

Gew

ichtu

ngG

ewic

htet

er A

ntei

lSTR

ATU

M

1. Marking in PISA 20001.1 Verkodungsrichtlinien (Marking Instructions)1.2 Recruitment und Training der Marker1.3 Organisation1.4 Multiple Marking

2. Data Entry2.1 Software2.2 Training des Data-Entry-Staffs2.3 Dateneingabe der verschiedenen Instrumente2.4 Organisation

3. Database Management3.1 Verwaltung von Daten in KeyQuest3.2 Data Cleaning3.3 Data Submission

MARKING, KODIERUNG UND

Claudia Reiter

In diesem Abschnitt werden Prozesse der Datenverarbeitung (Scoring von offenenAufgaben und Dateneingabe), des Datenmanagements sowie alle Vorgäng des FileCleanings bis zur Data Submission (Übersenden der Daten an das InternationaleZentrum) beschrieben.

DATENMANAGEMENT

VIIIVIIIVIIIVIIIVIIIVIIIVIIIVIIIVIIIVIII


Multiple Marking

Dateneingabe Reading Speed Tests

Elektronische Datenverarbeitung (PISA +)

Dateneingabe der intern. Instrumente

23 24 25 26 27 28 29 30 31 32

File Cleaning PISA+

Single Marking

File Cleaning intern. Instrumente

File Cleaning ISCO

File Cleaning RS

FERTIG

STELL

UN

G D

ER

RÜ

CKLA

UF K

ON

TR

OLL

E

DATA S

UBM

ISSIO

N

KW … Kalenderwoche RS … Reading Speed

Abbildung VIII.1: Überblick über das Data-Processing in PISA 2000

Der vorliegende Abschnitt beschreibt die Vorgänge der Datenverarbeitung von der Vor-kodierung offener Aufgaben über die Dateneingabe, das Datenmanagement und das FileCleaning bis zur Data Submission.

Das erste Kapitel dient der Dokumentation des Marking-Prozesses. Unter „Marking“wird im Rahmen der PISA-Studie der Vorgang verstanden, die Antworten der Schüler/innenauf offene Fragen in den Leistungstests in Bezug auf Richtigkeit und Vollständigkeit hin zubewerten. Dieser Prozess teilt sich in Single Marking, die Beurteilung der Antworten auf dieoffenen Fragen in den Leistungstests, und Multiple Marking, eine Art Qualitätskontrollebezüglich der Reliabilität der Bewertungen.

Im zweiten Kapitel wird der Dateneingabeprozess, das so genannte „Kodieren“ beschrieben.Dieser besteht aus der manuellen Kodierung der meisten internationalen Instrumente, derelektronischen Datenverarbeitung, die vor allem bei den nationalen SchülerfragebögenAnwendung gefunden hat, und der ISCO-Kodierung. Bei letzterer werden offene Fragen iminternationalen Schülerfragebogen zu Berufen der Eltern und eigenen beruflichen Plänenverkodet und in den Computer eingegeben.

Im letzten Kapitel dieses Abschnitts findet sich die Dokumentation des DatabaseManagements. Hier werden vor allem die File-Cleaning-Prozeduren im Detail beschrieben.Am Ende steht die Beschreibung der Übermittlung der Daten aus den internationalenInstrumenten(Data Submission) und die Darstellung eines weiteren Cleaning-Schritts aufinternationaler Ebene.

Einen zeitlichen Überblick über die in diesem Abschnitt beschriebenen Prozesse gibtAbbildung VIII.1. Betont werden muss, wie auch Abbildung VIII.1 zeigt, dass als Voraussetzungfür alle Datenverarbeitungsprozesse der Abschluss der Rücklaufkontrolle steht.

Abschnitt VIII: Marking, Kodierung und Datenmanagement 213

1. Marking in PISA 2000Das Marking, das Verkoden der Antworten auf die offenen Fragen in den PISA-Leistungstests,begann direkt nach dem Abschluss der Rücklaufkontrolle in der zweiten Juni-Woche, unddauerte inklusive der Qualitätssicherungsmaßnahmen bis etwa Mitte Juli.

Hierbei mussten Antworten auf offene Fragen in allen drei Domänen – Lese-Kompetenz,Mathematik-Kompetenz und Naturwissenschafts-Kompetenz – in Folge kurz Reading,Mathematik und Science genannt, nach standardisierten Marking Guides verkodet werden.Insgesamt handelte es sich um etwa 28 offene Fragen pro Booklet (eine Beschreibung derZusammensetzung der 9 Testheftformen findet sich in Kapitel 1 in Abschnitt IV), das ergibtim Haupttest etwa 13.250 Schülerantworten auf Fragen unterschiedlicher Komplexitätsgrade.Diese verteilen sich in unterschiedlichem Ausmaß auf die drei Test-Domänen: Reading als„Major Domain“ (Hauptdomäne) umfasste fast 10.000 Schülerantworten auf offene Fragen,in Mathematik und Science mussten jeweils ungefähr 1.600 Antworten verkodet werden.

Das vorliegende Kapitel umfasst die Beschreibung aller damit verbundenen Abläufefachlicher und organisatorischer Natur von der Erstellung der Marking Instructions überRecruitment und Training der Marker und den Marking Prozess selbst bis zum MultipleMarking, der Vierfach-Bewertung eines Subsamples der Booklets als Reliabilitätskontrolle.

1.1 Verkodungsrichtlinien (Marking Instructions)

1.1.1 Entwicklung, Übersetzung und Form der Marking Instructions

Jedem Item, auch denen, die keiner Vorkodierung in Form von Marking bedürfen, ist einAbschnitt zur Bewertung angefügt. An dieser Stelle werden bei offenen Aufgaben alle beieinem Item möglichen Codes beschrieben (im Haupttest gegliedert in „Full Credit“-, „NoCredit“-, und – wo vorhanden – „Partial Credit“-Antworten oder in Antworten, die ausreichendsind für den Erhalt der vollen Punkteanzahl, teilweise richtig oder nicht ausreichend für denErhalt von Punkten), die durch Antwortbeispiele ergänzt sind. Bei Multiple Choice Aufgabenwird die richtige Antwortalternative angeführt.

Weiters beinhalten die Marking Instructions in den Bereichen Reading und ScienceAngaben zur Absicht der Frage. In der Domäne Reading beziehen sich diese Erläuterungenauf Teilgebiete, die in den Frameworks beschrieben werden; in der Domäne Science sinddiese Informationen in Angaben zum Prozess, der zur Beantwortung der Frage benötigt wird,zum Thema und dem (Stoff-) Gebiet, aus dem die Frage stammt, gegliedert; in Mathematikgibt es keine näheren Erläuterungen. Diese Angaben dienen einerseits der näherenCharakterisierung der Aufgaben, indem sie zum Beispiel die Zuordnung jedes Items zu einemAbschnitt im entsprechenden Framework ermöglichen (durch die Angabe des Themas undStoffgebiets). Andererseits können sie auch bei der Vergabe von Codes beim Marking helfen,da die Beschreibungen der Codes unter der Berücksichtigung der Informationen bezüglichder Absicht einer Fragestellung klarer fassbar werden.

Die Gliederung der Informationen zur Bewertung von Items soll anhand des folgendenBeispiels klar werden. Abbildung VIII.2 zeigt ein Item bestehend aus Fragestellung und MarkingInstructions aus der Testdomäne Reading. Die Frage stammt aus der Feldtest-Unit „Bienen“.Der Aufgabenstellung geht im Original ein längerer Stimulustext voran, der in AbbildungIV.5 (vgl. Kapitel 1.1.4 in Abschnitt IV) wiedergegeben ist.


Die Abschnitte zur Bewertung und mit diesen die eigentlichen Marking Instructions wurdengemeinsam mit den Units (Stimulusmaterial und Aufgaben zu diesem) entwickelt, welche

Abbildung VIII.2: Beispiel für den Bewertungsabschnitt eines Items

Frage 5: BIENEN R999Q05 – 2 1 0 9

Was tut die Biene beim Bienentanz, um zu zeigen, wie weit die Nahrung vom Stockentfernt ist?

__________________________________________________________________

__________________________________________________________________

BIENEN BEWERTUNG 5

ABSICHT DER FRAGE: RI - Informationen heraussuchen: ExpliziteInformationen in einem Text finden.

Full credit

Code 2: Gibt an, dass die Information SOWOHL durch das Schwänzeln desHinterleibes ALS AUCH durch die zeitliche Dauer des Schwänzelnsangezeigt wird.• Wie lange die Biene ihren Hinterleib schwänzelt.

Partial credit

Code 1: Erwähnt nur das Schwänzeln des Hinterleibes. (Antwort darf teilweiseungenau sein.)• Sie schwänzelt ihren Hinterleib.• Sie zeigt, wie weit es ist, durch die Schnelligkeit, in der sie ihren Hinterleib schwänzelt.

No credit

Code 0: Irrelevante, ungenaue, unvollständige oder vage Antwort.• Wie schnell die Biene 8-förmig herumläuft.• Wie groß die 8 ist.• Wie die Biene sich bewegt.• Der Tanz.• Der Hinterleib.

Code 9: Missing


erst zur Begutachtung in den Itempool aufgenommen wurden, wenn sie alle Teile (Stimulus,Fragestellungen und Bewertungen) enthielten.

Ebenso wurde die Übersetzung und Anpassung der Abschnitte zur Bewertung jedes Items,parallel mit den entsprechenden Units durchgeführt. Dies bezieht sich sowohl auf die(zweistufige) Erstübersetzung und die kulturelle Anpassung beim Feldtest als auch auf dieÜbertragung der Änderungen zwischen Feld- und Haupttest. Daraus resultiert auch, dass dieBewertungsabschnitte der Items gemeinsam mit der Formulierung und Formatierung derFragestellungen verifiziert worden sind (zum genauen Ablauf dieser Prozeduren vgl. Kapitel 4in Abschnitt IV).

Die Marking Guides, die die Grundlage des Marking-Prozesses bilden, wurden nachAbschluss der Testübersetzungs-, Anpassungs- und Verifikationsschritte aus den Bewertungs-abschnitten der Items zusammengestellt. Im Speziellen wurden für jede Domäne die MarkingInstructions aller Items geordnet nach den Item-IDs in einem Band zusammengefasst unddurch eine für alle Domänen in den meisten Belangen vereinheitlichte Einleitung ergänzt.Die Inhalte dieser Einleitung werden im Folgenden beschrieben und erläutert.

1.1.2 Allgemeine Prinzipien und Regeln

Die hierarchische Gliederung der Codes im Haupttest in „Full Credit“-, „Partial Credit“-und „No Credit“-Abschnitte hat auch Implikationen für die Vergabe von Codes beim Marking.Mit dieser Einteilung wird den Marking Instructions ein ganz bestimmtes Modell der Beur-teilung von Antworten zu Grunde gelegt. Es wird angenommen, dass sich bei einem Itemjede Antwort auf einem Kontinuum zwischen „high ability“ und „low ability“ auftragen lässt(vgl. Abbildung VIII.3a). Die senkrechten Markierungen repräsentieren hierbei Antwortenvon verschiedenen Schüler/innen, die in unterschiedlichem Ausmaß dem Anspruch der Fra-gestellung gerecht werden und so verschiedene Positionen zwischen „high“ und „low ability“einnehmen. Die Grundlage der Einteilung der Codes bildet nun die Idee, dass irgendwo (aneinem inhaltlich sinnvollen Punkt) eine Grenze zwischen „Full Credit“ und „No Credit“gezogen wird (vgl. Abbildung VIII.3b). Bei komplexeren Items werden mehrmals solche Gren-zen gezogen, die das Spektrum der „Full Credit“-Antworten von den „Partial Credit“-Ant-worten trennen und diese wiederum von den „No Credit“-Antworten abgrenzen (vgl. Abbil-dung VIII.3c).

Dieses Konzept führt dazu, dass Antworten verschiedener Richtigkeitsgrade einer Kate-gorie (z.B. „Full Credit“) zugeordnet werden. Allerdings ist jede Antwort in „Full Credit“besser als jede Antwort, die nur „Partial Credit“ oder „No Credit“ erhält. Dieser Zusammen-hang ist aus Abbildung VIII.3b ersichtlich: Die Antworten der Schüler 2 und 4 liegen relativweit voneinander entfernt, erhalten aber beide „Full Credit“; beide erfüllen die Bedingung,oberhalb der Grenzlinie zwischen „Full“ und „No Credit“ zu liegen, und sind besser als alleAntworten im „No Credit“-Bereich unterhalb dieser Grenze (in der Abbildung die Antwor-ten der Schüler 1 und 3). Analog kann Abbildung VIII.3c für ein Item mit einer Gliederungder Codes in drei hierarchisch angeordnete Bereiche interpretiert werden.

Ein weiteres Prinzip der Bewertung der Schülerantworten ist, dass Rechtschreib- undGrammatik-Fehler ignoriert werden, außer sie beeinträchtigen die Bedeutung der Antwortwesentlich.

Obwohl die Verkodungs-Beschreibungen und Beispiele dazu bestimmt sind, Subjektivitätzu minimieren, kommen Marker nicht umhin, zu entscheiden, wo die (oben angesproche-nen) Grenzen zwischen den Codes liegen und welche die Einschränkungen sind, die einen


Abbildung VIII.3b: Abgrenzung von Antworten, die als ausreichend („Full Credit“) bzw. nichtausreichend („No Credit“) beurteilt werden

bestimmten Code ausmachen. Als allgemeine Regel wurde festgelegt, dass ein Marker nachbestem Wissen beurteilen soll, ob eine Schülerin bzw. ein Schüler eine Frage beantwortenkonnte. Demgemäß sollten die Codes vergeben werden. Marker sollen vermeiden, ein Defi-zit-Modell anzuwenden, in dem bei jeder Abweichung von einer perfekten Antwort Punkteabgezogen werden.

Low ability High abilitySchüler 2Schüler 1 Schüler 3

Full CreditNo Credit



Full CreditNo Credit Partial Credit

Abbildung VIII.3a: Anordnung von Antworten auf einem Kontinuumzwischen „low“ und „high ability“

Abbildung VIII.3c: Gliederung der Antworten in mehrere Gruppen verschiedenerFähigkeitsgrade


Eine weitere wichtige Regel zur Bewertung von Antworten ist, dass das Format der Antwortnicht ausschlaggebend für die Beurteilung ist. Wenn ein/e Schüler/in zeigt, dass er/sie dieQuintessenz der Frage verstanden hat, wird der entsprechende Code vergeben. Wenn zumBeispiel das Item von den Schüler/innen verlangt “ja oder nein einzukreisen”, ist es akzepta-bel, wenn eine Schülerin oder ein Schüler das Wort “ja” oder “nein” hinschreibt.

1.1.3 Codes und Scores

Das Prinzip der Codes, das für die Bewertung von Schülerantworten bei PISA zum Tragenkommt, entspricht nicht dem von Scores, das dem bei Schularbeiten üblichen Punktesystemähnelt. In der Folge soll auf diesen Unterschied sowie auf mögliche Verbindungen zwischendiesen beiden Ansätzen näher eingegangen werden.

In den Bewertungsabschnitten der Items bzw. den Marking Guides werden Codesbeschrieben. Beim Marking wird jedem Antworttyp ein spezieller Code zugeordnet, der nurbedingt Auskunft über die Richtigkeit der Antwort gibt. Im Feldtest waren die Codes nurteilweise hierarchisch geordnet, wodurch für die Marker manchmal schwer ersichtlich war,welchen „Wert“ ein bestimmter Code hat. Im Haupttest hingegen waren sie durch dieerwähnten Unterteilungen in „Full Credit“ bis „No Credit“ hierarchisch geordnet. Die MarkingGuides der Haupttestinstrumente lassen deshalb durchaus zu, vom Code auf den Score zuschließen, auch wenn diese nicht unbedingt identisch sind. Die Codes müssen in jedem Fallin einem späteren Schritt (elektronisch) in Scores umgewandelt werden.

In Reading entsprechen die Codes meist auch den Scores (Code 0 entspricht zum BeispielScore 0, Code 1 dem Score 1, etc.) und nur manche speziellen Codes (zum Beispiel der Codefür Missing) müssen in Scores verwandelt werden. In Mathematik und Science wurde dasKodierungsschema nach dem Feldtest durch ein zweistelliges Codesystem, so genanntes„Double-Digit Coding“, ersetzt. Hierbei enthält die erste Stelle des Codes die Informationüber den Score, die zweite Stelle gliedert gleichwertige Antworten nach Lösungswegen bzw.Antworttypen. Folgende Übersicht soll dies verdeutlichen (vgl. Abbildung VIII.4). Dasermöglicht, den Score sofort aus dem Code ablesen zu können, aber dennoch weitereUnterteilungen bei den Antworten eines Scores zu haben.

Die Verwendung von Double-Digit Codes ermöglicht eine klarere Gliederung derCodebeschreibungen im Marking Guide und ermöglicht neben der Dokumentation derRichtigkeit von Antworten auch eine Analyse von häufig vorkommenden Lösungswegen oderFehlertypen. Diese Vorteile des Double-Digit Codings werden jedoch mit einer stark erhöhtenAnzahl an Codes und Codebeschreibungen erkauft.

Für einige spezielle Fälle werden eigene Codes verwendet, die unabhängig von Domäne oderItem auf bestimmte Umstände hinweisen:• Code 9 (oder 99 für Double-Digit Codes): Dieser Code wird im Marking Guide mit

“Missing” bezeichnet. Er ist für solche Fälle reserviert, in denen eine Schülerin oder einSchüler offensichtlich die Beantwortung der Frage nicht versucht hat.

• Code 0 (oder 0x bei Double-Digit Codes): Dieser Code wird für Antworten verwendet,bei denen ein Nachweis vorhanden ist, dass die Schülerin oder der Schüler einen erfolglosenVersuch zur Beantwortung der Frage unternommen hat. Die Beschreibungen zum Code0 oder den mit 0 beginnenden Double-Digit Codes finden sich bei jedem Item imAbschnitt „No Credit“.


Code Score Interpretation

21 Richtige Antwort mit Score 2: Lösungsweg 1

22 Richtige Antwort mit Score 2: Lösungsweg 2

23 Richtige Antwort mit Score 2: andere richtige Lösungswege

11Teilweise richtige Antwort mit Score 1: Lösungsweg 1, aber

Fehler xy

12Teilweise richtige Antwort mit Score 1: Lösungsweg 2, aber

Fehler yz

01 Falsche oder unvollständige Antwort mit Score 0, Fehlertyp 1

02 Falsche oder unvollständige Antwort mit Score 0, Fehlertyp 2

03 Andere falsche Antworten (Score 0)

99 0Missing: Beantwortung der Frage wurde nicht versucht

(Score 0)

Full Credit

Partial Credit

No Credit

2

1

0

Abbildung VIII.4: Interpretation von Double-Digit Codes

• Code 8: Im Feldtest war Code 8 für „aufgabenirrelevante Kommentare“ reserviert. Dieserwar für Reading und Science allgemein so definiert. In Mathematik gab es bei jedem Itemeine eigene Codebeschreibung für Code 8; diese war teilweise der Verwendung von Code8 in Reading und Science sehr ähnlich, teilweise wurde er für bestimmte Lösungswegeverwendet. Im Haupttest wurde Code 8 nur bei Multiple Choice Items verwendet,und zwar als Code für „Multiple Response“, wenn also mehr als eine Antwortalternativemarkiert worden war.

• Not Applicable Code (Nicht zutreffend): Dieser Code wird verwendet, wenn eine Frageschlecht gedruckt wurde (Druck- oder Satzfehler, fehlende Seiten, etc.) und es deshalb fürdie Schülerin oder den Schüler nicht möglich war, sie zu beantworten. Wenn das Itemeinstellige Codes hat, ist der Not Applicable Code „n”, bei zweistellig verkodeten Items istdieser „97”.

1.2 Recruitment und Training der MarkerWie bereits beschrieben, musste in PISA ein beträchtlicher Teil der Items vor der Dateneingabedurch einen Marking-Prozess gehen. Abgesehen von standardisierten Marking Guides, diedie Grundlage für das Marking in allen Teilnehmerstaaten bildeten, musste auch dieHandhabung dieser Verkodungs-Richtlinien, das Training der Marker und die Durchführungdes Markings in den Ländern vereinheitlicht werden. Damit sollte die Reliabilität der Datenauch über die Grenzen der Teilnehmerstaaten hinweg und so die Vergleichbarkeit der Ergebnissesichergestellt werden. Einen wichtigen Beitrag dazu leisteten die Training-Sessions auf


verschiedenen Ebenen, die in den folgenden Abschnitten beschrieben werden. ZentralesElement war hierbei ein internationales Training jeweils vor dem Feld- und dem Haupttestfür diejenigen Personen, die für das Training der Marker und die Organisation und Supervisiondes Markings in den Teilnehmerstaaten verantwortlich sind.

1.2.1 Internationale Marker-Training-Workshops

Marker-Training-Workshops für alle Domänen wurden im Rahmen des Workshops zu Markingund Field-Operations in Brüssel vom 22. bis 26. Februar 1999 für den Feldtest und vom 21.bis 25. Februar 2000 für den Haupttest durchgeführt. Der Reading Workshop dauerte dreiTage, da in der „Major Domain“ die größte Menge an Testmaterial zu bewältigen ist. Paralleldazu wurden die Workshops für die „Minor Domains“ abgehalten: Der Mathematik-Marker-Workshop und das Science-Marker-Training nahmen jeweils einen Tag in Anspruch.

Durchgeführt wurden die Workshops von Mitgliedern der Item-Development-Group vonA.C.E.R. und Partnerorganisationen. Teilnehmer waren Vertreter der Organisationen, die diePISA-Studie in den einzelnen Ländern durchführen, sinnvollerweise diejenigen Personen, diebeim nationalen Marking-Prozess die Funktion des Supervisors übernehmen würden.

Für das österreichische PISA Projektzentrum haben an den Workshops jeweils 2 Personenteilgenommen: eine Person besuchte jeweils das Reading-Marker-Training, die andere dieWorkshops für Mathematik und Science. Alle übernahmen in der Folge die Funktion desSupervisors für die entsprechenden Domänen.

Die beim internationalen Marker-Workshop verwendeten Materialien wurden im Haupttest(in übersetzter Form) für die nationalen Marker-Trainings verwendet. Im Feldtest bezog sichdas nur auf die Marking Guides. Die Materialien umfassten für jede Test-Domäne den MarkingGuide, ein Marker-Workshop-Materialpaket und im Haupttest zusätzlich ein Marker-Recruitment-Kit.

Das Workshop-Material besteht aus Antwortbeispielen zu allen Items, vorgegebenen„Muster-Codes“ und teilweise auch aus Begründungen bzw. Anmerkungen zu diesen Codes.Im Feldtest wurde das Material nur für das Training der Supervisoren auf internationalerEbene verwendet. Im Haupttest bildete es auch die Grundlage für die nationalenTraining-Workshops. Hierbei waren die Codes in allen Domänen in der elektronischen Versionals „verborgener Text“ formatiert und konnten so wahlweise mit ausgedruckt werden odernicht (was die Verwendung des Materials sowohl als Trainingsunterlage als auch alsReferenzmaterial für das Marking als Ergänzung zum Marking Guide möglich machte). DieKommentare waren in Reading ebenfalls als „verborgener Text“ formatiert, in Mathematikund Science waren sie in einer eigenen Liste dem Workshop-Material am Ende angefügt.

Das Marker-Recruitment-Kit soll als Grundlage für die Anstellung von Personen als Markerdienen. Dieses besteht aus einer Sammlung von PISA-Items mit zugehörigen MarkingInstructions und Antwortbeispielen, die zu bewerten sind. Es kann den Bewerbern vorgelegtwerden, um die Ergebnisse sowohl in Bezug auf die Korrektheit der Bewertung als auchhinsichtlich der dazu benötigten Zeit als Entscheidungshilfe bei der Auswahl der Markerheranziehen zu können. Während die Verwendung des Marker-Recruitment-Kits optionalist, bildet das Workshop-Material die obligatorische Grundlage des Trainings der Marker aufnationaler Ebene.

Die Übersetzung des Workshop-Materials und des Marker-Recruitment-Kits erfolgte fürdie Domänen Mathematik und Science im österreichischen PISA Zentrum; die Übersetzung


der Reading-Materialien wurde vom deutschen Projektzentrum übernommen und in Öster-reich nur den nationalen Gegebenheiten sprachlich angepasst.

Der internationale Workshop enthielt sowohl die Verdeutlichung der Richtlinien für die Ab-haltung der nationalen Marker-Trainings, der Organisation des Marking-Prozesses und In-formationen zur Rolle der Supervisoren sowie im Speziellen die Diskussion der MarkingInstructions zu den einzelnen Items und ihre Interpretation und Anwendung. Es wurden inallen Domänen sämtliche Items behandelt, die durch den Marking-Prozess gehen mussten.Im Bereich Reading wurde von den Teilnehmern erwartet, dass sie sich jeweils am Abend vorden Training-Sessions auf die entsprechenden Units vorbereiteten. Die in diesem Sinne not-wendige Vorarbeit war vor dem Meeting nicht möglich, da das Workshop-Material nicht frühgenug zur Verfügung stand.

In allen Domänen wurde die Bewertung der Antwortbeispiele im Workshop-Materialteilweise heftig diskutiert. Die Diskussionen führten dazu, dass im Anschluss an das Marker-Training in Brüssel im Bereich Reading nur mehr Änderungen im Workshop-Materialvorgenommen wurden, die teilweise auch Anmerkungen für die spezielle Handhabung vonCodes enthielten. In Mathematik und Science führten die Ergebnisse dieser Diskussionenauch zu Änderungen in den Marking Guides selbst.

1.2.2 Marker Recruitment

Als Marker wurden externe Personen durch Aushänge an den Instituten für Erziehungs-wissenschaft und Lehrer/innen-Bildung, sowie an der Naturwissenschaftlichen Fakultät derUniversität Salzburg und durch persönliche Anfragen bei Personen, die in früheren Phasender Studie schon an PISA mitgearbeitet hatten, angeworben. Für den Haupttest wurde diesmit Hilfe von sehr großzügiger Unterstützung des Instituts für Lehrerbildung durch eineelektronische Aussendung an alle Lehramtsstudent/innen des Fachs Mathematik ergänzt.

Angesprochen waren Personen mit Erfahrung und Verständnis für Schülerantworten deruntersuchten Altersgruppe. Für Mathematik und Science war zusätzlich eine adäquate Grund-bildung im Testgebiet Voraussetzung. Bevorzugt wurden Lehramtskandidat/innen, Unterrichts-praktikant/innen und Lehrer/innen der naturwissenschaftlichen Fächer und Mathematik.

Mit der Suche nach geeigneten Interessenten wurde im Feldtest Ende April, im Haupttestzwei Wochen früher begonnen. Sowohl im Feld- als auch im Haupttest war es schwer, genügendgeeignete Personen zu finden. Im Feldtest gab es sieben Reading Marker und vier kombinierteMathematik- und Science Marker. Für den Haupttest wurden jeweils vier Personen fürMathematik und Science, sowie 16 Marker für Reading benötigt.

Die Knappheit an geeigneten Interessenten führte im Feldtest dazu, dass Teile des Markingsvon Angestellten des PISA Zentrums übernommen wurden. Im Haupttest konnte das in denDomänen Mathematik und Science vermieden werden. In Reading mussten allerdings zweiPISA-Mitarbeiterinnen kurzfristig einspringen, nachdem zwei Marker zum letztmöglichenTrainings-Termin nicht erschienen.

Wegen der Schwierigkeiten im Haupttest, 16 Reading Marker zu finden und terminlichzu koordinieren, mussten zwei Trainings-Termine angeboten werden (vgl. das folgende Kapitel).

1.2.3 Nationale Marker-Training-Workshops

Die Training-Workshops waren im Feld- und im Haupttest für alle Marker aller Domänenverpflichtend. Unabhängig von Vorbildung oder Erfahrung musste das vollständige Programmabsolviert werden.


Im Feldtest gab es zwei verschiedene Workshops, einen für die Reading Marker und einen fürdie Mathematik/Science Marker. Beide fanden parallel an einem Wochenende statt. Im Rah-men dieses Workshops wurden nicht nur die PISA-Studie im Überblick, allgemeine Richtli-nien des Markens und die Marking Instructions der einzelnen Items behandelt, sondern auchein Teil der Booklets gemarkt (vgl. auch Kapitel 1.3.1 in diesem Abschnitt). Die Workshopsfanden am 29. und 30. Mai 1999, jeweils etwa von 9:00 bis 18:00 Uhr statt.

Die Durchführung der Marker-Training-Workshops im Haupttest fand getrennt für diedrei Domänen statt. In diesem Kapitel werden zuerst einige allgemeine Bedingungen undInhalte der Marker-Workshops beschrieben, die für alle drei Training-Sessions zutreffen. ImAnschluss werden die genauen Umstände, Termine, Umfang und Ablauf des Trainings für dieReading Marker dargestellt, danach die Training-Workshops für die Mathematik und dieScience Marker.

Durchführende der drei Training-Workshops waren jeweils die Supervisoren der ent-sprechenden Domäne, also die Personen, die die internationalen Marker-Trainings in Brüsselbesucht hatten. Diese wurden jeweils von einem weiteren Mitglied des PISA-Teams unterstützt,um die fristgerechte Abwicklung des Marking-Prozesses auch im Fall des Ausfalls einesSupervisors sicherzustellen.

Die Termine für die Marker-Workshops wurden so gewählt, dass alle Einschulungenmöglichst knapp vor Beginn des Markings stattfanden, um die erworbenen Kenntnisse, Fähig-und Fertigkeiten so schnell als möglich in die Praxis umsetzen zu können. Die Workshopswurden so gestaffelt, dass die Mathematik und Science Marker schon die ersten Bookletsbewertet hatten, als die Reading Marker ihre Arbeit begannen, um Engpässe beim Testmaterialzu vermeiden.

Folgende Inhalte bildeten den Kern jedes Marker-Workshops:• eine kurze Einleitung zur PISA-Studie, um einen Einblick in den Hintergrund der

Testungen zu ermöglichen;• die Erläuterung und Diskussion der allgemeinen Richtlinien beim Marken, die unter anderem

die Erklärung von speziellen Codes und die Anwendung des Prinzips der hierarchischenGliederung der Codes umfassen (vgl. Kapitel 1.1.2 und 1.1.3 in diesem Abschnitt);

• das Durcharbeiten aller Items, die durch den Marking-Prozess gehen müssen; hierbeiwurden jeweils die Fragestellung, die Marking Instructions und die Verkodung derBeispielantworten behandelt;

• organisatorische Belange wie Bezahlung, Ablauf, zeitlicher Rahmen und Arbeitsplätze.

Der Reading-Marker-Workshop wurde wegen der in Kapitel 1.2.2 beschriebenen Problemebeim Finden geeigneter Personen für das Reading Marking zweimal abgehalten. Ein Durchgangdauerte zwei Tage. Die Termine waren der 9. und 10. Juni 2000 für den ersten Workshop undder 17. und 18. Juni für den zweiten. Die meisten Marker besuchten entweder den einen oderden anderen Workshop vollständig; einige wenige waren jeweils nur bei Teilen anwesend,absolvierten aber insgesamt auch das ganze Programm, indem die beim ersten Trainingsterminversäumten Teile beim zweiten Training nachgeholt wurden.

Im Folgenden wird der Ablauf eines Trainings beschrieben. Die Tagesordnungspunktewerden in derselben Reihenfolge wie in den Trainings abgehalten, angeführt und erläutert.Die beiden Workshoptermine wurden hinsichtlich des Ablaufs als auch der Aufteilung derInhalte auf die 2 Trainingstage einheitlich gestaltet. Pausen wurden je nach Bedarf eingeschoben.


(1) Begrüßungs- und Vorstellrunde, Beschreibung des Ablaufs des Trainings;(2) Kurze Einführung in die PISA-Studie und Ausgabe von PISA-Informations-Foldern an

„PISA-Neulinge“;(3) Materialien-Ausgabe: jeder Marker erhielt ein Exemplar des Marking Guides, des Work-

shop-Materials und eine Sammlung an PISA-Testheften, die alle Reading Cluster umfasst.(4) Erklärung des Materials und des Aufbaus und der Organisation der Booklets;(5) Erläuterung und Diskussion der allgemeinen Richtlinien für das Marking;(6) Behandlung aller Items:

Es wurden alle Items der Domäne, die einer Bewertung durch einen Marker bedür-fen, besprochen.

Am ersten Trainingstag wurden fünf Cluster diskutiert, womit für den zweiten Tagvier Cluster offenblieben. Die generelle Vorgangsweise war wie beim Marking-ProzessCluster für Cluster. Hierbei wurde mit einem „leichten“ Cluster, also einem Clustermit Items mit weniger komplexen Verkodungsrichtlinien, begonnen; im Speziellenwar das der Reading Cluster 2. Danach wurden alle anderen Cluster, beginnend mitdem ersten, behandelt.

Am ersten Trainingstag wurde bei jedem Item damit begonnen, Stimulustext undFragestellung im Booklet durchzulesen; dann wurden die Fragestellung und die zuge-hörigen Marking Instructions erklärt. Jeder Marker versuchte daraufhin, die Beispiel-antworten im Workshop-Material selbstständig zu beurteilen. Zum Abschluss wur-den die vergebenen Codes verglichen und kommentiert bzw. begründet.

Am 2. Tag des Reading-Marker-Workshops entfiel der erste Schritt, da die Trainings-teilnehmer gebeten worden waren, die Items in den verbliebenen vier Clustern amVorabend eigenständig durchzugehen.

(7) Organisatorisches: zum Abschluss wurde erklärt, wie das Material geordnet und beschriftetist, und wie Arbeitseinteilung und Registrierung der Arbeitszeit funktionieren würden.

Die Reading Marker des ersten Trainingsdurchgangs konnten das Marking am Dienstag nachdem Training (13. Juni 2000) beginnen. Die Marker, die am zweiten Workshop teilnahmen,konnten ihre Arbeit sofort anschließend aufnehmen.

Der Mathematik-Marker-Workshop fand am 3. Juni 2000 statt und dauerte ungefährvon 9:00 bis 14:00 Uhr. Das Training für die Science Marker wurde am 7. Juni von 14:00 bisca. 18:00 Uhr abgehalten. Beide Training-Sessions fanden in Räumlichkeiten des PISA Zen-trums statt. Der Ablauf dieser beiden Workshops war sehr ähnlich, weshalb deren Beschrei-bung zusammengefasst wird; wo keine Abweichungen erwähnt werden, war die Strukturie-rung identisch.

Folgende Tagesordnungspunkte wurden in der vorliegenden Reihenfolge behandelt:(1) Alle Teilnehmer/innen arbeiteten vor Beginn der gemeinsamen Aktivitäten die Items ihrer

Domäne selbstständig durch. Hierzu erhielten sie nur die Fragestellungen, so wie sie denSchüler/innen vorgelegt werden und wurden aufgefordert, die Items selbst zu beantworten.Dieser Schritt diente dem Erlangen von Vertrautheit mit dem Testmaterial. Die MathematikMarker bekamen am Anfang des Marker-Workshops Zeit zur Erledigung dieser Aufgabe;die Science Marker waren aufgefordert, an den Tagen vor dem Training dafür kurz imPISA Zentrum vorbeizuschauen.


(2) Die Workshops begannen mit einer kurzen offiziellen Begrüßung, der Ablauf des Trainingswurde vorgestellt und die Teilnehmer/innen bekamen die Gelegenheit, sich gegenseitigetwas kennen zu lernen.

(3) Die PISA-Studie wurde für die Marker, die in keine der vorangegangenen Phasen derStudie involviert waren, vorgestellt.

(4) Materialien-Ausgabe: jeder Marker erhielt ein Exemplar des Marking Guides, das Marker-Workshop-Materialpaket und einen PISA-Folder.

(5) Erläuterung und Diskussion der allgemeinen Prinzipien und Richtlinien beim Markingin PISA.

(6) Behandlung der einzelnen Items, hierbei jeweils: Erklären der Fragestellung und der zugehörigen Marking Instructions; selbstständiger Versuch der Vergabe von Codes für die Beispielantworten im Workshop-

Material; Diskussion der Codes bis zur Einigung über den zutreffenden Code für jede Beispiel-

antwort und die Begründung bzw. Argumentation, die zur Vergabe dieses Codes führt; laufend Klären von Fragen und Unklarheiten.Ziel dieses Schritts war, dass am Ende zwischen allen Markern Konsens über Anwendungund Auslegung der Marking Instructions bei allen Items herrschte.

(7) Organisatorisches inklusive der gemeinsamen Besichtigung des Materialraums und derErklärung der Anordnung der Booklets.

(8) Als Abschluss wurde das Marker-Recruitment-Kit als Übungsmaterial herangezogen undalle Teilnehmer/innen bearbeiteten die darin enthaltenen Antwortbeispiele.

Die Science Marker konnten gleich im Anschluss an den Workshop mit dem Markingbeginnen. Die Mathematik Marker mussten wegen des frühen Trainings-Termins eine halbeWoche auf die Fertigstellung der Rücklaufkontrolle warten.

1.3 OrganisationDie Organisation des Markings wird in den folgenden Kapiteln beschrieben. In 1.3.1 wirddas Marking der Feldtest-Booklets erläutert, die Kapitel 1.3.2 bis 1.3.5 beziehen sich aufAbläufe im PISA-Haupttest.

1.3.1 Marking im Feldtest

Das Marking im Feldtest diente nicht nur der Bewertung der offenen Aufgaben als solcher,sondern auch der Erprobung der Marking Guides. Zu diesem Zweck wurden beim PISA-Feldtest etwa die Hälfte der Booklets von vier verschiedenen Markern unabhängig voneinanderbeurteilt. Dieser Prozess wird bei PISA mit „Multiple Marking“ bezeichnet. Die verbleibendenBooklets wurden nur von einem Marker bewertet; zur Unterscheidung vom Multiple Markingwird in diesem Fall von „Single Marking“ gesprochen.

Um den internationalen Richtlinien für den Feldtest – vor allem für das Multiple Marking– entsprechen zu können, benötigte man sieben Reading Marker und vier Marker, dieAntworten auf Mathematik und Science Items beurteilen können.

Für das Multiple Marking wurden im Feldtest in Österreich 48 Booklets je Testheftformzufällig ausgewählt. Die für das Multiple Marking vorgesehenen Booklets wurden je Form (1-9) halbiert und als Stöße von je 24 Booklets rotiert. Die Booklets 1 und 2 des Feldtestmaterialsmussten auch zwischen den Markergruppen geteilt werden, da sie Reading und Mathematik/


Science Items enthalten, Booklets 3 bis 6 und 9 waren nur für die Reading Marker relevant,die Booklets 7 und 8 bestanden ausnahmslos aus Mathematik und Science Items, waren alsonur für die zweite Markergruppe von Bedeutung.

Das Single Marking wurde im Feldtest im Rahmen des nationalen Marker-Training-Workshops durchgeführt. Für das Multiple Marking gab es ein – oben schon erwähntes –Rotationsschema, das in Kapitel 1.4 näher beschrieben wird.

1.3.2 Organisationsstrukturen im Haupttest

Beim Marking lassen die internationalen Richtlinien den nationalen Zentren wenig Spielraumund die Erfüllung dieser Regeln erfordert einen relativ großen nationalen Aufwand. Der genaueAblauf beim PISA-Haupttest wird im vorliegenden Kapitel dokumentiert.

Zur Erfüllung der internationalen Richtlinien waren 16 Marker für den Bereich Readingerforderlich. In den Minor Domains gab es die Möglichkeit, mit acht Markern, die jeweils fürMathematik und für Science zuständig sind, zu arbeiten, oder je Domäne vier Personenanzustellen. In Österreich wurde die zweite Alternative gewählt, da es leichter ist, Personen zufinden, die in einem der Bereiche kompetent sind, als solche mit Spezialisierungen inMathematik und Naturwissenschaften. Ein weiterer Vorteil ist, dass sich so die Marker auchbesser in ihr Gebiet einarbeiten können, weil nur die halbe Menge an Items zu bewältigen ist,dafür aber jeweils doppelt so viele Booklets je Item.

Für die nationale Organisation war ein Supervisor je Domäne zu bestellen. Diese Funktionhaben, wie erwähnt, die beiden Teilnehmerinnen des internationalen Marker-Trainingsübernommen. Hierbei ist die Funktion des Supervisors für Mathematik und für Science in einerPerson vereint. Die Supervisoren waren für die Abhaltung der Training-Workshops verantwortlich.Sie organisierten den gesamten Marking-Prozess, kontrollierten laufend die Qualität des Markingsund betreuten die Marker ihrer Domäne(n) in fachlichen und organisatorischen Belangen.Wenn Unklarheiten beim Marking einer Antwort auftauchten, war zuerst der zuständigeSupervisor zu Rate zu ziehen. Konnte dieser die Entscheidung, welcher Code zu vergeben ist,nicht treffen, hatte er die Möglichkeit, Kontakt mit dem internationalen Projektzentrumaufzunehmen. Hierfür wurde für jede Domäne ein „e-mail marker query service“ eingerich-tet, bei dem Mitglieder der Item-Development-Group jeder Domäne Auskunft über die Aus-legung des Marking Guides in speziellen Fällen gaben.

Der Marking-Prozess gliederte sich in zwei Bereiche: Ähnlich wie im Feldtest wurde auchim Haupttest ein Subsample an Booklets (7 mal 48 und 2 mal 72 Testhefte) gezogen, dasnach Beendigung des Single Markings durch einen Multiple-Marking-Prozess gehen musste.Hierbei wurden alle Booklets von vier Markern unabhängig voneinander bewertet. Dies dienteauch im Haupttest der Qualitätskontrolle. Beim anderen Teil der Booklets wurde jede Antwortentsprechend vorgegebener Schemata jeweils nur von einem Marker beurteilt.

1.3.3 Sortieren und Auswahl der Booklets für das Multiple Marking

Laut der internationalen Vorgaben mussten zumindest 50% der Booklets im nationalenZentrum sein, bevor mit dem Ziehen der Booklets für das Multiple Marking begonnen werdendurfte. In Österreich befand sich zum Zeitpunkt der Auswahl bereits das gesamte Testmaterialim Haus.

Aus dem Haupttestmaterial mussten jeweils 48 Booklets der Formen 1 bis 7 und 72Booklets der Formen 8 und 9 für das Multiple Marking beiseite gelegt werden. Booklet 60(Sonderschulheft) war beim Multiple Marking nicht zu berücksichtigen. Dazu war es not-


Abbildung VIII.5: Beispiel für einen Batch-Header

wendig, alle Testhefte nach der Rücklaufkontrolle nach Formen (1 bis 9 und 60) zu sortieren.Innerhalb jeder Testheftform mussten die Hefte nach Schul- und Schüler-IDs geordnet wer-den.

Folgende Vorgehensweise führte zu der erwünschten Stichprobe an Testheften: Zuerstmusste die Gesamtanzahl der Hefte jeder Form ermittelt werden; dann wurde bestimmt,welche Booklets jeder Form zu ziehen waren. Dazu musste errechnet werden, das wievielteBooklet jeweils gezogen werden musste, um insgesamt 48 bzw. 72 zu erhalten. Für jede Formwurde nun eine Zufallszahl bestimmt, die zwischen 0 und dem ermittelten Faktor lag, umden Startpunkt festzulegen. Ein Beispiel: Angenommen, von Form 5 sind 512 bearbeiteteBooklets vorhanden. Um 48 Booklets zu erhalten, muss jeweils einmal jedes 10. und zweimaljedes 11. Booklet herausgezogen werden. Als Startpunkt dient eine (natürlich auf ganze Zahlengerundete) Zufallszahl zwischen 0 und 10. Wird zum Beispiel 5 als Zufallszahl ermittelt,muss als erstes Heft für das Multiple Marking das 5. Booklet gezogen werden, danach das 15.(5+10), das 26. (15+11), das 37. (26+11), das 47. (37+10), usf. Das ergab 48 Testhefte, dieüber alle Strata und verschiedene Schulen streuten und zufällig ausgewählt waren.

Die so ermittelten Booklets wurden nach Formen sortiert für das Multiple Marking beiseitegelegt. Die verbleibenden Booklets, ungefähr zwischen 450 und 500 je Form, wurden für dasSingle Marking in jeweils 16 etwa gleich große „Batches“ (Stöße) geteilt. Die Batches wurdenauf Tischen organisiert und beschriftet. Die Beschriftung setzte sich aus der Testheftform undeinem Kennbuchstaben für den Stoß zusammen. So erhielt man 16 Stöße mal 9 Testheftformen(= 144), die von 1A (erster Stoß der Testheftform 1) bis 9P (letzter = 16. Stoß der Testheftform9) gingen. Auf jedem „Batch-Header“ (vgl. Abbildung VIII.5) wurde zu diesem Zeitpunkt dieAnzahl der Booklets im Stoß und die Schüler-ID des ersten und letzten Testhefts im Stoßregistriert. Die Batch-Headers enthielten außerdem Informationen über Marker-IDs undFortschritt des Marking-Prozesses (vgl. Kapitel 1.3.5 in diesem Abschnitt). Sie wurden auf denTischen jeweils am Platz jedes Stoßes befestigt und laufend durch aktuelle Informationen ergänzt.

Eine übersichtliche Anordnung und Beschriftung der Booklet-Stöße war für den reibungslosenAblauf des Markings essentiell, erforderte aber viel Platz und einen sehr großen zeitlichenAufwand.

3AMarker ID Name Beginn (Datum, Zeit) Ende (Datum, Zeit)

102 02 001 06203 -204 03 006 06206

Single Marking Booklet


1.3.4 Marker IDs und die Zuordnung von Booklets zu Markern

Jedem Marker wurde eine ID zugeteilt, die ihn eindeutig identifizierte. Marker-IDs waren 3-stellige Zahlen, wobei die erste Stelle jeweils Auskunft über die Testdomäne gab. So erhieltendie Reading Marker die IDs 201 bis 216, die Science Marker die IDs 301 bis 304 und dieMathematik Marker die IDs 101 bis 104. Diese Kennzahlen wurden bei der Dateneingabeder Booklets aus dem Single Marking nicht elektronisch erfasst, können aber bei Bedarf aufGrund der in der Folge beschriebenen Rotationsschemata über die Schüler-ID ermittelt werden.Beim Multiple Marking wurden die Marker IDs als eigene Variable gespeichert.

Die meisten Booklets mussten von Markern verschiedener Domänen bearbeitet werden.Nur die Testheftform 7 enthielt ausschließlich Reading-Material. Die Formen 1, 3 und 5bestanden jeweils aus drei Reading Clustern und einem 30-Minuten-Block Mathematik, dieFormen 2, 4 und 6 beinhalteten jeweils drei Reading Cluster und 30 Minuten Testmaterialaus Science. Die Formen 8 und 9 bestanden aus jeweils zwei Reading Clustern und je 30Minuten Testmaterial aus Science und Mathematik (vgl. Kapitel 1 in Abschnitt IV).

Beim Single Marking in Reading wurde Item für Item innerhalb von Clustern bewertet.Deshalb bezog sich das Rotationsschema, das jedem Marker seinen Anteil an Testmaterialzuteilte, nicht auf Booklets, sondern auf Cluster. Jeder Marker musste jeden Cluster bearbeiten.Jeder Reading Cluster kam in zwei oder drei Booklets vor. Der Marker musste also gleichzeitigzwei bzw. drei verschiedene Testheftformen bearbeiten. Das Rotationsschema ordnete jedemMarker einen Stoß (A-P) für jeden Cluster zu.

Abbildung VIII.6 zeigt die Zuordnung von Booklet-Batches zu Marker-IDs. ReadingCluster 1 kam, zum Beispiel, in den Testheftformen 1, 5 und 7 vor und dem Marker 213 warfür diesen Cluster der Stoß M zugeteilt. Er musste diesen Cluster also in den Batches 1M, 5Mund 7M bearbeiten. Innerhalb dieses Materials beurteilte der Marker in allen Heften die ersteAufgabe des Clusters, dann in allen Heften die zweite Aufgabe, usw. Es wurde also Item fürItem innerhalb von Clustern vorgegangen.

In Mathematik und Science war die Rotation der Testmaterialien weniger kompliziert, weildie Testhefte auf jeweils nur vier Marker aufgeteilt werden mussten. Das Marking wurde hierauch Item für Item durchgeführt, allerdings innerhalb von Booklets und nicht innerhalb vonClustern. Mathematik und Science Cluster umfassten jeweils nur 15 Minuten Testzeit, was

Abbildung VIII.6: Zuordnung von Booklet-Batches zu Marker-IDs in Reading

Cluster Booklets A B C D E F G H I J K L M N O P

R1 1-5-7 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216

R2 1-2-6 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 201

R3 2-3-7 203 204 205 206 207 208 209 210 211 212 213 214 215 216 201 202

R4 1-3-4 204 205 206 207 208 209 210 211 212 213 214 215 216 201 202 203

R5 2-4-5 205 206 207 208 209 210 211 212 213 214 215 216 201 202 203 204

R6 3-5-6 206 207 208 209 210 211 212 213 214 215 216 201 202 203 204 205

R7 4-6-7 207 208 209 210 211 212 213 214 215 216 201 202 203 204 205 206

R8 7-8-9 208 209 210 211 212 213 214 215 216 201 202 203 204 205 206 207

R9 8-9 209 210 211 212 213 214 215 216 201 202 203 204 205 206 207 208


Abbildung VIII.7:Zuordnung von Booklet-Batcheszu Marker-IDs in Mathematik

Abbildung VIII.8: Zuordnung von Booklet-Batches zu Marker-IDs in Science

dazu führte, dass es Cluster mit nur 1 oder 2 Aufgaben gab, die von einem Marker beurteiltwerden mussten, weshalb auf Marking Item für Item in Clustern verzichtet wurde. Da durchdie geringe Anzahl an Markern in diesen Domänen jedem Marker 4 Batches der gleichenTestheftform zugeteilt wurden, sollte dieses Design keine Auswirkungen auf die Qualität desMarkings haben. Um den Ablauf für die Marker möglichst einfach zu gestalten, wurde dieReihenfolge, in der die verschiedenen Testheftformen bewertet wurden, so vorgegeben, dasszwei aufeinander folgende Formen immer einen Cluster gemeinsam hatten.

Weiters wurde bei der Reihenfolge berücksichtigt, dass die Testhefte der Formen 8 und 9von Markern aller drei Domänen zu bearbeiten waren. Deshalb begannen die MathematikMarker mit den Booklets der Form 9 und beendeten ihre Tätigkeit mit Booklet 8, die ScienceMarker vice versa.

In den Abbildungen VIII.7 und VIII.8 ist die Zuordnung von Batches zu Marker-IDs fürdie Domänen Mathematik und Science dargestellt. Für Mathematik mussten nur die Booklets1, 3, 5, 8 und 9 aufgeteilt werden, das Rotationsschema für Science betraf nur dieTestheftformen 2, 4, 6, 8 und 9 (siehe oben).

A-D E-H I-L M-P A-D E-H I-L M-P

B1 101 102 103 104 B2 301 302 303 304

B3 102 103 104 101 B4 302 303 304 301

B5 103 104 101 102 B6 303 304 301 302

B8 104 101 102 103 B8 304 301 302 303

B9 101 102 103 104 B9 301 302 303 304

BookletBooklet-Batches

BookletBooklet-Batches

Diese Art der Verteilung von Testmaterial auf Marker hat bestimmte Implikationen: Sie führtedazu, dass jedes Testheft von vier verschiedenen Markern bearbeitet wurde, weil jeder Clustervon einer anderen Person beurteilt wurde. Das heißt, dass eventuelle tendenzielle Beurteilungeneines Markers relativ geringen Einfluss auf das Ergebnis eines Schülers oder einer Schülerinhatten. Außerdem beurteilte jeder Reading Marker Booklets aus neun, in Mathematik undScience aus je 16 verschiedenen Batches und demgemäß auch verschiedenen Schulen undSchultypen, was den Einfluss von Markereigenschaften auf Kennwerte auf Schul- oderSchultypebene wiederum sehr klein hielt.

Größter Nachteil dieses Rotationsschemas war, dass vor allem jeder Reading Marker jedenReading Cluster und somit jedes Item beurteilen musste, was eine enorme Menge anunterschiedlichem Testmaterial bedeutete, und den Trainings-Prozess (unnötig) umfangreichund komplex machte. Andererseits führte es aber dazu, dass bei jedem Item nur eine relativgeringe Anzahl an Schülerantworten bewertet wurde.


1.3.5 Ablauf des Markings

Der Raum, in dem das Testmaterial gelagert wurde, konnte so zweigeteilt werden, dass ineiner Hälfte die Booklet-Batches angeordnet waren und in der anderen Arbeitsplätze für dieMarker eingerichtet werden konnten. Etwa zehn Marker konnten so gleichzeitig arbeiten. BeiEngpässen an Arbeitsplätzen wurde in Nachbarräume ausgewichen. So verließen keine Bookletswährend des Marking-Prozesses diesen Bereich und es war auch leicht für die Marker, sichmit den Kolleg/innen bezüglich fachlicher Probleme beim Single Marking oder derVerfügbarkeit von bestimmten Booklet-Batches zu verständigen.

Als Grundlage für das Marking benötigte jeder Marker sein Exemplar von Marking Guideund Marker-Workshop-Material. Da sich in den Booklets bei jedem Item neben derFragennummer die Item-ID und eine Liste aller bei diesem Item möglichen Codes findet,konnten die Codes beim Single Marking direkt in den Booklets vermerkt werden.

Zur Organisation der eigenen Arbeit bekam jeder Marker einen persönlichen Arbeitsplan,der gleichzeitig auch zur Registrierung der Arbeitszeit diente. Beispiele eines solchen Plans fürReading und Mathematik finden sich im Anhang. Marker konnten sich die Arbeitszeit freieinteilen, mussten aber ein gewisses Pensum pro Woche (zwischen 10 und 30 Stunden jenach Domäne und Arbeitsgeschwindigkeit) absolvieren, um die Einhaltung der Fristen zugewährleisten. Um allen Markern zu ermöglichen, ihr Arbeitspensum fristgerecht zu erfüllen,war das PISA Zentrum in diesem Zeitraum sowohl wochentags und abends als auch anWochenenden besetzt. Dies erforderte sehr genaue Koordination zwischen den Mitarbeiter/innen,war aber essentiell für den Fortschritt des Marking-Prozesses. Außerdem erhielt jeder Markereine Übersicht über die in seiner Domäne zu bearbeitenden Fragen in den verschiedenenTestheftformen bzw. eine Zuordnung von diesen zu Reading Clustern (siehe Anhang).

Die Marker trugen Namen, Beginnzeit und –datum auf den Batch-Headers ein, wenn siemit einem Cluster bzw. einer Testheftform begannen und ergänzten dort bei Fertigstellungdie Endzeit. So war sowohl für andere Marker als auch für die Supervisoren immer feststellbar,wer woran arbeitete und wann ungefähr mit Fertigstellung von Clustern bzw. Booklets zurechnen wäre. Diese Information war auch wichtig, damit sich die Marker ihre Arbeit einteilenkonnten, und damit der „Booklet-Flow“ durchgängig gewährleistet war. Außerdem bildetesie die Grundlage für die laufende Qualitätskontrolle der Supervisoren. Die Supervisorenführten laufend Qualitätsüberprüfungen bezüglich des Markings durch, indem die vergebenenCodes stichprobenartig kontrolliert wurden.

Als Ansprechpartner bei organisatorischen Problemen oder Unklarheiten konnten allePISA-Mitarbeiter/innen herangezogen werden, wobei zumindest eine Person immer anwesendwar. Fachliche Fragen mussten an den zuständigen Supervisor gerichtet werden. DieSupervisoren konnten Entscheidungen über die Vergabe eines Codes selber treffen oder beiUnklarheiten Rat beim oben erwähnten „Marker Query Service“ des internationalenProjektzentrums einholen.

Im Folgenden soll noch ein kurzer Überblick über den zeitlichen Ablauf des Single Markingsgegeben werden:• Die Mathematik und Science Marker konnten am 8. Juni mit dem Marking beginnen.• Die Reading Marker begannen zeitversetzt am 13. Juni.• Das Single Marking nahm in Mathematik und Science etwa drei Wochen in Anspruch.

In Reading konnten große Teile des Single Markings ebenfalls in etwa drei Wochenfertiggestellt werden. Dementsprechend war das Sinlge Marking Ende Juni weitgehend


abgeschlossen. Kleine Teile des Reading Markings fanden – vor allem wegen des spätenArbeitsbeginns auf Grund des zweiten Trainingtermins – erst Anfang Juli statt.

1.4 Multiple MarkingUnter Multiple Marking wird ein Kontrollprozess verstanden, der durch die voneinanderunabhängige Bewertung der gleichen Testhefte von vier Personen die Reliablität der Beurteilungsicherstellen soll (vgl. auch Kapitel 1.3.1 in diesem Abschnitt). Das vorliegende Kapitel dientin erster Linie der Beschreibung des Multiple-Marking-Prozesses in Bezug auf Ablauf,Organisation und Durchführung. Multiple Marking als Qualitätskontrolle, sowie erwarteteErgebnisse und Hintergrund werden im Kapitel 5 in Abschnitt IX behandelt.

1.4.1 Aufgabe des Multiple Markings in Feld- und Haupttest

Bei einem Feldtest erfüllt das Multiple Marking eine wichtige Funktion im Bereich derInstrumentenentwicklung bzw. -verbesserung. Durch das Marking derselben Antworten durchmehrere Personen unabhängig voneinander auf Basis des gleichen Marking Guides kann dieQualität der Marking Instructions auf Eindeutigkeit und Präzision hin überprüft werden.Weiters ist es auch möglich, eventuelle Übersetzungsfehler aufzuspüren und noch vor demHaupttest zu korrigieren. Bis zu einem gewissen Grad kann damit auch die Qualität desMarking-Prozesses der einzelnen Teilnehmerstaaten miteinander verglichen werden.

Im Marking-Prozess eines Haupttests scheint das Multiple Marking weniger Funktionenzu erfüllen. Schließlich kann zu diesem Zeitpunkt weder der Marking Guide noch dieÜbersetzung verändert werden. Allerdings ermöglicht ein Vergleich der Reliabilität desMarkings zwischen den Ländern, die Qualität der Bewertungen abzuschätzen. Einzig möglicheKonsequenz zu diesem Zeitpunkt ist jedoch, alle Testhefte eines oder mehrerer Länder neubeurteilen zu lassen.

In diese Richtung zielt auch eine Maßnahme ab, die zusätzlich zum Multiple Markinginternational zur Qualitätssicherung des Markings eingeführt wurde. Ein Teil der Booklets(die Multiple Marking Booklets von einer Form) wurde in Kopie an das internationaleProjektzentrum übermittelt, wo zur Überprüfung der Cross-Country-Reliabilität des Markingsdiese Hefte noch einmal beurteilt wurden (vgl. dazu auch Kapitel 5 in Abschnitt IX).

1.4.2 Ablauf und Organisation

Im Feldtest wurden 48 Booklets je Testheftform zufällig ausgewählt (etwa jedes zweite). Diesewurden in je zwei Stöße zu jeweils 24 Booklets geteilt. Dadurch entstanden die Batches 1A bis9B. Jeder Marker erhielt eine ID zur Identifikation. Die sieben Reading Marker bekamen dieIDs RA bis RG zugeteilt, die Mathematik/Science Marker erhielten die IDs MA bis MD. DieVerteilung der Materialien auf die Marker geht aus den Rotationsschemata in den AbbildungenVIII.9 und VIII.10 hervor. Die Vorgangsweise für das Marking war Item für Item innerhalbvon Booklets.

Für das Multiple Marking im Haupttest wurden je 48 Booklets der Formen 1 bis 7 und je72 Booklets der Testheftformen 8 und 9 zufällig so gezogen, dass diese aus verschiedenenStrata und unterschiedlichen Schulen kamen (vgl. Kapitel 1.3.3 in diesem Abschnitt).

Auf Grund internationaler Richtlinien hatte jeder Marker einen Anteil am MultipleMarking zu übernehmen. Die Marker konnten jeweils nach Fertigstellung ihres Anteils amSingle Marking mit dem Multiple Marking beginnen. Das Multiple Marking war in allenDomänen Item für Item innerhalb von Booklets vorzunehmen.


In Reading wurden durch ein international festgelegtes Rotationsschema jedem Marker zweibzw. drei Testheftformen zugeteilt, das entspricht zwischen fünf und neun Reading Clustern(vgl. Abbildung VIII.11). Das Schema hatte zum Ziel möglichst viele verschiedene Markerbei verschiedenen Clustern zu kombinieren, um ihre Beurteilungen vergleichen zu können.

Abbildung VIII.10: Multiple-Marking-Rotationsschemafür Mathematik und Science: Feldtest

Abbildung VIII.9: Multiple-Marking-Rotationsschema für Reading: Feldtest

In Mathematik und Science musste jeder Marker Booklets aller Formen, die Testmaterialder entsprechenden Domäne enthalten, bearbeiten, weil es insgesamt nur vier Marker jeDomäne gab. Die Rotationsschemata für Mathematik und Science finden sich in den Abbil-dungen VIII.12 und VIII.13.

Marker RA Marker RB Marker RC Marker RD1a + 1b 2a + 2b 3a + 3b 4a + 4b

5a +5b 6a + 6b 9a + 9b 1a + 1b

3a + 3b 4a + 4b 5a + 5b 6a + 6b

6a + 6b 9a + 9b 3a + 3b

Marker RE Marker RF Marker RG5a + 5b 6a + 6b 9a + 9b

2a + 2b 3a + 3b 4a + 4b

9a + 9b 1a + 1b 2a + 2b

4a + 4b 2a + 2b 1a + 1b

5a 5b

Set 1 1a+7b Set 2 2a+8b








Marker MC Marker MD

Marker MA Marker MB


Die Organisation des Multiple Markings war deshalb schwierig, weil sehr viele Personen rela-tiv wenige Hefte bearbeiten mussten. Booklets der Formen 8 und 9 mussten von jeweils vierMarkern jeder Domäne, also zwölf Personen, beurteilt werden. Weiters war zu beachten, dassoffiziell auch die Reihenfolge der Marking-Durchgänge durch die Rotationsschemata festge-legt war.

1.4.3 Praktische Durchführung

Im Feldtest wurde das Multiple Marking so organisiert, dass die Marker ihre Booklet-Stößemit nach Hause nehmen und dort bearbeiten konnten. Dies bedeutete allerdings einen enormenlogistischen Aufwand. Da die Reihenfolge der Rotationsschemata so nicht einzuhalten war,gaben alle Marker – nicht nur die ersten drei – ihre Beurteilungen auf Beurteilungsbögen ab

Booklet 1st Marking 2nd Marking 3rd Marking 4th Marking

1 201 202 203 204

2 205 206 207 208

3 209 210 211 212

4 213 214 215 216

5 207 208 209 210

6 207 208 209 210

7 203 204 205 206

8 211 212 213 214

9 215 216 201 202

Abbildung VIII.11: Multiple-Marking-Rotationsschema für Reading: Haupttest


1 101 102 103 104

3 102 103 104 101

5 103 104 101 102

8 104 101 102 103

9 101 102 103 104

Abbildung VIII.12: Multiple-Marking-Rotationsschema für Mathematik: Haupttest

Abbildung VIII.13: Multiple-Marking-Rotationsschema für Science: Haupttest


2 301 302 303 304

4 302 303 304 301

6 303 304 301 302

8 304 301 302 303

9 301 302 303 304


Abbildung VIII.14: Beispiel für einen Batch-Header im Multiple Marking

Um die Unabhängigkeit der Beurteilungen der Marker zu gewährleisten, trugen die ersten 3Marker die von ihnen vergebenen Codes nicht wie beim Single Marking in die Booklets ein,sondern bekamen so genannte „Multiple Marking Record Sheets“, die jeweils eine Liste allerzu beurteilenden Items und alle bei einem Item möglichen Codes enthielten (Ein Beispiel füreinen Multiple Marking Record Sheet findet sich im Anhang). Der vierte Marker behandeltedie Multiple Marking Booklets wie Testhefte aus dem Single Marking – nur dass auch dieReading Marker Item für Item in Booklets und nicht in Clustern arbeiteten.

Auf Grund dieser Regelung war es auch unwichtig, die vorgegebene Reihenfolge bei denersten 3 Markern einzuhalten, aber essentiell, dass der vierte Marker auch wirklich als Letzterseine Codes vergab.

Zusätzlich war vereinbart, dass sich Marker untereinander bei der Arbeit am MultipleMarking nicht absprechen oder gegenseitig um Rat fragen sollten. Auch an die Supervisorenkonnten während dieses Prozesses keine Fragen mehr bezüglich der Vergabe von Codes ge-stellt werden.

Eine Beschreibung der Auswertung der Daten, die mit Hilfe des Multiple Markings gesam-melt wurden, findet sich in Kapitel 5 in Abschnitt IX. Ergebnisse lagen zum Zeitpunkt derDrucklegung noch nicht vor, da diese vom Internationalen Zentrum noch nicht freigegebenwaren.

(siehe Anhang) Die Codes des laut Schema letzten Markers mussten von einer Mitarbeiterindes PISA Projektzentrums von den Beurteilungsbögen in die Booklets übertragen werden.

Im Haupttest erhielt jeder Marker wie für das Single Marking auch für das Multiple Markingseinen persönlichen Arbeitsplan. Auf diesem war vermerkt, welche Testheftformen an wel-cher Stelle (1. Marking, 2. Marking usw.) zu bearbeiten waren. Im Gegensatz zum Feldtestwar die Durchführung ebenso wie im Single Marking an den Ort des PISA Zentrums gebun-den.

Angelehnt an die Organisation des Single Markings gab es für die Booklet-Batches, diedie für das Multiple Marking ausgewählten Testhefte beinhalteten, ebenfalls Batch-Headers,die Informationen zum Fortschritt des Markings beinhalteten. Ein Beispiel findet sich inAbbildung VIII.14.

Reading 215 216 201 202

Mathematik 101 102 103 104

Science 301 302 303 304

Multiple Marking Booklet 91st Marking 2nd Marking 3rd Marking 4th Marking


Abbildung VIII.15: Übersicht über den Dateneingabe-Prozess im Haupttest

2. Data EntryDie Dateneingabe in PISA umfasste eine große Menge an Material, im Feldtest mussten dieDaten von etwa 1.000 Schüler/innen und 35 Schulen, im Haupttest die Daten von fast 5.000Schüler/innen und ungefähr 220 Schulen elektronisch erfasst werden. Die folgendenBeschreibungen beziehen sich in erster Linie auf den PISA-Haupttest 2000, da aus diesem dieDaten resultieren, auf denen sämtliche Auswertungen und Analysen beruhen (werden).Bei den knapp 5.000 Schülerinnen und Schülern des Haupttests mussten etwa• 10.000 Datensätze aus Schülerfragebögen (national und international),• 5.000 Datensätze im ISCO-File,• 5.000 Datensätze aus PISA-Testheften,• 2.500 Multiple Marking Record Sheets,• 5.000 Reading-Speed Datensätze und• 6.000 Datensätze in Schüler- und Schullistenin den Computer eingegeben werden. Hinzu kamen knapp• 450 Datensätze aus Schulkontextfragebögen.

Dies alles zusammen entspricht knapp 35.000 Datensätzen oder etwa 3,5 Mio. Einträgen.Abbildung VIII.15 versucht, einen Überblick über den zeitlichen Ablauf des Eingabeprozessesdieser Datenmenge zu geben.

STF

Schülerfragebogen

Reading Speed Tests international und national

PISA Plus -

MM

Testhefte 1-9 und 60

ISCO-Kodierung

SFB I

23 24 25 26 27 28 29 30 31 32

Schülerfragebogen A, B und C

SFB II

KW … Kalenderwoche

MM … Multiple Marking Record SheetsSTF … Student Tracking Forms

SFB I … Schulfragebogen (1. Teil)SFB II … Schulfragebogen (2. Teil) Schülerfragebogen … Schülerfragebogen international


Das folgende Kapitel beschreibt nicht nur die Dateneingabe der einzelnen Instrumente, son-dern auch einige Rahmenbedingungen, darunter Training-Sessions für Data Entry Staff unddie verwendete Software, die großen Einfluss auf Ablauf und Qualtität der Dateneingabe hat.

2.1 Software

2.1.1 KeyQuest

Das Programm KeyQuest wurde vom internationalen Kontraktor für Verwendung bei derDateneingabe in PISA entwickelt. Im Feldtest fand die Version 1.0 Anwendung, im Haupttestdie Version 2.0. Die folgenden Beschreibungen beziehen sich auf die neuere Version.

Die Software ist eine Access-Applikation und demnach wie ein Datenbankprogrammstrukturiert. Das Programm umfasst verschiedene Module für Instrumentenverwaltung,Sampling von Schüler/innen einer Schule und Datenmanagement inklusive der Dateneingabe.Im Folgenden werden die einzelnen Module und ihre Anwendung im Rahmen derDurchführung des PISA-Haupttests in Österreich beschrieben.

Installation des Programms

Laut Manual sind die Systemvoraussetzungen relativ niedrig: Mindestens Windows 95 oderNT 4.0, ein Pentium-, Pentium II- oder III-Prozessor und eine minimale Bildschirmauflösungvon 800 x 600 Pixel sind für die Verwendung von KeyQuest erforderlich.

In der Praxis zeigte sich, dass das Programm empfindlich gegenüber verschiedenenSystemeinstellungen ist; so funktionieren manche Module nicht oder nur teilweise miteuropäischen Ländereinstellungen (Punkt als Tausendertrennzeichen, Beistrich als Komma).Installierte Versionen von Access haben auch Einflüsse auf die Funktion des Programms: günstigist Access 97, nicht kompatibel Access 2000.

Aufbau des Programms

Alle Informationen in Bezug auf Instrumente, Daten und Sicherheitseinstellungen werdenvom Programm in drei Dateien abgelegt. „KQAdmin“ enthält alle Informationen über In-strumente und benutzerdefinierte Einstellungen, in „KQData“ sind alle Daten gespeichertund „KeyQuest.mdw“ enthält die Sicherheitseinstellungen. Beim Installieren des Programmslegt die Software diese drei Dateien an. Im Originalzustand enthalten sie die Definitionenaller internationalen Instrumente und keine Daten. Die auf der Programm-CD-Rom vorhan-dene Datei „KeyQuest.mdw“ funktionierte – zumindest im österreichischen Exemplar – nichtund musste vor der Inbetriebnahme durch eine zu einem späteren Zeitpunkt vom internatio-nalen Projektzentrum zur Verfügung gestellte Version ersetzt werden. Diese drei Dateien kön-nen über den Windows-Explorer ausgetauscht werden, wenn nationale Anpassungen durch-geführt wurden oder der gesamte Datensatz von einem Rechner auf einen anderen transferiertwerden soll.

Anhand von Abbildung VIII.16, die das Hauptmenü von KeyQuest zeigt, kann man dieeinzelnen Bestandteile des Programms gut erkennen. Grob können die Programmteile inDatenmanagement, Sampling, Schulergebnisprotokolle, Instrumentenverwaltung und System-management unterteilt werden. Diese Module werden in der Folge erläutert.


Abbildung VIII.16: Hauptmenü von KeyQuest

System Management

Das „System Mangement“ erlaubt es, Default Settings zu ändern. Hier kann zum Beispiel derLändername eingegeben werden. Dieser scheint in verschiedenen Protokollen und Reports,die die Software erstellt, auf und hilft im internationalen Zentrum bei der Zuordnung vonDatenfiles zu Teilnehmerstaaten. Weiters können hier die Schriftart von Standardanzeigen,der Datenbanktitel und Ähnliches verändert werden.Außerdem findet sich hier der Menüpunkt „Set Security“. Unter diesem kann der System-administrator weitere Benutzer definieren und ihnen Passwörter für den Einstieg in KeyQuestund Benutzerberechtigungen zuteilen.

Instrumentenverwaltung / „Instrument Management“

Instrumente und deren Verwaltung sind in KeyQuest in mehreren Ebenen organisiert. Diekleinste Einheit bilden Items. Items können mit dem Menü „Edit/Create Items“ neu ange-legt, bearbeitet oder entfernt werden. Bei jedem Item müssen gewisse Informationen eingege-ben werden. Diese umfassen den Variablennamen und den Variablenlabel, gültige Codes undgegebenenfalls Labels für diese Codes und den Variablentyp. Bei Testitems kann hier außer-dem jedem Code ein Score zugeordnet werden. Diese Einstellungen spielen bei der Daten-eingabe eine große Rolle.

Verschiedene Items können mit dem Menü „Edit/Create Units“ zu Units gruppiert wer-den. Eine Unit kann zum Beispiel alle Items enthalten, die Fragen in einem Fragebogen zumgleichen Thema enthalten oder die Testitems zu einer Unit in den Booklets umfassen (vgl.Kapitel 1 in Abschnitt IV). Dieser Schritt ist nicht unbedingt notwendig, trägt allerdingserheblich zur Übersichtlichkeit bei der Instrumentenerstellung und -verwaltung bei.


Abbildung VIII.17: Die Dateneingabemaske in KeyQuest

Items oder Units können dann über „Edit/Create Instruments“ zu Instrumenten zusammen-gestellt werden. Darunter werden Erhebungsinstrumente verstanden, so wie sie zur Daten-eingabe kommen, also verschiedene Testheftformen, Fragebögen oder Protokolle.

Datenmanagement

Das Modul „Data Management“ umfasst einige Funktionen, die für die Verwendung in na-tionalen Zentren äußerst wichtig sind. Hier findet sich die Schaltfläche „Enter Data“, die zurDateneingabemaske führt. Abbildung VIII.17 zeigt die KeyQuest-Oberfläche bei der Daten-eingabe. Am oberen Rand zeigt das Programm den Namen des ausgewählten Instruments an.In unserem Fall ist dies der internationale Schülerfragebogen (Student Questionnaire). Imoberen Teil des Fensters befindet sich außerdem eine Navigationsleiste, die einerseits erlaubt,durch den gerade in Bearbeitung befindlichen Datensatz zu navigieren und sich andererseitszwischen verschiedenen Einträgen (im ausgewählten Instrument) zu bewegen. Außerdem wirdhier die ID des aktuellen Datensatzes (combined unique ID) angezeigt.

Darunter befindet sich das eigentliche Dateneingabefenster mit mehreren Registerblätternmit Variablen des ausgewählten Instruments. Am unteren Rand werden jeweils die gültigenWerte der Variablen angezeigt, die sich zurzeit in Bearbeitung befindet (wo der Cursor steht).Abbildung VIII.17 zeigt, dass für die Variable Q21a die Codes 1, 2, 8 (Multiple Response), 9(Missing) und n (not applicable) eingegeben werden dürfen. Andere Codes als die am unte-ren Rand des Fensters angeführten können nicht eingegeben werden. Eine weitere Eingabe-hilfe besteht darin, dass der Cursor bei Variablen mit fixer Länge nach Eingabe der erforder-lichen Anzahl an Ziffern oder Buchstaben automatisch zur nächsten Variable springt.


Die Speicherung von Datensätzen erfolgt automatisch – Zwischenspeicherungen in regelmä-ßigen Abständen wie in vielen anderen Programmen sind hier unnötig, und manuell auchnicht möglich. KeyQuest fügt jeden fertiggestellten Datensatz sofort der Datenbank hinzu(ändert „KQData“) und speichert Änderungen in schon bestehenden Datensätzen sofort.Dies hilft Datenverlust zu vermeiden, wenn zum Beispiel der Computer abstürzen sollte.Allerdings gibt es keine Möglichkeit, Änderungen rückgängig zu machen; wird also ein Ein-trag unabsichtlich überschrieben, muss aus dem entsprechenden Testheft oder Fragebogender ursprüngliche Eintrag rekonstruiert werden.

Außerdem umfasst das Modul „Data Management“ auch die Funktionen von Daten-export und -import. Exportiert werden können Daten jeweils eines Instruments in den For-maten Text (Fixed Length), Comma delimited und als Microsoft Excel Workbook. Zusätzlichkönnen SPSS und SAS Control Files erstellt werden, die die Variablendefinitionen für dasInstrument enthalten und das Einlesen der Daten in diese Programme ermöglichen. Impor-tiert werden können Daten in den drei oben angeführten Formaten. Hierbei kann zwischendem Ersetzen der vorhandenen Datensätze (eines Instruments) und dem Anhängen an diesegewählt werden. Das Importieren von Daten funktioniert nur, wenn sich innerhalb desImportfiles keine Duplikate bezüglich der kombinierten eindeutigen Identifikationsvariablenbefinden, wenn kein Datensatz im Importfile die gleiche ID wie ein schon bestehender Da-tensatz hat und kein Eintrag die „Validation Rules“ – die im Menü „Instrument Manage-ment“ erstellten Variablendefinitionen – verletzt. In diesen Fällen werden keine Daten im-portiert und stattdessen ein Fehlerprotokoll ausgegeben. Beim Versuch Duplikate zu impor-tieren listet dieses die IDs, die doppelt vorkommen, auf. Bei Verletzungen der ValidationRules werden ebenfalls die IDs der Datensätze, in denen diese vorkommen, aufgelistet. Beiwelchen Variablen die Probleme aufgetreten sind, wird allerdings nicht näher bestimmt.

Das letzte Menü im Modul „Data Management“ gibt die Möglichkeit, verschiedeneValiditätschecks durchzuführen. Hier können ein oder mehrere Instrumente und eine odermehrere Variablen, die in beiden Instrumenten vorkommen, ausgewählt werden. Bezüglichdieser können Protokolle erstellt werden, die zum Beispiel alle mehrfach vorkommendenDatensätze (bezüglich der angegebenen Variablen) oder alle nur einmal vorkommenden Daten-sätze auflisten. Die Verwendung dieses Moduls wird in Kapitel 3.2.3 in diesem Abschnittnoch näher beschrieben.

Sampling

Mit dem Modul „Sampling“ kann der zweite Schritt des Samplings durchgeführt werden,nämlich die Auswahl von Schüler/innen innerhalb einer Schule der Stichprobe (vgl. Kapitel14 in Abschnitt V). Dies ist insofern günstig, als erstens die (später in jedem Fall benötigten)Listen der ausgewählten Schüler/innen schon als Instrument im Programm vorhanden sindund zweitens das Sampling-Modul von KeyQuest automatisch die Testheftformen über dieSchüler/innen rotiert und auf den so genannten Student Tracking Forms (vgl. Kapitel 2 inAbschnitt VI) vermerkt.

Schulergebnisprotokolle

Eine in Österreich nicht genutzte Option ist die Erstellung von Ergebnisprotokollen für ein-zelne Schulen der Stichprobe. Diese könnten nach Abschluss von Dateneingabe und FileCleaning für eine, mehrere oder alle Schulen ausgegeben werden.


2.1.2 Teleform und das Scannen der Fragebögen

Die Daten eines Teils der Schülerfragebögen sowie die Multiple Marking Record Sheets wur-den im PISA-Haupttest 2000 elektronisch erfasst. Hierzu wurde das Programm TeleformElite (Version 5.3) verwendet. Im Folgenden soll kurz beschrieben werden, in welcher Formdas Programm benutzt wurde und einige Erfahrungen im Umgang mit elektronischer Daten-verarbeitung dokumentiert werden.

Das Softwarepaket besteht aus drei Programmen: Der Teleform Designer dient dazu, In-strumente, so genannte Formulare, zu erstellen bzw. fertige Fragebögen (leer) einzuscannenund die Variablen zu definieren. Hier können auch Eigenschaften dieser Variablen und dieBehandlung von Variablen bei der Bewertung angegeben werden. Weiters findet sich in die-sem Programm die Möglichkeit der Definition von Exportrichtlinien für die Daten.

Der Teleform Reader übernimmt in der Software die Funktion des Scanmanagers. Mitdiesem Programm werden Fragebögen eingescannt und (automatisch) bewertet. Hier gibt esmehrere Möglichkeiten: automatische Erkennung des Fragebogens oder manuelle Angabeüber die Stapelscan-Oberfläche. Bei PISA wurde die zweite Option gewählt, weil diese größe-re Kontrolle über die Funktionsweise der Software erlaubt. Der Teleform Reader dient auchdazu, Fragebögen zu bewerten, also aus den gescannten Bilddokumenten Daten zu extrahie-ren. Dies geschieht automatisch (entsprechend der im Teleform Designer für das Instrumentdefinierten Richtlinien) und im Hintergrund. Nur die Scan-Funktion des Teleform Readersist parallel zu Erkennung und Bewertung nicht verfügbar.

Das dritte Programm, der Teleform Verifier, verwaltet die eingescannten, bewerteten Fra-gebögen. Hier werden Fragebögen, bei denen Variablen kontrolliert werden müssen – entwe-der, weil dies im Designer so definiert wurde, zum Beispiel bei Identifikationsvariablen, oderweil die Erkennungsgenauigkeit unter der im Designer definierten Marke liegt – für die Nach-bearbeitung zurückgehalten. Die Nachbearbeitung erfolgt in drei Schritten: Im Zeichenmoduskönnen einzelne Buchstaben oder Zahlen bestätigt oder eingegeben werden, die vom Pro-gramm über OCR nicht (genau genug) erkannt wurden. Im zweiten Schritt, dem Feldmodus,werden alle im ersten Schritt übergangenen Zeichen im Zusammenhang der Variable ange-zeigt. Im dritten Arbeitsschritt, dem Formularmodus, müssen alle noch verbliebenen, nichterkannten Zeichen bearbeitet und Entscheidungen bei Multiple Choice Fragen getroffenwerden. Letztere betreffen Fälle, wo trotz definierter Einfachauswahl mehrere Felder markiertwurden (einen entsprechenden Grauanteil besitzen) oder die Markierung einen Grauanteilunter der definierten Mindestmarke aufweist.

Nach der Nachbearbeitung werden die Daten je nach Auswahl im Teleform Designerautomatisch exportiert oder können zu einem späteren Zeitpunkt noch manuell exportiertwerden. Die Exportreihenfolge kann – unabhängig von der Bearbeitungsreihenfolge – so-wohl bei manuellem als auch bei automatischem Export festgelegt werden. Möglich sind 2automatische Exportschritte je Formular und beliebig viele manuelle Exportdurchgänge, fallsbeim automatischen Export nicht das Löschen der exportierten Daten definiert worden ist.Hierbei können Variablen (vor allem Identifikationsvariablen) auch in mehreren Export-schritten berücksichtigt werden. Als Exportformate sind alle gängigen Datenverarbeitungs-programme wie Access, Excel oder SPSS möglich.

Die wichtigsten Erfahrungen im Umgang mit elektronsicher Datenverarbeitung werden imFolgenden angeführt:


• Bei PISA 2000 sind Fragebögen von einer Länge von etwa 30 Seiten zum Einsatzgekommen. Für diesen Umfang ist Teleform nicht ausgerichtet. Das führte dazu, dass dasProgramm intern beim Erkennungsprozess Seiten vertauschte. Wenn zum Beispiel Seite6 als Seite 14 interpretiert wurde, wurde die eigentliche Seite 14 im Anschluss in einemzweiten Dokument abgespeichert, weil sie schon vorhanden war. Bei den Daten fehltennun die Variablen der Seite 6 gänzlich und als Antworten für die Variablen von Seite 14wurden entsprechende Grauanteile von Seite 6 herangezogen, die sich zufällig an derStelle der erwarteten Variablen befanden. So gescannte Fragebögen konnten nur gelöschtund wieder gescannt werden, was in Summe einen großen Zeitaufwand darstellte. Ausdiesem Grund wurden die Fragebögen in zwei Teilen verarbeitet: manuelle Eingabe inKeyQuest beim internationalen Teil bis Seite 18 und elektronische Datenverarbeitung fürdie nationalen Teile, die inklusive des Titelblatts (Identifikationsvariablen) zwischen 12und 16 Seiten umfassten. Zur Minimierung des oben angesprochenen Problems konntenim Designer explizite Seiten-IDs vergeben werden. Diese halfen, das Problem bei nur 12– 16 Seiten in den Griff zu bekommen. Beim internationalen Fragebogen war manallerdings durch die Layout-Vorschriften stark eingeschränkt.

• Eine weitere Hürde stellten Leerseiten dar, die einerseits dadurch entstanden, dass dieInnenseite des Umschlags (= Rückseite des Titelblatts, das die Identifikationsvariablenenthält) durch das doppelseitige Scannen mitverarbeitet werden musste und sichandererseits aus drucktechnischen Gründen am Ende von Fragebögen mit ungeraderSeitenanzahl befanden. Diese mussten bei der Datenverarbeitung mit eingescannt werden,konnten aber bei der Definition des Formulars im Designer nicht berücksichtigt werden.Das führte dazu, dass Teleform Reader für jeden Fragebogen zwei Dokumente anlegte,eines enthielt die dem Programm bekannten und im Designer definierten Seiten, daszweite die Leerseite(n). Dadurch konnten verschiedene Optionen beim Scannen nichtverwendet werden und es entstand ein etwas erhöhter Bedarf an File-Kontrolle durch dieBediener.

• Die Erkennungsgenauigkeit hängt sehr stark von der Formatierung der Fragen ab. Bis zueinem gewissen Grad wird durch den Prozess der Nachbearbeitung die Qualität der Datenauch durch den Aufmerksamkeitsgrad der Bediener bestimmt, allerdings in wesentlichgeringerem Ausmaß als beim Kodieren.

• Das Einlesen der Identifikationsvariablen war überraschend genau. Durch die Definitionder Variablen wurde die Nachbearbeitung hier in jedem Fall eingeschaltet und so eineÜberprüfung des Erkennungsvorgangs der Software zwischengeschaltet.

• Zur Geschwindigkeit bleibt zu sagen, dass Einscannen etwas schneller ist als manuellesKodieren. Der Unterschied ist aber im Vergleich zur manuellen Dateneingabe mitgeeigneter Software wie KeyQuest relativ gering. Der große Nachteil des Scannens ist,dass nur so viele Personen gleichzeitig arbeiten können wie Hochleistungsscannervorhanden sind. Zum Kodieren sind Standard-PCs ausreichend.

Um die Qualität der gescannten Daten zu überprüfen, wurden 200 Fragebögen zusätzlichauch manuell kodiert. Genauere Ergebnisse dazu finden sich in Kapitel 5 in Abschnitt IX.


2.2.2 Training am Scanner

Die Personen, die im Haupttest den Scanner bei der elektronischen Datenverarbeitung be-dienten, wurden ebenfalls in Einzelschulungen auf ihre Arbeit vorbereitet. Hierbei mussteeinerseits Information im Umgang mit Soft- und Hardware gegeben und andererseits aufBesonderheiten einzelner Instrumente hingewiesen werden. Zusätzlich bedurfte es aber aucheiniger Übungen zur Bewältigung der Logistik.

Der sicherlich umfangreichste Trainingsteil war das Erlernen der Handhabung der Scan-Software. Dies konnte sich zwar auf die Programme Teleform Reader und Teleform Verifierbeschränken, nahm aber trotzdem geraume Zeit in Anspruch. Die Aufgaben und Funktionender zwei Programme mussten kennen gelernt und der Umgang mit der Software einigerma-ßen automatisiert werden.

Während die Vermittlung der Informationen über die Instrumente weniger aufwändigwar, musste der Ablauf beim Scannen genau geübt werden. Die Fragebögen mussten amRand mit einer Schneidmaschine aufgeschnitten, die entsprechenden Teile herausgesucht,gescannt und dann wieder mit den restlichen Seiten geklammert werden. Während TeleformReader einen eingescannten Fragebogen bewertete, konnte der vorher gescannte und bewer-tete nachbearbeitet werden. Das dauernde Wechseln zwischen den zwei Programmen undzusätzlich zwischen Arbeit am Computer und „logistischen“ Tätigkeiten wie Aufschneiden,Sortieren und Klammern von Fragebögen musste geübt werden.

Auch hier wurde jedem Trainingsteilnehmer die Gelegenheit gegeben, den gesamten Prozessdes Scannens unter Betreuung bei einigen Fragebögen zu üben. Inklusive dieser Übungs-einheit nahm die Einschulung von Personal zum Scannen etwa zwei Stunden in Anspruch.

Im Feldtest gab es einen Trainings-Workshop für alle Kodierer. Dieser umfasste sowohl Infor-mationen zur Installation von KeyQuest (Version 1.0) als auch die Handhabung der Soft-ware. Weiters wurden Besonderheiten bei einzelnen Instrumenten besprochen. Im Feldtestwar das Kodieren ähnlich organisiert wie das Multiple Marking: Kodierer konnten sich Bookletsund Fragebögen mit nach Hause nehmen und dort die Daten eingeben und später auf eineDiskette speichern und so ins PISA Zentrum bringen.

Im Haupttest fand das Kodieren, so wie alle anderen Vorgänge im Lauf der Datenverar-beitung in Räumlichkeiten des PISA Zentrums statt. Dadurch entfielen beim Training alleTeile, die die Programminstallation sowie Datenexport und Speicherung betreffen. Da dieKodierer ihre Arbeit versetzt je nach Instrument begannen, wurden die Einschulungen indi-viduell abgehalten. Zwei Arten von Information mussten hierbei vermittelt werden: die Ver-wendung von KeyQuest und Besonderheiten einzelner Instrumente.

Im ersten Schritt wurde die Handhabung der Eingabesoftware erklärt und geübt. Dieskonnte sich allerdings auf das Dateneingabemodul beschränken. Im zweiten Teil wurde be-schrieben, bei welchen Variablen des zu bearbeitenden Instruments auf Besonderheiten zuachten ist. Am Ende der Einschulung bekamen die Kodierer die Gelegenheit, unter Betreu-ung einige Testhefte, Fragebögen oder Protokolle einzugeben.

Der zweite Teil der Einschulung, welcher die Besonderheiten einzelner Variablen in ei-nem Instrument behandelte, musste während des Kodierens von jedem Kodierer für jedesInstrument, das er oder sie bearbeitete, erneut durchlaufen werden.

2.2 Training des Data-Entry-Staffs

2.2.1 Kodierertraining


2.2.3 Training der ISCO-Kodierer

Im „ISCO-Training“ wurden die Personen eingeschult, die Fragen zu Berufen der Eltern undeigenen beruflichen Plänen der Schüler/innen in den Schülerfragebögen nach einem standar-disierten Klassifikationsschema in den Computer eingaben und verkodeten (vgl. Kapitel 2.3.6in diesem Abschnitt). Das Training fand für alle ISCO-Kodierer gemeinsam statt und wurdevom Supervisor für die ISCO-Kodierung, der auch das entsprechende Manual angepasst hat-te, abgehalten. Wie bei den Marker-Training-Workshops wurde dieser durch ein weiteresMitglied des PISA-Teams unterstützt, um die zügige Abwicklung des ISCO-Kodierens auchim Fall des Ausfalls des Supervisors sicherzustellen.

Zum Einstieg wurde eine kurze Einführung in die PISA-Studie gegeben. Daraufhin wur-den die Struktur des Kodierungsschemas und die Codes besprochen. Hierbei wurde dieVerkodung einzelner Berufe diskutiert und im Speziellen österreichische Sonderfälle wie „Be-amte“ oder Ähnliches angesprochen.

Das Training beinhaltete auch die Erläuterung der Vorgehensweise bei der Dateneingabeund -verkodung. Weiters wurde die Organisation wie Arbeitsplätze, Anordnung der undUmgang mit den Fragebögen und die zeitliche Planung erklärt. Das Training nahm etwa zweiStunden in Anspruch. Die ISCO-Kodierer konnten ihre Arbeit gleich nach Absolvierung desTrainings beginnen.

2.3 Dateneingabe der verschiedenen InstrumenteZu allen international verwendeten Instrumenten enthielt KeyQuest die Codebooks. Diesebestanden einfach aus den Definitionen aller Variablen, aus denen ein Instrument zusam-mengestellt wurde. Sie konnten ausgedruckt werden und dienten als Grundlage für die Da-teneingabe. Bei nationalen Optionen wie den PISA Plus Fragebögen, mussten die Kodierplänevon den Autoren erstellt werden.

2.3.1 Schul- und Schülerlisten

Schul- und Schülerlisten mussten als Basis für weitere Vorgänge in KeyQuest eingegebenwerden. Das passierte vor dem Within-School-Sampling. Die Sampling-Prozedur in KeyQuestbesteht in der Auswahl von Schüler/innen (maximal 35 pro Schule) aus den Schülerlisten(vgl. dazu auch Kapitel 5 in Abschnitt V). Die (zufällig) ausgewählten Schüler/innen wurdenmit einer eindeutigen ID versehen und im Instrument der Student Tracking Forms abgespei-chert. Dieses diente zum Erstellen der Testsitzungsprotokolle und verwaltete in KeyQuest allegültigen Schüler-IDs (die kombinierten eindeutigen Identifikationsvariablen aller gesampeltenSchüler/innen).

Der erste Schritt im eigentlichen Dateneingabe-Prozess war die Ergänzung der elektroni-schen Student Tracking Forms durch auf den Testsitzungsprotokollen vermerkte Aus-schließungscodes bei einzelnen Schüler/innen und den Codes für den Teilnahmestatus füralle Teile der Testung in ersten Testsitzungen und eventuellen Nachtests. Hierbei mussten dieDaten von etwa 220 Schulen mit insgesamt 5.650 Schüler/innen verarbeitet werden. DieseArbeit wurde von einem Kodierer übernommen und nahm etwa drei Tage in Anspruch.

Aus den elektronischen Student Tracking Forms ging hervor, wie viele Schüler/innenwelcher Schule an bestimmten Teilen der PISA-Untersuchung teilgenommen haben, welcheaus speziellen Gründen von der Testung ausgeschlossen wurden, etc. Außerdem konnten sieals Basis für die Dateneingabe der Schülerfragebögen und Testhefte verwendet werden. Ver-


suchte man einen Datensatz anzulegen, zu dem es keinen gültigen Eintrag in den StudentTracking Forms gab, reagierte KeyQuest mit einer Fehlermeldung.

2.3.2 Schulfragebogen und internationaler Schülerfragebogen

Der gesamte Schulfragebogen (inklusive der nationalen Teile) und der internationale Teil desSchülerfragebogens inklusive der internationalen Option CCC – Cross-Curricular-Com-petencies – wurden manuell in KeyQuest kodiert. Der Schulfragebogen musste hierzu wegender Beschränkung von KeyQuest auf eine maximale Variablenanzahl pro Instrument in zweiInstrumente geteilt werden. Das erste umfasste den internationalen Schulfragebogen undeinen PISA Plus Teil (den Fragebogen zu Informationstechnologien), das zweite Instrumentdie beiden verbleibenden PISA Plus Teile, die Fragebögen zu Lesen und Qualität in Schulen.Das führte dazu, dass die Identifikationsvariablen zweimal eingegeben und zweimal kontrol-liert werden mussten (vgl. Kapitel 3.2 in diesem Abschnitt). Jedes der zwei Instrumente wur-de jeweils von einem Kodierer bearbeitet und umfasste ungefähr 200 Variablen. Insgesamtwurden die Schulfragebögen von etwa 220 Schulen in zwei Arbeitsschritten kodiert. Hierzubenötigten die Kodierer etwa eine Woche.

Bei den Schülerfragebögen wurde nur der internationale Teil (bis Seite 18) manuell ko-diert. Hier waren je Fragebogen etwa 250 Variablen zu bewältigen. Sechs Kodierer arbeitetenan den insgesamt etwa 4.880 Schülerfragebögen. Erschwerend kam hinzu, dass die Fragebö-gen zur gleichen Zeit auch für die elektronische Datenverarbeitung der PISA Plus Teile unddie ISCO-Kodierung benötigt wurden, sich also drei Teams die Hefte teilen mussten. Außer-dem musste berücksichtigt werden, dass jedes Heft vor der elektronischen Datenverarbeitung(Scannen) zum Kodieren kam, weil das Blättern in den Fragebögen durch die Behandlungbeim Scannen (Aufschneiden und einmal im oberen linken Eck Klammern) erschwert wor-den wäre.

Von den Schülerfragebögen existierten drei rotierte Formen A, B, C und die Form „60“,die gemeinsam mit dem Testheft 60 in Sonderschulen verwendet wurde und nur den interna-tionalen Fragebogen umfasste; diese unterschieden sich zwar nur in den PISA Plus Teilen,dennoch wurden die Fragebogenformen aus mehreren Gründen auch zur Organisation derKodierung des internationalen Schülerfragebogens herangezogen. Zum einen waren die Fra-gebögen wegen der Verarbeitung der PISA Plus Teile nach der Rücklaufkontrolle nach For-men sortiert worden und mussten für die weitere Verarbeitung mit dem Scanner auch indieser Ordnung bleiben. Zum anderen war es ein offensichtliches Merkmal, das half, dieFragebögen unter den Kodierern aufzuteilen. Bei zwei Formen konnte das Prinzip durchge-halten werden, dass ein Instrument (oder in diesem Fall eine Form) jeweils nur von einerPerson bearbeitet wurde. Dies sollte sicherstellen, dass ohne die Einführung einer Kodierer-variable bei Bedarf nachvollzogen werden konnte, wer welchen Datensatz eingegeben hat.Bei Form A musste aus zeitlichen und organisatorischen Gründen von diesem Prinzip abge-wichen werden.

In den ersten zwei Wochen arbeiteten drei Kodierer an den Schülerfragebögen (je Formeine Person), am Schluss wurde der Kodierer der Form A durch weitere drei Personen unter-stützt, da mit dieser Form später begonnen worden war. Insgesamt nahm der Daten-eingabeprozess der knapp 5.000 internationalen Schülerfragebögen etwas über drei Wochenin Anspruch.


2.3.3 Testhefte

Die Testhefte wurden ebenfalls manuell in KeyQuest kodiert. Beim PISA-Haupttest gab es10 verschiedene Testheftformen, die auch in KeyQuest als 10 Instrumente verwaltet werdenmussten. Dies waren die Formen 1 bis 9 und das Testheft 60 für Sonderschulen. Auch hierwurde das Prinzip verfolgt, dass innerhalb einer Testheftform immer nur ein Kodierer Dateneingeben sollte. Diese Vorgehensweise bot den zusätzlichen Vorteil, dass jeweils nur eine Per-son auf jedes Instrument eingeschult werden musste. Das verringerte den Aufwand und ver-besserte die Qualität der Daten durch größere Übung. Bis auf eine Ausnahme konnte diesesPrinzip bei allen Testheftformen verwirklicht werden.Mit der Dateneingabe der Testhefte konnte begonnen werden, sobald die ersten Booklet-Stöße von allen vier zuständigen Markern bearbeitet und durch die Supervisor kontrolliertworden waren. Solche Stöße wurden als „freigegeben“ markiert und konnten dann vom ent-sprechenden Kodierer eingegeben werden. Dieser vermerkte am Stoß jeweils Enddatum und-zeit der Dateneingabe.

Bei den Booklets, die für das Multiple Marking ausgewählt worden waren, musste mit derDateneingabe der Abschluss des letzten Marking-Durchgangs abgewartet werden, da nur dervierte Marker die Codes im Booklet markierte.

In KeyQuest mussten jeweils die Identifika-tionsvariablen, Codes für die markierte Antwortbei Multiple Choice Aufgaben und die von denMarkern für offene Aufgaben vergebenen Codeskodiert werden. Außerdem gab es einige wenige– vor allem Mathematik – Items, die eine kurzeAntwort in Form eines Worts oder einer Zahlerforderten; diese wurden nicht verkodet, son-dern direkt in KeyQuest eingegeben. Insgesamtwurden etwa 4.900 Datensätze angelegt. Dieseteilten sich auf die einzelnen Testheftformen ge-mäß der Auflistung in Abbildung VIII.18 auf(Diskrepanzen zu Abschnitt VII ergeben sich dar-aus, dass in Abbildung VIII.18 alle Testhefte, diein den Computer eingegeben worden sind, ge-zählt werden, in Abschnitt VII allerdings nur jeneberücksichtigt sind, die als „auswertbar“ gelten).Für die Dateneingabe aller Testhefte benötigtensechs Kodierer etwa drei Wochen.

2.3.4 Nationaler Schülerfragebogen PISA Plus

Im Haupttest 2000 wurden die PISA Plus Teile in den Schülerfragebögen elektronisch erfasst.Hierzu wurde das oben beschriebene Programm Teleform Elite verwendet. Wegen verschie-dener Probleme mit der Instrumentenverwaltung in diesem Programm wurde die Eingabeentgegen der ursprünglichen Planung, die gesamten Schülerfragebögen einzuscannen, auf dienationalen Teile beschränkt. Aus diesem Grund konnte erst mit etwas Verspätung mit derelektronischen Datenverarbeitung begonnen werden. Im Juni wurden zwar die ersten Frage-bögen gescannt, allerdings war der Arbeitsfortschritt eher langsam, da fast alles verfügbare

Abbildung VIII.18: Anzahl derkodierten Testhefte nach Formen

FormAnzahl der

Testhefte

Booklet 1 556

Booklet 2 540

Booklet 3 513

Booklet 4 544

Booklet 5 526

Booklet 6 543

Booklet 7 541

Booklet 8 548

Booklet 9 550

Booklet 60 24

Gesamt 4885


Personal mit der Dateneingabe der internationalen Instrumente in KeyQuest oder dem Markingbeschäftigt war.

Anfang Juli musste aus organisatorischen Gründen in Bezug auf die Scanner-Nutzung derScan-Prozess für eine Woche unterbrochen werden. Die elektronische Erfassung der PISAPlus Schülerdaten konnte Anfang August abgeschlossen werden.

Die nationalen Schülerfragebögen umfassten vier Teile in drei rotierten Formen A, B undC. Gescannt werden mussten jeweils das Titelblatt des Fragebogens mit den Header-Varia-blen und die Seiten der PISA Plus Fragebögen, wobei jede Form zwischen 10 und 13 Seitenzuzüglich des Deckblatts umfasste. Das ergab jeweils zwischen 12 und 16 Seiten, die derScanner speichern und bewerten musste. Je Form waren davon ein bis zwei Seiten leer. Diesegingen, wie oben erwähnt, durch den elektronischen Bewertungsprozess und wurden dannals so genannte Non-Forms (keiner Vorlage zuordenbare Formulare) extra in einer Datei ab-gelegt.

Form B beinhaltete eine Besonderheit: eine offene Frage musste in 4-stellige Codes um-gewandelt werden. Diese Aufgabe hatte der entsprechende PISA Plus Autor übernommen.Da dies aber aus organisatorischen Gründen nur nach der Dateneingabe möglich war, wur-den die Antworten auf diese Frage als Bildbereich eingescannt. Im Datenfile vermerkte Teleformbei jedem Datensatz statt dem Wert der Variable den Namen des zugehörigen Bildfiles. Sokonnten diese Antworten im Nachhinein verkodet und die Filenamen durch die entspre-chenden Codes ersetzt werden.

Für die Verwendung des automatischen Seiteneinzugs mussten die Fragebögen an dergeklammerten Seite aufgeschnitten werden. Daraufhin konnten die entsprechenden Seitenherausgesucht und gescannt werden und nach Abschluss der Bewertung des Fragebogens wie-der mit den restlichen Blättern des Fragebogens geklammert werden. Die Sicherstellung, dassdie Fragebögen vor und nach der Klammerung ident waren, erforderte einen relativ großenAufwand an Organisiertheit und Aufmerksamkeit.

Auch hier wurde das Prinzip verfolgt, dass jeder an „seiner eigenen“ Form arbeiten sollte.Allerdings spielten hier eher organisatorische Gründe eine Rolle: die Kodierer, welche dieDaten aus dem internationalen Schülerfragebogen in den Computer eingaben, arbeitetenparallel an den drei Formen. Deshalb wurde durch die parallele Bearbeitung von zwei Formenvon Beginn an sichergestellt, dass auch immer genügend schon kodierte Fragebögen zur Ver-fügung standen. Die dritte Form wurde nach Fertigstellung der ersten beiden Formen vonden Beteiligten gemeinsam in Angriff genommen.

Insgesamt mussten die Daten von 4.840 Schüler/innen erfasst werden. 1.628 von Form A– Lesen –, 1.608 von Form B – Befindlichkeit und Schulerfolg – und 1.604 von Form C –Qualität in Schulen und Informationstechnologien (Unterschiede zu Abbildung VII.15 inAbschnitt VII ergeben sich dadurch, dass bei der Kodierung auch Fragebögen berücksichtigtwurden, die in einzelnen PISA Plus Teilen keine Daten enthielten). Jede Form umfasst zwi-schen 240 und 270 Variablen. Zur elektronischen Datenverarbeitung aller PISA Plus Frage-bögen wurden etwa 7 Wochen benötigt, in denen allerdings unterschiedlich lang pro Taggearbeitet wurde.

2.3.5 Multiple Marking Record Sheets

Beim Multiple Marking trugen die jeweils drei ersten Marker ihre Codes in dafür erstellteMultiple Marking Record Sheets ein (siehe Kapitel 1.4.3 in diesem Abschnitt und Anhang).Diese wurden wie die nationalen Teile der Schülerfragebögen elektronisch erfasst.


In 7 Formen wurden jeweils 48 Booklets, in zwei Formen je 72 Booklets dreimal auf MultipleMarking Record Sheets verkodet. Das ergab knapp 2.500 einseitig bedruckte Record Sheets.

Die elektronische Datenverarbeitung dieser war unproblematisch und konnte von einerPerson an zwei Halbtagen erledigt werden. Mit dem Beginn dieser Arbeit wurde allerdingsgewartet, bis alle Multiple Marking Booklets zumindest die ersten drei Bewertungsdurch-gänge durchlaufen hatten.

2.3.6 ISCO-Kodierung

Einige Fragen im internationalen Teil des Schülerfragebogens bedurften einer speziellen Vor-kodierung. Es waren dies Fragen im Bereich des inhaltlichen Schwerpunkts „Sozioökonomi-scher Hintergrund“ zum Beruf von Mutter und Vater sowie zu den beruflichen Plänen derSchülerin oder des Schülers in 15 Jahren. Bei allen drei Items wurde nach der Berufsbezeich-nung gefragt, wobei bei den Fragen nach den Berufen der Eltern zusätzlich eine kurze Tätigkeits-beschreibung gefordert war. Da diese Vorkodierung gemeinsam mit der Eingabe der entspre-chenden Daten erfolgen musste, findet sich die Beschreibung der ISCO-Kodierung hier imAbschnitt Data Entry.

Diese Fragen mussten nach dem internationalen Klassifikationsschema ISCO-88 verkodetwerden. Dieses ist nach Arbeitsbereichen gegliedert (2 Ziffern) und innerhalb dieser nachBerufen (zwei Ziffern). Daraus entstehen 4-stellige Codes für jeden Beruf. Die ISCO-88-Klassifikation musste von der für Deutschland übersetzen und angepassten Fassung adaptiertwerden.

Durch diese 2-stufige Gliederung der Codes, und um Maßnahmen zur Qualitätssiche-rung zu ermöglichen, wurden die Antworten der Schüler/innen mit dem Programm Excelelektronisch erfasst. Im ersten Schritt wurden die Identifikationsvariablen eingegeben undversucht, die ersten zwei Stellen des Codes zu vergeben. Danach konnte nach diesen Codessortiert werden. Durch dieses Verfahren konnte die Verkodung der genauen Berufszuordnung(die letzten beiden Stellen des Codes) innerhalb jeden Bereichs auf einmal durchgeführt wer-den. Außerdem führte diese Vorgehensweise dazu, dass jede Antwort zumindest zweimalbearbeitet wurde.

Wie in Kapitel 2.2.3 erwähnt, nahmen die ISCO-Kodierer ihre Arbeit sofort nach demTraining auf. Im Rahmen des Trainings gab es keine Übungseinheiten zur Vergabe von ISCO-Codes. Allerdings konnten die Kodierer jederzeit Fragen bezüglich der Vergabe von Codesbei bestimmten Antworten an den Supervisor stellen. Unklarheiten bei der Verkodung be-stimmter Kategorien von Antworten oder von Sonderfällen wurden laufend zwischen Super-visor und Kodierer oder im gesamten Team geklärt. Auch hier gab es – wie beim Marking –die Möglichkeit für den Supervisor, das internationale Zentrum beim Auftreten unerwarteterSonderfälle einzuschalten.

In den Computer wurden die Daten von etwa 4.880 Schüler/innen eingegeben und knapp15.000 Berufsbezeichnungen bzw. -beschreibungen musste ein 4-stelliger Code nach der ISCO-88-Klassifikation zugewiesen werden. Dazu benötigten drei Personen etwa vier Wochen.

Um die Qualität der Verkodung sicherzustellen, wurden etwa 15 Prozent der Datensätzevon einer weiteren Person unabhängig vom durch den ersten Kodierer vergebenen Codeverkodet. Dies nahm bei nur stundenweiser Beschäftigung weitere zwei Wochen in Anspruch.


2.3.7 Kodierung der Reading Speed Tests

Gemeinsam mit dem internationalen Reading Speed Test wurden in einem Testheft zweinationale Tests zu basalen Lesefertigkeiten administriert. Diese wurden (in 3 Formen, die sichaber nur durch die Reihenfolge der Fragen in einem der Tests voneinander unterscheiden)von allen Schüler/innen zwischen dem PISA-Leistungstest und dem Schülerfragebogen bear-beitet. Die Kodierung dieser Testhefte wurde von der PISA Plus Autorin der nationalen Testsorganisiert und überwacht.

Es wurde in zwei Arbeitsschritten vorgegangen. Im ersten wurden alle Aufgaben vor-kodiert. Beim internationalen Test wurden entsprechende Codes je nach Antwort neben je-des Item geschrieben und die gelesene Wortanzahl ermittelt. Bei den nationalen Tests wurdenjeweils drei bzw. vier Variablen, die richtige, falsche, fehlende und insgesamt bearbeitete Itemszählten, ermittelt.

Diese Variablen wurden dann in SPSS gemeinsam mit den üblichen Header-Variablenkodiert. Verarbeitet werden mussten die Daten von etwa 4.870 Schüler/innen. Dazu benötig-ten die Kodierer etwa acht Wochen.

2.4 OrganisationWie auch beim Marking fanden alle Arbeiten im Bereich Data Entry in Räumlichkeiten desPISA Zentrums statt. So wurde auch hier sichergestellt, dass keine Testhefte, Fragebögen oderProtokolle das Haus nach der Rücklaufkontrolle verließen. Diese Organisationsform hatteaußerdem den Vorteil, dass die Koordination und die Absprache zwischen den einzelnenTeams erleichtert wurde.

Bei der Bearbeitung der Testhefte waren die Kodierer von der Fertigstellung desMarkingprozesses abhängig. Da die Testhefte in den Stößen, wie sie für das Marking organi-siert worden waren, blieben, konnte relativ bald mit der Dateneingabe begonnen werden,weil auch einzelne Stöße kodiert werden konnten. Die Kodierer konnten einzelne Stöße zuihren Arbeitsplätzen mitnehmen und mit einem Vermerk (bezüglich Zeit und Datum derFertigstellung) wieder dorthin zurückbringen. Dies ermöglichte auch die Durchführung desFile Cleanings ohne Neustrukturierung oder Sortierung der Testhefte.

Da sich internationale und nationale Teile der Schülerfragebögen jeweils gemeinsam ineinem Heft befanden, mussten auch diese Instrumente zwischen mehreren Gruppen vonPersonen geteilt werden. Die ISCO-Kodierer mussten die Angaben zum Beruf der Eltern undden eigenen beruflichen Plänen der Schüler/innen von den Fragenbögen in den Computerübertragen. Die Kodierer mussten alle übrigen Daten aus dem internationalen Teil manuellin KeyQuest eingeben und die nationalen Teile mussten eingescannt werden.

Die Organisation im PISA Zentrum war nach Eingabemodi organisiert. Eine PISA-Mit-arbeiterin war für die manuelle Dateneingabe verantwortlich, eine Mitarbeiterin war für dieelektronische Datenerfassung zuständig und eine dritte koordinierte und betreute die ISCO-Kodierung. Genaue Absprachen zwischen diesen Personen zeigten sich als essentiell für denreibungslosen Ablauf.

Bei der Bezahlung von Kodierern gibt es verschiedene Modelle. Einerseits kann nachAnzahl der Datensätze bezahlt werden, andererseits nach Arbeitszeit. Ersteres hat den Vorteil,Kodierer finanziell für Schnelligkeit zu belohnen. Es wirkt sich allerdings negativ auf dieDatenqualität aus. Ein Modell umgeht dieses Problem und teilt die Bezahlung in eine ersteRate nach Datensätzen und eine zweite Rate, die nach erfolgter Kontrolle der Qualität derabgelieferten Datensätze ausbezahlt wird. Dies hat allerdings den Nachteil, dass sehr genau


dokumentiert werden muss, welcher Kodierer für welche Datensätze verantwortlich ist undein Teil der Bezahlung erst sehr spät erfolgen kann. Im PISA-Haupttest wurde wegen dieserNachteile das zweite Modell, Bezahlung nach Arbeitszeit gewählt. Dies wurde durch eine ArtEffizienzkontrolle ergänzt, in der die kodierten Datensätze pro Stunde zwischen Kodierernund auch mit einer ersten Probekodierung des Projektzentrums verglichen wurden. So konn-te sichergestellt werden, dass bei hoher Qualität auch effizient gearbeitet wurde.

3. Database ManagementDas Kapitel Database Management umfasst die Dokumentation der Verwaltung der Datender verschiedenen Instrumente. Im Folgenden wird die Identifikation von Datensätzen in derPISA-Datenbank beschrieben und der File-Cleaning-Prozess sowohl im PISA Zentrum Öster-reich als auch in Kooperation mit dem internationalen Projektzentrum dokumentiert. DieBeschreibungen sind wie im vorangegangenen Kapitel auf den Haupttest fokussiert.

3.1 Verwaltung von Daten in KeyQuest

3.1.1 Dateien und Instrumente

Wie in Kapitel 2.1.1 schon erwähnt, verwaltet KeyQuest intern sämtliche Informationen indrei Files. Diese enthalten alle Daten und Definitionen bezüglich Variablen, Instrumentenund Benutzern. Auf diese Files kann nur über KeyQuest zugegriffen werden. „KQData“ und„KQAdmin“ spielen so zusammen, dass sie nur gemeinsam ausgetauscht werden können.Wenn die Definitionen in Bezug auf Variablen oder Instrumente verändert oder neue Varia-blen, Units oder Instrumente angelegt werden, speichert KeyQuest diese Informationen in„KQAdmin“. Da sich alle Daten in „KQData“ auf Instrumente, die in „KQAdmin“ definiertsind, beziehen, müssen die Informationen in diesen beiden Dateien immer kompatibel sein.Der Austausch nur eines der Files führt unweigerlich zu Systemkonflikten.

Von der KeyQuest-Oberfläche aus sind Daten nur je Instrument zu bearbeiten. Diesbetrifft sowohl die Dateneingabe und generelle Arbeiten in einem Datensatz als auch Exportund Import von Daten. Die einzige Ausnahme bilden Schulergebnisprotokolle, bei denen aufmehrere Instrumente gleichzeitig zugegriffen werden kann (z.B. alle Testheftformen) undValiditätschecks (siehe Kapitel 3.2.3).Die Datensicherung kann auf zwei Arten erfolgen:(1) In der Sicherung der beiden KeyQuest-Files „KQAdmin“ und „KQData“ sind im Grunde

alle Informationen beinhaltet. Allerdings verlässt sich diese Form der Datensicherung aufdie einwandfreie Funktion des Programms.

(2) Extern können die Daten nur gesichert werden, wenn sie für jedes Instrument exportiert– sinnvollerweise in Verbindung mit den Control Files für SPSS oder SAS – und dann aufeinem Datenträger abgelegt werden. Diese Methode hat den Vorteil, dass die Daten auchohne KeyQuest zugänglich sind. Allerdings umfasst eine derartige Sicherung gegen Endeder Dateneingabephase ca. 40 Text- oder Excelfiles und genauso viele zugehörige Control-Files, die entsprechend in 40 Exportschritten zu extrahieren sind.

Im Lauf der Dateneingabe und des File-Cleaning-Prozesses wurde laufend (meist täglich) dieerste erwähnte Möglichkeit der Datensicherung durchgeführt. In regelmäßigen, aber größe-ren Abständen wurde auch die Sicherung der einzelnen Datenfiles vorgenommen.


3.1.2 Identifikationsvariablen

In jedem Instrument in KeyQuest gab es Header-Variablen, so genannte „Key Variables“, dienicht modifiziert oder national adaptiert werden durften. Eine Kombination einiger dieserVariablen ergab bei jedem Instrument eine eindeutige Identifikation der Datensätze inner-halb dieses Instruments. Bei den Schülerdaten (im Instrument internationaler Schüler-fragebogen oder den Testheftformen) entstand zum Beispiel eine eindeutige Identifikationdurch die Kombination des Stratums mit der laufenden Schulnummer und der Schüler-nummer. Das Stratum bezieht sich auf die Schulsparte, die im ersten Samplingschritt einegroße Rolle gespielt hat, und wird durch einen 2-stelligen Zifferncode repräsentiert (vgl. Ka-pitel 3 in Abschnitt V). Innerhalb jedes Stratums erhielten alle Schulen eine laufende Num-mer, einen 3-stelligen Code, der in Kombination mit der Stratum-ID jede Schule eindeutigidentifizierte. Wurden diese zwei Angaben noch mit der Schülernummer, einer 5-stelligenVariable, die alle gesampelten Schüler/innen einer Schule durchnummeriert, kombiniert, er-gab sich eine eindeutige (10-stellige) Identifikationsvariable für jede/n Schüler/in.Dies ermöglichte einerseits die eindeutige Identifizierung jedes Datensatzes, aber auch dieVerbindung von Einträgen in verschiedenen Instrumenten zur gleichen Person. Andererseitswurde so die Anonymität der getesteten Personen gewährleistet, da weder Schul-ID nochSchüler-ID ohne entsprechende Informationen auf tatsächliche Schulen oder Personen schlie-ßen lassen.

Diese kombinierte eindeutige Identifikation wurde als Bezeichnung für jeden Datensatzim Programm verwendet. Sie spielte auch bei den Validitätschecks eine große Rolle und aufdiese bezogen sich alle Überprüfungen des Programms in Bezug auf Duplikate bei Datenein-gabe und -import.

3.2 Data Cleaning

3.2.1 Checks bei der Dateneingabe durch KeyQuest

KeyQuest führt schon während der Dateneingabe automatisch eine Reihe von Checks durch.So werden Eingabefehler bestimmter Art im Vergleich zum Data Entry in anderen Program-men um ein Vielfaches minimiert.

Bei der Eingabe von Daten überprüft KeyQuest bei jedem Datensatz die kombinierteeindeutige Identifikation auf zweierlei Weise: Erstens wird kontrolliert, ob sich schon einDatensatz mit dieser ID im entsprechenden Instrument befindet. Ist dies der Fall, erscheinteine Fehlermeldung und der Datensatz kann ohne Änderung der Identifikationsvariablennicht abgespeichert werden. Zweitens wird bei der Eingabe jedes Datensatzes überprüft, ob eseinen entsprechenden Eintrag im Referenzfile gibt, ob es sich also um eine gültige ID han-delt. Versucht man, einen Datensatz ohne entsprechenden Eintrag im Referenzfile anzulegen,erscheint eine Fehlermeldung. Diese kann allerdings vom Benutzer übergangen werden; derDatensatz wird dann ohne weitere Meldungen gespeichert. Als Referenzfile für denSchulfragebogen kann zum Beispiel die „List of Schools“ der Dateneingabe zu Grunde gelegtwerden. Dann wird bei jedem Eintrag im Instrument Schulfragebogen überprüft, ob auch inder Schulliste eine entsprechende Schule aufgeführt ist.

Ein weiterer Check während der Dateneingabe bezieht sich auf die Werte, die für eineVariable eingegeben werden können. Beim Anlegen von Variablen in KeyQuest muss unteranderem definiert werden, welche Werte eine Variable annehmen kann. Dies kann in Formvon diskreten Werten oder Wertebereichen und der Angabe des Formats der Werte erfolgen.


Hier werden auch die Codes für Missings bei jeder Variable definiert. Versucht man, imDateneingabemenü bei einer Variable einen Wert einzugeben, der diesen Definitionen, den„Validation Rules“ nicht entspricht, erhält man eine Fehlermeldung und kann nicht zur näch-sten Variable weitergehen.

Auch beim Datenimport wird einiges an Checks durchgeführt. Eine Datenmatrix wirdnur importiert, wenn sich in dieser keine Duplikate befinden, keine Datensätze vorkommen,die die gleiche kombinierte ID haben wie schon in KeyQuest vorhandene Einträge und alleDaten den „Validation Rules“, also den Definitionen der Variablen entsprechen.

Beim Versuch, ein Text- oder Excelfile zu importieren, das einer dieser Bedingungen nichtentspricht, wird ein Fehlerprotokoll ausgegeben und kein Datensatz aus diesem File eingele-sen (auch dann nicht, wenn nur ein Datensatz von 100 die Validation Rules verletzt). DasFehlerprotokoll enthält im Fall von Duplikaten innerhalb des zu exportierenden Files oderzwischen der KeyQuest-Datenbank und dem Importfile die eindeutige kombinierte Identifi-kation des Datensatzes. Bei der Verletzung der Validation Rules wird nur diese dokumentiert,aber weder näher bestimmt, welcher Datensatz noch welche Variable diesen Verstoß verur-sacht haben.

Bei der Eingabe der Instrumente aus dem PISA-Haupttest waren vor allem die zuletztbeschriebenen Kontrollfunktionen des Programms beim Datenimport essentiell. Zwar wur-den die Daten der meisten Instrumente in KeyQuest kodiert, mussten aber auf dem Compu-ter, auf dem der Kodierer seine Arbeit machte, exportiert und auf Diskette gespeichert wer-den, um dann in den zentralen Rechner, in dem alle Daten verwaltet wurden, wieder eingele-sen werden zu können.

Da nach dem Export der Daten das Instrument in KeyQuest jeweils durch ein leeresDatenfile ersetzt wurde (um den Versuch, Datensätze zweimal in den Hauptrechner einzule-sen, zu verhindern), konnte KeyQuest Checks auf Duplikate bezüglich der Identifikation nurinnerhalb der am gleichen Tag eingegeben Datensätze durchführen. Der ID-Vergleich mitallen schon früher kodierten Einträgen zum gleichen Instrument erfolgte erst beim Einlesenin den Hauptrechner. Beim Auftreten von Fehlermeldungen bezüglich doppelter Datensätzewurde zuerst versucht, das entsprechende Heft in dem vom Kodierer an diesem Tag bearbei-teten Stoß zu finden und gegebenenfalls die ID zu korrigieren. Fand sich ein Heft mit derdoppelten ID in diesem Stoß, musste schon früher ein Fehler beim Anlegen eines Datensatzespassiert sein. Dies wurde vorläufig dadurch behoben, dass die Schüler-ID des entsprechendenDatensatzes in KeyQuest auf eine nicht existente ID (00036) ausgebessert und dann in einemSchritt des File Cleanings die korrekte ID ermittelt wurde. So konnten die neuen Datensätzeeingelesen werden, ohne Datensätze, die am Ende fehlen würden, in KeyQuest löschen zumüssen.

Eigenartigerweise fanden sich teilweise auch Daten in den Importfiles, die die ValidationRules verletzten, obwohl die Variablendefinitionen beim Eingabecomputer identisch mit de-nen am Hauptrechner waren. Diese dürften daraus entstanden sein, dass Kodierer vereinzeltversucht hatten, Dezimalstellen bei Variablen einzugeben, die als ganze Zahlen definiert wa-ren. Das Komma und die Kommastellen ließen sich hier zwar eingeben, dann allerdings nichtin den Hauptrechner einlesen.

Die Überprüfung der Validation Rules bei Dateneingabe und -import machte die sonstbeim File Cleaning üblichen Range-Checks weitestgehend überflüssig.


3.2.2 Vorarbeiten zum File Cleaning

Das File Cleaning wurde um vieles dadurch erleichtert, dass die Deckblätter aller Hefte, dievon Schüler/innen bearbeitet wurden – Testhefte, Fragebögen und Reading Speed Tests – diegleichen Informationen enthielten. Abgesehen von den Identifikationsvariablen waren dieSchüler/innen auch aufgefordert, Geburtsdatum und Klasse auf dem Titelblatt jedes Heftesanzugeben. So konnte leichter bestätigt werden, dass alle Hefte mit der gleichen Identifikati-on auch wirklich von ein und dem/derselben Schüler/in stammten.

Bevor mit dem File Cleaning begonnen werden konnte, mussten alle Instrumente inner-halb der verschiedenen Formen nach IDs geordnet werden. Dies bedeutete bei den Testheftenkeinen großen Aufwand. Es musste nur innerhalb der Booklet-Batches, die für das Markingzusammengestellt worden waren, kontrolliert werden, ob die Hefte noch nach IDs sortiertwaren. Die Schülerfragebögen mussten innerhalb der Formen A, B, C nach IDs geordnetwerden, wobei man von unsortierten Heften ausgehen musste; nur die Fragebögen einerSchule waren jeweils noch beisammen. Die Reading Speed Tests wurden unabhängig vonFormen nach IDs sortiert – hier ging man nach der Kodierung von völlig ungeordnetemMaterial aus. Die Sortierung der Schulfragebögen bedeutete keinen großen Aufwand, da nurmit gut 200 Heften hantiert werden musste.

3.2.3 Validitätschecks mit KeyQuest

Validitätschecks sind Überprüfungen, die die Gültigkeit und Richtigkeit der Identifikations-variablen zum Inhalt haben. KeyQuest produziert entsprechende Protokolle über das Menü„Validity Checks“ im Modul Datenmanagement, indem die Identifikationsvariablen zwischenzwei oder mehreren Instrumenten auf gewisse Eigenschaften hin überprüft werden.

Folgende Checks wurden mit den in KeyQuest vorliegenden Daten im Rahmen des File-Cleanings im Haupttest 2000 durchgeführt(1) Ausgabe aller eindeutigen Schul-IDs (Kombination von Stratum und laufender

Schulnummer), die nur in der „List of Schools“ oder nur als Datensatz im Instrument„School Questionnaire“ vorkommen. Bei fertig gecleanten Daten darf diese Auflistungnur einfache Einträge aus der Schulliste enthalten (es kann keine korrekt kodiertenDatensätze von einer Schule geben, die nicht in der Schulliste aufscheinen). Die ver-bleibenden Einträge können folgende Ursachen haben: Eine Schule wurde durch ihr Replacement ersetzt. Der Schulfragebogen ist nicht (oder noch nicht) von der Schule zurückgekommen. An die entsprechende Schule wurde kein Schulfragebogen geschickt, weil es im

Schuljahr 99/00 keine Schüler/innen des Jahrgangs 84 an der Schule gab.(2) Dieser Schritt musste ein zweites Mal durchgeführt werden, da der Schulfragebogen,

wie oben erwähnt, in zwei Instrumente geteilt werden musste. Die Listen der einfachvorkommenden Schul-IDs für das Instrument, das die Daten des internationalenSchulfragebogens und des nationalen Teils „Informationstechnologien“ enthielt unddas Instrument, das die nationalen Teile Lesen und Qualität in Schulen umfasste, musstenidentisch sein, da alle Teile in einem Heft gemeinsam abgedruckt waren.

(3) Beim Schülerfragebogen wurde die gleiche Überprüfung durchgeführt, nur mit demUnterschied, dass als Vergleichsliste die „Student Tracking Forms“, die Liste allergesampelten Schüler/innen herangezogen wurde. Bei diesem Check bezog sich KeyQuestautomatisch nur auf die Schüler/innen aus den Student Tracking Forms, die in der


ersten Testsitzung oder einem Nachtest laut Eintrag in der Student Tracking Form denFragebogen zumindest teilweise bearbeitet hatten. In diesem Schritt konnten auch dieEinträge der Schüler/innen korrigiert werden, die beim Einlesen (auf Grund von ID-Fehlern und somit entstandenen Duplikaten) in die Schüler-Nummer 36 umgebessertwurden. Diese mussten genauso als einfach vorhandene eindeutige Identifikation auf-scheinen wie die jeweils korrekten IDs. Erstere stammten aus dem Schülerfragebogen,zweitere aus den Student Tracking Forms. Die Daten aus dem Schülerfragebogen gal-ten als sauber bezüglich der Identifikation, wenn diese Analyse eine leere Liste lieferte.(Einzige Möglichkeit für erklärbare Einträge wären Schüler/innen, die den Fragebogenzwar ausgefüllt haben, deren Fragebogen aber aus irgendwelchen Gründen nie im na-tionalen Zentrum angekommen ist. Hier hätten aber die Student Tracking Forms ent-sprechend geändert werden müssen.)

(4) Die Booklets wurden bezüglich der Identifikation in drei Schritten gesäubert. Im er-sten Schritt wurde jedes Instrument – jede Testheftform – einzeln behandelt. Hierzuwurde mit den Daten jedes Instruments ein Vergleich der Identifikationsvariablen mitden Einträgen in den Student Tracking Forms durchgeführt. Dabei musste zusätzlichdie Variable „Testform“ aus den Student Tracking Forms ausgegeben werden. Man er-hielt so Listen, die erstens nur einfach vorkommende Einträge aus den Student TrackingForms und zweitens nur Einträge mit einer anderen Testheftform als der ausgewähltenenthalten durften.

(5) Im zweiten Schritt der Testheftüberprüfung wurden Identifikationsvariablen gesucht,die in mehr als einer Testheftform vorkamen. Dies kann theoretisch (bei Eingabefehlern)passieren, weil KeyQuest während Dateneingabe oder -import Duplikate nur inner-halb eines Instruments erkennt, jede Testheftform aber als eigenes Instrument behan-delt werden muss. Wenn alle diesbezüglichen Fehler korrigiert sind, darf diese Über-prüfung keine Treffer liefern.

(6) Im dritten Schritt des Testheft-Cleanings wurde überprüft, ob es eindeutige kombi-nierte IDs gab, die nur in den Student Tracking Forms oder nur in einer der Testheft-formen vorkamen. Laut KeyQuest-Manual sollten auch hier automatisch nur die Schüler/innen aus den Student Tracking Forms miteinbezogen werden, die in der ersten Test-sitzung oder einem Nachtest ein Testheft zumindest teilweise bearbeitet hatten. Dasfunktionierte allerdings nicht, weshalb zusätzlich die Teilnahmecodes für den erstenTeil des Testhefts für erste Testsitzung und Nachtests manuell kontrolliert werdenmussten. Es durften nach abgeschlossenem Cleaning bezüglich der Identifikation inden Testheftformen nur Einträge aus den Student Tracking Forms ohne entsprechen-den Datensatz in einer der Testheftformen vorkommen, die „nicht-teilgenommen-Co-des“ sowohl beim ersten Testteil der ersten Testsitzung als auch bei eventuellen Nach-tests aufwiesen. Dieser Schritt machte den ersten (4) logischerweise unnötig. Der ersteSchritt wurde aber dennoch durchgeführt, weil er schon möglich war, als die Datenein-gabe erst bei einzelnen Testheftformen abgeschlossen war. Außerdem wurde so die ma-nuelle Kontrolle von relativ langen Listen, die durch die Fehlfunktion des Programmsin Bezug auf den dritten Schritt nötig wurde, zweimal durchgeführt und diente somitsinnvoll der Qualitätssteigerung.

(7) Weiters wurde überprüft, ob die Summe der kodierten Schülerfragebögen bzw. Test-hefte je Schule mit den Daten aus der Rücklaufkontrolle übereinstimmte. Hierzu wur-de anhand einer Option in den Validitätschecks von KeyQuest ermittelt, wie viele Ein-


träge es je eindeutiger kombinierter Schul-ID im Schülerfragebogen gab. Das ging überdie Option „Häufigkeiten der Datensätze“ in Bezug auf die Kombination der Variablen„Stratum“ und „laufende Schulnummer“. Genauso wurde mit den Testheften verfah-ren. Hier wurden die Häufigkeiten bezüglich der kombinierten eindeutigen Schul-IDsfür alle Testheftformen gemeinsam ermittelt. Diese Daten mussten mit der Anzahl vonTestheften bzw. Fragebögen übereinstimmen, die bei der Rücklaufkontrolle als zumin-dest teilweise ausgefüllt registriert worden waren.

(8) Weiters wurde anhand eines Validitätschecks mit KeyQuest eine Liste erstellt, welchedie IDs aller Schüler/innen enthielt, die nur in einer der Testheftformen oder nur imSchülerfragebogen vorkamen. Diese durfte nur Einträge enthalten, die einfach in denTestheften vorkamen; dies wären Schüler/innen, die zwar am Test zumindest teilweiseteilgenommen, den Fragebogen aber nicht bearbeitet haben. Dies war möglich, mussteaber für jeden Eintrag mit der entsprechenden Student Tracking Form (dem Test-sitzungsprotokoll) überprüft werden.

(9) Die so genannten Reliability Booklets, die Ergebnisse der ersten drei Durchgänge desMultiple Markings, wurden in KeyQuest in 19 Instrumenten verwaltet. Für jede Do-mäne wurde ein Instrument je Testheftform (neun Instrumente für Reading und jefünf Instrumente für Mathematik und Science) angelegt. Die Multiple Marking RecordSheets, in denen die Daten für diese Instrumente gesammelt wurden, wurden zwarelektronisch verarbeitet, mussten aber im Anschluss in KeyQuest eingelesen werden, daes sich um internationale Instrumente handelte. Deshalb konnten auch Validitätschecksin KeyQuest durchgeführt werden. Auch bei den Reliability Booklets musste in mehre-ren Arbeitsschritten vorgegangen werden. Im ersten Arbeitsgang wurde bei jedem der19 Instrumente überprüft, ob die eindeutige Schüler-ID (bestehend aus Stratum, lau-fender Schul- und Schülernummer) gemeinsam mit der Marker-ID eindeutig inner-halb jedes Instruments und eindeutig in der Kombination aller Reliability Bookletswar.

(10) Im zweiten Schritt wurde bei jedem Instrument der Reliability Booklets die Anzahl dervorkommenden Datensätze bezüglich der kombinierten Schüler-IDs aufgelistet. Diesemusste innerhalb jedes Instruments jeweils drei ergeben, da jedes Testheft je Domänevon jeweils drei Personen bearbeitet worden war.

(11) Im dritten Schritt wurde die Konsistenz zwischen Reliability Booklets und Testheft-formen überprüft. Für jedes Reliability Booklet wurde in Kombination mit der ent-sprechenden Testheftform überprüft, wie oft jede kombinierte Schüler-ID vorkam. Esgab die Möglichkeit, von KeyQuest nur die Häufigkeit jener IDs ausgeben zu lassen,die mehr als einmal vorkamen. Es wurden also nur die Datensätze von jenen Schüler/innen miteinbezogen, die Einträge in den Reliability Booklets hatten, weil die Eindeu-tigkeit der Schüler-IDs innerhalb der Testheftformen bei Dateneingabe oder -importsichergestellt worden war. Alle hier aufgelisteten Schüler-IDs mussten die Häufigkeit 4haben (drei Einträge im Reliability Booklet und einen in der entsprechenden Testheft-form).

Einige dieser Überprüfungen waren international vorgeschrieben. Diese mussten in Formvon KeyQuest-Reports mit den Daten an das internationale Zentrum geschickt werden (sie-he Kapitel 3.3).


3.2.4 Validitätschecks der PISA Plus Schülerdaten

Die im Folgenden beschriebenen Überprüfungen wurden für alle drei Fragebogenformen A,B, C getrennt durchgeführt. Als erstes wurde in jedem der Teile anhand einer Häufigkeits-tabelle sichergestellt, dass jede Schüler-ID nur einmal vorkam.

Aus dem Rotationsschema (vgl. Kapitel 1 im Abschnitt IV) geht hervor, mit welchenTestheftformen welche Fragebogenformen administriert wurden. Für die Form A wurde einReferenzfile produziert, das sich aus den Schüler-IDs der gecleanten Daten der Testheftformen1, 4 und 7 zusammensetzte. Für die Form B wurden die IDs aus den Testheftformen 2, 5 und8 kombiniert und für den PISA Plus Teil C wurde das Referenzfile aus den Testheftformen 3,6 und 9 gebildet.

Diese wurden zur Kontrolle der Validität der PISA Plus Daten herangezogen, indem inSPSS über „Merge Files“ jene Fälle ermittelt wurden, in denen Schüler-IDs nur im PISA PlusTeil oder nur im entsprechenden Testheft-Referenzfile zu finden waren. Diese Datensätzemussten kontrolliert werden. Eine Erklärungsmöglichkeit bestand darin, dass einigeSchüler/innen zwar ein Testheft, nicht aber den Fragebogen bearbeitet hatten. Das konnte durch Heranziehen der Student Tracking Forms geklärt werden. Einige wenigeSchüler/innen hatten ein Reserveheft verwenden müssen und bearbeiteten so eine andereTestheft- oder Fragebogenform als die ursprünglich vorgesehene. In diesem Fall würden dieSchüler-IDs in einem Referenzfile für eine der anderen beiden PISA Plus Formen zu findensein. Diese Fälle wurden mit den anderen Referenzfiles abgeklärt.

Die verbleibenden Unstimmigkeiten mussten durch Einlesefehler des Scanners bei derSchüler-ID zustande gekommen sein. Diese – allerdings nur vereinzelt auftretenden – Fehlermussten gefunden und korrigiert werden.

Nach Abschluss dieses Prozesses für alle drei Formen wurde ein Datenfile erstellt, das dieSchüler-IDs aller PISA Plus Daten umfasste. Dieses wurde mit „Merge Files“ mit den Datenaus dem internationalen Schülerfragebogen verbunden. So konnten die letzten Unstimmigkei-ten geklärt und korrigiert werden, da die in diesen beiden Dateien vorkommenden Schüler-IDs identisch sein mussten (alle Fragebogenteile waren je Schüler/in in einem Heft zu-sammengefasst gewesen).

3.2.5 Validitätscheck des ISCO-Files

Das File, das die ISCO-Codes für die Berufe der Eltern und die eigenen beruflichen Pläneenthielt, wurde auf der Basis der Daten aus dem internationalen Schülerfragebogen auf Vali-dität hin überprüft. Jedem Datensatz aus dem Schülerfragebogenfile musste ein Eintrag ausdem ISCO-File zugeordnet werden können, da schließlich zweiterer einen Teil des erstenbildete.

Diese Überprüfung wurde in zwei Schritten durchgeführt: Im ersten Schritt wurden dieSchüler-IDs aus dem Schülerfragebogenfile den ISCO-Datensätzen in Excel hinzugefügt.Alle nur in einem dieser Files vorkommenden IDs mussten auf ID-Fehler zurückführbar sein.Nach Klärung aller solcher Fälle mit Hilfe der Fragebögen wurde in einem zweiten Schritt inSPSS über „Merge Files“ die Integrität des Datenfiles noch einmal überprüft.

3.2.6 Physikalische Checks

Unter physikalischen Checks werden hier Überprüfungen verstanden, die auf dem Vergleichvon Einträgen in den Datensätzen mit den entsprechenden Testheften oder Fragebögen ba-sieren.


Eine Art von physikalischem Check wurde laufend während der Dateneingabe durchgeführt.Hierbei wurde bei einer Stichprobe der kodierten Instrumente jedes Kodierers jeweils derganze Datensatz mit dem Testheft oder Fragebogen verglichen. Dies half einerseits, die Qua-lität der Dateneingabe sicherzustellen, weil große Häufungen von Tippfehlern bei einemKodierer sofort aufgedeckt wurden. Andererseits konnten so systematische Eingabefehler ein-zelner Kodierer gleich gefunden und korrigiert werden. Traten solche auf und wurden siefrühestmöglich entdeckt, musste lediglich ein kleiner Teil an Testheften oder Fragebögen inBezug auf den gefundenen systematischen Fehler noch einmal kontrolliert und gegebenen-falls korrigiert werden. Aus diesem Grund fanden diese Kontrollen verstärkt am Beginn desKodierens jedes Instruments statt.

Bei den Schülerfragebögen wurde nach Abschluss der Dateneingabe bei einer Stichprobevon etwa 10 Prozent der Hefte die ID und die ersten Variablen mit den Einträgen im Daten-satz verglichen. Da durch diese Stichprobenüberprüfung kein einziger Fehler gefunden wer-den konnte, wurde auf den vollständigen physikalischen Check der Schülerfragebögen ver-zichtet.Bei den Schulfragebögen wurde die gleiche Art von Überprüfung bei allen Heften mit denDatensätzen aus beiden Instrumenten (internationaler Teil plus Informationstechnologienund Lesen plus Qualität in Schulen) durchgeführt.

Ein teilweiser physikalischer Check wurde auf Basis eines KeyQuest-Protokolls durchge-führt. Die Einträge wurden bezüglich der Geburtsdaten aller Schüler/innen aus dem Schüler-fragebogen sowie aus der entsprechenden Testheftform ausgedruckt und verglichen. Bei un-terschiedlichen Angaben wurde die Dateneingabe mit dem Titelblatt des Testhefts und desFragebogens verglichen. Lag ein Eingabefehler vor, wurde dieser korrigiert. Stimmten dieAngaben auf Testheft und Fragebogen der gleichen Schüler-ID tatsächlich nicht überein,wurde versucht, mittels Vergleich der Handschriften festzustellen, ob es sich bei beiden Hef-ten um denselben Schüler, dieselbe Schülerin, handelte oder ob bei der TestadministrationSchüler/innen oder Fragebögen bzw. Testhefte vertauscht worden waren. Im ersten Fall konn-te nur akzeptiert werden, dass sich die Person entweder verschrieben hatte oder zumindesteine Angabe nicht der Wahrheit entsprach. Im Fall unterschiedlicher Handschriften mussteversucht werden, den Testheften (mittels Geburtsdaten- und Handschriftenvergleichs) jeweilsentsprechende Fragebögen zuzuordnen und die Identifikationsvariablen in KeyQuest für denSchülerfragebogen gemäß der so gewonnenen Erkenntnisse geändert werden. Bei allen dreiSchulen, in denen dies der Fall war, konnten die Diskrepanzen aufgeklärt und bereinigt wer-den.

3.2.7 Plausibilitätschecks

Alle Variablen der internationalen und nationalen (PISA Plus) Teile des Schülerfragebogens,sowie des Schulfragebogens wurden Plausibilitätschecks unterzogen. Hierzu wurden die Da-ten in SPSS exportiert und Häufigkeitstabellen aller Variablen erstellt. Diese wurden auf Plau-sibilität hin untersucht. Dies umfasste an sich auch so genannte Out-of-Range-Checks, dieallerdings nur bei wenigen Variablen sinnvoll waren, da sowohl in KeyQuest als auch beiTeleform gültige Wertebereiche für jede Variable definiert werden konnten.

Die Variablen der Testhefte wurden auf auffällige Verteilungen hin untersucht. So wurdezumindest eine Stichprobe der Testhefte mit dem Datensatz verglichen, wenn auffällig vieleMissings (tatsächliche oder Multiple-Response bei Einfachauswahlfragen) festzustellen wa-ren. Auf diese Weise wurden keine systematischen Fehler mehr entdeckt.


Bei den Fragebögen wurde auch auf inhaltliche Plausibilität untersucht. Völlig sinnlose An-gaben wurden rekodiert (auch wenn die Einträge mit den Angaben im Fragebogen überein-stimmten). Hierzu gehörten zum Beispiel die Fälle, bei denen die Angabe der ersten Computer-nutzung vor der Geburt des Schülers/der Schülerin lag, das Internet benutzt wurde, bevor esexistiert hatte oder die Anzahl der Wochenstunden in einem Unterrichtsfach die Gesamt-wochenstundenzahl deutlich überschritt.

3.2.8 File Cleaning beim Reading Speed Test

Beim Reading Speed Test wurde, wie bei allen anderen Files auch, mit einem Validitätscheckbegonnen. Als Referenzfile wurde dafür die Kombination aller IDs aus den Testheftformenverwendet. Dieses enthielt einige Schüler/innen, die nach den PISA-Leistungstests die Test-sitzung verlassen hatten, wonach kein Datensatz des Reading Speed Tests existierte. Anson-sten musste es aber mit dem Reading Speed File bezüglich der Schüler-IDs übereinstimmen.Alle so aufgedeckten Unstimmigkeiten wurden kontrolliert und gegebenenfalls korrigiert. Au-ßerdem mussten einige fehlende Datensätze ergänzt werden.In einem zweiten Schritt wurden die Geburtsdaten zwischen dem Reading Speed File undden PISA-Testheften verglichen. Bei Nicht-Übereinstimmung wurde vorgegangen wie beider Kontrolle zwischen Schülerfragebogen und Testheften (siehe oben).

Zudem wurden logische Checks durchgeführt. Im internationalen Reading Speed Testwurde bei Missings bei der Dateneingabe unterschieden zwischen fehlenden Werten inner-halb von bearbeiteten Items (User-Defined-Missings) und nicht bearbeiteten Items (System-Missings). Kontrolliert – und korrigiert – wurden alle Fälle, in denen System-Missings zwi-schen gültigen Werten, also im Bereich der bearbeiteten Items, zu finden waren. Ebenfallsdurch Kodierfehler verursacht mussten gültige Werte sein, die außerhalb des Bereichs dergelesenen Wörter lagen. Diese wurden ebenfalls überprüft und ausgebessert. Weiters resul-tiert aus der Anzahl gelesener Wörter eine Anzahl bearbeiteter Items. Fanden sich innerhalbdieser ein oder mehrere Einträge mit System-Missings, musste auch ein Kodierfehler vorlie-gen.

Bei den beiden nationalen Tests, dem „Sätze lesen“ und dem „Smiley-Test“ wurden dievorkodierten Werte auf Stimmigkeit überprüft. Die Anzahl richtiger, falscher oder fehlenderWerte und deren Summe durfte die Gesamtanzahl bearbeiteter Items logischerweise nichtübersteigen. Außerdem wurden alle Fälle kontrolliert, in denen einzelne, aber nicht alle vor-kodierten Werte eines Tests auf System-Missing kodiert waren. Auch diesen Fall konnte eslogischerweise nicht geben.

3.2.9 Datenaufbereitung der PISA Plus Instrumente

Vor der Übermittlung der Datenfiles an die jeweiligen Autor/innen wurden die Files nochnach gewissen Kriterien aufbereitet:• Alle Variablen und die zugehörigen Antwortkategorien erhielten Labels und ensprechende

Definitionen bezüglich Missings und Format in SPSS.• Skip-Fragen wurden entsprechend der Antwort auf die zugehörige Filter-Frage rekodiert.

Wenn eine Schülerin oder ein Schüler zum Beispiel angab, den Kindergarten nicht besuchtzu haben, wurden die Antworten auf alle Fragen zum Kindergartenbesuch, die eigentlichübersprungen werden hätten sollen, auf „8“ rekodiert und als spezieller Missing („Skip“)definiert.

• Genauso wurde mit Fragen(bündeln) verfahren, die nur auf eine bestimmte Gruppe von


Schüler/innen zutreffen, z.B. Fragen nur an Berufsschüler/innen. Diese wurden anhanddes Stratums, aus dem der besuchte Schultyp hervorgeht, rekodiert.

• Die Files wurden dann gemeinsam mit entsprechender File-Information (Liste der Variablenund Variablendefinitionen) an die Autor/innen übermittelt, die ihrerseits als Experten aufdem Gebiet des jeweiligen Fragebogens aufgefordert waren, die Daten nochmals aufPlausibilität hin zu überprüfen.

3.3 Data Submission

3.3.1 Senden der Datenfiles an A.C.E.R.

Spätestens 12 Wochen nach dem Ende des nationalen Testfensters mussten die Daten anA.C.E.R., den internationalen Kontraktor gesendet werden. Dies musste nach gewissen Richt-linien erfolgen, die sich sowohl auf das Format der Daten als auch auf den Inhalt dieserSendung bezogen. In Österreich konnte dies nach etwa 8 Wochen geschehen.

Die Übermittlung der Daten war im KeyQuest-Format vorgeschrieben. Dies umfasstezum einen die beiden Files „KQAdmin“ und „KQData“ und zum anderen Textfiles aller In-strumente. Deshalb musste KeyQuest von jedem Teilnehmerstaat in irgendeiner Form ver-wendet werden. Erfolgte die Dateneingabe nicht mit diesem Programm (z.B. in elektroni-scher Form wie in Österreich bei den Multiple Marking Record Sheets oder mit Hilfe eineranderen Dateneingabe-Software), mussten die Daten vor der Data Submission in KeyQuesteingelesen werden. Dieser Schritt erforderte exakte Planung, da die einzulesenden Files denin KeyQuest definierten Validation Rules entsprechen mussten und nur aus den FormatenText, Comma delimited oder Excel eingelesen werden konnten.

Die einzige Ausnahme hierzu bildete das File mit den ISCO-Codes. Hier waren auchgängige Formate wie Excel und SPSS erlaubt.

Zusätzlich zu den Datenfiles mussten bestimmte KeyQuest-Reports mitgeliefert werden.Diese belegten, dass die erforderlichen Checks bezüglich der Validität der Daten im nationa-len Zentrum durchgeführt worden waren. Dies waren im Speziellen die Protokolle aus den inKapitel 3.2.3 beschriebenen Checks (1), (3), (5), (6) und (8) bis (11). Die meisten dieserProtokolle umfassten nur die Überschriften und waren sonst leer, weil sie dazu dienten, Fälleaufzulisten, die unplausibel oder logisch unmöglich waren.

Außerdem mussten zu diesem Zeitpunkt noch einmal die Adaptation Forms für die inter-nationalen Fragebögen eingereicht werden. Diese enthielten alle Änderungen, die durch An-passung an nationale Gegebenheiten bei den Erhebungsinstrumenten vorgenommen wordenwaren (vgl. Kapitel 4 in Abschnitt IV).

Mit den österreichischen Daten wurde zudem eine Liste mit Anmerkungen mitgeschickt,die sich auf einige Aspekte der Datenfiles bezogen. Diese half zwar nicht, die Rückfragen zuminimieren, bot aber die Gelegenheit, auf sie verweisen zu können.

Die Übermittlung der Daten stellte in der praktischen Ausführung ein gewisses Problemdar, weil die KeyQuest-Files eine Größe hatten, welche die Kapazitäten von E-Mail-Attachments bei weitem überstieg. Es ging hier um eine Größenordnung von rund 10.000KB pro File. Deshalb wurde die Data Submission mit Hilfe von mehreren Medien durchge-führt. Eine vollständige Sammlung aller erforderlichen Datenfiles auf CD-Rom wurde ge-meinsam mit einem Ordner, der alle Reports, Formulare etc. in Hardcopy enthielt, via EMSnach Australien geschickt. Parallel dazu wurden alle kleineren Dateien als E-Mail-Attachmentsan A.C.E.R. übermittelt und die beiden großen KeyQuest-Files über eine FTP-Site.


3.3.2 Rückmeldungen für internationale Cleaning-Prozeduren

Nach der Data Submission wurden die abgelieferten Datenfiles am internationalen Zentrumnoch einmal einer strengen Überprüfung unterzogen. Bei Unklarheiten oder Inkonsistenzenin oder zwischen den Datenfiles wurden Rückfragen an das zuständige nationale Zentrumgerichtet. Eine vollständige Beschreibung der internationalen Cleaning-Prozeduren findetsich auf der PISA-Homepage, „www.system-monitoring.at“. In Österreich bezogen sich dieseRückfragen auf Folgendes:• Inkonsistenzen zwischen der bearbeiteten Testheftform und dem entsprechenden Eintrag

in den Student Tracking Forms. In zwei Fällen, wo die Reservehefte verwendet werdenmussten, hatten Schüler/innen eine andere als die ihnen durch das Rotationsschemazugeordnete Testheftform bearbeitet. Dies war schon in den Anmerkungen zur DataSubmission erklärt worden.

• Inkonsistenzen zwischen Einträgen in den Student Tracking Forms und dem Schüler-fragebogen bezüglich Geburtsmonat und Geschlecht. Vor allem beim Geschlecht konnteneinige Einträge in den Student Tracking Forms auf Grund der Vornamen der Schüler/innen aus den Original-Schülerlisten der Schulen korrigiert werden. Die Angaben zu denGeburtsdaten waren schon im nationalen Cleaning-Prozess kontrolliert worden. Die hierbeiverbliebenen Unklarheiten tauchten auch bei den internationalen Checks wieder auf.

• Unstimmigkeiten zwischen Participation Codes in den Student Tracking Forms undvorhandenen Daten. Dies betraf vor allem Schüler/innen, die laut STF während des ganzenTests anwesend waren, im zweiten Testteil aber durchgehend Missings hatten. Dies dürfteaber darauf zurückzuführen sein, dass sie sehr wohl anwesend waren, aber den Test nichtbearbeiteten.

• Außerdem wurde darauf hingewiesen, dass es auffällig viele Schüler/innen gab, die lautStudent Tracking Form nicht vom Test ausgeschlossen worden waren, aber dennoch inallen Spalten des Teilnahmestatus Code 8 aufwiesen, den Code für „nicht zutreffend“.Diese Kombination konnte nur zustande kommen, wenn sich herausstellte, dass Schüler/innen entgegen der Information in der von der Schule erstellten Schülerliste nicht imJahr 84 geboren waren oder die Schule zwischen Übermittlung der Schülerliste und Testungverlassen hatten. Zweiteres kam deshalb unverhältnismäßig oft vor, weil saisonaleBerufsschulen Schülerlisten etwa 2 Monate, bevor das Schuljahr für die entsprechendenPersonen begonnen hatte, übermittelt hatten.

• Weiters mussten alle Einträge beim Multiple Marking noch einmal kontrolliert werden,wo verschiedene Marker die gleiche Antwort entweder als richtig oder fehlend beurteilthatten.

• Als letzter Schritt wurden noch einmal unplausibel klingende Angaben bei Schul- undSchülerfragebögen aufgelistet und kontrolliert. Manche waren auf spezielle österreichischeGegebenheiten zurückzuführen, einige beruhten auf einer Missinterpretation unsererAdaptation Forms.

IXIXIXIXIXIXIXIXIXIXClaudia Reiter

UND QUALITÄTSKONTROLLEQUALITÄTSSICHERUNG

1. Einleitung1.1 Sicherung versus Kontrolle1.2 Verantwortlichkeiten bei der Qualitätskontrolle bei PISA1.3 Zur inhaltlichen Gliederung dieses Abschnitts

2. Qualitätssicherung in der Vorbereitungsphase2.1 Testmaterialien2.2 Sampling2.3 Screening

3. Qualitätssicherung während der Datenerhebung3.1 Standardisierung der Testsitzungen3.2 Qualitätssicherungsmaßnahmen während der Testsitzungen

4. Qualitätssicherung bei der Datenverarbeitung4.1 Testmaterialien4.2 Marking und die Reliabilität von Bewertungen4.3 Manuelle Dateneingabe und elektronische Datenerfassung4.4 File Cleaning und Database Management

5. Maßnahmen zur Kontrolle der Qualität5.1 Qualitätskontrolle der Datenerhebung durch Rückmeldungen5.2 Quality Monitoring durch das internationale Zentrum5.3 Kontrolle der Reliabilität des Markings5.4 Kontrolle der Qualität der elektronischen Datenerfassung

Die Autorin dankt Martin Pointinger für die Mitarbeit an den Analysen für Kapitel 5.

Qualitätssicherung und -kontrolle finden in allen Phasen der PISA-Studie statt. Indiesem Abschnitt werden die Prozeduren, auf die sich die Qualitätssicherungsmaß-nahmen beziehen und vom nationalen Projektzentrum in Österreich durchgeführtwurden, beschrieben.


1. Einleitung

1.1 Sicherung versus KontrolleSicherung und Kontrolle der Qualität spielen bei der Durchführung von internationalvergleichenden Studien eine große Rolle: Nur bei entsprechender Qualität der Konzeptionund der Durchführung der Untersuchung auf allen Ebenen können valide und reliableErgebnisse erzielt werden. Konsequenzen aus den Ergebnissen sind nur dann sinnvoll undsicher, wenn in allen Bereichen hohe Qualitätsmaßstäbe erreicht werden.

Während der Durchführung müssen also einerseits Qualitätssicherungsmaßnahmen gesetztund andererseits der Erfolg dieser Interventionen kontrolliert werden. In der Praxis könnendiese beiden Prozesse zwar nicht immer eindeutig voneinander getrennt werden, dennochgibt es einen entscheidenden Unterschied zwischen Sicherung und Kontrolle der Qualität,welcher auch in diesem Abschnitt Berücksichtigung findet.

Qualitätssicherungsmaßnahmen finden integriert in alle Abläufe der Studie Anwendungund sind darauf ausgerichtet, die Qualität von Prozeduren und Produkten (in positiver Weise)zu beeinflussen. Maßnahmen zur Qualitätskontrolle werden zusätzlich zu normalen Abläufenoft erst nachher oder relativ unabhängig von diesen durchgeführt und dienen nicht in ersterLinie dazu, die Qualität zu beeinflussen, sondern diese abzuschätzen bzw. einzustufen. Teilweisehaben sie – vor allem, wenn sie angekündigt durchgeführt werden – auch einen Einfluss aufdie Qualität, indem eventuell auf Grund des Wissens, kontrolliert zu werden, genauer odergewissenhafter gearbeitet wird. Sie können – vor allem langfristig – sehr wohl auch insoferneinen entscheidenden Beitrag zur Qualitätssicherung liefern, als in späteren Erhebungszyklender PISA-Studie durch Qualitätskontrolle aufgedeckten Schwachpunkten gezielt Aufmerk-samkeit bei der Qualitätssicherung geschenkt werden kann. Beispielsweise konnten dieErkenntnisse aus der Qualitätskontrolle im Feldtest der PISA-Studie einen entscheidendenBeitrag zur Qualitätssicherung im PISA-Haupttest 2000 leisten.

In der Folge wird auf den Qualitätsaspekt bei verschiedenen Prozeduren, die in der PISA-Studie Anwendung fanden, näher eingegangen. Es werden sowohl Maßnahmen zur Qua-litätssicherung, als auch zur Qualitätskontrolle beschrieben. Vor allem bei der Qualitätssicherungbesteht immer ein sehr enger Zusammenhang mit den Abläufen der Studie in verschiedenenPhasen. Obwohl viele durchgeführte Qualitätssicherungsmaßnahmen bei der Beschreibungder Abläufe und Prozesse der Studie in den vorangegangenen Abschnitten bereits erwähntwurden, werden sie im Folgenden noch einmal angeführt und im Detail erläutert.

Maßnahmen, die in Form von Qualitätskontrollprozeduren gesetzt wurden, werden in einemgetrennten Kapitel erläutert (vgl. Kapitel 5 in diesem Abschnitt). Diese Prozeduren beziehensich ebenfalls auf bereits beschriebene Abläufe der Studie, wurden aber als zusätzliche Kontrolledieser Abläufe und meist relativ unabhängig von diesen durchgeführt.

1.2 Verantwortlichkeiten bei der Qualitätskontrolle bei PISADie Prozeduren und Maßnahmen zur Qualitätssicherung sind wie alle anderen Verantwortlich-keiten der Studie auf verschiedenen Ebenen angesiedelt, da die PISA-Studie auf der Zusammen-arbeit verschiedener Gremien aufbaut: Während die OECD als Auftraggeber auftritt, ist dasinternationale Konsortium für die Implementierung und Durchführung der Studie iminternationalen Rahmen verantwortlich. Die nationalen Zentren sind die Durchführendenauf nationaler Ebene. Auch die Verantwortlichkeiten in Bezug auf Sicherung und Kontrolleder Qualität sind auf diese Gremien verteilt (vgl. auch Kapitel 2 und 3 in Abschnitt II).

Abschnitt IX: Qualitätssicherung und Qualitätskontrolle 261

Abbildung IX.1: Organisation nachPhasen der Studie

verarbeitung

Daten-

Kap. 3

erhebung

Vorbereitungs-

Kap. 2

phase

Daten-

Kap. 4

Die OECD hat hierbei – in erster Linie durch das Board of Participating Countries – dieAufgabe, Qualitätsmaßstäbe festzusetzen und Entscheidungen in Bezug auf Konsequenzendes Nicht-Erreichens dieser Maßstäbe zu treffen.

Für manche Aspekte der Qualitätskontrolle in der Studie zeichnet sich das internationaleKonsortium verantwortlich. Hierzu gehören vor allem die allgemeine Konzeption der Studiesowie die Funktion des internationalen Konsortiums als externer Beobachter und Begutachter,im Sinne von „quality monitoring“ und „quality control“.

Für die Durchführung der Studie in den einzelnen Teilnehmerstaaten obliegt dieQualitätssicherung den NPMs und den ihnen unterstellten nationalen Zentren. Hierbei kannman zwischen Maßnahmen unterscheiden, die den Teilnehmerstaaten vom internationalenZentrum auferlegt werden und zwingend vorgeschrieben sind, und solchen, die zusätzlich dazuauf nationaler Ebene durchgeführt werden.

Der vorliegende Abschnitt ist auf Maßnahmen fokussiert, die vom nationalen Projekt-zentrum in Österreich durchgeführt wurden (selbstständig oder in internationaler Zusammen-arbeit). Einige Maßnahmen, die im internationalen Kontext durchgeführt wurden, werdenkurz erläutert. Bezüglich genauerer Beschreibungen internationaler Maßnahmen muss jedochauf internationale Dokumente verwiesen werden.

1.3 Zur inhaltlichen Gliederung dieses AbschnittsQualitätssicherung und -kontrolle finden in allenBereichen statt, wobei – wie schon erwähnt – Qua-litätssicherung meist stärker in die normalen Abläufeintegriert ist und Qualitätskontrolle in Form vonzusätzlichen Maßnahmen durchgeführt wird. Wichtigist, hohe Qualität von den ersten Anfängen der Studiebis hin zur Auswertung und Berichtlegung zu sichern.Die vorliegende Publikation widmet sich in erster Linietechnischen Aspekten der Vorbereitung und Durch-führung der PISA-Studie 2000, weshalb auch bei derBeschreibung der Qualitätssicherungs- und -kontroll-prozeduren der Schwerpunkt auf diesen Bereichenliegt.

Die Qualitätssicherungsmaßnahmen können meistrelativ eindeutig bestimmten Phasen der Studiezugeordnet werden. Eine grobe Einteilung nach Phasender Studie versucht Abbildung IX.1 darzustellen. Andieser orientiert sich auch die Struktur dieses Ab-schnitts. Besonders wichtige Maßnahmen zur Quali-tätssicherung werden in den Kapiteln 2–4 erläutert.Prozeduren der Qualitätskontrolle und ihre Ergebnissewerden in einem eigenen Kapitel beschrieben (vgl.Kapitel 5).Die erwähnten Phasen wiederholten sichgroßteils in Feld- und Haupttest, wurden also zweimaldurchlaufen. Da der Feldtest in gewissem Sinn auch alsGeneralprobe für den Haupttest interpretiert werdenkann, wurden auch schon im Feldtest Qualitäts-sicherung und -kontrolle betrieben.


In der Beschreibung werden nur dort explizit Prozeduren des Feldtests behandelt, wo sichdiese konzeptuell von denen des Haupttests unterschieden. Andererseits muss der Feldtestselbst aber auch als Maßnahme zur Qualitätssicherung betrachtet werden, da in diesem alleProzeduren des Haupttests sozusagen „für den Ernstfall geübt“ wurden.

Am Anfang jedes Kapitels in diesem Abschnitt werden jeweils die Prozeduren, auf die sichdie beschriebenen Qualitätssicherungsmaßnahmen beziehen, noch einmal kurz zusammen-gefasst und für detailliertere Beschreibungen auf die entsprechenden Teile in den voran-gegangenen Abschnitten verwiesen. Obwohl hinter allen Qualitätssicherungsmaßnahmenimmer das große Ziel steht, die Qualität und Vergleichbarkeit der Daten sicherzustellen, könnenjedem Abschnitt der Studie Teilziele zugeordnet werden. Im Folgenden wird versucht, vor derBeschreibung konkreter Maßnahmen zur Qualitätssicherung jeweils kurz die wichtigstenTeilziele in Bezug auf Qualität in dem jeweiligen Bereich zu umreißen.

Es sei angemerkt, dass dieser Abschnitt keine erschöpfende Auflistung aller durchgeführtenQualitätssicherungsmaßnahmen darstellt. In gewisser Weise steckt in allen Vorgängen undAbläufen ein Stück Qualitätssicherung, was sich schon in der Auswahl der besten Verfahrenund Durchführungsweisen zeigt. Im Folgenden werden die wichtigsten Prozeduren in Bezugauf Qualitätssicherung erläutert und speziell zwecks Qualitätskontrolle durchgeführteMaßnahmen beschrieben.

2. Qualitätssicherung in der Vorbereitungsphase

2.1 Testmaterialien

2.1.1 Übersetzung und Anpassung der Instrumente

Da PISA eine internationale Studie ist, die in 32 Ländern und in etwa 25 verschiedenenSprachen durchgeführt wurde, ergab sich die Notwendigkeit, Tests, Fragebögen und Manualszu übersetzen. Qualitätssicherungsmaßnahmen in diesem Bereich dienten in erster Linie demZweck, die Vergleichbarkeit der Ergebnisse zwischen den Ländern sicherzustellen, indem beider Übersetzung und Anpassung von Materialien auf höchste Qualität Wert gelegt wurde.Dies geschah einerseits durch verschiedene Prozeduren bei den Übersetzungsvorgängen, indie auch interne Kontrollmechanismen eingebaut wurden und andererseits durch externeKontrolle, die Verifikation von Materialien. Wichtig war auch, die Instrumente nationalsprachlichen und kulturellen sowie auch praktischen Gegebenheiten anzupassen, ohne dieVergleichbarkeit zwischen verschiedenen Ländern zu gefährden. Eine detaillierte Beschreibungaller Übersetzungs- und Adaptionsvorgänge findet sich in Kapitel 4 in Abschnitt IV.

Vom internationalen Zentrum auferlegte Qualitätssicherungsmaßnahmen in diesemBereich umfassten die Forderung, alle Testmaterialien und Survey-Instrumente zweifach zuübersetzen. Dies bezog sich vor allem auf die Übersetzung des Itempools vor dem Feldtest.Für den Haupttest musste nichts mehr neu übersetzt, sondern nur Änderungen in dienationalen Versionen übertragen werden. Als Basis für die Übersetzung wurden „sourceversions“ in englischer und französischer Sprache vom internationalen Konsortium entwickelt.Vorzugsweise wurde eine Übersetzung aus dem Englischen und eine aus dem Französischendurchgeführt. Dies hatte unabhängig voneinander zu geschehen. Aus diesen beiden Versionenversuchte dann ein dritter Übersetzer, eine gemeinsame Version herzustellen. Die „doubletranslation“ diente dazu, Fehler zu minimieren, indem erstens davon ausgegangen wird, dass


zwei Personen meist nicht die gleichen Fehler machen und so gegenseitig Schwachstellen inden Übersetzungen aufdecken. Zweitens wurde durch die Übersetzung aus zwei verschiedenenSprachen das Problem zu umgehen versucht, dass Formulierungen einer Sprache oft auf mehrereArten gedeutet werden können. Die Heranziehung einer zweiten „source version“ sollte solcheUneindeutigkeiten minimieren.

Als weitere Maßnahme zur Qualitätssicherung wurde eine Rückübersetzung durchgeführt.Hier wurde die entstandene deutsche Version zurück ins Englische übersetzt und diese dannmit der ursprünglichen englischen Fassung verglichen.

Der Umstand, dass mehrere Länder an PISA teilnehmen, die die Testsitzungen (zumindestunter anderem) auf Deutsch durchführten, ermöglichte eine enge Kooperation bei derÜbersetzung der Materialien. So konnte einerseits der Aufwand dieser Prozeduren auf mehrereLänder aufgeteilt und Ressourcen für zusätzliche Qualitätssicherungsmaßnahmen verwendetwerden. In Österreich wurden diese zusätzlichen Ressourcen zum Beispiel für die gegenseitigeKontrolle der beiden Übersetzer verwendet, die Mathematik- und Science-Instrumente ausdem Englischen übersetzt hatten. Andererseits ermöglichte die Zusammenarbeit gegenseitigeKontrolle und Feedback.

Bei der Übersetzung und Adaption der Fragebögen diente die Kooperation mit anderenTeilnehmerstaaten auch dazu, potentiell uneindeutige Passagen in den Fragebögen aufzudecken.Nach Fertigstellung der gemeinsamen Version mussten relativ umfangreiche Arbeiten geleistetwerden, um die Fragen an die nationalen Gegebenheiten anzupassen.

Als externe Qualitätssicherung wurde vom internationalen Zentrum eine „Verifikationsstelle“eingerichtet. An diese waren alle übersetzten Instrumente zu schicken. Dort wurden alle diesevon einem speziell geschulten Mitarbeiter kontrolliert und mit Anmerkungen versehen andas entsprechende Land zurückgeschickt. Vor Abdruck mussten alle Tests (zweifach: einmalin elektronischer Form als einzelne Aufgabenblöcke [Units], ein zweites Mal in Hardcopy inBookletform) und alle verwendeten Fragebögen von internationaler Seite verifiziert werden.Diese Verifikation bezog sich einerseits auf sprachliche und übersetzungstechnische Aspekte,umfasste vor allem bei den Testheften aber auch das Layout von Aufgaben und Booklets.Verifiziert werden mussten im Haupttest auch alle verwendeten Manuals, wie das für dieSchulkoordinatoren und das Testadministratoren-Manual (siehe auch Kapitel 3 in diesemAbschnitt).

Die Verifikation bedeutete externe Qualitätskontrolle und Qualitätssicherung zugleich.Einerseits wurde von außen die Qualität der Übersetzung überprüft. Andererseits fand dieVerifikation vor dem Druck der Instrumente statt und Rückmeldungen des Verifikatorskonnten so noch in den nationalen Versionen berücksichtigt werden. Somit führte dieseVorgangsweise auch zur Qualitätssteigerung.

Ein weiterer Aspekt in Bezug auf Qualitätssicherung war die Auswahl der Übersetzer. ZurSicherstellung, dass die Tests in eine für 15-/16-jährige Schüler/innen geeignete Sprache über-tragen und Fachausdrücke in die in österreichischen Schulen gebräuchlichen Bezeichnungenübersetzt wurden, wurden für die Übersetzung der Testinstrumente zweisprachige Lehrer aus-gewählt, die mehrere Jahre Unterrichtserfahrung sowohl in Österreich als auch in einemenglischsprachigen Land aufweisen konnten. Die Fragebögen wurden von Mitarbeiter/innendes nationalen Projektzentrums übersetzt, da hier Personen mit fundiertem Wissen in Bezugauf das österreichische Schulsystem sowie mit theoretischen Kenntnissen und Erfahrung inder Fragebogenerstellung benötigt wurden.


2.1.2 Vorbereitung und Organisation der Materialien

Alle Materialien, die bei den Testsitzungen zum Einsatz kamen, mussten entsprechendvorbereitet und organisiert werden. Testhefte, Fragebögen und Lesefertigkeitstests musstenmit Etiketten versehen werden, die Schul- und Schüleridentifikationsnummern enthielten.Hierbei mussten Rotationsschemata beachtet werden, damit alle Testheftformen möglichstgleich oft zum Einsatz kamen und in Kombination mit den entsprechenden Formen derFragebögen und Lesefertigkeitstests den richtigen Personen zugeteilt wurden. Die etikettiertenMaterialien mussten dann zu Testpaketen für jede Schule zusammengestellt werden (vgl. hierzuauch Kapitel 2 in Abschnitt VI).

Die genaue Kontrolle aller Materialien, bevor sie zum Einsatz kamen, sollte Probleme beider Durchführung der Tests minimieren. Beispielsweise sollte verhindert werden, dass währendder Testsitzungen defekte Hefte durch Reservehefte ersetzt werden mussten. Zudem sollte dieZuordenbarkeit der Instrumente nach dem Rücklauf garantiert werden.

Folgende Kontrollmaßnahmen wurden hierbei durchgeführt:• Eine Stichprobe von allen Materialien wurde sofort nach Eintreffen aus der Druckerei

überprüft, um eventuelle serielle Fehler sofort aufzudecken und entsprechende Hefte vorden weiteren Vorgängen ausschließen zu können.

• Bei der Etikettierung wurde jedes einzelne Heft noch einmal auf fehlende oder doppelteSeiten sowie auf Verschmutzungen oder andere mechanische Defekte überprüft.

• Die fertigen Schulpakete wurden von Mitarbeiter/innen des PISA Projektzentrums aufVollständigkeit überprüft. Hierbei wurde kontrolliert, dass die Schul-ID auf dem Etikettdes Pakets mit denen auf den Etiketten von Testheften und Fragebögen und der Schul-IDder beigelegten Schülerliste übereinstimmte. Weiters wurde die Rotation der Testheftformenmit den Einträgen auf der Schülerliste und die Konsistenz zwischen der Rotation derTesthefte und der Fragebögen sowie der Lesefertigkeitstests kontrolliert. Außerdem wurdedie Anzahl der Testhefte, Fragebögen und Lesefertigkeitstests mit der Anzahl der Schüler/innen auf der Schülerliste, das Vorhandensein von PISA-Kugelschreibern und dieRichtigkeit der Etikettierung der Reservehefte überprüft. Alle diese Kontrollen wurdenzweimal unabhängig voneinander durchgeführt.

• Außerdem wurden die Testadministratoren aufgefordert, vor jeder Testsitzung dasentsprechende Schulpaket noch einmal auf Vollständigkeit hin zu überprüfen.

2.1.3 Sicherung der Materialien

Spezielles Augenmerk wurde auf die Sicherung der Materialien gelegt. Zum einen warensämtliche Testmaterialen vertraulich zu behandeln und durften nicht vervielfältigt oderveröffentlicht werden. Zum anderen musste sichergestellt werden, dass ausgefüllte Fragebögenund Testhefte zur Wahrung der Anonymität der Schüler/innen nicht in fremde Händegelangten. Dies spielte vor, während und nach der Datenerhebung eine wichtige Rolle. ImFolgenden werden die Maßnahmen, die in der Vorbereitungsphase getroffen wurden, kurzbeschrieben.

Die fertig gepackten Schulpakete wurden bis zur Übergabe an die Testadministratoren inRäumlichkeiten des PISA Zentrums verwahrt. Die Übergabe der Materialien an alle Test-administratoren erfolgte persönlich während der Schulungen. Da diese dezentral an verschiedenenOrten in Österreich (vgl. Kapitel 2 in Abschnitt VI) durchgeführt wurden, mussten dieSchulpakete von Mitarbeiter/innen des PISA Zentrums zu den Trainings gebracht werden.


Dort übernahmen die Testadministratoren die Pakete und waren ab diesem Zeitpunkt für diesichere Lagerung bis zum Rücklauf verantwortlich.

Vorteile dieser Vorgangsweise sind erstens die Umgehung von Postwegen, bei denenerfahrungsgemäß Materialien verloren gehen, und die Tatsache, dass so keine Materialien zuirgendeinem Zeitpunkt vor (und auch nach) den Testsitzungen an Testschulen aufbewahrtwerden mussten.

2.2 SamplingQualitätsmaßnahmen beim Sampling dienten dazu, die Qualität der Stichprobe zu sichern,indem die Repräsentativität der Stichprobe in jedem Land sowie die Vergleichbarkeit zwischenden Ländern sichergestellt wurden. Alle Vorgangsweisen bei der Stichprobenziehung werdenin Abschnitt V beschrieben. Im Folgenden soll auf einige Aspekte in Bezug auf Qualitätssicherungin diesem Bereich hingewiesen werden.

Zur Sicherung der Qualität der Stichprobenziehung in den einzelnen Ländern wurde dieVorgehensweise im Sampling-Manual international festgelegt und vereinheitlicht. Hier wurdenauch alle Punkte beschrieben, in denen nationale Prozeduren an spezielle Gegebenheiten ineinem Land angepasst werden durften.

Ein weiterer wichtiger Punkt war die genaue Dokumentation der Samplingprozeduren, umdie Nachvollziehbarkeit zu gewährleisten.

Wie bei der Übersetzung von Materialien wurde auch für die Stichprobenziehung eineinternationale Verifikationsstelle eingerichtet. An diese Stelle musste der Samplingplan und dieDokumentation der Stichprobenziehung sowie des resultierenden Samples geschickt werden.Zur Diskussion und zur Beseitigung von Problemen und Unklarheiten wurden persönlicheBeratungsgespräche des Samplingbeauftragten des internationalen Zentrums mit allen NPMsbei einem NPM-Meeting durchgeführt.

2.3 ScreeningSorgfältige Vorgangsweisen beim Screening dienten ebenfalls der Steigerung der Qualität derStichprobe, allerdings der realisierten Stichprobe. Durch spezielle Maßnahmen, die in ersterLinie der Motivation der ausgewählten Schulen zur Teilnahme an der Studie dienten, sollteeine hohe Rücklaufquote sichergestellt werden. Eine genaue Beschreibung der Screening-Vorgänge findet sich in Kapitel 2 in Abschnitt VI.

Folgende Vorgehensweisen im Rahmen des Screenings scheinen in Bezug auf Qualitätssiche-rung besonders erwähnenswert:• Durch exakte Planung der Informationsabläufe sollte (und konnte) eine hohe Teilnahmequote

der Schulen erreicht werden. Hierbei wurden auch die zuständigen Schulbehörden mit-einbezogen und vorab über die Studie informiert und zur Unterstützung aufgefordert.Ein Erlass von Frau BM Gehrer war hierbei förderlich. Erst nach Information allerzuständigen Landesschulratspräsidenten und Landesschulinspektoren und durch diese derregionalen Schulbehörden, in deren Zuständigkeitsbereich PISA-Schulen fielen, wurdendie Schulen angeschrieben.

• Die Teilnahmemotivation der Schulen sollte einerseits durch die Befürwortung derUntersuchung durch die Schulbehörde gesteigert werden, andererseits wurden alle möglichenMaßnahmen gesetzt, um den Aufwand für die einzelne Schule so gering wie möglich zuhalten.


• Die Kontaktperson für PISA an der Schule (der Schulkoordinator), die von der Schulleitungzu bestimmen war, wurde durch kurze, möglichst prägnante Briefe informiert und nichtwie international vorgesehen durch ein relativ umfangreiches Manual. Diese Informations-schreiben wurden jeweils zu den Zeitpunkten verschickt, an denen bestimmte Arbeitenvom Schulkoordinator durchzuführen waren; so musste dieser nicht selbst auf die Ein-haltung von (längeren) Fristen achten.

• Weiters gab es für die Schulen die Möglichkeit der telefonischen Rücksprache mit dem PISAZentrum, wenn weitere Informationen gewünscht wurden, Probleme oder Unklarheitenauftraten.

• Der Aufwand der Schulen wurde auch durch den Einsatz von externen Testadministratorenfür die Testdurchführung verringert. Den Schulkoordinatoren blieb nur die Aufgabe, einenTestraum zu organisieren und den Testtermin mit dem Testadministrator zu koordinieren.

• Bei Nicht-Reagieren von Schulen auf Anschreiben des PISA Zentrums wurde jeweilstelefonisch mit den Schulen bzw. den Schulkoordinatoren Kontakt aufgenommen. Einetelefonische Kontaktaufnahme erfolgte auch, wenn bei der Kontrolle der Schülerliste, die vonder Schule erstellt worden war, Informationen fehlten.

• Schüler/innen und Eltern erhielten einige Tage vor dem Testtermin Informationsschreibenund die Möglichkeit, über Internet, E-Mail oder Telefon weitere Informationen bei denzuständigen Personen am Bundesministerium für Bildung, Wissenschaft und Kultur oderdem PISA Zentrum einzuholen.

• Nach Ende des Testfensters und Durchführung aller Tests wurde der Aufwand, der durchdie PISA-Studie für die Schulkoordinatoren entstanden war, finanziell abgegolten.

• Außerdem erhielten die Schulkoordinatoren ein Dankschreiben sowie die Möglichkeiteiner Rückmeldung in Form von Feedbackbögen (vgl. auch Kapitel 5.1.2 in diesemAbschnitt). Die Schulen erhielten eine Teilnahmeurkunde.

3. Qualitätssicherung während der DatenerhebungUm vergleichbare Daten über Schulleistungen in verschiedenen Ländern zu erhalten, war esbesonders wichtig, alle Schüler/innen unter den gleichen Bedingungen zu testen. Deshalbspielte Qualitätssicherung während der Datenerhebung in erster Linie in Bezug auf dieStandardisierung der Testsitzungen eine große Rolle. Alle Vorgänge, die zur Vorbereitung aufdie Tests getroffen wurden, sowie der Ablauf der Testsitzungen sind in Kapitel 2 in AbschnittVI dokumentiert und im Detail beschrieben. In diesem Kapitel sollen noch einmal jene Aspekteherausgestrichen werden, die im Speziellen für die Steigerung und Sicherung der Qualitätdurchgeführt wurden.

3.1 Standardisierung der TestsitzungenVor allem drei Aspekte waren in Bezug auf die Testsitzungen von besonderer Bedeutung:• der Einsatz von externen Personen für die Administration der Tests,• ein standardisiertes Manual für die Testdurchführung inklusive standardisierter Skripts

und• die Einschulung der Testadministratoren.Diese leisteten alle einen entscheidenden Beitrag zur Vereinheitlichung der Testadministration– in verschiedenen Schulen und verschiedenen Ländern – und somit zur Qualität der Test-durchführung.


3.1.1 Externe Testadministratoren

Der Einsatz von Personen als Testadministratoren, die von außen zur Testschule kamen, denTest durchführten und sämtliche Materialien wieder mitnahmen, hatte verschiedene Vorteile,die einen positiven Einfluss auf die Qualität der Testdurchführung mit sich brachten.

Die Testdurchführung war objektiver, da die Versuchung, einzelnen Schüler/innen beiTestaufgaben auf die Sprünge zu helfen, praktisch nicht vorhanden war. Der Testablauf fanddurch den Einsatz externer Testadministratoren kontrollierter und standardisierter statt, daVorbereitung und Einschulung bei wenigen Personen intensiver verlaufen konnten. Außerdemspielte auch Übung bei der Administration standardisierter Tests eine Rolle. Je mehrTestsitzungen geleitet werden, desto vertrauter wird man mit den Prozeduren und Richtlinien.Sich dieser Tatsache bewusst hat das PISA Projektzentrum ein stehendes Netz an Testadministra-toren aufgebaut und so konnten einige Testadministratoren schon mit Erfahrungen aus demFeldtest in den Haupttest gehen. Sie werden bei zukünftigen Untersuchungszyklen (2003und 2006 – vgl. Kapitel 1 in Abschnitt III) ihre Erfahrungen wieder gewinnbringend einsetzenkönnen.

Ein weiterer Vorteil war, dass als externe Testadministratoren nur Personen in Frage kamen,die sich freiwillig zur Verfügung gestellt hatten. Dadurch wurde sichergestellt, dass dieBeteiligten auch die entsprechende Motivation mitbrachten. Andererseits wurde die Motivationder Schulen und Schulkoordinatoren gestärkt, da ihnen ein großes Stück Arbeit abgenommenwurde.

Die Administration der Tests durch schulfremde Personen hatte zudem den Vorteil, dieVertraulichkeit in Bezug auf persönliche Angaben der Schüler/innen – vor allem in denFragebögen – zu sichern, da während der Testsitzung keine Lehrer/innen der eigenen SchuleEinsicht in die Arbeit der Schüler/innen nehmen konnten und zu keinem Zeitpunkt vor odernach dem Test Materialien in Schulen gelagert wurden. Dies konnte auch dazu führen, dieQualität der Daten aus den Schülerfragebögen zu verbessern, da ehrlichere Antworten vonSeiten der Schüler/innen zu erwarten waren.

Abgesehen davon, dass die externen Testadministratoren einen großen Beitrag zur Sicherungder Qualität während der Datenerhebung leisteten, spielten sie auch bei der Qualitätskontrolleeine Rolle, indem relativ objektive Rückmeldungen über die Abläufe und Geschehnisse anden Testtagen sowie über die Brauchbarkeit von Manuals, Schulungen und sonstigenHilfestellungen zu erwarten waren (vgl. auch Kapitel 5.1.1 in diesem Abschnitt).

3.1.2 Testadministratoren-Manual

Das Testadministratoren-Manual diente der Vereinheitlichung der Abläufe durch exakteAnweisungen. Diese mussten allerdings nicht nur einheitlich, sondern auch verständlich sein.Hierbei spielten Struktur und Übersichtlichkeit eine wichtige Rolle. Nur wenn manentsprechende Informationen schnell und zielsicher finden konnte, war es auch noch beiUnklarheiten während der Tests möglich, anhand des Manuals Entscheidungen zu treffen.Deshalb wurde bei der Gestaltung des Manuals auf nationaler Ebene besonderer Wert auf dieGliederung und das Layout des Testadministratoren-Manuals gelegt. In diesem Sinn wurdendie Rückmeldungen auf die Feldtestversion des Manuals sehr gewissenhaft ausgewertet undin die inhaltliche und optische Gestaltung der Haupttestversion mit einbezogen.

Ein weiterer Punkt, der entscheidenden Einfluss auf die Qualität der Testdurchführunghatte, war die international einheitliche Administration der Tests und hierzu leistete auch dasManual einen wichtigen Beitrag. Der Ablauf der Testsitzungen musste in allen Ländern gleich


sein und auch die Anweisungen und Erklärungen, die die Schüler/innen vor und währendder Tests erhielten, durften sich zwischen den verschiedenen Ländern nicht unterscheiden.Dies wurde durch zwei Qualitätssicherungsmaßnahmen erreicht: Zum einen gab es alsErgänzung zur internationalen Version des Manuals Anmerkungen bezüglich erlaubter undnicht erlaubter Anpassungen von Teilen und Texten des Manuals an nationale Gegebenheiten.Zum anderen wurde die Übersetzung und Adaption des Manuals – wie bei den Test-instrumenten – von internationaler Seite her überprüft und verifiziert. Besonders wichtig wardie internationale Einheitlichkeit bei den Skripts, den Anleitungen, die den Schüler/innen vorund während der Testdurchführung gegeben wurden. Diese waren im Testadministratoren-Manual abgedruckt und mussten wörtlich vorgelesen werden. Aus diesem Grund war es sowohlvon Bedeutung, dass die Übersetzung dieser Textpassagen akkurat war als auch, dass sich dieTestadministratoren exakt an diese Vorgaben hielten.

3.1.3 Vorbereitung der Testadministratoren

Die Vertrautheit der Testadministratoren mit den Abläufen der Testsitzungen wurde durchzwei Maßnahmen gesichert: zum einen durch die Abhaltung von Schulungen für alleTestadministratoren und zum anderen durch persönliche Vorbereitung der Testadministratorenauf ihre Aufgabe.

Die Vorbereitung erfolgte in drei Schritten: Alle Testadministratoren erhielten einige Tagevor der Einschulung ein Exemplar des Manuals zugeschickt. Dies war mit der Bitte verbunden,sich persönlich vorzubereiten, damit beim Training schon eine gewisse Vertrautheit mit derMaterie vorhanden war. Daraufhin war die Teilnahme an einem halbtägigen Training fürTestadministratoren obligatorisch. Als dritter Schritt waren die Testadministratoren aufgefordert,sich zwischen Schulung und Testdurchführung noch einmal intensiv mit den besprochenenAbläufen auseinander zu setzen.

3.2 Qualitätssicherungsmaßnahmen während der TestsitzungenWährend der Testsitzung fanden Qualitätssicherungsmaßnahmen vor allem Anwendung,indem einerseits bestimmte Vorgehensweisen vorgeschrieben waren und andererseits dadurch,dass die Möglichkeit gegeben war, bei Problemen telefonisch Rat einzuholen.

Vorgeschrieben war, dass sich die Testadministratoren eine Stunde vor Testbeginn in derSchule einfanden. So war die Möglichkeit einer letzten Kontrolle der Materialien gegeben.Weiters konnte sich der Testadministrator vom adäquaten Zustand des Testraums überzeugenund es blieb Zeit, gegebenenfalls um einen anderen Raum zu bitten. Zudem konnte derTestadministrator die Tische und Sessel im Testraum noch vor Eintreffen der Schüler/innenorganisieren und so geeignete Bedingungen für die Testdurchführung schaffen.

Für den Fall von unerwarteten Problemen am Testtag war vom PISA Zentrum eintelefonischer Hotline-Dienst eingerichtet worden, so dass ab 7.00 Uhr, also etwa der Zeit, zuder die Testadministratoren in den Schulen eintrafen, ein/e kompetente/r Mitarbeiter/in desnationalen Projektzentrums um Rat gefragt werden konnte.

Einen Beitrag zur Qualitätssicherung während der Testsitzungen leisteten auch die vominternationalen Zentrum eingesetzten School Quality Monitors (SQM), die eine Stichprobevon 35 Schulen jeweils am Tag des Tests unangekündigt besuchten. Die Anwesenheit einesSQMs leistete insofern einen Beitrag zur Qualitätssicherung, als dieser instruiert war, beigroben Verstößen gegen die standardisierten Prozeduren dezent einzugreifen. Außerdem könntedie Anwesenheit einer Kontrollinstanz die Motivation der Testadministratoren zur exakten


Einhaltung von vorgegebenen Abläufen und der wörtlichen Verwendung der Skripts steigern.An sich gehören die SQMs jedoch zur Qualitätskontrolle, weshalb auf die Ergebnisse dieserBesuche in Kapitel 5.2.2 in diesem Abschnitt näher eingegangen wird.

4. Qualitätssicherung bei der Datenverarbeitung

4.1 TestmaterialienQualitätssicherung in Bezug auf die Testmaterialien hatte in der Phase der Datenverarbeitungvor allem zum Ziel, dass alle Materialien vollständig und unbeschädigt ins PISA Zentrumgelangten, dass hierbei die Vertraulichkeit, die den Schüler/innen zugesichert worden war,gewahrt wurde und alle Materialien vollständig und zuordenbar in Datensätze verwandeltwerden konnten.

Ein erster wichtiger Punkt hierbei war der Transport der Testmaterialien nach Salzburgsowie die damit verbundene Lagerung der Schulpakete zwischen Testsitzung und Abtransport.Im Feldtest mussten die Testadministratoren die Schulpakete nach den Testsitzungen privatlagern und dann entweder per Post ans PISA Zentrum schicken oder persönlich hinbringen.Diese Vorgangsweise kam im Haupttest bei etwa 230 getesteten Schulen nicht in Frage. ImHaupttest wurde am Pädagogischen Institut jedes Bundeslandes eine zentrale Sammelstelleorganisiert (vgl. Kapitel 2 in Abschnitt VI). Von dieser wurden die Materialien dann in einer„Rückholaktion“ persönlich von Mitarbeiter/innen des PISA Zentrums abgeholt. So konntensowohl die Lagerung von Testmaterialien an Schulen als auch Postwege vermieden werden.

Die Vollständigkeit der Materialien wurde im Rahmen der Rücklaufkontrolle gleich nachEintreffen der Schulpakete überprüft (vgl. Kapitel 2 in Abschnitt VII). Bei dieser wurde genauregistriert, wie viele Testhefte, Fragebögen, Lesefertigkeitstests, Schülerlisten und Test-sitzungsprotokolle von welcher Schule ausgefüllt, leer und beschädigt zurückgekommen waren.Als weiterer Qualitätssicherungsschritt wurden diese Listen mit den Schülerlisten in KeyQuest(den so genannten Student Tracking Forms in der Dateneingabesoftware) auf Übereinstimmunghin kontrolliert.

Um auch sicherzustellen, dass bei den eigentlichen Datenverarbeitungsprozessen keineMaterialien mehr verloren gehen konnten, fanden im Haupttest alle Arbeiten, das Marking(Vorkodierung der Antworten auf die offenen Fragen), die ISCO-Kodierung und dieelektronische sowie die manuelle Dateneingabe in Räumlichkeiten des PISA Zentrums statt.

4.2 Marking und die Reliabilität von BewertungenBei den PISA-Tests kamen relativ viele Aufgaben mit offenem Antwortformat zum Einsatz.Diese Antworten mussten vor der Eingabe in den Computer verkodet, also bewertet bzw.beurteilt werden (vgl. Kapitel 1 in Abschnitt VIII). Wichtig war, die Qualität dieserBewertungen hoch zu halten, wobei sich diese in erster Linie in der Reliabilität der Beurteilungzeigt. Ziel war es, die Antworten so zu verkoden, dass egal, welcher Marker (so werden beiPISA die Personen genannt, die diese Bewertungen durchführen) eine Antwort beurteilte,immer der gleiche Code vergeben wurde.

In diesem Kapitel sollen die Maßnahmen beschrieben werden, die integriert in denMarking-Prozess zur Qualitätssicherung Anwendung fanden. Ergänzend zu diesen wurdenzwei spezielle Kontrollprozeduren, das Multiple Marking und die Cross-Country-Reliability-Study durchgeführt, auf welche in Kapitel 5.3 in diesem Abschnitt näher eingegangen wird.


Wichtigste Basis des Markings waren die standardisierten Marking Guides, welche die Be-schreibung sämtlicher Codes aller offenen Aufgaben enthielten. Diese durchliefen den glei-chen Übersetzungs- und Verifikationsprozess wie die Testitems selbst. Dadurch sollte sicher-gestellt werden, dass in allen Teilnehmerstaaten diese Basis die gleiche war. Eine (nicht vorge-schriebene) Kontrolle der Marking Guides für den Haupttest fand dadurch statt, dass vonden österreichischen Teilnehmern die nationalen Versionen als Grundlage für die internatio-nalen Marker Trainings verwendet wurden.

Diese internationalen Marker-Trainings bildeten die zweite Basis für die Vereinheitlichungdes Markings. Jeweils im Februar vor Feld- und Haupttest fanden diese Schulungen statt, diedazu dienten, zumindest je einen Teilnehmer pro Land und Testdomäne mit der Auslegungund Interpretation der Marking Instructions in den Marking Guides vertraut zu machen.

Die dritte Grundlage bildeten Schulungen der Marker auf nationaler Ebene. Hier wurdegrößtes Augenmerk darauf gelegt, dass nach Abschluss des Trainings zwischen allen Markerneiner Domäne Konsens bezüglich der Handhabung und Verwendung der Marking Anleitungenherrschte. Hierfür wurden die gleichen Materialien wie bei den internationalen Schulungenverwendet.

Ein weiterer Qualitätsaspekt bestand in der Auswahl der Marker. Es wurde darauf geachtet,dass die Personen mit der Testdomäne und 15-/16-jährigen Schüler/innen vertraut waren, alsowurden vorzugsweise Lehrer/innen, Unterrichtspraktikant/innen und Lehramtskandidat/innenentsprechender Unterrichtsfächer für den Marking Prozess gewählt.

Für die Betreuung der Marker während der Arbeit stand für jede Domäne ein Supervisorzur Verfügung. Dies waren diejenigen Personen, die am internationalen Marker Trainingteilgenommen und die nationalen Schulungen abgehalten hatten. Konnten die SupervisorenEntscheidungen bezüglich der Vergabe der Codes nicht treffen, war international ein E-Mail-Marker-Query-Service eingerichtet worden, der in solchen Fällen die Vergabe des Codesübernahm.

Durch spezielle Rotationsschemata bei der Zuteilung von Testheften zu Markern wurdesichergestellt, dass jedes Testheft von mehreren Personen bearbeitet wurde, indem in einemHeft von einem Marker jeweils nur die offenen Fragen aus einem 30-Minuten-Block beurteiltwurden. Außerdem teilte dieses Schema jedem Marker Testhefte aus verschiedenen Schulenund Schulformen zu. Das diente dem Zweck, die Qualität der Daten durch etwaige tendenzielleBeurteilungen einzelner Marker nicht negativ zu beeinflussen.

4.3 Manuelle Dateneingabe und elektronische DatenerfassungAblauf und Organisation der manuellen und elektronischen Dateneingabe wird in Kapitel 2in Abschnitt VIII beschrieben. Qualitätssicherung hatte in diesem Bereich direkten Einflussauf die Qualität der Daten. Entsprechende Maßnahmen zielten in erster Linie auf dieMinimierung von systematischen und unsystematischen Kodierfehlern ab.

4.3.1 Qualitätssicherung bei der manuellen Dateneingabe

Beim manuellen Kodieren, bei dem geschulte Personen die Daten aus Fragebögen oderTestheften händisch in den Computer eingaben, waren folgende Maßnahmen im Speziellendarauf ausgerichtet, die Qualität der Dateneingabe zu verbessern:• Bei der Auswahl der Kodierer wurde darauf geachtet, möglichst Personen, die schon Erfahrung

mit der Eingabe von größeren Datenmengen hatten, anzustellen. Weiters wurden Kodiererbevorzugt, die diese Erfahrung bei Projekten oder Studien in unserem Bereich gesammelt hatten.


• Jeder Kodierer – egal mit welcher Vorbildung und Erfahrung – wurde für seine Aufgabeindividuell eingeschult. Diese Einschulung umfasste sowohl allgemeine Informationenzur Dateneingabe-Software als auch Erklärungen zu Besonderheiten von Variablen ausdem zu bearbeitenden Instrument. Außerdem bekam jeder Kodierer bei jedem zubearbeitenden Instrument die Möglichkeit, einige Datensätze unter Betreuung einzugeben.

• Bei jedem Kodierer wurden stichprobenartig eingegebene Datensätze mit den Originalinstrumentenverglichen. Dies erfolgte verstärkt am Anfang, um systematische Fehler schnell aufdecken undkorrigieren zu können.

• Auch die Art der Bezahlung wurde mit dem Ziel, möglichst hohe Qualität zu erreichen,gewählt: Es wurde nach Arbeitszeit und nicht nach Datensätzen bezahlt.

• Die in die Dateneingabe-Software KeyQuest integrierten Checks dienten der Qualitätssicherung,indem schon während der Dateneingabe überprüft wurde, ob Identifikationsvariablengültig waren und keine Duplikate eingegeben wurden. Außerdem waren bei den meistenVariablen „Out-of-Range-Checks“ durch die Definition gültiger Werte (-bereiche) ebenfallsim Programm eingebaut.

4.3.2 Qualitätssicherung bei der elektronischen Datenverarbeitung

Bei der elektronischen Datenverarbeitung, dem Erfassen von Daten durch einen Scanner undgeeignete Software, spielte sich ein Großteil der Qualitätssicherung schon in der Vorbereitungab.

Von besonderer Wichtigkeit war Folgendes:• Genaues Arbeiten bei der Definition der Variablen, so dass die Positionen von Antwort-

kästchen oder Platzhaltern für Buchstaben des elektronischen Formulars mit denen derOriginalversion mit absoluter Exaktheit übereinstimmten;

• Einbauen von Kontrollschritten durch den Bediener, vor allem zur Überprüfung vonIdentifikationsvariablen;

• Optimierung der Seitenerkennung durch die gezielte Vergabe expliziter Seiten-IDs;• Probedurchläufe, bei denen neben der Seitenerkennung auch die Qualität der Daten durch

den Vergleich von Datensätzen mit den Originalen überprüft wurde.

Während der Datenerfassung wurde Qualitätssicherung wie bei der manuellen Dateneingabein erster Linie durch folgende zwei Maßnahmen betrieben:• Individuelle Einschulung und Scannen unter Betreuung;• Laufende Überprüfungen der Datenqualität durch den Vergleich von Datensätzen mit den

Fragebögen.

Die Qualität der gescannten Daten wurde im Nachhinein durch die manuelle Dateneingabevon schon gescannten Fragebögen kontrolliert. Ergebnisse dazu finden sich in Kapitel 5.4 indiesem Abschnitt.

4.3.3 Qualitätssicherung bei der ISCO-Kodierung

Bei der ISCO-Kodierung, der Verkodung offener Antworten zu Berufen von Eltern und eigenenBerufswünschen nach dem internationalen Klassifikationsschema ISCO-88 (vgl. Kapitel 2 inAbschnitt VIII) wurden folgende Maßnahmen zur Qualitätssicherung durchgeführt:


• Adaption des Klassifikationsschemas aus Deutschland und Anpassung an die österreichischenBedingungen.

• Möglichkeit der Rückfrage bei dem Supervisor und der Diskussion mit Kollegen bezüglichder Vergabe von Codes während der gesamten Arbeitszeit.

• Die zweifache Verkodung von etwa 15 Prozent der Schülerantworten.

4.4 File Cleaning und Database ManagementDas File Cleaning stellt an sich eine Qualitätssicherungsmaßnahme dar, indem durch ver-schiedene Arten von Checks die Qualität der Daten sichergestellt werden soll. Gleichzeitig istes aber auch eine Art Qualitätskontrolle, indem die Qualität der Dateneingabe überprüftwird.

Da sich in Abschnitt VIII eine Beschreibung aller File-Cleaning-Prozeduren findet, sollan dieser Stelle nur der Vollständigkeit halber kurz umrissen werden, welche Qualitäts-sicherungsmaßnahmen gesetzt wurden. Der an Details interessierte Leser sei aber auf Kapitel3 im oben erwähnten Abschnitt VIII verwiesen.

File-Cleaning-Prozeduren wurden sowohl auf nationaler als auch auf internationaler Ebe-ne durchgeführt, wobei letztere nur in enger Zusammenarbeit mit den national Verantwort-lichen stattfinden konnten.

Die Überprüfungen im nationalen Projektzentrum umfassten folgende Arten von Kontrol-len:• Validitätschecks dienten der Überprüfung und Sicherstellung der Datenintegrität. Kont-

rolliert wurden Eindeutigkeit von IDs innerhalb von Instrumenten bzw. entsprechendeVerbindungen zwischen verschiedenen Instrumenten. Die meisten dieser Überprüfungenkonnten mit der Dateneingabe-Software KeyQuest durchgeführt werden.

• Physikalische Checks sind Überprüfungen, bei denen Datensätze oder Teile daraus mit denentsprechenden Fragebögen, Listen oder Testheften verglichen werden. Diese Art vonÜberprüfung wurde – wie oben schon erwähnt – laufend während der Dateneingabe beieiner Stichprobe der kodierten Testhefte und Fragebögen durchgeführt. Im Rahmen deseigentlichen File Cleanings nach Abschluss der Dateneingabe wurden verschiedeneInstrumente sowohl in Bezug auf Identifikationsvariablen, als auch bezüglich der Angabenzum Geburtsdatum kontrolliert.

• Plausibilitätschecks wurden bei allen Instrumenten durchgeführt, wobei sich die Über-prüfungen hierbei auf inhaltliche Aspekte bezogen: So sollten Kodierfehler aufgedecktwerden, die sich in unwahrscheinlichen Daten niederschlugen.

Im Datenmanagement wurde durch folgende Maßnahmen auf hohe Qualität geachtet:• Durchdachte Verwendung von Identifikationsvariablen, die Überprüfungen über ver-

schiedene Instrumente hinweg und Verbindungen zwischen diesen erlaubt;• Systematische, regelmäßige Datensicherung;• Exakte Dokumentation aller Vorgänge.


5. Maßnahmen zur Kontrolle der Qualität

5.1 Qualitätskontrolle der Datenerhebung durch Rückmeldungen

5.1.1 Rückmeldungen der Testadministratoren

Während der Durchführung jeder Testsitzung wurde vom Testadministrator ein Protokollüber Ablauf und eventuell aufgetretene Probleme geführt (vgl. Kapitel 2 in Abschnitt VI).Diese Protokolle wurden in erster Linie zur Unterstützung der Rücklaufkontrolle angefertigt,beinhalten aber auch viele wichtige Informationen, die zur Verbesserung von Materialien undProzeduren führen sollen. So konnten die Ergebnisse aus den Auswertungen der Testsitzungs-Protokolle des Feldtests für die Überarbeitung von Informationsschreiben, Manuals undTrainingsprozeduren für den Haupttest herangezogen werden.

Im vorliegenden Kapitel sollen die Analyse-Ergebnisse der Testsitzungs-Protokolle desHaupttests vorgestellt werden. Indem die Rückmeldungen der Testadministratoren systematisiertund analysiert werden, kann einerseits abgeschätzt werden, wie genau die PISA-Sitzungenden vorgeschriebenen Richtlinien entsprachen; andererseits können die Anmerkungen derTestadministratoren zur Verbesserung von Materialien für weitere Zyklen der PISA-Studieverwendet werden.

Bei jeder PISA-Sitzung, egal ob erste Testsitzung oder Nachtest, wurde vom Test-administrator ein Protokoll geführt. Dieses beinhaltete eine genaue Auflistung darüber, wound wann der Test stattgefunden hat, sowie die Anzahl der anwesenden bzw. abwesendenSchüler/innen. Zudem wurde der zeitliche Ablauf genau protokolliert (siehe unten). ImAnschluss wurden die Testadministratoren gebeten, einige Fragen zu potentiellen Problem-feldern zu beantworten und gegebenenfalls zu erklären.

Die im Folgenden beschriebenen Auswertungen beruhen auf den Protokollen von 213ersten Testsitzungen und 26 Nachtests (follow-up-sessions). Dazu muss angemerkt werden,dass in drei Fällen Schüler/innen aus zwei Schulen gemeinsam getestet wurden, wobei jeweilsnur ein Testsitzungs-Protokoll angefertigt wurde. Besonderes Gewicht wurde bei der Auswertungauf exaktes Timing der Testteile und die Analyse von berichteten Problemen gelegt.

Zur Dauer der PISA-Sitzungen

Die genaue Einhaltung der vorgegebenen Dauer der beiden Testteile von jeweils 60 Minutenist ein wichtiger Qualitätsaspekt bei der Durchführung der Tests. Vor allem die Überschreitungdieser Zeit bei einigen Schulen oder geballt in einigen Ländern könnte zur Verfälschung derLeistungsdaten führen.

Zur Dauer des ersten Testteils in den Testsitzungen ergibt sich folgendes Bild: Bei 97,9%der protokollierten Testsitzungen wurde die vorgegebene Zeit von einer Stunde exakteingehalten. Bei keinem Test wurde diese Zeitvorgabe überschritten. Bei vier von denverbleibenden fünf Testsitzungen wurde die Testzeit um bis zu 10 Minuten unterschritten.Dies war der Fall, wenn vor Ablauf der Testdauer alle Schüler/innen zu arbeiten aufgehörthatten. Bei einer Schule wurde eine Dauer von 18 Minuten für den ersten Testteil registriert,wobei es sich hier um eine Sonderschule, in der nur ein Schüler getestet wurde, handelte, dernach dieser Zeit aufgegeben hatte. Die Daten bezüglich der Testzeiten einer Sonderschulekonnten in die hier durchgeführten Auswertungen nicht einbezogen werden, da sie nichtnach dem vorgegebenen Schema dokumentiert worden waren.

Die Daten zum zweiten Testteil beziehen sich auf alle Testsitzungen ausgenommen die


Sonderschulen, bei denen nur ein einstündiger Testteil durchgeführt wurde. Auch hier zeigtsich, dass die vorgegebene Zeit von 60 Minuten in der Regel sehr genau eingehalten wurde.Dies geschah exakt in 223 der 229 Testsitzungen mit einem zweiten Testteil, das entspricht97,4%. Bei zwei Testsitzungen wurde die vorgeschriebene Dauer des zweiten Testteils über-schritten, wobei es sich in einem Fall um 2 Minuten handelte, die vernachlässigbar sind. Beieiner Testsitzung wurden für den zweiten Testteil 2 Stunden 3 Minuten registriert. Hierbeimuss angemerkt werden, dass die Dauer der Testsitzungen jeweils aus den vom Testadministratorprotokollierten Anfangs- und Endzeiten der Testteile ermittelt wurde. Bei der erwähntenTestsitzung, bei der zwischen Anfangs- und Endzeit des zweiten Testteils über 2 Stundenlagen, wurde von einer etwa 1-stündigen Unterbrechung durch die Notwendigkeit des Be-suchs von Mathematik- bzw. Lateinstunden berichtet. Es handelte sich folglich nicht um 2Stunden Bearbeitungszeit für den zweiten Testteil.

Weiters finden sich hier drei Testsitzungen, bei denen die vorgeschriebene Dauer wiederumum bis zu 10 Minuten unterschritten wurde. Bei einer Testsitzung handelt es sich um nur 40Minuten Testzeit für den zweiten Teil, wobei der Testadministrator berichtete, dass die Schüler/innen – offensichtlich überfordert – nicht mehr weiterarbeiteten.

Im Allgemeinen kann also davon ausgegangen werden, dass es keine unzulässigenÜberschreitungen der vorgeschriebenen Dauer von einer Stunde pro Testteil gegeben habendürfte. Wo diese um mehr als 10 Minuten unterschritten wurde, wurde von Umständenberichtet, die dieses Vorgehen rechtfertigten.

Von weniger großer Brisanz sind die Dauer von Lesefertigkeitstest und Schülerfragebogen.Der Lesefertigkeitstest bestand aus drei Subtests, die jeweils genau 3 Minuten Arbeitszeitumfassten. Im Protokoll war nur vorgesehen, die Beginnzeit der Instruktionen für den erstenSubtest und die Endzeit des letzten Subtests zu vermerken, um die Testadministratoren beiihrer Aufgabe nicht unnötig zu belasten. Zur Orientierung über die Dauer der Durchführungdes Lesefertigkeitstests kann von einem Mittelwert von 17 Minuten berichtet werden, wobeidie benötigte Zeit bis zu 30 Minuten umfasste. Bei drei Testsitzungen wurden unter 12 Minutenfür den Lesefertigkeitstest registriert (7, 10 und 11 Minuten). Es dürfte sich aber um Fehlerbei der Registrierung handeln, da aus den Daten hervorgeht, dass die Schüler/innen dieserTestsitzungen durchgehend alle drei Subtests (erfolgreich) bearbeitet haben.

Für die Administration des Fragebogens war nur eine Richtzeit vorgegeben, nach derabgebrochen werden sollte, falls die Bearbeitung des Fragebogens zu diesem Zeitpunkt nochnicht abgeschlossen war. Durchschnittlich wurden in Sonderschulen, in denen nur derinternationale Teil des Schülerfragebogens bearbeitet wurde, 46 Minuten (Minimum = 31Minuten; Maximum = 60 Minuten) benötigt. Bei PISA-Sitzungen in anderen Schulformenlag die durchschnittliche Bearbeitungsdauer für den Schülerfragebogen bei 56 Minuten, wobeiWerte zwischen 38 Minuten und 1 Stunde 18 Minuten auftraten.

Weiters soll noch kurz über die Gesamtdauer der PISA-Sitzungen berichtet werden. Hiermitist die Zeit gemeint, die vom Eintreffen der ersten Schüler/innen im Testraum bis zum Abschlussdes Fragebogens verstrich. Einen Überblick gibt Abbildung IX.2, wobei wiederum dieSonderschulen ausgenommen wurden. Von den Sonderschulen muss getrennt berichtet werden,da die Daten nicht vergleichbar sind, weil die PISA-Sitzung einen einstündigen Testteil undeinen Teil des Schülerfragebogens nicht beinhaltete.

Die kürzeste PISA-Sitzung war nach 3 Stunden 35 Minuten abgeschlossen, die längstedauerte 5 Stunden 5 Minuten (dies war die PISA-Sitzung mit der oben berichteten 1-stündi-gen Unterbrechung). Der Mittelwert lag bei 4 Stunden 4 Minuten.


7

92

100

24

1 10

20

40

60

80

100

120

3.31 bis 3.45 3.46 bis 4.00 4.01 bis 4.15 4.16 bis 4.30 4.31 bis 4.45 4.46 bis 5.00 5.01 bis 5.15

Zeitangaben in Stunden und Minuten

Anz

ahl d

er T

ests

itzun

gen

Abbildung IX.2: Gesamtdauer der PISA-Sitzungen ohne Sonderschulen (n=225, 4 missing)

Abbildung IX.3: Ort der PISA-Sitzungen (n=234, 5 missing)

3

6

9

9

48

159

0 20 40 60 80 100 120 140 160

Anzahl der Testsitzungen

Speisesaal

Bibliothek

Aula

Lehrmittelzimmer

Werkraum

Klassenraum

Ort der PISA-Sitzungen

Wie zu erwarten war, fanden die meisten PISA-Sitzungen (fast 70%) in Klassenräumen statt.Sehr beliebt waren auch Werkräume. Die restlichen PISA-Sitzungen wurden in Schulbib-liotheken, Aulas, Speisesälen und Lehrmittelzimmern abgehalten. Einen Überblick über ver-schiedene Arten von Testräumen gibt Abbildung IX.3.

Bei den Sonderschulen lag die Gesamtdauer zwischen 1 Stunde 50 Minuten und 3 Stunden 4Minuten, der Durchschnitt betrug 2 Stunden 38 Minuten.


14,5

27,9

9,2

19,3

12,1

4,3

5,5

0 20 40 60 80 100

(Angaben in Prozent) n=239

Kooperation mit Schulkoordinator (1)

unkooperativen Schüler/innen (2)

Störungen während der Testsitzung (3)

Gestaltung der Testhefte (4)

Inhalt der Testhefte (5)

Gestaltung des Schülerfragebögens (6)

Inhalt des Fragebogens (7)

Probleme mit...

Problemfelder bei der Testadministration

Mittels der Protokolle hatten die Testadministratoren auch die Möglichkeit, von Problemenbei den Testsitzungen zu berichten. Im Folgenden wird ein Überblick über verschiedeneBereiche gegeben, die potentielle Problemfelder darstellen. Aus Abbildung IX.4 geht hervor,dass Schwierigkeiten vor allem in Verbindung mit den Testheften und den Schülerfragebögenauftraten.

Der erste Bereich betrifft die Kooperation mit dem Schulkoordinator (1). Die 5,5% der Test-administratoren, die hier von Schwierigkeiten berichteten, beziehen sich vor allem auf Pro-bleme bei der schulinternen Informationsweitergabe. So gab es einige Fälle, in denen betrof-fene Schüler/innen und Lehrer/innen nichts von der Durchführung des Tests wussten. Ineinigen Schulen trat das Problem auf, dass der Schulkoordinator die Informationsunterlagenüber die Studie und die Durchführung des Tests nicht gelesen hatte oder schulintern dieVerantwortung an uninformierte Personen übergeben worden war.

Das Verhalten der Schüler/innen (2) wurde mit der Frage „Waren Schüler/innen un-kooperativ, laut oder haben sie die Testsitzung gestört?“ erhoben. Nur in 4,3% der PISA-Sitzungen wurde von Problemen mit der Kooperationsbereitschaft der Schüler/innen berichtet.Dies betraf in erster Linie den Umstand, dass Schüler/innen auf Grund der Länge der PISA-Sitzung unruhig wurden und ermahnt werden mussten.

Von Störungen während der Testsitzung von außen (3) wurde in etwa 12% der Protokolleberichtet. Es handelte sich hierbei vor allem um Lärmbelästigung durch Lautsprecherdurchsagen(6 Nennungen), Bauarbeiten (6 Nennungen), Pausenlärm (5 Nennungen) und Störungendurch den Unterricht wie Musik- oder Turnstunden in Nebenräumen (4 Nennungen).

Zwei Fragen bezogen sich auf die Testheftgestaltung und die Testinhalte (4 und 5). VonProbleme mit Testheften wurde in etwa 19% der Testsitzungen berichtet. Diese Schwierigkeitenbestanden vor allem darin, dass einerseits Schüler/innen teilweise deutlich vor Ende der zurVerfügung gestellten Zeit mit der Bearbeitung der Aufgaben fertig waren und unruhig wurden.Andererseits fühlten sich Schüler/innen mit dem Umfang oder dem Schwierigkeitsgrad derTests überfordert.

Schwierigkeiten mit einzelnen Testaufgaben wurden in 9,2% der Protokolle vermerkt.

Abbildung IX.4: Überblick über Probleme bei der Testadministration


93,8 6,2

83,1 16,9

94,6

99,3

96,6

89,7 10,3

98,6

97,3

0 20 40 60 80 100

(Angaben in Prozent) n = 148

Der Schulkoordinator wurde ausreichend informiert. (1)

Die Infos für den SK waren übersichtlich und verständlich. (2)

Es gab keine Probleme bei der Erstellung der Schülerliste. (3)

Codes für den Ausschluss von Schüler/innen waren klar. (4)

Die Kooperation mit dem Testadministrator hat funktioniert. (5)

Es gab keine Probleme bei der Terminvereinbarung. (6)

Es gab keine Probleme mit Eltern oder Schüler/innen. (7)

Es gab keine Probleme am Tag des Tests. (8)

ja nein

2,7

1,4

3,4

0,7

5,4

Dies waren Kommentare zu Unklarheiten in Fragestellungen, Formatierungsproblemen undÄhnlichem.

Ebenfalls mit zwei Fragen wurden Probleme bezüglich der Gestaltung und dem Inhalt desinternationalen Schülerfragebogens erhoben (6 und 7). In fast 28% der Protokolle wurde vonProblemen mit dem Fragebogen berichtet. Etwa zwei Drittel der diesbezüglichen Anmerkungenbeziehen sich auf die Länge des Schülerfragebogens und eine damit verbundene Überforderungbzw. Ermüdung der Schüler/innen. Das andere Drittel spricht das Problem an, dass den Schüler/innen Informationen zur Beantwortung einiger Fragen (vor allem über ihre Eltern) fehlten.Von Schwierigkeiten mit spezifischen Fragen (7) wurde in 14,5% der Protokolle berichtet.

5.1.2 Rückmeldungen der Schulkoordinatoren

Nach Abschluss aller Testsitzungen und dem Eintreffen des Materials im PISA Projektzentrumwurde an alle Schulkoordinatoren – gemeinsam mit einer Teilnahmeurkunde für die Schulenund einem kurzen Schreiben, in dem den Schulkoordinatoren für ihre Unterstützung gedanktwurde – ein Feedbackbogen gesendet. Durch diesen sollten die Schulkoordinatoren dieMöglichkeit erhalten, Rückmeldungen über die Vorbereitungsarbeiten und den Ablauf derPISA-Testung an ihrer Schule zu geben.

Die Auswertungen der Feedbackbögen basieren auf 148 zurücksendeten Bögen. Dasentspricht einer Rücklaufquote von 69%.

Der Feedbackbogen umfasste Fragen zu vier verschiedenen Bereichen: Fragen zum Infor-mationsmaterial für die Schulkoordinatoren, der Kooperation mit den Testadministratoren,zum Informationsmaterial für Eltern, Schüler/innen und Schule sowie zur Testsitzung selbst.Jeder dieser Bereiche beinhaltete eine oder mehrere Fragen, die mit „Ja“ oder „Nein“ zu be-antworten waren sowie Platz für Kommentare. Ergänzend fand sich am Ende des Feedback-bogens Raum für allgemeine Anmerkungen. Ein Überblick über die Ergebnisse der Auswer-tung der Feedbackbögen wird in Abbildung IX.5 gegeben.

Abbildung IX.5: Überblick über die Ergebnisse der Feedbackbögen(Rückmeldungen zu Problemen)


Im Bereich Information des Schulkoordinators (Items 1 bis 4) zeigten sich die meisten Befrag-ten zufrieden. Lediglich bei der Erstellung der Schülerliste wurde von etwas mehr als 10% derSchulkoordinatoren von Problemen berichtet, dies vor allem in lehrgangsmäßig geführtenBerufsschulen. Einerseits wurde berichtet, dass die Erstellung der Schülerliste nur kurzfristigmöglich war, weil die Schüler/innen erst kurz vor dem Testfenster einberufen wurden, ande-rerseits führten trotz solcher Umstände fristgerecht erstellte Listen zu Problemen auf Grundvon Änderungen bei der Klasseneinteilung, Nicht-Einberufung von Klassen und Ähnlichem.

Die Kooperation mit dem Testadministrator beurteilten fast alle Schulkoordinatoren (99,3%)als gut. Ein kleiner Teil berichtete von Problemen bei der Terminvereinbarung (5,4%), wobeisich diese etwa zur Hälfte durch schulinterne Schwierigkeiten (Matura oder Schularbeiten,Exkursionen von Klassen mit betroffenen Schüler/innen etc. zur gleichen Zeit) erklären lie-ßen und der andere Teil auf schwere Erreichbarkeit oder terminliche Eingeschränktheit desTestadministrators zurückzuführen war. In Bezug auf die Testadministratoren wurden auchsehr positive Kommentare abgegeben, insbesondere wurde die Kompetenz und das Engage-ment der Testadministratoren gelobt.

Die Frage nach Problemen mit Eltern oder Schüler/innen bezog sich auf deren Teilnahme-bereitschaft. Hier berichteten fast 17% von Schwierigkeiten. Bei einigen ging aus den Kom-mentaren hervor, dass die Probleme durch persönliche Gespräche gelöst werden konnten.Teilweise konnten Schüler/innen aber aus verschiedenen Gründen nicht zur Teilnahme moti-viert werden. Unter anderem wurden hier schulinterne Umstände oder die Angst, Lehrer/innen könnten von schlechten Ergebnissen erfahren, als Grund angegeben. Es gab aber auchsehr positive Anmerkungen, zum Beispiel, dass aus „anfänglicher Unsicherheit über den Test“eine „durchaus positive Einstellung und Neugier“ wurde.

In Bezug auf den Testtag selbst gaben über 93% der Schulkoordinatoren an, keine Proble-me gehabt zu haben. Die Schwierigkeiten, die genannt wurden, bezogen sich vor allem aufdas Fehlen von Schüler/innen und die Dauer des Tests.

Ergänzend gab es die Möglichkeit allgemeine Kommentare abzugeben. Die meisten die-ser Anmerkungen bezogen sich auf den Wunsch nach Feedback über die Leistung der Schü-ler/innen, sowohl von Seiten der Eltern und Schüler/innen, die vor allem den Wunsch nachindividuellen Rückmeldungen äußerten, als auch von Seiten der Schulen bzw. Schulleitungen,die sich am Abschneiden ihrer Schule interessiert zeigten.

Zusammenfassend kann gesagt werden, dass die Rückmeldungen der Schulkoordinatorenin keinem Bereich auf grobe Probleme hinweisen. Hierfür sprechen auch zahlreiche sehr po-sitive Anmerkungen der Befragten und die hohe Bereitschaft, den Feedbackbogen auszufül-len. Die Abläufe in Bezug auf die Erstellung der Schülerliste in den Berufsschulen müssen fürweitere Zyklen der PISA-Studie sowie andere Untersuchungen noch einmal überarbeitet wer-den. Fehlende Motivation von Seiten der Schüler/innen, die von immerhin 17% der Befrag-ten als Problem angeführt wurde, kann durch die Daten aus der Rücklaufstatistik nicht bestä-tigt werden. Vermutlich trug der große Einsatz der Schulkoordinatoren dazu bei, dieses Pro-blem gering zu halten.


5.2 Quality Monitoring durch das internationale ZentrumDie nationalen Bemühungen, Qualität zu sichern und zu kontrollieren, wurden durch zweiMaßnahmen, die als „quality monitoring” bezeichnet werden, von internationaler Seite herunterstützt und kontrolliert. Zum einen wurden die nationalen Projektzentren von so ge-nannten National Center Quality Monitors (NCQMs) besucht, die an Ort und Stelle dieQualität der Prozeduren der nationalen Zentren überprüften. Zum anderen wurde in Zu-sammenarbeit mit den nationalen Projektzentren eine Stichprobe der Schulen jeweils am Tagdes Tests von School Quality Monitors (SQMs) besucht. Diese Besuche dienten der Kontrol-le, inwieweit die Testdurchführung den international festgelegten Vorgaben entsprach.

5.2.1 National Center Quality Monitors (NCQMs)

Die NCQMs besuchten alle nationalen Projektzentren vor dem Feldtest und die meisten (alleaußer denen, die Teil des internationalen Konsortiums sind) kurz vor der Erhebungsphase desHaupttests. Die Besuche sollten etwa einen Monat vor Beginn des Testfensters stattfinden, sodass die Feld-Prozeduren zu einem Zeitpunkt begutachtet wurden, an dem es noch möglichwar, wenn nötig – zumindest kleine – Änderungen durchzuführen. Das Ziel dieser Besuchewar, zu kontrollieren, ob die nationalen Zentren für die Erhebung entsprechend vorbereitetwaren, nationale Organisationsstrukturen zu dokumentieren und die Gelegenheit zu Gesprächenüber Probleme zu bieten.

NCQMs waren Mitglieder oder Beauftrage des internationalen Konsortiums, die vor ihrenBesuchen vom internationalen Zentrum für ihre Aufgaben trainiert worden waren.

Die Qualitätsüberprüfung durch die National Center Quality Monitors wurde auf derBasis eines halbstandardisierten Interviews durchgeführt. Dieses umfasste die Implementierungvon Prozeduren wie Maßnahmen zur Qualitätssicherung und Dokumentation bei Daten-erhebung, Dateneingabe und Datenverarbeitung sowie die Sampling-Prozeduren, Kommuni-kationsstrategien zwischen nationalem Zentrum und PISA-Schulen sowie den Druck und dieVerteilung der Materialien.

Das österreichische Projektzentrum wurde jeweils etwa 2-3 Wochen vor dem Haupt- unddem Feldtest von einem NCQM besucht. Hierbei hatte der NPM sowohl die Gelegenheit,entsprechende Informationen zu den oben angesprochenen Themenbereichen zu geben, alsauch Probleme und Unklarheiten auf diesem Weg ans internationale Zentrum weiterzuleiten.

Auf internationaler Ebene wurden die Daten, die aus den Interviews vor dem Haupttestgewonnen wurden, in einem Bericht zusammengefasst. Dieser findet sich im NPM-Dokument„NPM(2000)6“, erhältlich über unsere Homepage „www.pisa-austria.at“.

Eine weitere Aufgabe der NCQMs war, die School Quality Monitors auf ihren Einsatzvorzubereiten (vgl. das folgende Kapitel).

5.2.2 School Quality Monitors (SQMs)

Der Feldtest diente, wie schon erwähnt, der Erprobung aller Prozeduren der Field-Operations.Diese umfassten auch Maßnahmen zur Qualitätskontrolle wie den Einsatz von School QualityMonitors (SQMs). Im Haupttest verfolgte der Einsatz von SQMs das Ziel, Daten über dieQualität der Administration der Tests zu erhalten. Dies war einerseits eine Evaluation derTestadministratoren, gleichzeitig jedoch auch eine Kontrolle der nationalen Zentren, welchedie Verantwortung für die Durchführung der Datenerhebung entsprechend der internationalenRichtlinien trugen.


School Quality Monitors sollten Personen sein, die• einen Bezug zum Bereich Assessment oder Unterricht und Schulen hatten,• sich in der Schulumgebung wohlfühlten,• unabhängig von NPM und dem nationalen Projektzentrum waren,• fließend Englisch oder Französisch sprachen und• fähig sein würden, PISA seriös und kompetent zu repräsentieren.

Die NPMs hatten die Aufgabe, in ihrem Land geeignete Interessenten zu finden und derenLebensläufe an A.C.E.R. zu übermitteln. Dort fiel dann die Entscheidung über die Ver-tragsabschlüsse. International wurde im Feldtest der Einsatz von zumindest einem SQM undim Haupttest von etwa drei Personen gefordert. In Österreich gab es zwei SQMs für denFeldtest und vier für den Haupttest.

SQMs waren Beauftragte des internationalen Zentrums, vertraglich an dieses gebundenund wurden auch von diesem bezahlt. Sie mussten jedoch auch mit dem nationalen Zentrumzusammenarbeiten, um die nötigen Informationen über gesampelte Schulen und Testterminezu erhalten. Die SQMs wurden vom National Center Quality Monitor im Rahmen des Besuchsdes nationalen Projektzentrums trainiert. Zur Durchführung ihrer Aufgabe bekamen sie einManual in englischer und französischer Sprache, das nationale Testadministratoren-Manualund Einblick in alle verwendeten Testmaterialien. Zur Vorbereitung auf die eintägigeTrainingseinheit durch den NCQM wurde vom internationalen Zentrum vorgeschlagen, dassdie SQMs an einem lokalen Testadministratoren-Training teilnehmen sollten. In Österreichabsolvierten alle vier SQMs dieses Training gemeinsam mit den Testadministratoren fürOberösterreich und Salzburg bzw. jenen für Wien.

Gemeinsam mit dem NCQM suchten die SQMs die Schulen aus, die von ihnen besuchtwerden würden. Dies geschah im Feldtest auf der Basis der günstigen Erreichbarkeit der Schulen.Es wurden 5 Schulen besucht. Im Haupttest war ursprünglich eine Zufallsstichprobe geplant,die aus finanziellen Gründen aber nicht verwirklicht werden konnte. Die benötigten 35 Schulenwurden dann so ermittelt, dass zu Anfang drei Schulen zufällig gezogen und unter den SQMsverteilt wurden, so dass theoretisch jede Schule die Chance hatte, in die Auswahl zu kommen.Dann wurden vier Gebiete abgesteckt und auf die vier SQMs verteilt. Jeder SQM konntedann die restlichen Schulen selbst aussuchen. Dies geschah einerseits auf der Basis vonErreichbarkeit, um die Anreisekosten in Grenzen zu halten, andererseits war die Wahl durchSchulen, die am gleichen Tag testeten, eingeschränkt. Im Speziellen wurde darauf geachtet,möglichst viele verschiedene Testadministratoren und Testsitzungen in verschiedenen Schul-typen zu besuchen.

SQM-Besuche erfolgten unangekündigt, weder der Testadministrator noch die Schulewurden vorher informiert. Der SQM hatte, wie der Testadministrator, eine Stunde vorTestbeginn an der Schule zu sein, um anhand eines vorgegebenen Protokolls die Vorbereitungs-arbeiten des Testadministrators sowie die Durchführung der Testsitzung zu dokumentieren.Im Anschluss wurde ein kurzes Interview mit dem Schulkoordinator geführt.

Von internationaler Seite wurden die SQM-Protokolle des Haupttests ausgewertet unddie Ergebnisse in einem Bericht zusammengefasst. Dieser findet sich im DokumentNPM(2000)6, das über unsere Homepage „www.pisa-austria.at“ erhältlich ist.

Die 37 Protokolle der österreichischen SQM-Besuche (35 erste Testsitzungen und zweiNachtests) wurden zusätzlich zur internationalen Verarbeitung auch auf nationaler Ebeneausgewertet. Im Folgenden werden die wichtigsten Ergebnisse aus diesen Analysen dargestellt.


Es werden vor allem jene Bereiche herausgegriffen, über die keine Informationen aus anderenQuellen vorhanden sind.

Ein essentieller Aspekt in Bezug auf die Vergleichbarkeit der Daten ist neben der Zeit-nehmung bei den Testteilen die Einhaltung des vorgegebenen Skripts zur Vorstellung derStudie sowie bei der Einleitung und Beendigung der Testteile.In Fällen, in denen der Testadministrator dem Skript nicht genau folgte, wurde zudem doku-mentiert, wie stark vom Skript abgewichen wurde. Abbildung IX.6 gibt einen Überblick überdie Genauigkeit der Einhaltung der Skripts. Inkludiert sind die Daten aus 37 Testsitzungen(35 ausgewählte Schulen und zwei Nachtests), wobei zweimal Sonderschulen besucht wur-den, bei denen die Fragen zum zweiten Testteil nicht relevant waren.

Im Großen und Ganzen kann gesagt werden, dass sich die besuchten Testadministratoren andie Skripts hielten. Wenn große Teile des Skripts weggelassen oder diesem viel hinzugefügtworden war, waren die SQMs aufgefordert, diesen Umstand näher zu erklären. Die wenigendiesbezüglichen Fälle, die von den SQMs in Österreich berichtet wurden, hatten folgendeUrsachen:• Ein Testadministrator hatte beim Vorstellen der Studie den Inhalt des Skripts in eigenen

Worten widergegeben.• Bei Testsitzungen in Sonderschulen hatte der Testadministrator die Einleitung an die

besonderen Umstände, die Testheft 60 verursachte, angepasst.• Die starke Abweichung vom Skript beim Erklären des Schülerfragebogens entstand

dadurch, dass der Testadministrator zusätzlich zu den Anweisungen in seinem Skript dieAnleitungen am Anfang des Schülerfragebogens laut vorlas.

Die SQMs protokollierten unabhängig von den Testadministratoren die Anfangs- und End-zeiten der Testsitzungen. Diese entsprachen dem Bild, das durch die Auswertung der Test-

Abbildung IX.6: Genauigkeit der Einhaltung der Skripts durch die Testadministratoren

25 11 1

31 4

31 4

31 6

27 8 2

31 5 1

0 5 10 15 20 25 30 35 40

Anzahl der Testsitzungen

Vorstellen der Studie

Einleitung des ersten Testteils

Ende des ersten Testteils

Einleitung des zweiten Testteils

Ende des zweiten Testteils

Einleitung des Schülerfragebogens

keine kleine große Änderungen


sitzungs-Protokolle der Testadministratoren gewonnen werden konnte (vgl. Kapitel 5.1.1 indiesem Abschnitt), wiesen also auf keine Probleme in diesem Bereich hin.

Einen Fragenblock gab es im SQM-Protokoll zudem zur Kooperation mit den Schüler/innen. Auch hier wurde von keinen Schwierigkeiten berichtet. Die Testadministratoren warennach der Einschätzung der SQMs in allen besuchten Testsitzungen für sämtliche Schüler/innen gut zu hören und die Schüler/innen folgten den Anweisungen und waren kooperativ.Ebenso von keinen nennenswerten Problemen wurde in Bezug auf die Kontrolle bzw. Beob-achtung der Schüler/innen berichtet. Alle besuchten Testadministratoren stellten sicher, dassdie Schüler/innen die Testhefte erst öffneten, als sie dazu aufgeordert wurden, und dass imrichtigen Testteil gearbeitet wurde.

5.3 Kontrolle der Reliabilität des MarkingsWeil das Marking (vgl. Kapitel 4.2 in diesem Abschnitt) ein relativ sensibler Bereich derStudie war, wurden von internationaler Seite zwei spezielle Kontrollprozeduren vorgeschrie-ben:• Jedes Land musste einen Teil der Booklets jeweils von vier verschiedenen Markern beurteilen

lassen, so dass Vergleiche zwischen den vergebenen Codes Rückschlüsse auf die Qualitätbzw. Reliabilität der Bewertungen ermöglichen. Wie diese Prozedur, das Multiple Marking,in Österreich praktisch umgesetzt wurde, erläutert Kapitel 1.4 in Abschnitt VIII. DieZiele des Multiple Markings sowie die Art der erwarteten Ergebnisse werden in diesemKapitel beschrieben.

• Bei der zweiten internationalen Kontrollmaßnahme, der so genannten Cross-Country-Reliability-Study, wurden die Antworten auf die Reading Items von 48 Testheften inKopie an das internationale Zentrum geschickt und dort von einem fünften Markerbeurteilt, um systematische Beurteilungsfehler in einzelnen Ländern aufdecken zu können.

5.3.1 Multiple Marking

Im Feldtest verfolgte das Multiple Marking vor allem folgende Ziele: einerseits das Ausprobierender Prozeduren, die für die Durchführung auf nationaler Ebene notwendig waren, andererseitsdie Überprüfung der Qualität des Markings und des Marking Guides. Letzteres kann in zweiBereiche unterteilt werden:• Wenn festgestellt wurde, dass sich Marker in einem Land allgemein oder bei einzelnen

Items in hohem Maße uneinig bei der Vergabe von Codes waren, konnte dies auf schlechtoder falsch qualifizierte Marker, Übersetzungsfehler im Marking Guide oder Fehler beimTraining der Marker in diesem Land zurückzuführen sein.

• Von internationaler Seite konnte außerdem überprüft werden, ob Diskrepanzen bei derVergabe von Codes vermehrt bei einzelnen Items auftraten. Dies wäre dann wahrscheinlichauf Unklarheiten in den Codebeschreibungen zurückzuführen.

Probleme der ersten Art mussten von den nationalen Zentren nach dem Feldtest genau analysiertwerden, damit die daraus gewonnenen Erkenntnisse für entsprechende Verbesserungen beimHaupttest genutzt werden konnten. Probleme mit den Marking Instructions einzelner Itemsmussten von internationaler Seite her gelöst werden.

Im Haupttest hatte das Multiple Marking eine etwas andere Funktion: Im Mittelpunktstand die Kontrolle der Reliabilität der Bewertungen in jedem Land. Zwar könnten theoretischdie gleichen Erkenntnisse wie nach dem Feldtest gewonnen werden, nur waren die Hand-lungsmöglichkeiten nach dem Haupttest stark eingeschränkt. Vorstellbare Konsequenzen


wären, einzelne Items in einigen Ländern oder international aus den Berechnungen aus-zunehmen, oder in extremen Fällen Booklets einzelner Länder oder von einzelnen Markernnoch einmal beurteilen zu lassen.

Die Daten werden auf internationaler Ebene ausgewertet. Obwohl noch von keinenErgebnissen berichtet werden kann, soll erklärt werden, nach welchem Prinzip die Datenweiterverarbeitet werden:Die Idee der Analyse beruht auf dem Prinzip einer Varianzzerlegung. Unterschiedlich großeAnteile der Varianz der Bewertungen werden durch das Item, den/die Schüler/in und denMarker erklärt; weiters spielen Interaktionen zwischen Marker und Schüler/in, Marker undItem und Item und Schüler/in eine Rolle. Das Ziel der Analyse ist die Bestimmung desVarianzanteils, der auf den Marker zurückzuführen ist.

Der Vergleich der Größe dieses Anteils zwischen verschiedenen Ländern kann Aufschlussüber die Reliabilität der Bewertungen in diesen Ländern geben. Andererseits kann durch eineAnalyse der Daten nach Items die Reliabilität einzelner Items über alle Länder hinweg bestimmtwerden.

Ein weiterer Indikator für die Qualität der Bewertungen ist eine Reliabilitätsanalyse, beider die Variablen „Schüler/in“ und „Items“ jeweils konstant gehalten und der Marker variiertwird. Die Korrelation zwischen den Ergebnissen von verschiedenen Markern kann ebenfallsAufschluss über die Zuverlässigkeit der Beurteilungen geben.

5.3.2 Cross-Country-Reliability-Study

Durch das Multiple Marking kann jedoch nicht überprüft werden, ob die Marker eines Landessystematisch alle oder einzelne Items zu streng oder zu milde beurteilten, solange sie sichuntereinander einig waren. Um solche Bewertungsfehler aufzudecken, wurde die Cross-Country-Reliability-Study entwickelt. Im Folgenden wird kurz erklärt, wie bei dieser vorge-gangen wurde und welche Art von Ergebnissen bzw. Erkenntnissen aus dieser gewonnen werdensollen.

Jeder Teilnehmerstaat musste die 48 Booklets der Testheftform 7, die im Land durch denMultiple Marking Prozess gegangen waren, in Kopie an das internationale Zentrum senden.Hierbei sollten die vergebenen Codes nicht mitkopiert werden, um die internationalen Markernicht zu beeinflussen. Die Antworten der 48 Booklets, die nur Reading Items enthielten,wurden von internationalen Markern noch einmal auf Basis des englischen Marking Guidesbeurteilt, um die so vergebenen Codes mit den Bewertungen der vier Marker des entsprechendenTeilnehmerstaates vergleichen zu können.

Die internationalen Marker waren meist Personen, die bei der Verifikation der Testmaterialienschon für das internationale Zentrum gearbeitet hatten. Sie wurden von Mitgliedern desKonsortiums für das Marking der Items in Booklet 7 geschult. Als Abschluss des Trainingsmusste jeder von ihnen ein Set von fingierten Schülerantworten beurteilen, und diese wurdenmit Benchmarks, von internationaler Seite vorgegebenen korrekten Codes, verglichen. Danachwurden die Booklets eines oder mehrerer Länder bewertet. Die vergebenen Codes wurdenelektronisch verarbeitet und dann mit den Codes aus dem nationalen Multiple Markingverglichen. Bei Diskrepanzen wurde die Antwort vom Supervisor der internationalen Markernoch einmal kontrolliert und entschieden, ob die Beurteilung im Land oder des internationalenMarkers den Richtlinien im Marking Guide entsprach.

Der Anteil an Antworten, bei denen die nationalen Marker von dem international richtigenCode abwichen, soll Aufschluss über die Güte des Markings der einzelnen Länder geben. Vorallem kann herausgefunden werden, ob Tendenzen zu einer zu großen Strenge oder Milde


beim Beurteilen einzelner Items in einem Land festzustellen sind, die auf Fehler bei derAuslegung des Marking Guides beim nationalen Training der Marker oder Übersetzungsfehlerim nationalen Marking Guide zurückzuführen wären.

Das Marking auf internationaler Ebene und der dazugehörige Auswertungsprozess warenbei Fertigstellung dieser Publikation noch in Gang. In nächster Zeit kann aber mit Ergebnissengerechnet werden.

5.4 Kontrolle der Qualität der elektronischen DatenerfassungDie Qualität der gescannten Daten wurde kontrolliert, indem etwa 200 elektronisch erfassteFragebögen zusätzlich manuell kodiert wurden. Durch den Vergleich der so erhaltenen Datensollte festgestellt werden, wie zuverlässig der Scanner bei der Datenerfassung war. In diesemKapitel wird zuerst die Vorgangsweise dieser Überprüfung beschrieben und dann auf die darausgewonnen Erkenntnisse eingegangen.

Zur Qualitätskontrolle der elektronischen Datenerfassung wurde eine Stichprobe aus etwa200 Fragebögen einer Form der nationalen Zusatzerhebungen PISA Plus (Form C) gezogen.Hierbei wurde darauf geachtet, Fragebögen von Schulen aus allen Strata, also verschiedenenSchultypen (vgl. Kapitel 3 in Abschnitt V) auszuwählen. Die Auswahl der Schulen innerhalbeines Stratums erfolgte zufällig. Von jeder gezogenen Schule wurden jeweils alle Schüler-fragebögen der Form C verwendet. Dadurch entstand die „unschöne“ Anzahl von 201 Frage-bögen.

Diese Fragebögen wurden von einem Kodierer manuell in den Computer eingegeben.Dies erfolgte vor der elektronischen Datenerfassung, da das Blättern in den Fragebögen durchdie Behandlung beim Scannen (Aufschneiden der Heftung und Klammern im oberen linkenEck) erschwert wird. Die Fragebögen wurden dann wieder unter die noch zu scannendengemischt und ebenso wie alle anderen bei der elektronischen Datenerfassung behandelt. An-zumerken ist noch, dass die manuelle Dateneingabe von einem vom normalen Data-Entry-Prozess als besonders zuverlässig bekannten Kodierer durchgeführt wurde und so der Vergleichs-maßstab für den Scanner sehr hoch gesetzt wurde. Die Kodierung erfolgte im Gegensatz zurnormalen manuellen Dateneingabe, die mit der Software KeyQuest durchgeführt wurde (vgl.Kapitel 2 in Abschnitt VIII), mit dem Programm SPSS.

Die folgenden Auswertungen beziehen sich auf die Daten, die durch die manuelle undelektronische Datenerfassung aus 211 Variablen umfassenden 201 Fragebögen gewonnenwurden.

Hierbei wurde wie folgt vorgegangen:• Die Files wurden auf gültige Identifikationsvariablen überprüft. Daraufhin wurden die

manuell kodierten Variablen an den Datensatz jedes Schülers/jeder Schülerin im File, dasaus der elektronischen Datenverarbeitung resultierte, angehängt, um so den direktenVergleich der Einträge zu ermöglichen.

• Unterschiedliche Einträge von Kodierer und Scanner wurden daraufhin markiert undgezählt.

• Diese wurden dann einzeln mit dem Eintrag im entsprechenden Fragebogen kontrolliert.So konnte bei jedem Unterschied festgestellt werden, zu wessen Lasten der Fehler ging.

• Außerdem wurde festgehalten, welche Art von Fehler den Unterschied verursacht hattebzw. welche Art von falschen Daten produziert worden war.


?

Datenverlust

0,16%Fehler Datenverlust

1,46%Fehler

~0%

1,9%

Kodiererfehler

0,38%

Scannerfehler

1,46%

(= falsche gültige Werte)

0,22%

Abbildung IX.7: Überblick über die Ergebnisse aus derQualitätskontrolle der elektronischen Datenerfassung

Einen Überblick über die Ergebnisse gibt Abbildung IX.7. Angemerkt werden muss, dass0,6% der gefundenen Unterschiede als „nicht entscheidbar“ klassifiziert werden mussten.Damit sind Unterschiede gemeint, bei denen auch mit Hilfe des Fragebogens auf Grund vonuneindeutigen Markierungen des Schülers oder der Schülerin nicht geklärt werden konnte,ob der Wert des Kodierers oder der des Scanners richtig war. Beispielsweise gab es Fälle, indenen nicht eindeutig ersichtlich war, ob bei einer Einfach-Auswahl-Frage zwei Kästchenmarkiert worden waren oder eine Markierung wieder durchgestrichen worden war. Es oblagalso der Interpretation der Person, die kodierte oder den Scanner bediente, ob diese Antwortmit dem entsprechenden (gültigen) Code oder dem Code für Multiple Response bzw. Missingin den Computer eingegeben wurde. Mit „Datenverlust“ werden die Fälle bezeichnet, indenen gültige Einträge im Fragebogen fälschlich als fehlend (Missing) kodiert worden waren,als „Fehler“ scheinen diejenigen Fälle auf, in denen falsche gültige Codes ins Datenfile gelangtwaren (wo z.B. statt dem Code „2“ für „mache ich gerne“ „1“ für „mache ich nicht gerne“eingegeben wurde). Zudem muss davon ausgegangen werden, dass es noch einen –wahrscheinlich kleinen – Graubereich gibt, einen Anteil an Fehlern, der bei der Kontrolle derFiles übersehen wurde oder durch die angewandte Methode nicht aufgedeckt werden kann(in der Grafik gekennzeichnet durch „?“).

Auffällig ist, dass die elektronisch gewonnenen Daten einen wesentlich größeren Anteil derUnterschiede verursacht haben. Andererseits muss festgestellt werden, dass ein großer Anteilder Kodiererfehler aus falschen gültigen Werten besteht. Der Scanner hingegen verursachtpraktisch keine falschen Daten, sondern fast ausschließlich Datenverlust.

Interessant – vor allem für die weitere Verwendung von Scannern für die Datenerfassung– ist eine detailliertere Betrachtung der Ergebnisse. In Abbildung IX.8 ist der Fehleranteil desScanners bei verschiedenen Fragenformaten aufgelistet. Es zeigt sich hierbei, dass dieser sehrstark von der Formatierung der Antwortkästchen abhängt.


Ein weiterer Aspekt bei der Qualitätskontrolle der elektronischen Datenerfassung ist dieÜberprüfung der Effizienz. Hierzu wurde die durchschnittliche Zeit, die für die elektronischeErfassung eines PISA Plus Fragebogens benötigt wurde, mit dem Durchschnittswert verglichen,den Kodierer unter Verwendung der Dateneingabe-Software KeyQuest für die Eingabe einesähnlich umfangreichen Fragebogens brauchten. Es zeigt sich, dass die elektronische Daten-erfassung erwartungsgemäß schneller ist als die manuelle Dateneingabe: für einen Fragebogenmit 221 Variablen benötigt man mit dem Scanner (inklusive aller damit verbundenenlogistischen Aufgaben) durchschnittlich drei Minuten. Die Eingabe in KeyQuest dauertdurchschnittlich etwas über vier Minuten.

Erwähnt werden muss jedoch auch, dass zur manuellen Dateneingabe nur ein normalausgestatteter Computer, für die elektronische Datenerfassung aber ein Hochleistungsscannerbenötigt wird. Deshalb können relativ viele Personen parallel in KeyQuest kodieren, gescanntwerden kann aber nur nach Verfügbarkeit von Hochleistungsscannern.

a) Texte verfassen/bearbeiten (z.B. Aufsätze, Artikel) ........b) Erstellen einer gedruckten Schülerzeitung .....................c) Briefe verfassen (z.B. Bestellung, Geschäftsbrief) .........

a) Texte verfassen/bearbeiten (z.B. Aufsätze, Artikel) ........

b) Erstellen einer gedruckten Schülerzeitung .....................

c) Briefe verfassen (z.B. Bestellung, Geschäftsbrief) .........

a) Texte verfassen/bearbeiten (z.B. Aufsätze, Artikel) ........b) Erstellen einer gedruckten Schülerzeitung .....................c) Briefe verfassen (z.B. Bestellung, Geschäftsbrief) .........

1.Wie gerne liest du in deiner Freizeit Bücher ?

Ssehr gerne gerne G Nnicht so gerne

Einzelne Fragen bei jeder Antwortalternative

Liste Iin Zeilen/Spalten



Fragentyp Format

B e i s p i e l

DatenverlustdurchScannen

Bbis zu 4% Missings

Bca. 2% Missings

Bca. 1,2% Missings

Bca. 0,25% Missings

Abbildung IX.8:. Ergebnisse aus der Qualitätskontrolleder elektronischen Datenerfassung nach Fragenformat

Günter Haider

REPORTS, NETWORKING UND BENCHMARKING

1. Geplante internationale PISA-Reports1.1 Initial Report1.2 Thematische Reports1.3 Reports und Broschüren1.4 Weitere Publikationen

2. Geplante nationale PISA-Reports

3. Geplante PISA Plus Reports

4. Networking: Die nationale Dissemination von PISA-Ergebnissen

5. Benchmarking

PISA und die in der Studie gewonnen Ergebnisse werden im Bildungsbereich undin der Öffentlichkeit große Aufmerksamkeit erhalten. Auf Grund der großen Band-breite an Leserschaft (von der Wissenschaft bis zur breiten Bevölkerung) werdenmehrere unterschiedliche Berichte verfasst und veröffentlicht werden.In diesem Abschnitt werden die geplanten Berichte, deren Inhalte und Zielsetzun-gen beschrieben.

XXXXXXXXXX


1. Geplante internationale PISA-ReportsPISA hat im Bildungsbereich bereits während der Durchführung große Aufmerksamkeit er-halten – seine ab Dezember 2001 publizierten, bildungspolitisch brisanten Ergebnisse wer-den eine große Öffentlichkeit haben: von der Wissenschaft über die Bildungspolitik bis zurbreiten Bevölkerung. Dieser Bandbreite möglicher Leserschaft trägt auch die Planung derzentralen Berichte Rechnung. Die Kommunikationsstrategie der OECD hinsichtlich der in-ternationalen Berichte (PISA-Reports) besteht daher aus folgenden Produkten (Stand Früh-jahr 2001), die in Zusammenarbeit zwischen dem Internationalen Kontraktor (ACER/WES-TAT/u.a.) und dem OECD-Sekretariat in verschiedenen Arbeitsgruppen entstehen sollen:

1.1 Initial ReportEin möglichst rasch zu publizierender „Initial Report“, der die wichtigsten Schlüsselergebnisseder Studie beschreibt und einige zentrale bildungspolitische Botschaften von PISA darstellt.Er wird aus zwei Teilen bestehen:a) KONTEXT DER STUDIE: eine kurze Beschreibung der wichtigsten methodischen

Elemente des PISA-Projekts (Ziele, Frameworks, Surveydesign, Stichproben, Beispiele fürTestfragen, die Proficiency-Scales, die Art der Darstellung, etc.);

b) ZENTRALE ERGEBNISSE: eine Präsentation der wichtigsten Resultate der Tests undBefragungen, verständlich aufbereitet für eine möglichst breite und „nicht-wissenschaftliche“Leserschaft. Dabei sollen sowohl die relativen Ergebnisse der Bildungssysteme im Vergleichdargestellt werden, aber auch weitere, über die Reihung der Länder hinausgehende Analysenund Ergebnisse präsentiert werden. Zentrale Kapitel werden sich befassen mit• TESTERGEBNISSEN: die in PISA mit standardisierten Tests gemessenen Leistungen

(Kompetenzen) der 15-/16-jährigen Schüler/innen in Lesen, Mathematik und Natur-wissenschaft (dargestellt vor allem in Form von „Proficiency Scales“, einer jeweils fünf-stufigen Skala zur Bewertung von Leistungen),

• SCHLÜSSELCHARAKTERISTIKEN: Beschreibungen der PISA-Schüler/innen (ausden Schülerfragebögen) in Bereichen wie demografische Charakteristik, Lern-hintergrund, Unterstützung durch Eltern und Schule, vorhandene Ressourcen, u.a. sowie

• der untersuchten PISA-Schulen (aus dem Schulfragebogen – charakteristische Struk-turen, Ressourcen, Probleme, u.a.),

• MÖGLICHEN ERKLÄRUNGEN: erste Annahmen über Indikatoren/ Faktoren, dieUnterschiede in den gemessenen Leistungen bedingen („What makes a difference“),z.B. sozialer und sozioökonomischer Hintergrund der Schüler/innen, die Varianz zwi-schen Schulen usw. (dieser Bereich wird später in Thematischen Reports aufgenom-men und vertieft).

1.2 Thematische ReportsEine Serie von (vorläufig) sechs „Thematischen Reports“, die die Ergebnisse in verschiedenenwichtigen Teilbereichen von PISA tiefer und im Zusammenhang mehrerer Indikatoren ana-lysieren und die Implikationen und Konsequenzen der Ergebnisse für die Bildungspolitikberichten.a) Jeder thematische Report wird aus zwei Teilen bestehen: Zuerst werden die für die jeweiligen

Analysen relevanten Instrumente und Daten vorgestellt und die grundlegenden Ergebnis-

Abschnitt X: Reports, Networking und Benchmarking 289

tabellen und Grafiken präsentiert, danach werden in einem zweiten Teil diese Ergebnisseanalysiert und die bildungspolitischen Implikationen erörtert.

b) Die Erstellung des 2. Teiles jedes thematischen Reports wird sich auf die Expertise vonbekannten und erfahrenen Experten auf dem jeweiligen Gebiet stützen. Die thematischenReports sollen die PISA-Resultate in einen breiten Kontext des jeweiligen Faches bzw.Gebietes stellen. Sie sollen stark an PISA orientiert sein, aber zugleich auch auf Erkenntnisse„außerhalb“ von PISA Bezug nehmen.

c) Folgende Themen sind für die ersten Thematischen Reports geplant:• Engagement und Motivation: Wichtige Bedingungen für aktuelle Leistungen und die

Erreichung künftiger Ziele• Sozialer und sozio-ökonomischer Hintergrund und Schülerleistung• Die Bedürfnisse von weniger und von hoch leistungsfähigen Schüler/innen• Geschlechtsunterschiede in Leistungen, Einstellungen und Motivation• Schulische Faktoren in punkto Qualität und Chancengleichheit• Ein internationales Profil der Leseleistungen von Schüler/innen

1.3 Reports und Broschüren„Unterstützende Reports und Broschüren“, zum Großteil in elektronischer Form auf einerspeziellen PISA-Website, ein PISA-Newsletter und eine regelmäßige PISA-Broschüre.

1.4 Weitere PublikationenDie Publikation der PISA Originaldaten-Files und der offene Zugriff von Wissenschafternauf diese (SPSS-)Dateien soll es ermöglichen, dass auch Personen, die nicht direkt an derErhebung und Analyse von PISA beteiligt waren, die aber an Teilaspekten großes Interessehaben, Auswertungen und Interpretationen vornehmen können (z.B. in Kooperation mitnationalen Zentren). Dabei sollen interessante Aspekte, die in den thematischen Reportsnicht behandelt werden, ebenfalls eine Chance erhalten, analysiert und dargestellt zu werden.

2. Geplante nationale PISA-ReportsDie internationalen PISA-Reports decken ein breites Spektrum von Ergebnissen und Analy-sen ab, vor allem jedoch aus dem international-vergleichenden Blickwinkel und einer eherglobalen Perspektive. Die nationalen Ergebnisberichte, verfasst vom Österreichischen PISAZentrum in Salzburg, sollen vier Hauptziele verfolgen:• Eine detaillierte Darstellung der Methoden des PISA-Projekts (in Zielen, Design, Instru-

menten, Stichproben, etc.) in Form eines umfangreichen Technischen Reports. Er soll alserklärende Grundlage allen an den PISA-Methoden näher Interessierten die notwendigenDetails zum Verständnis der Prozeduren, Instrumente, Abläufe und Ergebnisse liefern.

• Eine Darstellung zentraler internationaler PISA-Ergebnisse mit besonderer Relevanz fürÖsterreich (eine ins Deutsche übersetzte Auswahl wichtiger internationaler Ergebnisseaus dem OECD Initial Report), zusammenhängend dargestellt mit speziellen nationalenAnalysen (zusätzliche Tabellen und Grafiken mit österreichspezifischen Ergebnissen).

• Eine österreichspezifische Darstellung der wichtigsten Themen aus den internationalenThematischen Reports (eine ins Deutsche übersetzte Auswahl wichtiger Ergebnisse), zu-sammenhängend dargestellt mit speziellen nationalen Analysen. Selbstverständlich kön-


nen dabei auch Themen intensiver zur Sprache kommen, die im internationalen Teilnicht so ausführlich behandelt wurden.

• Die Darstellung und Analyse der Ergebnisse aus den nationalen Zusatzprojekten vonPISA Plus.

So sollen die wichtigsten internationalen und nationalen Ergebnisse von PISA in deutsch-sprachigen Publikationen einem möglichst breiten Publikum zugänglich gemacht werden.Geplant sind also:1. Ein „Technischer Report PISA 2000 Österreich“ (der vorliegende Band)2. Ein nationaler „Initial Report PISA 2000 Österreich“, gleichzeitig erscheinend mit der

internationalen Publikation der OECD,3. Ein Sammelband „Thematische Reports PISA 2000 Österreich“ mit Themen vergleichbar

dem internationalen Report.

3. Geplante PISA Plus ReportsIn mehreren Kapiteln dieses Technischen Reports wurden die nationalen PISA Plus Zusatz-projekte zu PISA 2000 genauer beschrieben. Die Autoren der jeweiligen Teilprojekte (Böck,Landerl, Eder, Haider, Reiter) werden gemeinsam, unter der Herausgeberschaft des PISAZentrums in Salzburg, zwei Reports zu diesen Projekten publizieren:• Einen deskriptiven Report PISA Plus, der in ähnlicher Form wie der internationale Report

der OECD möglichst schnell erscheinen soll und die wichtigsten Ergebnisse aus denSchüler- und Schulleiterbefragungen (noch ohne Leistungsdaten) in einigen Tabellen undGrafiken übersichtlich darstellt.

• Einen später erscheinenden „PISA Plus Thematischen Report“, der umfassendere undtiefer gehende wissenschaftliche Analysen der Ergebnisse präsentiert und sie im Kontextder internationalen Ergebnisse darstellt und insbesondere den Bezug zu den Leistungender Schüler/innen herstellt.

Abbildung X.1 auf der nächsten Seite gibt eine Übersicht und Zusammenfassung über diegeplanten PISA-Reports.


4. Networking: Die nationale Dissemination von PISA-Ergebnissen

Die Disseminationsstrategie der PISA-Informationen und Resultate besteht aus den folgen-den zehn Elementena. Publikation der Internationalen Reports von der OECD ab Dezember 2001 laufend her-

ausgegebene Berichte; zu beziehen über den OECD-Eigenverlagb. Publikation der Nationalen Reports (PISA und PISA PLUS) vom PISA Zentrum Salzburg

ab Sommer 2001 laufend herausgegebene Berichte im Studienverlag Innsbruckc. Presseaussendungen und Pressekonferenz(en) zu wichtigen Terminen vom PISA Zentrum

Salzburg und von der OECD einberufene Pressekonferenzen (zum Erscheinen des InitialReports, als Abschluss des Projekts Ende 2002); dazu die entsprechenden Presseaus-sendungen an die österreichischen Medien

d. Das Web-Portal www.pisa-austria.at aktuellstes PISA-Medium; mit direktem Zugang zu

Abbildung X.1: Übersicht über die in PISA international und national geplantenErgebnisberichte (Stand Q1/2001).

ACER/OECD PISA Zentrum ÖsterreichDraft Publik internationaler Report Nationaler Report

1 bis Q4/2000 Q2/2001

PISA Zentrum Österreich (Bericht Nr. 1)

Haider Günter (Hg.): Technischer Report PISA ÖsterreichMethoden, Projektdesign, Instrumente und Datenerhebung

mit Einleitung BM Gehrer + BAG, ca. 250 S. + Anhang (Framew.)

2 bis Q4/2000 Q2/2001

PISA Zentrum Österreich (Hg., Bericht Nr. 2)

Autoren Eder, Böck/Sollat, Landerl, Reiter,Haider:

Nationaler Report PISA PLUS [1] (deskriptiv/ohne Scores/Leistungen)

mit Einleitung BM Gehrer + BAG, ca.120-150 Seiten + Anhang

3 bis Q2/2001Q4/2001

(Dezember)

PISA 2000 Österreich - WEBPORTAL

www.pisa-austria.atPräsentation von Ergebnissen und Materialien zu PISA 2000

4 bis Q2/2001Q4/2001

(Dezember)

Internationaler OECD-Bericht "Initial Report" (Design, Key Findings)

OECD-Indikatoren, Ländervergleiche (ca. 100 S)

PISA Zentrum Österreich

Presseaussendung/Newsletter+ PK International Key Findings

5 bis Q3/2001Q4/2001

(Dezember)


Reiter, Haider, et.al: Nationaler deskriptiver Report PISAÜbersetzung und Detaillierung der Key Findings, nationale Breakdowns

mit Einleitung BM Gehrer + BAG, ca. 120 S.+ Tabellenanhang

6 ab Q4/2001 ab Q1/2002

Beginn der Publikation der internationalen

Thematischen Reports Resultate von ACER/OECD, Expertenanalysen

( 1. Thematischeer Report)

PISA Zentrum Österreich (Hg., Bericht Nr. 4)

Eder, Sollat/Böck, Landerl, Reiter, Haider

Nationaler Report PISA PLUS [2] (Einbeziehung der Schülerleistungen)

ca. 120 - 150 Seiten + Anhang

7 ab Q1/2002 ab Q2/2002

Weiterführung der internationalen

Thematischen Reports (3 Ausgaben)results by ACER/OECD, analysis by an expert

(Thematische Reports 2 - 4)

8 ab Q1/2003 ab Q1/2003

Weiterführung der internationalen

Thematischen Reports (2 Ausgaben)results by ACER/OECD, analysis by an expert

(Thematische Reports 5 - 6)

9 Q3/2002 (?)PISA Zentrum Österreich

Abschließendes Symposium (Experten) mit PK

Alle internationalen Berichte erscheinen

im OECD-Eigenverlag

Alle nationalen Berichte erscheinen im Studienverlag Innsbruck

(Reihe: Beiträge zur Vergleichenden Schulforschung)

Nr.geplanter Termin

Q = Quartal

PISA 2000 REPORTS (Publikationsplanung)(Aufstellung des PISA Zentrums Österreich, Stand Quartal 1/2001)


Haider (Hg.) Nationaler thematischer Report PISA 2000Sammelband-Auswahl internationaler und nationaler PISA-Themen

erstellt von PISA Zentrum + Experten, ca. 120 - 150 S.+ Tabellenanhang


allen wichtigen Dokumenten und Ergebnissen sowie zum Download von Materialien zuPISA; weltweite Links zum Thema eröffnet im Herbst 2001

e. Das Experten-Netzwerk von PISA (die Subject Area Groups)Die drei SAGs (Leitung Math: Univ. Prof. Krainer, Klagenfurt; Lesen: LSI Dr. Blümel,Naturwiss: HR Dr. Koenne, beide Wien) verarbeiten und verbreiten die Ergebnisse inihren jeweiligen eigenen Networks (Lehreraus- und Fortbildung, Pädagog. Akademien,Schulaufsicht-/behörden, etc.)

f. Die Begleitende Arbeitsgruppe BAG PISA am BM:BWK(Leitung MinR Mag. Friedrich Plank)Die BAG benutzt die Netzwerke innerhalb des BM:BWK (vor allem für die Informationder obersten Schulbehörden und des Bundesministers)

g. Das PISA National Committee(Leitung SCh Dr. Anton Dobart)Dem NC-Netzwerk gehören Vertreter von Eltern, Schülern, Lehrern und Schulbehördenan. Sie werden versuchen, den PISA-Ergebnissen in diesen Gruppen durch persönlicheKontakte entsprechende Resonanz zu verschaffen

h. Die PISA-Broschüre (gedruckt) und der PISA-Newsletter (elektronisch, PDF)Sie werden ab Sommer 2001 vom PISA Zentrum Salzburg erstellt und versandt (derNewsletter per E-Mail und über die Homepage); Zielgruppen sind Schulen, Schulbehör-den, Medien, Elternvereine, etc.

i. Die PISA-„Roadshow“Das PISA Zentrum Salzburg erstellt im 1. Quartal 2002 einen anschaulichen Vortrag mitMedienunterstützung (90 Minuten PowerPoint + Multimedia) zu den wichtigsten Me-thoden und Ergebnissen von PISA. Dieser Vortrag (gehalten von einer Mitarbeiter/in desPISA Zentrums) kann von Interessenten angefordert werden (gegen Vergütung der Reise-kosten).

j. PISA-Bericht(e) in TV und HörfunkDas PISA Zentrum Salzburg wird in Zusammenarbeit mit den Wissenschaftsredaktionendes Öffentlichen Fernsehens und des Rundfunks eine Dokumentation/einen Bericht überdie wichtigsten Ergebnisse von PISA erstellen.

Diese, für ein wissenschaftliches Projekt sehr umfangreich geplante Disseminationsstrategiehat die Aufgaben,• das Projekt PISA in der Öffentlichkeit bekannt zu machen,• Rechenschaft über die geleistete Arbeit der OECD und des Zentrums abzulegen,• die wichtigsten Ergebnisse einem interessierten Publikum zugänglich zu machen,• eine möglichst breite Diskussion über den langfristigen Nutzen derzeitiger Schulbildung

zu entfachen,• durch das Aufzeigen von Stärken und Schwächen den Grundstein für eventuell notwen-

dige Veränderungen zu legen und• das Bewusstsein und die Kenntnisse über System-Monitoring/Assessments im Bildungs-

bereich und in der Öffentlichkeit zu fördern.• Darüber hinaus sollen (wenn methodisch möglich) Instrumente und Referenzdaten den

Schulen bei der Selbstevaluation wichtige Anhaltspunkte liefern (Benchmarking).


5. BenchmarkingIm ersten Abschnitt haben wir den möglichen Nutzen von PISA im Hinblick auf einen Ein-satz der Aufgaben und der Referenztabellen in einem (Selbst-)Evaluationsprozess beschrieben(siehe Beitrag Haider zu „System-Monitoring“ im Abschnitt I (Kapitel 2)).

Unter Benchmarking werden Evaluationsprozesse verstanden, bei denen sich Schulen, Klassen(oder Lehrer/innen) an internationalen, überregionalen bzw. nationalen Referenzwerten frei-willig und selbst messen, z.B. im Rahmen einer Selbstevaluation (internes Schulmanagement).

Die PISA-Aufgaben würden sich gut für die Erstellung von Benchmark-Tests eignen – kom-binierte man sie mit den nationalen und internationalen Ergebnissen, so hätte man ein ausge-zeichnetes Instrumentarium z.B. auch für den regionalen oder überregionalen Vergleich pa-rat. Leider kann die OECD wegen der beabsichtigten Längsschnittmessungen in 2003, 2006und folgende jeweils nur einen kleinen Teil der PISA-Aufgaben zur allgemeinen Verwendungfreigeben. Ob sich daraus entsprechende Benchmark-Instrumente konstruieren lassen, wirderst Anfang 2002 beantwortbar sein, wenn man die entsprechenden statistischen Analysenrechnen kann. In Österreich existiert vor allem von Seiten der Lehrer/innen großes Interessean diesen Materialien.

Ein praktisches Beispiel für ein solches Benchmarking existiert bereits: Das SalzburgerForschungszentrum hat 1998 aus den Ergebnissen von TIMSS/Third International Mathematicsand Science Study der IEA/1995 ein umfangreiches, softwareunterstütztes Benchmarking-Programm erstellt (entsprechende Hinweise und Materialien zu TIMSS finden Sie unter„www.system-monitoring.at“).

ANHANG ZUM TECHNISCHEN REPORT

AUTORENLISTE

TEILNEHMENDE LÄNDER AN PISA 2000

ANHANG ZU ABSCHNITT IV

ANHANG ZU ABSCHNITT VI

ANHANG ZU ABSCHNITT VIII

Anhang A3

AUTOR/INNEN (in alphabetischer Reihenfolge)

Dr. Margit BöckInstitut für Publizistik und Kommunikationswissenschaft der Universität Wien

Funktion im Projekt:Expertin für das nationale Zusatzprojekt (PISA Plus) LesegewohnheitenBeiträge zum Technical Report:Autorin des Kapitels 3.1 im Abschnitt IV

Univ.Prof. Dr. Ferdinand EderInstitut für Pädagogik und Psychologie der Universität Linz,Abteilung für Pädagogik und Pädagogische Psychologie

Funktion im Projekt:Experte für das nationale Zusatzprojekt (PISA Plus) Schulerfolg, Befindlichkeit, Übergang vonder Sekundarstufe IBeiträge zum Technical Report:Autor des Kapitels 3.3 im Abschnitt IV

Ass.Prof. DDr. Günter HaiderInstitut für Erziehungswissenschaft der Universität SalzburgAbteilung für Bildungsforschung und Pädagogische Beratung

Funktion im Projekt:Nationaler Projektmanager (NPM)Aufgaben im Projekt:Wissenschaftliche und organisatorische Leitung des Projekts, Experte für das nationaleZusatzprojekt (PISA Plus) Qualität in SchulenBeiträge zum Technical Report:Autor von Abschnitt I (gemeinsam mit Werner Specht), Kapitel 3.5 im Abschnitt IV, AbschnittV, Abschnitt VII (gemeinsam mit Christina Wallner-Paschon), Abschnitt X

Mag. Gudrun KremsleithnerPisa Projektzentrum ÖsterreichInstitut für Erziehungswissenschaft der Universität Salzburg

Funktion im Projekt:ForschungsassistentinAufgaben im Projekt:Mitarbeit in den Bereichen Field Operations und MarkingBeiträge zum Technical Report:Autorin des Abschnitts VIRedaktion, Layout und Satz

PISA 2000 ÖsterreichA4

Univ.Ass. Mag. Dr. Karin LanderlInstitut für Psychologie der Universität Salzburg

Funktion im Projekt:Expertin für das nationale Zusatzprojekt (PISA Plus) Basale LesefertigkeitenBeiträge zum Technical Report:Autorin des Kapitels 3.2 im Abschnitt IV

Mag. Birgit LangPisa Projektzentrum ÖsterreichInstitut für Erziehungswissenschaft der Universität Salzburg

Funktion im Projekt:ForschungsassistentinAufgaben im Projekt:Mitarbeit bei der Instrumentenentwicklung, Elektronischen Datenerfassung und beim File-CleaningBeiträge zum Technical Report:Autorin von Abschnitt II und Abschnitt IV

Mag. Dr. Claudia ReiterPisa Projektzentrum ÖsterreichInstitut für Erziehungswissenschaft der Universität Salzburg

Funktion im Projekt:Direktorin des PISA ProjektzentrumsProjektleiterinAufgaben im Projekt:Verantwortlich für die Bereiche Instrumentenentwicklung, Marking, elektronische Daten-erfassung und File Cleaning, Expertin für das nationale Zusatzprojekt (PISA Plus) Nutzung vonInformationstechnologienBeiträge zum Technical Report:Autorin von Abschnitt VIII und IX sowie von Kapitel 3.4 im Abschnitt IV

Prof. Mag. Dr. Werner SpechtWissenschaftlicher Mitarbeiter am Zentrum für Schulentwicklung, Abt. II (Evaluation undSchulforschung) in GrazGastprofessor an der Universität Salzburg

Beiträge zum Technical Report:Autor des Abschnitts I (gemeinsam mit Günter Haider)

Anhang A5

Mag. Christina Wallner-PaschonPisa Projektzentrum ÖsterreichInstitut für Erziehungswissenschaft der Universität Salzburg

Funktion im Projekt:ProjektleiterinAufgaben im Projekt:Verantwortlich für Sampling, Screening, Field Operations und DatenmanagementBeiträge zum Technical Report:Autorin des Abschnitts VII (gemeinsam mit Günter Haider)

Mag. Susanne WeißPisa Projektzentrum ÖsterreichInstitut für Erziehungswissenschaft der Universität Salzburg

Funktion im Projekt:ForschungsassistentinAufgaben im Projekt:Projektorganisation, Mitarbeit beim Screening und beim MarkingBeiträge zum Technical Report:Autorin des Abschnitts III

Anhang A7

AustraliaJan Lokan AustriaGünter Haider University of Salzburg

Belgium - FlemishLuc van de Poele Ghent University

Belgium - FrenchDominique Lafontaine Universite de Liege Sart Tilman BrazilMaria Lucia Guardia Instituto Nacional de Estudos e Pesquisas Educacionais - INEP CanadaMarc Lachance Statistics Canada Dianne Pennock Council of Ministers of Education, Canada

ChinaZhi-Hua Lin Ministry of Education

Czech RepublicJana Straková Institute for Information on Education DenmarkVita Bering Pruzan The Danish National Institute of Social Research (SFI) FinlandJouni Välijärvi University of Jyväskylä

FranceJean-Pierre Jeantheau Mission de l’Evaluation

GermanyJuergen Baumert Max-Planck-Institute for Human Development GreeceKaterina Kassotakis Centre for Educational Research

PROGRAMME FOR INTERNATIONAL STUDENT ASSESSMENT 2000Teilnehmende Länder & National Project Managers

Australian Council of Educational Research (A.C.E.R.)


HungaryPeter Vari National Institute for Educational Services IcelandRagna Benedikta Garðarsdóttir Institute for Educational Research IrelandJudith Cosgrove Educational Research Centre

ItalyEmma Nardi Universita Degli Studi Roma Tre

JapanRyo Watanabe National Institute for Educational Policy Research

LatviaAndris Kangro University of Latvia

LuxembourgJean-Paul Reeff Ministère de l’Education Nationale

MexicoFernando Cordova Calderon Secretaria de Educación Pública New ZealandSteve May Ministry of Education

NorwaySvein Lie University of Oslo

PolandMichal Federowicz Institute of Philosophy and Sociology PortugalGlória Ramalho Gabinete de Avaliação Educacional (GAVE) Republic of KoreaKooghyang Ro Korea Institute of Curriculum and Evaluation

Russian FederationGalina Kovalyova Centre for Evaluating the Quality of Education Russian Academy ofEducation

Scotland UKGraham Thorpe The Scottish Council for Research in Education

Anhang A9

SpainGuillermo Gil Instituto Nacional de Calidad y Evaluacion (INCE) SwedenKarin Taube University of Kalmar SwitzerlandHuguette McCluskey Swiss Federal Statistical Office

The NetherlandsJohan Wijnstra CITO group United KingdomBaljit Gill Office for National Statistics (UK) USAGhedam Bairu US Department of Education, National Center for Education Statistics

• Proficiency Scales für PISA 2000

ANHANG ABSCHNITT IV

INHALT

• Aufgabenbeispiele aus der Testdomäne Reading• Frameworks zu Lese-, Mathematik- und Naturwissenschafts-

kompetenz (Ausschnitte aus der deutschsprachigenOriginalversion)

• Schülerfragebogen

• Schulfragebogen

Dieses BPC Dokument stand erst kurz vor Redaktionsschluss zurVerfügung. Aus diesem Grund liegt es nur in englischer Originalfassungvor. Darin werden die einzelnen Proficiency Scales und die Entwickungdieser Skalen beschrieben.Hinweise, die sich aus einem Wort/Namen und einer dahinterstehendenNummer (z.B. „Gift R119Q01“) zusammensetzen, beziehen sich auffreigegebene Items, die unter folgender Internetadresse verfügbar sind:www.pisa-austria.at

PROFICIENCY SCALESFÜR PISA 2000


DESCRIBED PROFICIENCY SCALES FOR PISA 2000

Introduction1. PISA seeks to report outcomes in terms of proficiency scales that are based on scientifictheory and interpretable in policy terms. There are two further considerations for the development ofthe scales and levels:

- PISA must provide a single score for each country for each of the three domains. It isalso recognised that multiple scales might be useful for certain purposes and thedevelopment of these has been considered alongside the need for a single scale.

- The proficiency descriptions must shed light on trends over time. The amount of dataavailable to support the detailed development of proficiency descriptions varies,depending on whether a particular domain is a ‘major’ or ‘minor’ domain for anyparticular survey cycle. Decisions about scale development need to recognise thisvariation, and must facilitate the description of any changes in proficiency levels achievedby countries from one survey cycle to the next.

2. Development of a method for describing proficiency in PISA Reading, Mathematics andScience took place over the last year or more in order to prepare for the reporting of outcomes of thePISA 2000 surveys. The three expert groups (for Reading, Mathematics and Science) have been workingwith the Consortium to develop sets of described proficiency scales for the three PISA 2000 testdomains. Consultations of the BPC, National Project Managers and the PISA Technical AdvisoryGroup took place at several stages. This document presents the proposal resulting from this process.Subject to the approval by the BPC, the proposals will be disseminated among participating countries,through the National Project Managers, for a final consultation process.

Defining levels of proficiency3. The development of described proficiency levels has progressed in two broad phases. Thefirst, following the development process described in the Annex, has been based on a substantiveanalysis of PISA items in relation to the aspects of literacy that underpin each of the three PISA testdomains. This has resulted in described proficiency levels that reflect observations of studentperformance and a detailed analysis of the cognitive demands of PISA items. The second phase involveddecisions about where the cut-points between levels should be located and precisely how studentswould be associated with levels. This is in part a technical matter, and in part a very practical matter ofinterpretation of the meaning of ‘being at a level’, with very significant consequences for the reportingof national and international results.

4. A number of principles have been considered in developing and establishing a useful meaningfor ‘being at a level’, and therefore for determining an approach to setting cut-points between levelsand associating students with those levels:

- A ‘common understanding’ of the meaning of levels should be developed and promoted.The current proposal foresees that all students at a level would be expected to get at leasthalf of the items right on a test composed of items spread across the level. This hasimplications for interpreting the proficiency of students at different points across theproficiency range defined at each level. For example students at the bottom of a levelwould achieve 50 per cent on a test set at the level, and students at the middle and topof each level would be expected to achieve a much higher success rate.

Anhang A15

- For a particular scale, the meaning of ‘being at a level’ should be more or less consistentfor different described performance levels along the scale. Another way of expressingthis is as follows: To the extent possible within the substantively based definition anddescription of levels, cut-points between levels should be determined to create levels ofmore or less constant width within each scale. Some small variation may be appropriatefor each scale, but to enable a consistent interpretation and definition of cut-points andlevels, there should not be large discrepancies in the width of the bounded levels. Clearlythis would not apply to the highest and lowest proficiency levels, which are unbounded.

- A more or less consistent approach should be taken to defining levels for the differentscales. The width of levels may not be exactly the same for the different proficiencyscales, but the same kind of interpretation should be possible for each of the scales thatare developed.

5. A way of implementing these principles has been proposed. This method links the twovariables mentioned in the preceding paragraphs, and a third related variable. The three variables canbe expressed as follows:

- The expected success of a student at a particular level on a test containing items at thatlevel (proposed to be set at a minimum that is near 50 per cent for the student at thebottom of the level, and higher for other students in the level).

- The width of the levels in that scale (determined largely by substantive considerations ofthe cognitive demands of items at the level and observations of student performance onthe items).

- The probability that a student in the middle of a level would correctly answer an item ofaverage difficulty for that level (in fact, the probability that a student at any particularlevel would get an item at the same level correct), sometimes referred to as the ‘RP-value’ for the scale.

6. The following diagram summarises the relationship among these three variables which arelinked in a mathematical way. It shows a vertical line representing part of the scale being defined, andone of the bounded levels on that scale, with a student at each of the top and the bottom of the level,and reference to an item at each of the top and bottom of the level. Dotted lines connecting thestudents to the items are labelled with ‘P=?’ to indicate the probability associated with the studentindicated correctly responding to the item indicated.

ITEM AT TOP OF LEVEL

ITEM AT BOTTOM OF LEVEL

P=?

P=?

P=?

P=?

STUDENT AT TOP OF LEVEL

STUDENT AT BOTTOM OF


7. The technical solution that is proposed would start with the desired broad interpretation ofthe meaning of ‘being at a level’ (that is, an expectation of succeeding at some stated minimumproportion of items in a test at that level), would take the substantively determined range of abilitiesfor each bounded level in that scale, and would determine the ‘RP value’ required to achieve these. Thecurrent proposal is based on an RP-value of 65 per cent.

8. A further matter, related to the highest and lowest described levels, which are unbounded, isthat it could be argued that above a certain high point on the scale, and below a certain low point onthe scale, the proficiency descriptions cease to be accurate. It is suggested that at the high end of thescale this is not such a problem, since it could be stated with confidence that students of extremelyhigh proficiency could reasonably be assumed capable of ‘at least’ the achievements described for thehighest level. At the other end of the scale, the same argument does not hold. There is a clear case fordetermining a lower bound for the lowest described level, below which no meaningful description ofproficiency is possible. As the width of levels 2, 3 and 4 will be equal (within a domain) it is proposedthat the floor be placed at this width below the cut between level 1 and 2. Students below this level willhave a performance that is below that which PISA can reliably assess and more importantly, describe.

Reading Literacy

Scope

9. The purpose of the PISA Reading Literacy assessment is to monitor and report on thereading proficiency of 15-year-olds as they approach the end of secondary school. Each task in theassessment has been designed to gather a specific piece of evidence about that proficiency by simulatinga reading activity that a reader might be expected do either inside or outside school, as an adolescentor in adult life.

10. The PISA reading tasks range from very straightforward comprehension activities to quitesophisticated activities requiring deep and multiple levels of understanding. Reading proficiency ischaracterised by organising the tasks into five hierarchical levels, with Level 1 describing what isrequired for successful responses to the most basic tasks, and Level 5 what is required for successfulresponses to the most demanding tasks.

Three described proficiency scales for Reading

Why ‘aspect’ scales?11. The scales represent three major reading activities or approaches, which are all essentialparts of the typical reading of people in contemporary developed societies do: retrieving informationfrom a variety of reading materials, interpreting what they read, and reflecting upon what they read.

12. People often have practical reasons for retrieving information from reading material, or theymay want to obtain discrete pieces of information for personal or educational purposes. RetrievingInformation tasks can range from locating the details required by an employer from a job advertisement,to finding a telephone number with several prefixes.

13. Interpreting texts involves processing what is read to make internal sense of a text. A widevariety of cognitive activities is included in this approach, all involving some degree of inference. Forexample, a task may involve connecting one part of the text with another, processing the text to forma summary of the main ideas, or finding a specific instance in the text of something earlier described

Anhang A17

in general terms. When interpreting, a reader is identifying the underlying assumptions or implicationsof part or all of the text.

14. Reflecting on text involves drawing on knowledge, ideas or attitudes external to the text inorder to relate the new information provided within the text to one’s own conceptual and experientialframes of reference.

15. The aspect division of the Reading domain is of course not the only possible one. Analternative would be to use text types or formats as the primary organising category for the domain, asin previous large-scale studies, including the IEA Reading Literacy Study (Narrative, Exposition andDocument) and in IALS (Prose and Document). However, the aspect division seems to reflect thepolicy objectives of PISA most closely and it is hoped that the development of three aspect scales forPISA will give a new perspective to the understanding of the development of Reading proficiency.

Why three scales rather than five? 16. The three scales are based on the set of five aspect variables described in the PISA ReadingLiteracy Framework (OECD, 1999): Retrieving Information, Forming a Broad Understanding,Developing an Interpretation, Reflecting on the Content of a Text and Reflecting on the Form of aText. Developing an Interpretation and Forming a Broad Understanding have been grouped togetherbecause in both, information provided in the text is processed by the reader in some way: in the caseof Broad Understanding, the whole text, and in the case of Developing an Interpretation, one part ofthe text in relation to another. Reflecting on the Content of a Text and Reflecting on the Form of aText have been collapsed into a single ‘Reflect’ scale because the distinction between Reflecting onForm and Reflecting on Content, in practice, was found to be somewhat arbitrary.

17. It should be noted in this context that there is considerable overlap between even the threescales which are presented here: in practice, most tasks make a number of different demands uponreaders, and individual readers may approach a task in diverse ways. These three aspects are not conceivedof as entirely separate and independent, but rather as interrelated and interdependent. The assignmentof tasks to one or other of the scales is often a matter of fine discrimination that entails judgementsabout the salient features of the task, and about the typical approach to it. Empirical evidence from themain study data is being used to validate these judgements. Despite the interdependence of the threescales, they may reveal interesting and useful distinctions both between countries and among subgroupswithin countries.

18. Further considerations in reducing the number of aspects from five to three for thedevelopment of described proficiency scales were pragmatic and technical ones. In 2003 and 2006Reading, as a minor domain, will be restricted to about 30 items. The amount of information availablewill be insufficient for reporting over five scales.

Task variables

19. In developing descriptions of the conditions and features of tasks in each of the three scalesit was found that distinct though intersecting sets of variables for determining task difficulty seemedto be operating. The variables described are based on judgmental inspection by reading experts of theitems falling within each provisional level band, rather than on systematic analysis. More systematicanalyses will be conducted when the complete data set is available and the item difficulties and levelcut-points are more firmly established.


20. It will be noted that, particularly in the case of the Retrieving Information and Interpretingscales, the conceptualisation of the variables draws strongly on Kirsch and Mosenthal’s work. Thedefinition of variables operating within the Reflecting scale is, we believe, PISA’s major new contributionto conceptualising Reading. PISA is the first large-scale study to attempt to define variables operatingwithin the Reflecting scale and to propose characterising populations from this perspective in itsreporting.

21. The variables which appear to be salient in each of the scales are described briefly below. Itis important to remember that the difficulty of any particular item is conditioned by the interactionamong all of the variables.

Task variables for the overall reading scale

22. The overall proficiency scale for Reading Literacy covers three broad aspects of reading:Retrieving Information, which is defined as locating one or more pieces of information in a text;Interpreting, defined as constructing meaning and drawing inferences from one or more parts of a text;and Reflecting, defined as relating a text to one’s experience, knowledge, and ideas. Tasks associatedwith each of these aspects of reading are found at all levels of the proficiency scale.

23. The difficulty of any reading task depends on an interaction between a number of variables.The type of process involved in retrieving information, interpreting or reflecting is salient in relationto difficulty. Processes range in their complexity and sophistication from making simple connectionsbetween pieces of information, to categorising ideas according to given criteria, to critically evaluatinga section of text. In addition to the type of process called upon, for retrieval tasks difficulty dependsparticularly on the number of conditions the located information must meet, and on whether what isretrieved needs to be organised in a particular way. For interpretative and reflective tasks, the lengthand complexity of the text and how much of it the reader needs to assimilate are factors that affectdifficulty. In the case of items that require reflection on the reader’s part, difficulty is also conditionedby the familiarity or specificity of the knowledge that must be drawn on from outside the text. For allaspects of reading, difficulty also depends on how explicitly the reader is supplied with the ideas orinformation necessary to complete the task, on how prominent the required information is, and onhow much competing information is present.

Task variables for the Retrieving Information scale

Type of retrieval24. This is related to the ‘type of match’ micro-aspect referred to in the Reading Framework forPISA (OECD, 1999). The main process used for tasks in this scale is locating. Locating tasks require areader to find and retrieve information in a text based on conditions or features specified in a questionor directive. The reader may need to consult a text several times to find and retrieve different pieces ofinformation. Tasks become more difficult as the number of pieces of information to be retrievedincreases, and as the number of features to be taken into account increases. Tasks also become moredifficult if it is important that the pieces of information that have been retrieved are organised in aparticular way

Explicitness of information25. This variable refers to the degree of literalness or explicitness both in the task and in the text,and takes into account how much inference the reader needs to use in order to find the necessary

Anhang A19

information. The task is more difficult if inference is required to establish the factors that the readermust take into account in looking for the information in the text. It is also more difficult if there ismore than one factor to consider. In addition, the task is more difficult if the information to beretrieved from the text is not explicitly provided in the text.

26. This variable is again related to the ‘type of match’ micro-aspect referred to in the ReadingFramework for PISA (OECD, 1999). Generally tasks classified as ‘Retrieving Information’ requireminimal inference. However, the more difficult tasks require some processing to match the informationrequired with what is in the text, and to select relevant information by inferring and prioritising.

Nature of competing information27. This is similar to the ‘plausibility of distractors’ micro-aspect referred to in the ReadingFramework for PISA (OECD, 1999). Competing information is information that the reader maymistakenly retrieve because of its similarity in one or more respects to the correct information. Withinthis variable the prominence of the correct information also needs to be considered: if the informationis in a heading, near the beginning of the text, or repeated several times, then it will be relatively easyto locate.

Nature of text28. Longer and more complex texts are harder to negotiate than simpler and shorter texts, allother things being equal. Note that although ‘Nature of Text’ is a variable within all of the scales, itscharacteristics as a variable, and probably its importance, are different in Retrieving Information thanin the other two scales. This is likely to be because the activity of retrieving information tends to bemore atomistic than either interpreting and reflecting, so the reader needs to take comparatively littleaccount of the context (the text) in which the information is located.

Task variables for the Interpreting scale

Type of interpretation29. This variable is related to both the type of match and type of information micro-aspectsreferred to in the Reading Framework for PISA (OECD, 1999). Several processes have been identifiedwhich appear to form a hierarchy of difficulty. At the easier end readers need to identifying a theme ormain idea. More difficult tasks require understanding relationships within the text that are an inherentpart of the organisation and meaning of the text. The reader may be asked to recognise relationshipssuch as cause and effect, problem and solution, goal and action, claim and evidence, motive andbehaviour, precondition and action, explanation for an outcome, or time sequence. The most difficulttasks are of two kinds. The first is construing meaning which requires an understanding of how languageis being used to convey meaning in context. The task may require the reader to focus on a word, aphrase or sentence, in order to identify the particular effect of that section of the text. The second isanalogical reasoning which requires comparing or contrasting, or categorising ideas in the text.Comparing involves finding similarities between parts of a text, while contrasting involves findingdifferences. Categorising involves identifying similarities and differences in order to classify informationfrom within or relevant to the text. This may require either fitting examples into a category supplied inthe text, or finding examples in the text of a given category.


Explicitness of information30. This variable encompasses the degree of direction the reader is given in focusing theinterpretation appropriately. The factors to be considered may be indicated explicitly in the question,and be readily matched to a part or parts of the text. For a more difficult task, readers may have toconsider factors that are not stated either in the question or the text. Generally, tasks classified as‘Interpreting’ require more inferencing than those in the Retrieving Information scale, but there is awide range of demand within this variable in the Interpreting scale.

SEQ dpara31. The difficulty of a task is also conditioned by the number of factors that need to beconsidered, and the number of pieces of information that the reader needs to supply to answer thequestion. A task becomes more difficult as there are more factors to consider, or more pieces ofinformation to be supplied.

Nature of competing information32. This is similar to the variable with the same name which operates within the RetrievingInformation scale.

Nature of text33. A number of factors are in play within this variable. The familiarity of the topic or theme ofthe text is significant. Texts with more familiar topics, and more personal themes, tend to be easier toassimilate than those that have themes that are remote from the reader’s experience and more public orimpersonal. Similarly, texts in a familiar form or genre are easier to manage than those with unfamiliarforms. Length and complexity of the text (or more precisely the part of the text that needs to beconsidered) also play a role in the difficulty of a task. The more text the reader has to take into accountthe more difficult a task is likely to be.

Task variables for the Reflecting scale

Type of reflection34. Five reflecting processes have been identified. In the Reflecting scale each of the types ofreflection occurs in items within a range of difficulties, but on average the types of reflection appear toform a partial hierarchy of difficulty.

35. Connecting is at the lowest level of reflection. When a connection is called for, the readerneeds to make a link of a basic kind between the text and knowledge from outside the text. Connectingmay involve, for example, demonstrating understanding of a construct or concept underlying the text.The connection required may be a matter of content, such as articulating the relationship between twoparts of a text (where the knowledge drawn on from outside the text is a concept such as ‘summary’),or finding an example in a text of a concept such as ‘fact’ or ‘kindness’. It may alternatively involvedemonstrating an understanding of the form of a text, such as recognising the purpose of conventionalstructures or linguistic features.

36. The following two types of reflection seem to be more difficult than connecting, but are ofsimilar difficulty to each other.

Anhang A21

37. Explaining involves going beyond the text to offer reasons for the presence or purpose oftext-based information or features of a text, which are consistent with the evidence presented in thetext. For example, a reader may be asked to explain why there is a question on an employment applicationform about how far a prospective employee lives from the workplace.

38. When comparing the reader needs to find similarities (or differences) between something inthe text and some other element from outside of the text. In items which are described as involvingcomparing, for example, the reader may be asked to compare a character’s behaviour in a narrativewith the behaviour of people they know; or to say whether their own attitude to life is like thatexpressed in a poem. Comparisons become more demanding as the range of approaches from whichthe comparison can be made is more constricted and less explicitly stated, and as the knowledge to bedrawn upon becomes less familiar and accessible.

39. The most difficult tasks appear to involve either hypothesising or evaluating.

40. Hypothesising involves going beyond the text to offer explanations for text-based informationor features of a text, which are consistent with the evidence presented in the text. This type of reflectioncould be termed simply ‘explaining’ if the context is very familiar to the reader, or if some supportinginformation is supplied in the text. However, hypothesising tends to be relatively demanding becausethe reader needs to synthesise several pieces of information from both inside and outside the text andto generate plausible conclusions, rather than to retrieve familiar knowledge and apply it to the text.The degree to which signals are given about what kind of knowledge needs to be drawn on, as well asthe degree of familiarity or concreteness of the knowledge drawn on, contributes to the difficulty ofhypothesising tasks.

41. Evaluating involves making a judgement about a text as a whole or about some part orfeature of a text. This kind of critical thinking requires the reader to call upon an internalised hierarchyof values (good/bad; appropriate/inappropriate; right/wrong). In PISA items the evaluation is oftenrelated to textual structure, style or internal coherence. The reader may need to consider critically thewriter’s point of view or the text’s stylistic appropriateness, logical consistency or thematic coherence.

Nature of reader’s knowledge42. This variable involves the nature of the knowledge brought to bear from outside of the text:on a continuum from general (broad, diverse, and commonly known) to specialised (narrow, specificand related to a particular domain). The term ‘knowledge’ includes attitudes, beliefs and opinions aswell as factual knowledge: that is, any cognitive phenomenon that the reader may draw on or possess.The domain and reference point for the knowledge and experience on which the reader needs to drawto reflect on the text, contribute to the difficulty of the task. When the knowledge called upon ishighly personal and subjective, there is a lower demand because there is a very wide range of appropriateresponses, without a strong external standard against which the response may be judged. As theknowledge to be drawn on becomes more specialised, less personal and more externally referenced, therange of appropriate responses becomes narrower. For example, if knowledge about literary styles, orinformation about public events, is a necessary prerequisite for a sensible reflection, the task is likely tobe more difficult than one which asks for a personal opinion about parental behaviour.

43. In addition, the extent to which the reader has to generate the terms of the reflection affectsdifficulty. In some cases the question or the text fully define what needs to be considered in the courseof the reflection. In other cases readers have to infer or generate their own set of factors on which theywill base an hypothesis or evaluation.


Nature of text44. This variable is similar to that described for the Interpreting scale, above. Reflect items thatare based on simple, short texts (or simple short parts of longer texts) are easier than those which arebased on longer and more complex texts. The degree of complexity of a text is judged in terms of itscontent, as well as in terms of its linguistic form or structure.

Nature of understanding of the text45. This variable is close to the ‘type of match’ micro-process described in the Reading Framework(OECD, 1999). It encompasses the kind of processing of the text that the reader needs to engage in asa prelude to reflecting on the text. If the reflection, for example, is to be based on the location of asmall section of the text that is explicitly indicated (locating), the task will tend to be easier than onein which the reflection is based on a contradiction in the text that must first be inferred (inferring alogical relationship). The type of understanding of the text may entail only a partial understanding ora broad and general understanding of the main idea of a text. Reflecting items become more difficultas the reflection needs to be based on fuller, deeper and richer understandings of the text.

Described proficiency scales for Reading Literacy

Retrieving Information

What is being assessed:46. Retrieving information is defined as locating one or more pieces of information in a text.

Characteristics of the task associated with increasing difficulty:47. Task difficulty depends on the number of pieces of information that need to be located.Difficulty also depends on the number of conditions the located information must meet, and onwhether what is retrieved needs to be organised in a particular way. Difficulty also depends on theprominence of information, and the familiarity of the context. Other relevant characteristics are thecomplexity of the text, and the presence and strength of competing information.

Anhang A23

Scale and examples

Distinguishing features of tasks at each level: In an illustrative task at this level the reader: Tasks at this level require the reader to locate and organise several pieces of deeply embedded information. Typically the content and form of the text is unfamiliar, and the reader needs to infer which information in the text is relevant to the task.

Locates and organises in correct sequence four pieces of information from different parts of a complex and unfamiliar text. The components to be included, and their sequence, must be inferred from the text. [Telephone 5 R104Q05]

Tasks at this level require the reader to locate and organise several pieces of embedded information. Typically the content and form of the text is unfamiliar.

Locates and integrates two pieces of numeric information on a diagram showing the structure of the labour force. One of the relevant pieces of information is found in a footnote to the caption of the diagram [Labour 3 R088Q03] Marks the relative positions of two actors on a stage diagram by referring to a play script. The two pieces of information needed are embedded in a stage direction in a long and dense text. [Amanda 4 R216Q04]

Tasks at this level require the reader to locate, and in some cases recognise the relationship between, several pieces of information that must meet multiple conditions. Typically there is prominent competing information.

Finds a single piece of information in a complex international flight timetable with prominent competing information. The information must satisfy three conditions: time, destination and connecting city. For information about one of the conditions the reader must refer to a separate list of abbreviations. [Iran Air R076Q04] Finds the relevant section of a magazine article about DNA testing by matching with a term in the question. The precise information that is required is surrounded by a good deal of competing information, some of which appears to be contradictory. [Police 4 R100Q04]

Tasks at this level require the reader to locate one or more pieces of information, which may need to be inferred, and may need to meet several conditions. Some competing information is present.

Locates two pieces of connected information in a set of instructions about assembling a bicycle. The position of the relevant information is clearly signalled in the question. [Bicycle 1 R238Q01] Finds a single piece of information in a complex international flight timetable with considerable competing information. The information must satisfy two conditions: time and destination. [Iran Air 3 R076Q03]

Tasks at this level require the reader to locate one or more independent pieces of explicitly stated information. Typically there is a single condition the located information must meet and there is little if any competing information in the text.

Finds a literal match between a term in the question and the required information. The text is a long narrative; however, the reader is specifically directed to the relevant passage which is near the beginning of the story. [The Gift 6 R119Q06] Locates a single explicitly stated piece of information in a notice about job services. The required information is signalled by a heading in the text that literally matches a term in the question. [Personnel 1 R234Q01]


Interpreting

What is being assessed:48. Interpreting is defined as constructing meaning and drawing inferences from one or more partsof a text.

Characteristics of the task associated with increasing difficulty: 49. Task difficulty depending on the type of interpretation required, with the easiest tasks requiringidentifying the main idea in a text, more difficult tasks requiring understanding relationships that arepart of the text, and the most difficult requiring either an understanding of the meaning of languagein context, or analogical reasoning. Difficulty also depends on how explicitly the text provides theideas or information the reader needs in order to complete the task; on how prominent the requiredinformation is, and on how much competing information is present. Finally, the length and complexityof the text and the familiarity of its content affect difficulty.

50. The easiest tasks require identifying a main idea in the text. The main idea may be a generalisationabout the theme, the writer’s purpose or intention, or the writer’s attitude towards the subject. Usuallythe task requires focus on the text as a whole.

51. More difficult tasks require understanding relationships within the text that are an inherentpart of the organisation and meaning of the text. The reader may be asked to recognise relationshipssuch as cause and effect, problem and solution, goal and action, claim and evidence, motive andbehaviour, precondition and action, explanation for an outcome, or time sequence.

52. The most difficult tasks are of two kinds. The first is construing meaning which requires anunderstanding of how language is being used to convey meaning in context. The task may require thereader to focus on a word, a phrase or sentence, in order to identify the particular effect of that sectionof the text. The second is analogical reasoning which requires comparing or contrasting, or categorisingideas in the text. Comparing involves finding similarities between parts of a text, while contrastinginvolves finding differences. Categorising involves identifying similarities and differences in order toclassify information from within or relevant to the text. This may require either fitting examples intoa category supplied in the text, or finding examples in the text of a given category.

Anhang A25

Scale and examples

Distinguishing features of tasks at each level: In an illustrative task at this level the reader: 5

Tasks at this level require a full and detailed understanding of a text whose format and topic are unfamiliar.

Matches several described cases to labour force status categories. Infers the criteria for assignment of each case from the structure and content of a tree diagram. Some of the relevant information is in footnotes and therefore not prominent. [Labour 4 R088Q04]

4

Some tasks at this level require construing the meaning of nuances of language in a section of text by taking into account the text as a whole. Other tasks require understanding and applying categories in an unfamiliar context.

Identifies two examples from a long and closely argued editorial on the subject of how modern technology creates the need for new responses. [New Rules 2 R236Q02] Construes the meaning of a sentence in context by taking into account information across a large section of text. The sentence in isolation is ambiguous and there are apparently plausible alternative readings. [Gift 4 R119Q04]

3

Tasks at this level require the reader to consider many elements of the text. The reader needs to integrate several parts of a text in order to identify a main idea, understand a relationship or construe the meaning of a word or phrase. They need to take into account many features in comparing, contrasting or categorising. Often the required information is not prominent or there are other text obstacles, such as ideas that are contrary to expectation or negatively worded.

Determines which of four authors considers the same aspects of the debate on space research as a fifth author, but reaches the opposite conclusion. Needs to take into account the main position taken by each of the authors, as well as their supporting arguments. [Student Opinions 3 R120Q03] Construes a character’s emotions from a description of behaviour. This description contains contradictory elements which need to be integrated. [Rhino 8 R101Q08] Explains a character’s behaviour in a given situation by linking a chain of events and descriptions scattered through a long story. [Gift 8 R119Q08] Recognises the main idea common to five pieces of student writing about space research. The theme needs to be inferred from features common to the texts. [Student Opinions 1]

2

Some tasks require recognising the main idea in a text when the information is not prominent. Others require understanding relationships or construing meaning within a limited part of the text, making low level inferences. Tasks at this level that involve analogical thinking typically require comparisons or contrasts based on only one feature of the text.

Recognises a cause and effect relationship involving characters’ emotional reactions, in a dense, short extract from a novel. [Macondo 1 R061Q01] Recognises the main theme of an extract from a play script. The theme can be inferred by combining information in the summary of the text. [Amanda 1 R216Q01] Uses information about the effect of different drugs on spiders to determine whether a particular spider’s web could have been produced under a specified condition. Categorises a picture of a web by comparing it with verbal descriptions in the text. [Drugged Spiders 5 R055Q05]

Tasks at this level require recognising the main theme or author’s purpose in a text about a familiar topic, when the idea is prominent or pervasive, either by being repeated or by appearing early in the text.

Recognises the main theme of a magazine article for teenagers about sports shoes. The theme is implied in the sub-heading and repeated several times in the body of the article. [Runners 1 R110Q01]


Reflecting

What is being assessed:53. Reflecting is defined as relating a text to one’s experience, knowledge, and ideas.

Characteristics of the task associated with increasing difficulty:54. Task difficulty depends on the type of reflection required, with the easiest tasks requiring simpleconnections or explanations relating the text to external experience, and the more difficult requiringan hypothesis or evaluation. Difficulty also depends on the familiarity of the knowledge that must bedrawn on from outside the text; on the complexity of the text; on the level of textual understandingdemanded; and on how explicitly the reader is directed to relevant factors in both the task and the text.

55. The easiest tasks require making a basic connection between the text and knowledge broughtby the reader from outside the text: for example, understanding a construct or concept underlying thetext, or recognising the purpose of conventional structures or linguistic features.

56. More difficult tasks involve comparison, that is, finding similarities or differences betweensomething in the text and some element drawn from one’s own experience, knowledge, or ideas. Othermoderately difficult tasks require the reader to find an explanation of text-based information by drawingon outside knowledge, where the explanation must be consistent with the evidence presented in thetext.

57. The most difficult tasks require an hypothesis about a feature of the text to find a plausibleexplanation which involves synthesising a number of elements derived from both the text and outsideknowledge. Other tasks at a similar level of difficulty require the reader to make a critical evaluation offeatures of the text, and articulate standards for the judgements made.

Anhang A27

Distinguishing features of tasks at each level: In an illustrative task at this level the reader: 5

Tasks at this level require critical evaluation or hypothesis, drawing on specialised knowledge. Typically these tasks require readers to deal with concepts that are contrary to expectations.

Takes account of inconspicuous as well as more obvious information in a complex text on a relatively unfamiliar topic (foreign aid) to form a hypothesis about an unexpected phenomenon: that an aid agency gives relatively low levels of support to a very poor country. [Plan International 4B R099Q4b]

4

Tasks at this level require readers to critically evaluate a text, or hypothesise about information in the text, using formal or public knowledge. Readers must demonstrate an accurate understanding of long or complex texts.

Evaluates the appropriateness of the ending of a narrative by commenting on its connection with the general theme or mood of the text. The reader needs to draw inferences, making use of ideas activated during reading but not explicitly stated in the text, which is a complete and relatively subtle short story. [Gift 7 R119Q07]

3

Tasks at this level may require connections, comparisons, and explanations, or they may require the reader to evaluate a feature of text. Some tasks require readers to demonstrate a fine understanding of the text in relation to familiar, everyday knowledge. Other tasks do not require detailed text comprehension but require the reader to draw on less common knowledge. The reader may need to infer the factors to be considered.

Evaluates the writer's craft by comparing two short letters on the topic of graffiti. Readers need to draw on knowledge of what constitutes good style in writing. [Graffiti 6B R081Q06b] Connects own concepts of compassion and cruelty with the behaviour of a character in a narrative, and identifies relevant evidence of such behaviour in the text. [Gift 9 R119Q09]

2

Some tasks at this level require readers to make a comparison or several connections between the text and outside knowledge. For others, readers need to draw on personal experience and attitudes to explain a feature of the text. The tasks require a broad understanding of the text.

Compares claims made in two short texts (letters about graffiti) with own views and attitudes. Broad understanding of at least one of the two letter writers’ opinions needs to be demonstrated. [Graffiti 6A R0836a] Explains the location of a feature on a map of a library by drawing on everyday experience of libraries or similar venues. [Library 7B.2 R091Q7b]

1 Tasks at this level require readers to make a simple connection between information in the text and common, everyday knowledge. The reader is explicitly directed to consider relevant factors in the task and in the text.

Makes a connection by articulating the relationship between two parts of a single, specified sentence in a magazine article about sports shoes. [Runners 6 R110Q06]

Scale and examples


The overall reading scale – scale and examples

What is being assessed58. The proficiency scale for Reading Literacy covers three broad aspects of reading: RetrievingInformation, which is defined as locating one or more pieces of information in a text; Interpreting,defined as constructing meaning and drawing inferences from one or more parts of a text; and Reflecting,defined as relating a text to one’s experience, knowledge, and ideas. Tasks associated with each of theseaspects of reading are found at all levels of the proficiency scale.

Characteristics of the task associated with increasing difficulty59. The difficulty of any reading task depends on an interaction between a number of variables.The type of process involved in retrieving information, interpreting or reflecting is salient in relationto difficulty. Processes range in their complexity and sophistication from making simple connectionsbetween pieces of information, to categorising ideas according to given criteria, to critically evaluatinga section of text. In addition to the type of process called upon, for retrieval tasks difficulty dependsparticularly on the number of conditions the located information must meet, and on whether what isretrieved needs to be organised in a particular way. For interpretative and reflective tasks, the lengthand complexity of the text and how much of it the reader needs to assimilate are factors that affectdifficulty. In the case of items that require reflection on the reader’s part, difficulty is also conditionedby the familiarity or specificity of the knowledge that must be drawn on from outside the text. For allaspects of reading, difficulty also depends on how explicitly the reader is supplied with the ideas orinformation necessary to complete the task, on how prominent the required information is, and onhow much competing information is present.

Anhang A29

ANNEX: The process for development of described proficiency scales60. The development of described proficiency scales for PISA has been carried out through aprocess involving a number of stages. The stages are described here in a linear fashion, but in realitythe development process has involved some backwards and forwards movement where stages havebeen revisited and progress has been progressively refined. Essentially the same development processwas used in each of the three domains (Reading, Mathematics and Science).

Stage 1 – Identify Possible Sub-Scales86. The first stage in the process involved the experts in each domain articulating possiblereporting scales (dimensions) for the domain.

87. For Science, a single overall proficiency scale was proposed by the subject matter expertgroup, and there was interest in considering additional sub-scales for ‘scientific knowledge’ and ‘scientificprocesses’, or building these aspects into descriptions of a single scale.

88. In the case of Mathematics, a single proficiency scale was proposed, though the possibilityof reporting according to the ‘big ideas’ or the ‘competency classes’ described in the PISA MathematicsFramework, was also considered. This option is likely to be further explored in the next PISA test cyclewhen Mathematics is the major domain.

89. For Reading, two main options had been under active consideration. These were scalesbased on two possible groupings of the five ‘aspects’ of Reading (retrieving information, forming abroad understanding, developing an interpretation, reflecting on content, reflecting on the form of atext).

90. Wherever multiple scales were under consideration, they arose clearly from the frameworkfor the domain, they were seen to be meaningful and potentially useful for feedback and reportingpurposes, and they needed to be defensible in respect of their measurement properties.

91. Because of the longitudinal nature of the PISA project, the decision about the number andnature of reporting scales also took into account the fact that in some test cycles a domain will betreated as ‘minor’ and in other cycles as ‘major’. The amount of data available to support the developmentof described proficiency scales will vary from cycle to cycle for each domain, but the BPC expectsproficiency scales that can be compared across cycles.

Stage 2 – Assign Items to Scales92. The second stage in the process was to associate each item in the main study with each of thescales under consideration. This was done with the involvement of the subject matter expert groups,the test developers and consortium staff, and other selected experts (for example some National ProjectManagers were involved). The statistical analysis of item scores from the field trial was also useful inidentifying the degree to which items allocated to each sub-scale fit within that scale, and in validatingthe work of the domain experts.


Retrieving Information Interpreting Reflecting

5

Locate and organise several pieces of deeply embedded information, inferring which information in the text is relevant. Deal with concepts that are contrary to expectations.

Demonstrate a full and detailed understanding of a text whose content or form is unfamiliar. Deal with concepts that are contrary to expectations.

Critically evaluate or hypothesise, drawing on specialised knowledge. Deal with concepts that are contrary to expectations.

4

Locate and organise several pieces of embedded information.

Interpret the meaning of nuances of language in a section of text by taking into account the text as a whole. Understand and apply categories in an unfamiliar context. Show accurate understanding of long or complex texts whose content or form may be unfamiliar

Use formal or public knowledge to hypothesise about or critically evaluate a text. Show accurate understanding of long or complex texts whose content or form may be unfamiliar

3

Locate, and in some cases recognise the relationship between, several pieces of information that must meet multiple conditions. Deal with competing information; or other text obstacles, such as ideas that are contrary to expectation or negatively worded.

Integrate several parts of a text in order to identify a main idea, understand a relationship or construe the meaning of a word or phrase. Compare, contrast or categorise taking into account many features. Deal with competing information; or other text obstacles,

Make connections, comparisons, or give explanations, or evaluate a feature of text. Demonstrate a fine understanding of the text in relation to familiar, everyday knowledge, or draw on less common knowledge to engage with text at a broader level.

2

Locate one or more pieces of information, which may need to be inferred and may need to meet several conditions.

Recognise the main idea in a text, understand relationships, or construe meaning within a limited part of the text when the information is not prominent and the reader must make low level inferences. Compare or contrast based on a single feature in the text.

Make a comparison or several connections between the text and outside knowledge, by drawing on personal experience and attitudes.

1

Locate one or more independent pieces of explicitly stated information. Typically the required information in the text is prominent and there is little if any competing information. The reader is explicitly directed to consider relevant factors in the task and in the text.

Recognise the main theme or author’s purpose in a text about a familiar topic Typically the required information in the text is prominent and there is little if any competing information. The reader is explicitly directed to consider relevant factors in the task and in the text

Make a simple connection between information in the text and common, everyday knowledge. Typically the required information in the text is prominent and there is little if any competing information. The reader is explicitly directed to consider relevant factors in the task and in the text

Scale and examples

Tasks at this level require the reader to:

Anhang A31

Stage 3 – Skills Audit93. The next stage involved a detailed expert analysis of each item, and in the case of items withpartial credit, for each score step within the item, in relation to the definition of the relevant sub-scalefrom the domain framework. The skills and knowledge required to achieve each score step were identifiedand described.

94. This stage involved negotiation and discussion among the interested players, circulation ofdraft material, and progressive refinement of drafts on the basis of expert input and feedback.

Stage 4 – Analysis of Field Trial Data 95. For each set of scales under consideration, the field trial data for those items that weresubsequently selected for the main study were analysed using item response techniques. The objectivewas to derive ‘difficulty’ estimates for each ‘achievement threshold’ for each item within each sub-scale.

96. For many items, there is only one achievement threshold (associated with getting the itemcorrect rather than incorrect). For others, where partial credit is available, more than one achievementthreshold can be calculated for the item (the threshold associated with achieving a score of one ormore rather than zero, another associated with achieving a score of two or more rather than one, andso on).

97. Within each sub-scale, these achievement thresholds can be placed along a ‘difficulty’continuum that is linked directly to the abilities of students undertaking the items. This analysis givesan indication of the usefulness of each scale from a measurement perspective.

Stage 5 – Defining the Dimension98. The information from the domain-specific expert analysis (Stage 3) and the statistical analysis(Stage 4) was then combined. For each set of sub-scales under consideration, the item score steps wereordered according to the size of their associated thresholds, and then linked with the descriptions oftheir associated knowledge and skills. This provided a hierarchy of knowledge and skills that definethe dimension. It was observed that ‘natural’ clusters of skills fell out of this approach that provided abasis for understanding each dimension and describing levels of proficiency.

Stage 6 – Describing Proficiency Levels99. Preliminary levels of proficiency in the sub-scale were then defined and described. Thesewere a compromise between the ‘natural’ levels that arose from the previous substantive analysis, theseparation of difficulty estimates for groups of item thresholds, and a recommendation from theTechnical Advisory Group that in the first instance five levels should be defined for each scale.

In diesem Teil des Anhangs befinden sich drei von der OECD freige-gebene Units (= Stimulustexte mit mehreren inhaltlichen Fragestellungenund Bewertungsrichtlinien).

FREIGEGEBENEBEISPIELAUFGABEN

Anhang A33

Arnold Jago,

Mildura

Quelle: The Age, Dienstag, 1. April 1997

CHOCLETT TEXT

SCHLECHTER GESCHMACK

von Arnold Jago

Wussten Sie, dass 1996 dieaustralische Bevölkerung fast genauso viel Geld für Schokoladeausgegeben hat wie die australischeRegierung für internationale Hilfsmaßnahmen?Könnte es sein, dass etwas mitunseren Prioritäten nicht stimmt?Was gedenken Sie dagegen zu tun?Ja, Sie.


Der Brief auf der gegenüberliegenden Seite erschien 1997 in einer australischen Zeitung.Beziehe dich auf den Brief, um die folgenden Fragen zu beantworten.

CHOCLETT FRAGE 1

Was möchte Arnold Jago mit seinem Brief beim Leser auslösen?

A Schuldgefühle.B Belustigung.C Angst.D Zufriedenheit.

CHOCLETT BEWERTUNG 1

ABSICHT DER FRAGE: RF - Über die Form eines Textes reflektieren: die Absichtdes Autors bestimmen.

Full Credit

1 Punkt: A Schuldgefühle.

No Credit

0 Punkte: Andere Antworten

CHOCLETT FRAGE 3

Zu welcher Art von Reaktion oder Handeln möchte deiner Meinung nach Arnold Jago mitseinem Brief anregen?

_____________________________________________________________________

_____________________________________________________________________

Anhang A35

CHOCLETT BEWERTUNG 3

ABSICHT DER FRAGE: RC – Über den Inhalt eines Textes reflektieren – dieAbsicht des Autors bestimmen.

Antworten wie folgt kodieren:

a: Die Regierung/jedes Einzelne sollte mehr Geld für Hilfe in der dritten Welt(internationale Hilfsmaßnahmen) ausgeben.

b: Die Regierung sollte ihre Prioritäten oder ihr Bewusstsein ändern/jeder Einzelnesollte seine Prioritäten oder sein Bewusstsein ändern. • Unsere Prioritäten ändern.

• Er möchte, dass die Menschen sich bewusster werden, wie wir unser Geld ausgeben.

c: Weniger für Schokolade ausgeben/weniger habgierig sein. • Keine Schokolade mehr kaufen.

• Keine minderwertigen Nahrungsmittel (“Junk Food”) mehr kaufen.

d: Allgemeine Zustimmung zum Ton oder zur Absicht des Briefs. • Mit ihm einverstanden sein. • Schuldgefühle haben/sich schämen.

Full Credit

1 Punkt: a oder b.

No Credit

0 Punkte: Andere Antworten, einschließlich c, d und andere unangemessene oder irrelevante Antworten.

• • • • • Mehr für wohltätige Zwecke in Australien ausgeben. • • • • • Er möchte, dass die Regierung gefeuert wird. • • • • • Er möchte, dass die Leute sagen: “Ich werde mein ganzes Geld für einen wohltätigen

Zweck spenden.” • • • • • Nichts. • • • • • Ich bin mit Arnold Jago nicht einverstanden.

• Man sollte mehr Geld zur Unterstützung von internationalen Hilfsmaßnahmen spenden. • Geld für Wohltätigkeitszwecke spenden. • Man sollte weniger für Schokolade und mehr für die Armen ausgeben.


GA

RA

NT

IE T

EX

T 1

BE

ST

.-N

R.

AR

TIK

EL

BE

ZE

ICH

NU

NG

SE

RIE

N-

NR

.L

IST

EA

NZ

NE

TT

OE

ND

BE

TR

AG

EX

.

150214

ROLLY FOTONEX 250 ZOOM

30910963

1249,08

249,08

X

33844

STATIV

15,66

5,66

X

Vielen Dank für Ihren Einkauf!

SC

HN

AP

PS

CH

US

S

VID

EO

-SE

RV

ICE

EL

ISA

BE

TH

ST

RA

SS

E

89

50

20

S

AL

ZB

UR

G9

6 7

0 9

6

RE

CH

NU

NG

26802

DA

TU

M 18.10.99

ZE

IT

12.10

KO

NT

O

195927

VE

RK

ÄU

FE

R 24 MÜL

RE

G.

16

Zahlungsart. . . . . Betrag. . . . Zurück

Visa/Master Card

EURO 254,74

Zwischensumme

254,74

Endbetrag

254,74

Vid

eo-S

erv

ice

EL

ISA

BE

TH

ST

RA

SS

E 8

9,

50

20

SA

LZ

BU

RG

TE

L:

96

70

96

F

AX

: 9

6 0

2 5

5h

ttp

://w

ww

.sch

nap

psc

hu

ss.c

om

.at

KU

ND

EHELGA BRAUN

Wiesenweg 151

4600 WELS

Anhang A37

Auf der gegenüberliegenden Seite ist die Rechnung abgedruckt, die Helga beim Kauf ihrer neuen Kameraerhielt. Unten ist der Garantieschein für die Kamera abgebildet. Beziehe dich auf die Informationen aus beidenDokumenten, um die nachfolgenden Fragen zu beantworten

GARANTIE TEXT 2

EINJÄHRIGER GARANTIESCHEIN:(Privatkunden)GÜLTIG NUR INNERHALB DER EU

VIDEO-SERVICE & Co. GmbH – Reg.-Nr. 008 458 884(‘VIDEO-SERVICE’) garantiert dem Erstkäufer, dass die Kamera keineMaterial- oder Verarbeitungsfehler aufweist. Diese Garantie ist nichtübertragbar.Video-Service übernimmt beim Auftreten von Material- oderVerarbeitungsfehlern an Teilen der Kamera während der Garantiezeit(en)kostenlos die nach entsprechender Prüfung und nach eigenem Ermessennotwendigen Wartungs-, Reparatur- oder Ersatzleistungen.

BITTE IN DRUCKSCHRIFT AUSFÜLLEN

NR. M 409668

Kameramodell...............................................................................

......................................................................................................

Serien-Nr.:.....................................................................................

Name des Eigentümers:.................................................................

Anschrift: ......................................................................................

......................................................................................................

......................................................................................................

Verkaufsdatum:.............................................................................

Kaufpreis:......................................................................................

Stempel des Händlers

BITTE BEACHTEN:Sofort einsenden – Bitte ausreichend frankierenDieser Garantieschein ist innerhalb von 10 Tagen ab demVerkaufsdatum auszufüllen und an Video-Service zurückzusenden.

Auf Wunsch stellen wir Ihnen auch einen internationalenGarantieschein aus.

HELGA BRAUNWIESENWEG 151

4600 WELS


GARANTIE FRAGE 1

Fülle mit Hilfe der Angaben auf der Rechnung den Garantieschein aus.

Name und Adresse der Besitzerin wurden bereits eingetragen.

GARANTIE BEWERTUNG 1A (MODELL)

ABSICHT DER FRAGE: RI – Informationen heraussuchen: Informationen auseiner anderen Quelle benutzen, um ein Formularauszufüllen

Full Credit

1 Punkt: Hat die Modellbezeichnung richtig erkannt.• Rolly Fotonex 250 zoom• Rolly Fotonex• Fotonex

No Credit

0 Punkte: Andere Anworten

GARANTIE BEWERTUNG 1B (SERIEN-NUMMER)


Full Credit

1 Punkt: 30910963

No Credit


GARANTIE BEWERTUNG 1C (KAUFDATUM)


Anhang A39

Full Credit

1 Punkt: 18.10.99

No Credit


GARANTIE BEWERTUNG 1D (KAUFPREIS)


Full Credit

1 Punkt: (EURO) 249,08

No Credit

0 Punkte: Andere Antworten• (EURO) 254,74

GARANTIE FRAGE 2

Wie lange hat Helga Zeit, um den Garantieschein zurückzuschicken?

___________________________________________________________

GARANTIE BEWERTUNG 2

ABSICHT DER FRAGE: RI – Informationen heraussuchen: wörtlicheEntsprechung

Full Credit

1 Punkt: 10 Tage.• zehn Tage• innerhalb von 10 Tagen nach Kauf

No Credit



GARANTIE FRAGE 5

Auf der Rechnung stehen unten die Worte: “Vielen Dank für Ihren Einkauf!”. Einmöglicher Grund ist einfach Höflichkeit. Welchen anderen möglichen Grund gibtes noch?

__________________________________________________________________

GARANTIE BEWERTUNG 5

ABSICHT DER FRAGE: RF – Über die Form eines Textes reflektieren

Full Credit

1 Punkt: Nennt explizit oder implizit die Förderung der Beziehungen zwischenGeschäft und Kunden• Es ist gut fürs Geschäft, wenn man nett zu den Kunden ist.• Um eine gute Beziehung zu den Kunden herzustellen.• Sie wollen, dass man wiederkommt.

Half Credit

0 Punkte: Andere Antworten• Sie sind höflich.• Sie freuen sich, dass man die Kamera bei ihnen gekauft hat.• Sie wollen, dass man das Gefühl hat, etwas Besonderes zu sein.

Anhang A41

EIN GERECHTER RICHTER

Ein algerischer König namens Bauakas wollte herausfinden, ob es stimmte, was manihm gesagt hatte, nämlich dass in einer seiner Städte ein gerechter Richter lebe, der dieWahrheit sofort erkenne und vor dem sich kein Bösewicht je verbergen könne. Bauakastauschte seine Kleider mit einem Händler und ritt zu der Stadt, in welcher der Richterlebte.Am Eingang der Stadt näherte sich ein Krüppel dem König und bettelte um Almosen.Bauakas gab ihm Geld und wollte seinen Weg fortsetzen, doch der Krüppel krallte sichan seinem Gewand fest.“Was willst du?” fragte der König. “Habe ich dir nicht Geld gegeben?”“Du gabst mir Almosen”, sagte der Krüppel, “nun bitte ich dich um einen Gefallen. Lassmich mit dir bis zum Marktplatz reiten, sonst könnten mich die Pferde und Kamelezertrampeln.”Bauakas setzte den Krüppel hinter sich auf das Pferd und nahm ihn bis zum Marktplatzmit. Dort hielt er sein Pferd an, doch der Krüppel weigerte sich, abzusteigen.“Wir sind am Platz angekommen, warum steigst du nicht ab”? fragte Bauakas. “Warumsollte ich?” antwortete der Bettler. “Dieses Pferd gehört mir. Wenn du es nicht zurückgebenwillst, müssen wir vor Gericht ziehen.”Die Menschen hörten ihren Streit, versammelten sich um sie und riefen:“Geht zum Richter! Er wird entscheiden!”Bauakas und der Krüppel gingen zum Richter. Es waren noch andere vor Gericht, undder Richter rief einen nach dem anderen auf. Bevor er zu Bauakas und dem Krüppelkam, hörte er einen Gelehrten und einen Bauern an. Sie waren wegen einer Frau vorGericht: Der Bauer behauptete, sie sei seine Frau, und der Gelehrte sagte, sie sei dieseinige. Der Richter hörte beide an, schwieg einen Augenblick und sagte dann: “Lasst dieFrau hier bei mir und kommt morgen wieder.”Als sie gegangen waren, traten ein Metzger und ein Ölhändler vor den Richter. Der Metzgerwar mit Blut und der Ölhändler mit Öl bedeckt. In seiner Hand hielt der Metzger Geld, undder Ölhändler hielt die Hand des Metzgers fest. “Ich kaufte Öl bei diesem Mann”, sagteder Metzger, “und als ich meinen Geldbeutel nahm, um ihn zu bezahlen, packte er michan der Hand und versuchte, mir all mein Geld abzunehmen. Darum sind wir zu dirgekommen – ich meinen Geldbeutel und er meine Hand festhaltend. Doch das Geldgehört mir, und er ist ein Dieb.”Dann sprach der Ölhändler. “Das ist nicht wahr”, sagte er. “Der Metzger kam zu mir, umÖl zu kaufen und als ich ihm einen Krug gefüllt hatte, bat er mich, ihm ein Goldstück zuwechseln. Als ich mein Geld herausgenommen und auf die Bank gelegt hatte, nahm eres und versuchte, davon zu laufen. Wie du siehst, erwischte ich ihn an der Hand undbrachte ihn zu dir.”Der Richter schwieg eine Weile und sagte dann: “Lasst das Geld hier bei mir und kommtmorgen wieder.”Als er an die Reihe kam, erzählte Bauakas, was geschehen war. Der Richter hörte ihm zuund bat dann den Bettler, seinerseits zusprechen.“Alles, was er sagt, ist unwahr”, sagte der Bettler. “Er saß auf dem Boden, und als ichdurch die Stadt ritt, bat er mich, ihn mit mir reiten zu lassen. Ich setzte ihn auf mein Pferdund nahm ihn dorthin mit, wohin er wollte. Doch als wir ankamen, wollte er nicht absteigenund sagte, das Pferd gehöre ihm, was nicht stimmt.”Der Richter überlegte eine Weile und sagte dann: “Lasst das Pferd hier bei mir und kommtmorgen wieder.”Am nächsten Tag versammelten sich viele Menschen am Gericht, um die Entscheidungendes Richters zu hören.


Zuerst kamen der Gelehrte und der Bauer.“Nimm deine Frau”, sagte er zum Gelehrten, “und der Bauer soll fünfzig Peitschenschlägeerhalten.”Der Gelehrte nahm seine Frau, und der Bauer erhielt seine Strafe.Dann rief der Richter den Metzger.“Das Geld gehört dir”, sagte er zu ihm. Dann zeigte er auf den Ölhändler und sagte: “Gebtihm fünfzig Peitschenschläge.”Dann rief er Bauakas und den Krüppel.“Könntest du dein Pferd unter zwanzig anderen erkennen?” fragte er Bauakas.“Ich könnte es”, antwortete er.“Und du?” fragte er den Krüppel.“Ich könnte es”, sagte der Krüppel.“Komm mit mir”, sagte der Richter zu Bauakas.Sie gingen zum Stall. Bauakas zeigte sofort auf sein Pferd inmitten der zwanzig anderen.Dann rief der Richter den Krüppel zum Stall und bat ihn, auf das Pferd zu zeigen. DerKrüppel erkannte das Pferd und zeigte darauf. Dann kehrte der Richter zu seinem Stuhlzurück.“Nimm das Pferd, es gehört dir”, sagte er zu Bauakas. “Gebt dem Bettler fünfzigPeitschenschläge.”Als der Richter das Gericht verließ und nach Hause ging, folgte ihm Bauakas.“Was willst du?” fragte der Richter. “Bist du mit meiner Entscheidung nicht zufrieden?”“Ich bin zufrieden”, sagte Bauakas. “Doch ich möchte erfahren, woher du wusstest, dassdie Frau die Ehefrau des Gelehrten war, dass das Geld dem Metzger gehörte und dassdas Pferd mir und nicht dem Bettler gehörte.”“Das mit der Frau fand ich so heraus: Ich ließ sie am Morgen rufen und sagte: ‚Bitte füllemein Tintenfass‘. Sie nahm das Tintenfass, wusch es schnell und geschickt und füllte esmit Tinte; somit war sie diese Arbeit gewohnt. Wäre sie die Frau eines Bauern gewesen,hätte sie nicht gewusst, wie man das macht. Das zeigte mir, dass der Gelehrte die Wahrheitsagte.Das mit dem Geld fand ich so heraus: Ich legte es in eine Tasse mit Wasser, und amMorgen schaute ich, ob Öl an die Oberfläche gestiegen war. Hätte das Geld dem Ölhändlergehört, wäre es durch seine öligen Hände verschmutzt gewesen. Auf dem Wasser warkein Öl; somit sagte der Metzger die Wahrheit.Die Wahrheit über das Pferd herauszufinden war schwieriger. Der Krüppel erkannte esinmitten zwanzig anderer, genauso wie du. Ich nahm euch beide aber nicht zum Stall mit,um zu sehen, ob ihr das Pferd erkennen würdet, sondern um zu sehen, wen von euchdas Pferd kannte. Als du dich ihm nähertest, drehte es seinen Kopf und streckte seinenHals in deine Richtung; aber als der Bettler es berührte, legte es seine Ohren zurück undhob einen Huf. So wusste ich, dass du der wirkliche Herr des Pferdes bist.”Dann sagte Bauakas zum Richter: “Ich bin kein Händler, sondern König Bauakas. Ichkam hierher, um zu sehen, ob es wahr ist, was über dich gesagt wird. Ich sehe jetzt, dassdu ein weiser Richter bist. Verlange von mir, was du willst, du sollst es als Belohnungerhalten.”“Ich brauche keine Belohnung”, sagte der Richter. “Das Lob meines Königs macht michglücklich.”

Quelle: “A just judge” von Leo Tolstoi aus “Fables and Fairytales”

Anhang A43

EIN GERECHTER RICHTER FRAGE 1

Am Anfang der Geschichte erfahren wir, dass Bauakas seine Kleider mit einemHändler tauschte.

Warum wollte Bauakas nicht erkannt werden?

A Er wollte sehen, ob man ihm auch gehorchte, wenn er ein “gewöhnlicherMensch” wäre.

B Er wollte in einem Rechtsstreit als Händler verkleidet vor dem Richtererscheinen.

C Es gefiel ihm, sich zu verkleiden, um sich frei zu bewegen und seinen Unter-tane Streiche zu spielen.

D Er wollte den Richter bei seiner gewohnten Tätigkeit sehen, unbeeinflusst vonder Anwesenheit des Königs.

EIN GERECHTER RICHTER BEWERTUNG 1

ABSICHT DER FRAGE: DI – Textinterpretation: Beweggründe oder Absichteneiner Figur erkennen.

Full Credit

1 Punkt: D Er wollte den Richter bei seiner gewohnten Tätigkeit sehen,unbeeinflusst von der Anwesenheit des Königs.

No Credit

0 Punkte: Andere Anworten


Wie fand der Richter heraus, dass die Frau die Ehefrau des Gelehrten war?

A Indem er ihre Erscheinung beobachtete und sah, dass sie nicht wie die Fraueines Bauern aussah.

B Durch die Art, wie der Gelehrte und der Bauer ihre Geschichte vor Gerichterzählten.

C Durch die Art, wie sie vor Gericht auf den Bauern und den Gelehrten reagierte.D Indem er ihr Können in einer Arbeit prüfte, die sie für ihren Ehemann verrichten

musste.



ABSICHT DER FRAGE: RI – Informationen heraussuchen: wörtlicheEntsprechung

Full Credit

1 Punkt: D Indem er ihr Können in einer Arbeit prüfte, die sie für ihrenEhemann verrichten musste.

No Credit



Findest du, dass es fair vom Richter war, für alle Verbrechen die GLEICHE Strafezu verhängen?

Begründe deine Antwort, indem du dich auf Ähnlichkeiten oder Unterschiedezwischen den drei Fällen in der Geschichte beziehst.

___________________________________________________________

___________________________________________________________


ABSICHT DER FRAGE: RC – Prüfen einer geistigen Vorstellung desGeschehens im Text gegenüber einer Überzeugung,die auf früheren Informationen beruht.

Kodierung wie folgt:

a: Bewertet die Gerechtigkeit der Strafen im Sinne der Ähnlichkeit oder derUnterschiede zwischen den Vergehen. Zeigt genaues Verständnis derVerbrechen.• Nein, das Verbrechen, jemandem die Frau zu stehlen, ist viel schlimmer

als jemandem das Geld oder das Pferd zu stehlen.• Alle drei Verbrecher versuchten, jemanden zu betrügen und logen

anschließend, daher ist es gerecht, dass alle drei gleich bestraft wurden.• Es ist schwer zu sagen. Der Bauer, der Ölhändler und der Bettler wollten

alle etwas stehlen. Andererseits waren die Dinge, die sie stehlen wollten,nicht gleich wertvoll.

Anhang A45

b: Zeigt genaues Verständnis der Verbrechen und/oder der Strafen ohne siezu bewerten.• Der Richter gab den drei Verbrechern fünfzig Peitschenschläge. Die

Verbrechen waren: eine Frau stehlen, Geld stehlen und ein Pferdstehlen.

c: Zeigt ein falsches Verstehen der Verbrechen oder der Strafen.• Ich denke, dass sich der Fall des Bauern und des Gelehrten von den

anderen beiden unterschied, da es sich mehr um eine Scheidunghandelte; die anderen beiden hingegen waren Diebstähle. Daher hätteder Bauer nicht bestraft werden sollen.

d: Zeigt sich einverstanden oder nicht einverstanden ohne Erklärung oder mitungenügender Erklärung. Bewertet die Angemessenheit der Strafe per se(d.h. Antworten, als wenn die Frage lauten würde: “Sind fünfzigPeitschenschläge eine gerechte Strafe?”)• Nein, fünfzig Peitschenschläge sind eine zu harte Strafe für diese

Verbrechen.• Ja, harte Strafen sind notwendig, damit die Verbrecher es nicht noch

einmal versuchen.• Nein, ich glaube nicht, dass die Strafen hart genug waren.• Er war zu streng.• Ja, ich denke dass es gerecht war.

Full Credit

1 Punkt: a

No Credit

0 Punkte: Andere Antworten einschließlich b, c und d.


Worum geht es in dieser Geschichte hauptsächlich?

A Schwere Verbrechen.B Weise Rechtsprechung.C Einen guten Herrscher.

D Einen raffinierten Trick.



ABSICHT DER FRAGE: BU – Allgemeines Textverständnis: das zentrale Themaeiner Geschichte bestimmen.

Full Credit

1 Punkt: B Weise Rechtsprechung.

No Credit



Für diese Frage musst du Gesetz und Gerechtigkeit in deinem Land mit Gesetzund Gerechtigkeit in der Geschichte vergleichen.

Nenne eine ÄHNLICHKEIT zwischen Gesetz und Gerechtigkeit in deinem Landund der Art von Gesetz und Gerechtigkeit in dieser Geschichte.

___________________________________________________________

___________________________________________________________

Nenne einen UNTERSCHIED zwischen Gesetz und Gerechtigkeit in deinem Landund der Art von Gesetz und Gerechtigkeit in dieser Geschichte.

___________________________________________________________

___________________________________________________________


ABSICHT DER FRAGE: RC – Vergleiche ziehen zwischen in der Geschichtegezeigten Konzepten und eigenem Wissen.

Codierung wie folgt:

a: Beschreibt eine Ähnlichkeit. Zeigt genaues Verständnis der Geschichte.Der Vergleich mit einer Eigenheit des nationalen Rechtssystems wirdentweder explizit dargelegt oder ist leicht ersichtlich. Die genaue Kenntnisvon nationalen Rechtssystemen ist nicht notwendig.• Die Richtsprüche werden auf der Basis von Beweisen gefällt.• Beide Seiten können ihre Version der Wahrheit geben.• Menschen, die lügen oder Schlechtes tun, werden bestraft.• Gleichberechtigung vor dem Gesetz (es ist unwichtig wer man ist).• Ein Richter ist Vorsitzender am Gerichtshof.• Die gleiche Strafe wird für ähnliche Vergehen ausgesprochen.

Anhang A47

b: Beschreibt einen Unterschied. Zeigt genaues Verständnis der Geschichte.Der Vergleich mit einer Eigenheit des nationalen Rechtssystems wirdentweder explizit dargelegt oder ist leicht ersichtlich. Die genaue Kenntnisvon nationalen Rechtssystemen ist nicht notwendig. (Zum Beispiel “keineGeschworenen” kann als “Unterschied” akzeptiert werden, obwohl es ingewissen modernen Gerichtshöfen keine Geschworenen gibt).• Keine Anwälte.• Der Richter führt seine eigenen Nachforschungen durch.• Es geht sehr schnell; in modernen Gerichtshöfen dauern Gerichtsfälle

normalerweise Wochen.• Keine Geschworenen, offenbar gibt es keinen Weg, Einspruch zu

erheben.• Die Strafe ist viel härter.• Die Strafe ist nicht immer die gleiche, unabhängig vom Verbrechen.

Full Credit

2 Punkte: a UND b

Half Credit

1 Punkt: Entweder a ODER b

No Credit

0 Punkte: Andere Antworten einschließlich vagen, ungenauen und irrelevantenAntworten.• (Unterschied) In der Geschichte war ein gerechter Richter.• (Ähnlichkeit) Kann nicht Recht von Unrecht unterscheiden.• (Ähnlichkeit) Sogar wichtige Herrscher eines Landes können vor

Gericht gerufen werden.• (Ähnlichkeit/Unterschied) Strafe.• (Unterschied) Veraltet.


Welche der folgenden Bezeichnungen beschreibt diese Geschichte am besten?

A Ein volkstümliches Märchen.B Eine Reiseerzählung.C Ein historischer Bericht.D Eine Tragödie.E Eine Komödie.



ABSICHT DER FRAGE: RF – Über die Form eines Textes reflektieren: dieGattung einer Geschichte erkennen.

Full Credit

1 Punkt: A Ein volkstümliches Märchen

No Credit


In den Frameworks werden die drei getesteten Domänen (Lesen,Mathematik und Naturwissenschaft) definiert. Weiters umfasst es dieOrganisation des Gegenstandbereichs, die Aufgabenmerkmale und dieErhebungsstruktur (Übersetzung PISA-Konsortium, 2000).

FRAMEWORKSDER TESTDOMÄNEN


Kapitel Eins

LESEKOMPETENZ (Reading Literacy)

Im Rahmen von OECD/PISA wird der Begriff Lesekompetenz (Reading Literacy) sehr breit gefasst. Da in unse-rer Gesellschaft vergleichsweise wenige junge Erwachsene überhaupt nicht lesen können, ist in derRahmenkonzeption kein Maß dafür vorgesehen, ob 15-jährige Schüler im technischen Sinn lesen können odernicht. Sie spiegelt jedoch aktuelle Konzeptionen des Lesens wider. Danach sollten Schüler mitSekundarschulabschluss in der Lage sein, die Bedeutung eines breiten Spektrums von kontinuierlichen und nicht-kontinuierlichen Texten, die viele verschiedene schulische und außerschulische Situationen betreffen, zu konstruie-ren, zu erweitern und darüber zu reflektieren.

Definition des Gegenstandsbereichs

Parallel zu Veränderungen in Gesellschaft, Wirtschaft und Kultur haben sich auch die Definitionen von Lesenund Lesekompetenz im Verlauf der Zeit verändert. Die Konzepte des Lernens und insbesondere des lebenslangenLernens haben die Wahrnehmung der Lesekompetenz sowie die daran geknüpften Ansprüche erweitert.Lesekompetenz wird nicht mehr als eine nur in der Kindheit, also während der ersten Schuljahre erworbeneFähigkeit angesehen, sondern als ein ständig wachsendes Repertoire an Kenntnissen, Fähigkeiten und Strategien, dielebenslang in verschiedenen Kontexten und durch Interaktion mit Altersgenossen erweitert werden.

Kognitionspsychologische Definitionen der Lesekompetenz betonen die interaktive Natur des Lesens und diekonstruktive Natur des Verstehens (Bruner, 1990; Dole et al., 1991; Binkley und Linnakylä, 1997). Der Lesererzeugt als Reaktion auf einen Text Bedeutung, indem er vorhandenes Wissen und eine Reihe von text- und situa-tionsbezogenen Anhaltspunkten nutzt, die oft soziales und kulturelles Allgemeingut sind. Bei der Konstruktion vonBedeutung greift der Leser auf verschiedene Prozesse, Fähigkeiten und Strategien zurück, um das Verständnis zufördern, zu überprüfen und aufrechtzuerhalten. In der Auseinandersetzung mit unterschiedlichen kontinuierlichenund nicht-kontinuierlichen Texten muß der Leser je nach Situation und Zielsetzung andere Prozesse und Strategienanwenden.

Zwei neuere internationale Studien zur Lesekompetenz haben ebenfalls die funktionale Natur des Lesens betont(Reading Literacy Study der International Association for the Evaluation of Education Achievement – IEA/RLS;und das gemeinsam von Statistics Canada und der OECD durchgeführte International Adult Literacy Survey –IALS).

IEA/RLS definiert Lesekompetenz als

„die Fähigkeit, schriftliche Sprachformen zu verstehen und zu nutzen, die von der Gesellschaft gefordert und/oder vonder jeweiligen Person als relevant eingeschätzt werden“.

Auch IALS hebt die funktionale Natur der Lesekompetenz und insbesondere ihr Potential für die Entwicklungdes Einzelnen und der Gesellschaft hervor. In dieser Definition stehen allerdings die Informationen im Mittelpunktund nicht die Sprachformen. Lesekompetenz wird definiert als

„Nutzung von gedruckten und geschriebenen Informationen, um sich in der Gesellschaft zurecht zu finden, eigeneZiele zu erreichen und das eigene Wissen und Potential weiterzuentwickeln.“

In diesen Definitionen von Lesekompetenz steht die Fähigkeit des Lesers im Mittelpunkt, geschriebene odergedruckte Texte für Zwecke einzusetzen, die von der Gesellschaft gefordert oder vom Einzelnen zur Entwicklungder eigenen Kenntnisse und Fähigkeiten angestrebt werden. Beide Definitionen gehen über das einfacheEntschlüsseln und wörtliche Verständnis von Texten hinaus und besagen, dass Lesekompetenz sowohl das Verstehenals auch den Gebrauch von schriftlichen Informationen für funktionale Zwecke umfasst. Sie betonen jedoch nichtdie aktive und initiative Rolle, die Leser hierbei spielen. Deshalb lautet die im Rahmen von OECD/PISA verwen-dete Definition der Lesekompetenz folgendermaßen: 23

Anhang A49

24

„Lesekompetenz (reading literacy) heißt, geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, umeigene Ziele zu erreichen, das eigene Wissen und Potential weiterzuentwickeln und am gesellschaftlichen Lebenteilzunehmen.“ 1

Mit den folgenden Ausführungen wird diese Definition näher erläutert.

Lesekompetenz ...

Der Ausdruck „Lesekompetenz“ (Reading Literacy) wird anstelle von „Lesen“ benutzt, da er der allgemeinenÖffentlichkeit eine präzisere Vorstellung davon vermitteln dürfte, was im Rahmen von OECD/PISA gemessen wird.Unter „Lesen“ wird oft die einfache Entschlüsselung oder das laute Lesen verstanden, während OECD/PISA dasZiel hat, etwas viel Umfassenderes und Tiefergehendes zu messen. Im Mittelpunkt steht dabei die Anwendung desLesens in einem breiten Spektrum von Situationen und für unterschiedliche Zwecke. Historisch war mit demBegriff „literacy“ Lesefähigkeit gemeint, also eine Technik, die Leser einsetzen, um Kenntnisse zu erwerben. DerBegriff „literacy“ allein ist jedoch unzulänglich, da er allzu häufig zu Analphabetismus oder dem für das Leben ineiner bestimmten Gesellschaft erforderlichen Minimum an Fähigkeiten in Bezug gesetzt wird. Dennoch kommtdiese Auffassung mit ihrem Verweis auf den instrumentellen Charakter der Lesefähigkeit den Konnotationen nahe,die der Begriff „Lesekompetenz“ in der OECD/PISA-Studie hat, in der ein breites Spektrum von Schülern getestetwird. Von diesen Schülern werden einige studieren und vielleicht eine akademische Karriere einschlagen, anderewerden verschiedene Bildungswege im Sekundar- oder Tertiärbereich wählen, um sich auf ihre Teilnahme amArbeitsleben vorzubereiten, und wieder andere werden direkt nach Beendigung der Pflichtschulzeit in denArbeitsmarkt eintreten. Von all diesen Schülern wird jedoch unabhängig von ihren akademischen oder sonstigenberuflichen Zielen erwartet, dass sie aktive Teilnehmer in ihren jeweiligen Gemeinschaften werden.

... heißt, geschriebene Texte ...

Mit den Wörtern „geschriebene Texte“ sind alle gedruckten, handschriftlichen oder elektronischen Textegemeint, die Sprache verwenden. Dazu gehören auch bildhafte Darstellungen wie Diagramme, Bilder, Karten,Tabellen oder Grafiken; nicht aber Filme, Fernsehen, visuelle Animationen oder Bilder ohne Worte. Solche bild-haften Texte können selbständig oder eingebunden in kontinuierliche Texte auftreten. Zu den geschriebenen Textengehören auch elektronische, obwohl diese ihrer Struktur und ihrem Format nach mitunter anders aussehen undandere Lesestrategien erfordern können. In zukünftigen Erhebungszyklen werden vermutlich auch elektronischeTexte verwendet. Dies war im ersten Zyklus aus Zeitmangel und aus Gründen der Zugänglichkeit nicht möglich.Der Begriff „Texte“ wurde statt der in der IALS-Definition benutzten Bezeichnung „Information(en)“ gewählt, daman diesen Begriff für nicht adäquat hielt, um auch Literatur zu erfassen.

... zu verstehen, zu nutzen und über sie zu reflektieren ...

Die Worte „reflektieren über“ wurden den Wörtern „verstehen“ (aus IEA/RLS) und „nutzen“ (aus IEA/RLSund OECD/IALS) hinzugefügt, um zu betonen, dass Lesen interaktiv ist: Leser bringen ihre eigenen Überlegungenund Erfahrungen ein, wenn sie sich mit einem Text befassen. Reflektieren kann bedeuten, dass sie über den Inhaltdes Textes nachdenken und dabei auf vorhandenes Wissen oder Verständnis zurückgreifen oder dass sie sichGedanken über die Struktur oder Form des Textes machen.

... um eigene Ziele zu erreichen, das eigene Wissen und Potential weiterzuentwickeln und am gesellschaftlichenLeben teilzunehmen

Mit diesem Teil des Satzes soll das gesamte Spektrum an Situationen beschrieben werden, in denenLesekompetenz eine Rolle spielt - vom privaten bis zum öffentlichen Bereich; von der Schule bis zum Arbeitsleben,lebenslangen Lernen und aktiven Leben als Bürger. Die Formulierung: „um eigene Ziele zu erreichen, eigenesWissen und Potential weiter zu entwickeln“ ist Ausdruck der Vorstellung, dass Lesekompetenz Menschen in die Lageversetzt, eigene Bestrebungen zu verwirklichen - sowohl fest umrissene Ziele, wie den Erwerb einesgg

1 Zwar werden die der Definition der Lesekompetenz zugrunde liegenden Annahmen in allen Teilnehmerländern verstanden, doch gibt es bestimmte Wörterin einzelnen Sprachen nicht. Um zu zeigen, dass die Bedeutung dieses Abschnitts in andere Sprachen übersetzt werden kann, ohne die Bedeutung des Begriffs „Lesekompetenz“ oder die seiner Definition zugrunde liegenden Annahmen zu verändern, wurden Übersetzungen angefertigt, die auf der Website von OECD/PISA unter http:\\www.pisa.oecd.org abgerufen werden können.

Schülerleistungen im internationalen Vergleich


Bildungsabschlusses oder das Finden einer Arbeitsstelle, als auch weniger genau definierbare und weniger unmittel-bare Zielvorstellungen, die der Bereicherung des persönlichen Lebens und einer lebenslang fortgesetzten Bildungdienen. Der Begriff „teilhaben“ wurde anstelle des IALS-Begriffs „zurechtzukommen“ gewählt, weil er impliziert,dass Lesekompetenz die Menschen in die Lage versetzt, einen Beitrag zur Gesellschaft zu leisten und gleichzeitig dieeigenen Bedürfnisse zu erfüllen. Der Begriff „zurechtzukommen“ beinhaltet eine einschränkende, pragmatischeKonnotation, während „teilhaben“ ein soziales, kulturelles und politisches Engagement impliziert. Zur Teilhabekann auch eine kritische Haltung gehören und damit ein Schritt auf dem Weg zur persönlichen Befreiung,Emanzipation und Eigenverantwortung. Der Ausdruck „gesellschaftlich“ umfaßt das ökonomische und politischeebenso wie das soziale und kulturelle Leben (Linnakylä, 1992; Lundberg, 1991, 1997; MacCarthey und Raphael,1989).

Organisation des Gegenstandsbereichs und Aufgabenmerkmale

Nachdem die Definition des Bereichs Lesekompetenz sowie die Annahmen, die dieser Definition zugrundeliegen, erläutert worden sind, soll nun eine Rahmenkonzeption für die Organisation des Bereichs entwickelt wer-den. Diese Organisation muß sich vor allem daran orientieren, wie über die mit den Aufgaben zur Erfassung vonLesekompetenz erzielten Ergebnisse berichtet werden soll. Dies ist insofern wichtig, als die konzeptuelleOrganisation das Testdesign beeinflussen kann. Untersuchungen haben gezeigt, dass Lesen keine einzelne, eindi-mensionale Fähigkeit darstellt und es daher nicht angemessen wäre, Lesekompetenz mit einer einzigen Skala odereinem einzigen Wert auf dieser Skala darzustellen. Die Frage, wie viele und welche Skalen zur Erfassung derLesekompetenz benötigt werden, muss vorab geklärt werden. Nur so ist sicherzustellen, dass eine ausreichendeAnzahl von Aufgaben entwickelt wird, um diese Skalen angemessen definieren und interpretieren zu können.

Die Konstruktion dieser Skalen kann unter verschiedenen Gesichtspunkten erfolgen. Dabei wäre es am ein-fachsten, auf Arbeiten zurückzugreifen, die anderen nationalen und internationalen Schulleistungsstudien zugrundelagen. Sowohl im Rahmen der United States National Assessment of Educational Progress (NAEP) als auch beiIEA/RLS gab es drei Ergebnisskalen. Diese Skalen betrafen das Textformat. IEA/RLS berichtete die Leistungen vonSchülern der 4. und der 9. Klasse separat für erzählende, darlegende und dokumentierende Texte. Und auch NEAParbeitete mit drei Skalen: Literatur bzw. lesen, um der literarischen Erfahrung willen; Information bzw. lesen, umsich zu informieren; und Dokumente bzw. lesen, um eine Aufgabe auszuführen. Ähnliche Skalen wurden auch imRahmen des International Adult Literacy Survey (IALS) benutzt. Neben einer quantitativen Skala fürLesekompetenz verwendete IALS zur Darstellung der Leseleistung eine Skala für Prosa und eine Skala fürDokumente. Bei dieser Erhebung bestand die Prosa vor allem aus darlegenden Texten, während bei den in Schulendurchgeführten Erhebungen des NAEP das Verhältnis von erzählenden und darlegenden Texten ausgewogener war.

Eine zweite Form der Klassifikation von Leseaufgaben geht von den Situationen aus, die derAufgabenkonstruktion zugrunde liegen. Eines der Ziele von OECD/PISA besteht darin, Lesekompetenz nicht nurin schulischen oder akademischen Kontexten zu messen, sondern in vielen verschiedenen Situationen. Ein Grunddafür ist, dass mit der Erhebung auch der Frage nachgegangen werden soll, ob die Schülerinnen und Schüler derZielgruppe ausreichend auf das Berufsleben und die Teilnahme am gesellschaftlichen Leben vorbereitet werden.

Eine weitere Möglichkeit zur Bereichsorganisation und internationalen Berichterstattung über die Ergebnissekönnte auf einem Schema beruhen, das die Inhalte der Aufgaben klassifiziert. So könnte etwa zwischen fachlich-technischen und geisteswissenschaftlichen Inhalten unterschieden werden.

Eine andere mögliche Organisationsform könnte von bestimmten Aspekten des Lesens ausgehen, also etwadem Entwickeln eines umfassenden allgemeinen Verständnisses, Heraussuchen von Informationen, Entwickelneiner textimmanenten Interpretation, Reflektieren über den Inhalt eines Textes und Reflektieren über Struktur undForm eines Textes. Das eingehende Verständnis eines Textes setzt voraus, dass die Leser alle genannten Aspekte desLeseprozesses aktivieren (Langer 1995). Diese Aspekte stellen daher im Rahmen von OECD/PISA eines der wich-tigsten Elemente für die Konstruktion von Aufgaben zur Lesekompetenz dar.

Die OECD/PISA-Erhebung zu Lesekompetenz wird einen reichhaltigen Datensatz produzieren, mit dessenHilfe entschieden wird, wie ein möglichst nützlicher Ergebnisbericht für Politiker, für im Bildungsbereich tätigePersonen und für Wissenschaftler aussehen sollte. Grundlage dieser Entscheidung wird eine Kombination von dreiGruppen von Kriterien sein, nämlich konzeptuelle, empirische und politische Kriterien. Die endgültigeEntscheidung darüber, welche Skalen für den Bericht verwendet werden sollen, wird erst nach der Erhebung undAnalyse der Daten des OECD/PISA-Feldtests fallen.

Lesekompetenz (Reading Literacy)

25

Anhang A51

26

Zusätzlich zu dieser an der Berichterstattung orientierten Organisation des Bereichs Lesekompetenz müssenAufgabenmerkmale identifiziert und zunächst zumindest so operationalisiert werden, dass mit der Konstruktionund Auswahl von Aufgaben begonnen werden kann. Bei der Aufgabenkonstruktion kann nur eine begrenzte Zahlvon Merkmalen systematisch variiert werden, und nur eine geringe Zahl von Variablen, die mit diesen bestimmtenMerkmalen zusammenhängen, dürfte entscheidenden Einfluss auf die Leseleistungen von Schülern haben.

Almond und Mislevy (1998) weisen darauf hin, dass derartige Variablen bei einer Erhebung eine von fünfRollen übernehmen können. Sie können dazu benutzt werden, um

– den in der Erhebung zu erfassenden Bereich einzugrenzen,

– Eigenschaften zu charakterisieren, die in der Aufgabenkonstruktion verwendet werden sollen,

– die Zusammenstellung von Aufgaben in Testheften oder Testbögen zu steuern,

– die von den Schülern bei der Bearbeitung der Aufgaben erbrachten Leistungen bzw. ihre Antworten zucharakterisieren oder

– zur Charakterisierung von Kompetenzmerkmalen beizutragen.

Einige dieser Variablen können sowohl bei der Aufgabenkonstruktion und Explizierung von Kompetenzen alsauch bei der Charakterisierung von Leistungen nützlich sein.

Es ist davon auszugehen, dass eine begrenzte Zahl von Aufgabenmerkmalen den Leseprozess beeinflussen. Diesesollen bei der Konstruktion von Aufgaben und Bewertung der Antworten berücksichtigt werden. Die folgendenMerkmale sollen im Rahmen von OECD/PISA manipuliert werden, um die interaktive Natur des Leseprozesses zusimulieren und zu evaluieren:

– Situation: Da Erwachsene geschriebene Texte nicht in einem Vakuum lesen, sondern im Rahmen einer be-stimmten Situation, muss ein Spektrum von Situationen identifiziert werden, aus denen dann eineStichprobe von Materialien für die Messung der Lesekompetenz gezogen werden kann. Es darf nichtvergessen werden, dass ein Ziel von OECD/PISA darin besteht, über Texte, die im Unterricht verwendetwerden, hinauszugehen und ein breites Spektrum von Materialien einzusetzen, mit denen die Schülerinnenund Schüler außerhalb des Unterrichts zu tun haben.

– Texte: Es dürfte unumstritten sein, dass zur Messung von Lesekompetenz viele unterschiedliche Materialienherangezogen werden sollten. Für das Testdesign und für die Interpretation der Ergebnisse ist jedoch vonentscheidender Bedeutung, welche Art von Textmaterial mit welchen Eigenschaften bei derAufgabenkonstruktion einbezogen wird. Daher wird OECD/PISA mit einem breiten Spektrum von kon-tinuierlichen und nicht-kontinuierlichen Texten arbeiten. Außerdem wird erwogen, den Schülern dieseMaterialien sowohl einzeln als auch in Kombination vorzulegen, also ihnen unter Umständen zum gleichenThema zwei kontinuierliche Texte oder einen kontinuierlichen Text und einen nicht-kontinuierlichen Text(z. B. eine Grafik oder eine Tabelle) vorzulegen.

– Test-Rubriken: Dieser Begriff bezieht sich auf die Merkmale der Fragen und Anweisungen der Aufgaben,auf die Formate, die den Schülern für ihre Antworten vorgegeben werden, und auf die Richtlinien für dieBewertung dieser Antworten. Die Fragen und Anweisungen beinhalten ein Ziel oder einen Zweck, densich die Leser zu Eigen machen sollen, während sie den Text lesen und mit ihm interagieren. ZurBeantwortung der Fragen werden den Schülern nicht nur Multiple-Choice-Formate vorgegeben, sondernauch offene Formate, bei denen sie ein breiteres Spektrum von Prozessen und Strategien aktivierenmüssen.

Um diese drei Hauptmerkmale der Aufgaben beim Design der Erhebung sowie später bei der Interpretation derErgebnisse benutzen zu können, müssen sie operationalisiert werden. Es müssen also die verschiedenenAusprägungen, die jedes dieser Merkmale annehmen kann, näher spezifiziert werden. Auf diese Weise können dieKonstrukteure der Items das Textmaterial und die Aufgaben so kategorisieren, dass diese zur Interpretation derErgebnisse und zur Organisation des Berichts verwendet werden können. Anhand dieser Variablen kann auch be-stimmt werden, welche Anteile des Textmaterials auf die einzelnen Kategorien entfallen sollten. Welche Rolle dieVariablen bei der Interpretation dann tatsächlich spielen werden, ist eine empirische Frage. Wenn sie jedoch beimDesign der Erhebung nicht berücksichtigt werden, können sie überhaupt keine Rolle spielen.



Situationen

Der Begriff der Situation bezieht sich in diesem Zusammenhang mehr auf den Zweck, für den ein Autor einenText verfasst, als auf einen Ort oder einen bestimmten Kontext. Zwar soll Lesekompetenz sowohl mit Textengemessen werden, die mit der Schule assoziiert werden, als auch anhand von Materialien aus dem außerschulischenUmfeld, doch reicht der Ort, an dem ein Text typischerweise gelesen wird, für die Spezifizierung der Situation nichtaus. Schulbücher etwa werden sowohl in der Schule als auch zu Hause gelesen, wobei sich Prozess und Absicht desLesens an beiden Orten kaum unterscheiden dürften. Wie Hubbard (1989) festgestellt hat, finden außerdem be-stimmte Formen des Lesens, die normalerweise mit dem außerschulischen Umfeld der Kinder verknüpft sind, etwadas Lesen von Vereinsregeln oder Sportergebnissen, oft inoffiziell auch in der Schule statt.

Obwohl das Lesen in den meisten Fällen eine Aktivität ist, die allein ausgeübt wird, hat es dennoch auch sozialeAspekte. Andere Menschen sind als Verfasser, als Themen oder als Personen, die Aufgaben stellen (etwa Lehrer), amLesen beteiligt. Zur Situation gehört also auch der Bezug auf die Menschen und (z. B. im Falle des Lesens amArbeitsplatz) die Aufgaben, die mit dem Lesen in Zusammenhang stehen.

Für die Zwecke der OECD/PISA-Erhebung mit 15-jährigen Schülern ist die Situation als eine Form derKategorisierung von Aufgaben nach folgenden Kriterien zu verstehen: die beabsichtigte Verwendung der Aufgabe,die in der Aufgabe implizit oder explizit enthaltenen Bezüge zu anderen Personen und die allgemeinen Inhalte derAufgabe (siehe Tabelle 2). Das Lesen eines Schulbuchs wäre danach ein Beispiel für eine Bildungssituation, da derprimäre Nutzen dieser Tätigkeit im Erwerb von Informationen im Rahmen einer bildungsrelevanten Aufgabe be-steht (Gebrauch), die Tätigkeit mit den von Lehrern oder anderen Ausbildern gestellten Aufgaben assoziiert wird(andere Personen) und inhaltlich in der Regel auf Unterrichts- und Lernzwecke zugeschnitten ist (Inhalt).

Tabelle 2. Lesesituationen

Obwohl der Inhalt der Texte bei dieser Erhebung nicht systematisch manipuliert wird, soll die Stichprobe derTexte aus ganz unterschiedlichen Situationen entnommen werden, um bei der Erhebung der Lesekompetenz einemöglichst große inhaltliche Vielfalt zu erreichen. Daher wird besonders auf Ursprung und Inhalt der ausgewähltenTexte sowie auf die Fragen und Anweisungen geachtet, über die die Lesekompetenz der Schülerinnen und Schülererfasst werden soll. Angestrebt wird ein ausgewogenes Verhältnis zwischen dem Ziel, Aufgaben zu konstruieren, dieder im Rahmen von OECD/PISA zugrunde gelegten breiten Definition der Lesekompetenz entsprechen, und derBedingung, dass die Materialien die sprachliche und kulturelle Vielfalt der Teilnehmerländer repräsentieren sollten.Mit dieser Vielfalt soll gewährleistet werden, dass keine Gruppe durch den Inhalt der Erhebung bevorzugt oderbenachteiligt wird.


27

Lesen zum privaten Lesen zum öffent- Lesen für den Lesen zu Bildungs-Gebrauch lichen Gebrauch Beruf zwecken

Andere Selbst Anonym Objekte LehrendeVerwandte KollegenFreunde Manager

Gebrauch Neugier Information Um etwas zu tun Um zu lernenKontakt

Inhalte Briefe Bekanntmachungen Anweisungen TexteRomane Vorschriften Handbücher KartenBiografie Programme Zeitpläne SchemataBücher und Zeit- Pamphlete Mitteilungen Tabellen

schriften mit Anlei- Formulare Berichte Grafikentungen zum Tabellen/GrafikenSelbermachen

Karten

Anhang A53

28

Eine sinnvolle Operationalisierung der Situationsvariablen ist der Arbeit des Europarats (1996) zum ThemaSprache zu entnehmen:

– Lesen für den privaten Gebrauch (persönlich): Bei diesem Typ des Lesens verfolgt die Person ihre eigenen prak-tischen oder intellektuellen Interessen. Dies schließt auch das Lesen zur Aufrechterhaltung oder Entwicklungvon persönlichen Beziehungen zu anderen Menschen ein. Zu den Inhalten gehören in der Regel persönlicheBriefe, Romane, Biografien sowie Informationsmaterial, das in der Freizeit bzw. im Rahmen vonFreizeitaktivitäten aus Neugier gelesen wird.

– Lesen für den öffentlichen Gebrauch: Dieser Typ des Lesens dient der Teilhabe an den Aktivitäten derGesellschaft. Dazu gehört auch der Umgang mit offiziellen Dokumenten und Informationen überöffentliche Ereignisse. Im Allgemeinen sind die hiermit verknüpften Aufgaben mit mehr oder wenigeranonymen Kontakten mit anderen Personen verbunden.

– Lesen für die Arbeit (beruflich): Obwohl berufsbezogenes Lesen nur bei wenigen 15-Jährigen vorkommendürfte, sollen dennoch Aufgaben einbezogen werden, die insofern für arbeitsbezogenes Lesen typisch sind,als sie eng mit unmittelbar auszuführenden Aufgaben zusammenhängen und inhaltlich für die Ziele dieserErhebung relevant sind. Außerdem ist es wichtig, zu erfassen, inwieweit die 15-Jährigen auf die Arbeitsweltvorbereitet sind, in die viele von ihnen innerhalb der nächsten ein bis zwei Jahre eintreten werden. TypischeAufgaben dieser Art werden oft als „Lesen um etwas zu tun“ bezeichnet (Sticht, 1975; Stiggins, 1982).

– Bildungsbezogenes Lesen: Dieser Typ des Lesens hat normalerweise mit dem Erwerb von Informationen alsTeil einer umfassenderen Lernaufgabe zu tun. Das Lesematerial wird häufig nicht vom Leser selbst aus-gewählt, sondern von einem Lehrer oder Ausbilder vorgegeben. Der Inhalt ist gewöhnlich speziell aufAusbildungszwecke zugeschnitten. Typische Aufgaben dieser Art werden häufig als „Lesen, um zu lernen“bezeichnet (Sticht, 1975; Stiggins, 1982).

Texttypen

Lesen setzt voraus, dass der Leser etwas hat, das er lesen kann. In einer Testsituation muss dieses Etwas – einText – in sich kohärent sein. Das heißt, der Text muss für sich stehen können und darf kein zusätzliches gedrucktesMaterial erfordern2. Während es jedoch offensichtlich ist, dass es viele verschiedene Arten von Texten gibt und dassjede Erhebung ein entsprechend breites Spektrum abdecken sollte, ist weniger klar, wie man die Texttypen am bestenkategorisiert. Es gibt eine Reihe verschiedener Vorschläge für geeignete Kategorien, aber viele davon sind eher fürpraktische Zwecke als für die Zwecke der Forschung entwickelt worden. Eine Gemeinsamkeit dieserKategoriensysteme besteht jedoch darin, dass sich ein bestimmter Text in der Regel nicht eindeutig nur einerKategorie zuordnen läßt. Ein Kapitel in einem Schulbuch etwa kann Definitionen enthalten (oft als Texttyp iden-tifiziert), Anweisungen zur Lösung spezieller Probleme (ein anderer Texttyp), eine kurze historische Erzählung überdie Entdeckung der Lösung (wieder ein anderer Texttyp) und Beschreibungen von Dingen, die in der Regel an derLösung beteiligt sind (ein vierter Texttyp).

Man könnte zwar beispielsweise eine Definition für die Zwecke einer Erhebung herauslösen und als selb-ständigen Text behandeln. Damit würde jedoch der Definition der Kontext genommen und ein künstlicher Texttypgeschaffen (Definitionen kommen außer in Lexika fast nie isoliert vor); dies wiederum könnte die Entwickler vonItems davon abhalten, Aufgaben konstruieren, bei denen Leser Informationen aus einer Definition mitInformationen aus Anweisungen integrieren müssen.

Manche Texte präsentieren sich als Schilderungen der Welt, wie sie ist (oder war) und geben vor, Sachtexte oderjedenfalls nicht-fiktionale Texte zu sein. Fiktionale Schilderungen stehen mit der Welt, wie sie ist, in einer ehermetaphorischen Beziehung und präsentieren sich als Darstellung der Welt, wie sie sein könnte oder zu sein scheint. Diese Unterscheidung verliert zunehmend an Eindeutigkeit, da Autoren bei der Abfassung von fiktionalen TextenFormate und Strukturen verwenden, die typisch für Sachtexte sind. OECD/PISA wird Lesekompetenz sowohlanhand von Sachtexten als auch anhand von fiktionalen Texten messen und darüber hinaus auch Texte verwenden, die sich keiner der beiden Kategorien eindeutig zuordnen lassen. Unterschiede in der Leseleistung in Bezug auf diesebeiden Typen sollen jedoch nicht erfasst werden.

2 Dies schließt nicht aus, dass in einer Aufgabe mehrere Texte verwendet werden, doch sollte jeder dieser Texte in sich kohärent sein.



Eine wichtigere Form der Klassifizierung von Texten, die auch im Rahmen von OECD/PISA als zentraleGrundlage der Organisation des Lesetests dient, besteht in der Unterscheidung zwischen kontinuierlichen undnicht-kontinuierlichen Texten. Kontinuierliche Texte bestehen normalerweise aus Sätzen, die in Absätzen organisiertsind. Diese wiederum können Teil von noch größeren Strukturen wie Abschnitten, Kapiteln oder Büchern sein.Nicht-kontinuierliche Texte liegen häufig im Matrixformat vor und beruhen auf Kombinationen von Listen.

Die Organisation von kontinuierlichen Texten wird durch Absätze, Einrückungen und eine hierarchische,durch Überschriften kenntlich gemachte Gliederung des Textes sichtbar, die dem Leser hilft, die Struktur des Texteszu erkennen. Solche Kennzeichnungen liefern außerdem Hinweise auf Textgrenzen (etwa durch Markierung desEndes eines Abschnitts). Das Auffinden von Informationen wird oft durch die Verwendung unterschiedlicherSchriftgrößen, Schriftarten (z. B. kursiv oder fett) sowie Rahmen oder Schattierungen erleichtert. Die Fähigkeit zurIdentifikation der mit diesen Formaten gegebenen Hinweise stellt eine wesentliche sekundäre Voraussetzung füreffizientes Lesen dar.

Informationen zur Textorganisation werden auch in Form von Diskurs-Markierungen gegeben. Markierungenfür Abfolgen etwa (erstens, zweitens, drittens usw.) verweisen auf die Beziehungen zwischen den Einheiten, dieihnen folgen, und zeigen an, in welcher Beziehung diese Einheiten zu dem sie umgebenden Text stehen.

Kontinuierliche Texte werden primär nach ihrem rhetorischen Zweck bzw. Texttyp klassifiziert.

Nicht-kontinuierliche Texte oder Dokumente, wie sie mitunter auch genannt werden, können auf zwei Artenkategorisiert werden. Die eine Art besteht in dem formal-strukturellen Ansatz, der in den Arbeiten von Kirsch undMosenthal3 verwendet wird. Dabei werden die Texte danach klassifiziert, wie die zur Konstruktion der verschiede-nen nicht-kontinuierlichen Texttypen verwendeten Listen zusammengestellt wurden. Die andere Art derKlassifizierung arbeitet mit einfachen Beschreibungen dieser Texte. Im Gegensatz zu diesem Ansatz ist das Verfahrenvon Kirsch und Mosenthal systematisch und erlaubt eine Kategorisierung aller nicht-kontinuierlichen Texte unab-hängig von ihrer Verwendung.

Typen kontinuierlicher Texte

Die Unterscheidung von Texttypen stellt eine Standardmethode zur Klassifizierung kontinuierlicher Texte nachihrem Inhalt und nach den Zwecken, für die sie verfasst wurden, dar. Jeder Texttyp weist ein typisches Format auf;dieses wird nach der Beschreibung des jeweiligen Typs angegeben4.

1. Beschreibung ist der Texttyp, in dem sich die Informationen auf physische, räumliche Eigenschaften vonObjekten oder von Personenmerkmalen beziehen. Beschreibende Texte geben in der Regel Antworten auf„Was“-Fragen.

– Impressionistische Beschreibungen stellen Informationen über Beziehungen, Eigenschaften und räumlicheRichtungen aus der Perspektive subjektiver Eindrücke dar.

– Sachbeschreibungen stellen Informationen aus der Perspektive objektiver räumlicher Beobachtungen dar.Häufig werden in Sachbeschreibungen auch nicht-kontinuierliche Textformate wie Diagramme undIllustrationen verwendet.

2. Erzählung ist der Texttyp, in dem sich die Informationen auf zeitliche Eigenschaften von Objekten beziehen.Erzählende Texte geben in der Regel Antworten auf Wann-Fragen oder auf Fragen nach der Abfolge.

– Erzählungen stellen Veränderungen aus der Perspektive einer subjektiven Auswahl und Schwerpunkt-setzung dar und halten Handlungen und Ereignisse in ihrem zeitlichen Ablauf aus der Perspektivesubjektiver Eindrücke fest.

– Berichte stellen Veränderungen aus der Perspektive objektiver, situationsbezogener Rahmenbedingungendar und geben Handlungen und Ereignisse wieder, die von anderen überprüft werden können.

– Nachrichten sollen dem Leser die Möglichkeit geben, sich eine eigene, unabhängige Meinung über Faktenund Ereignisse zu bilden, ohne durch die Ansichten des Berichterstatters beeinflusst zu werden.

3 Das Modell von Kirsch und Mosenthal wurde detailliert in einer Reihe von monatlichen Beiträgen unter dem Titel „Understanding Documents“ (Das Verstehen von Dokumenten) beschrieben, die im Journal of Reading zwischen 1989 und 1991 veröffentlicht wurden.

4 Dieser Abschnitt basiert auf der Arbeit von Werlich (1997). Die Kategorie "Hypertext“ allerdings ist nicht Bestandteil von Werlichs System.


29

Anhang A55

30


3. Darlegung ist der Texttyp, in dem die Informationen in Form von zusammengesetzten Konzepten oder men-talen Konstrukten oder in Form von denjenigen Elementen dargestellt werden, in die diese Konzepte odermentalen Konstrukte analytisch zerlegt werden können. Der Text erklärt, wie diese Bestandteile miteinanderin Beziehung stehen und sich zu einem sinnvollen Ganzen verbinden, und gibt oft Antworten auf Wie-Fragen.

– Darlegende Essays geben aus einer subjektiven Perspektive einfache Erklärungen von Begriffen, mentalenKonstrukten oder Konzeptionen.

– Definitionen erklären, wie Ausdrücke oder Namen mit mentalen Konzepten zusammenhängen. DurchAufzeigen solcher Zusammenhänge erklärt die Definition die Bedeutung von „Wörtern“.

– Erläuterungen stellen eine Form der analytischen Darlegung dar, mit der erklärt wird, wie ein mentalesKonzept mit Worten oder Begriffen verbunden werden kann. Das Konzept wird als zusammenhängendesGanzes behandelt, das verstanden werden kann, wenn es in seine Bestandteile zerlegt wird und wenn dieBeziehungen zwischen diesen Bestandteilen benannt werden.

– Zusammenfassungen sind eine Art synthetischer Darlegung und dienen dazu, „Texte“ in einer kürzerenForm als im ursprünglichen Text darzustellen und zu erklären.

– Protokolle sind mehr oder weniger offizielle Aufzeichnungen der Ergebnisse von Sitzungen oder Vorträgen.

– Textinterpretationen sind eine Form sowohl der analytischen als auch der synthetischen Darlegung, mit derabstrakte Konzepte erklärt werden, die in einem (fiktionalen oder nicht-fiktionalen) Text oder einerGruppe von Texten enthalten sind.

4. Argumentation ist der Texttyp, in dem Aussagen über die Beziehungen zwischen Konzepten oder anderenAussagen gemacht werden. Argumentierende Texte beantworten oft Warum-Fragen. Eine andere wichtigeUnterkategorie von argumentierenden Texten sind Texte, die überzeugen wollen.

– Kommentare beziehen Konzepte von Ereignissen, Objekten und Ideen auf ein persönliches Denk-, Wert-und Überzeugungssystem.

– Wissenschaftliche Argumentation bezieht Konzepte von Ereignissen, Objekten und Ideen auf Denk- undWissenssysteme, so dass die daraus resultierenden Aussagen verifiziert werden können.

5. In Anweisungen wird gesagt , was zu tun ist.

– Anleitungen geben Anweisungen für bestimmte Verhaltensweisen, die der Erledigung einer Aufgabe dienen.

– Regeln, Vorschriften und Bestimmungen legen die Anforderungen für bestimmte Verhaltensweisen fest, dievon einer unpersönlichen Autorität, etwa einer Behörde, verfügt werden.

6. Mit dem Begriff Hypertext sind Texteinheiten gemeint, die so zusammengestellt sind, dass sie in unter-schiedlichen Abfolgen gelesen werden können. Diese Texte sind häufig visuell aufbereitet und können beiden Lesern nicht-lineare Strategien auslösen.

Nicht-kontinuierliche Texte (Struktur und Format)

Nicht-kontinuierliche Texte sind anders organisiert als kontinuierliche Texte und erfordern deshalb andereArten von Leseverhalten. Zweckmäßigerweise sollten solche Texte unter zwei Gesichtspunkten betrachtet werden.Beim ersten Gesichtspunkt geht es um die Prinzipien, nach denen die Textelemente angeordnet sind. Diese Variablebeschreibt also die Textstruktur und erfasst diejenigen Eigenschaften von nicht-kontinuierlichen Texten, die funk-tional den Sätzen und Absätzen von kontinuierlichen Texten entsprechen. Der zweite Gesichtspunkt erfasst häufiganzutreffende Formate nicht-kontinuierlicher Texte.

• Strukturen nicht-kontinuierlicher Texte

Alle nicht-kontinuierlichen Texte bestehen aus einer Reihe von einfachen Listen. Während einige davon nichtsweiter als einfache Listen darstellen, bestehen die meisten jedoch aus Kombinationen mehrerer Listen. Die Analysenicht-kontinuierlicher Texte setzt weder bei ihrer Verwendung an, noch bei den üblichen Bezeichnungen, mit denensie oft versehen werden, sondern sie identifiziert zentrale Struktureigenschaften, die viele unterschiedliche Textegemein haben. Für die vollständige Beschreibung eines nicht-kontinuierlichen Textes ist eine Kategorie „Struktur“



31

und eine Kategorie „Format“ erforderlich. Leser, die die Struktur von Texten verstehen, sind besser in der Lage, dieBeziehungen zwischen Textelementen zu identifizieren und zu bestimmen, welche Texte ähnlich und welche unter-schiedlich sind.

1. Einfache Listen bestehen aus einer Zusammenstellung von Elementen einer einzigen Art. Ein Beispiel für eineeinfache Liste ist die Liste der Bücher, die in einem Literaturkurs gelesen werden sollen, oder eine Liste vonSchülern, die für besondere Leistungen ausgezeichnet wurden. Die Elemente der Liste können geordnet sein,etwa wenn die Liste der Schülerinnen und Schüler einer Klasse alphabetisch nach dem Nachnamen geord-net wird, oder ungeordnet, etwa in einer Liste von Materialien, die für den Kunstunterricht gekauft werdenmüssen. In der ersten Liste sind die einzelnen Elemente leichter zu finden als in der zweiten. Wenn die unge-ordnete Liste lang ist, kann es schwierig sein, festzustellen, ob ein bestimmtes Element enthalten ist odernicht. Bei der geordneten Liste sollte dies einfacher sein, vorausgesetzt, man kennt das Ordnungsprinzip.

2. Kombinierte Listen bestehen aus mindestens zwei einfachen Listen, wobei jedem Element der einen Liste einElement der anderen Liste zugeordnet ist. Dabei kann eine der Listen als Primärliste verwendet werden; diesePrimärliste ist geordnet, damit ihre Elemente und damit auch die dazugehörigen Parallelinformationen inden anderen Listen besser zu finden sind. Eine elementare kombinierte Liste könnte beispielsweise aus einerListe von Schülern und einer entsprechenden Liste der von diesen Schülern bei einem Test erzielten Notenbestehen. In solchen Listen können einzelne Elemente auch mehr als einmal vorkommen, obwohl dies beiPrimärlisten selten der Fall ist. So können z. B. in der Liste von Schülern und Schülernoten die einzelnenNoten mehrmals erscheinen. Eine kombinierte Liste kann auch aus vielen Einzellisten bestehen, wie zumBeispiel eine Liste von Schlagern, in der die Titel, die Sänger (oder Sängerinnen), das Plattenlabel und dieZahl der Wochen aufgeführt werden, die sich ein bestimmter Schlager in der Hitparade gehalten hat. DasSuchen in nicht-indizierten Listen ist schwieriger, und es kann im Fall solcher Listen auch schwierig sein,festzustellen, ob man wirklich alle relevanten Informationen gefunden hat. Anhand der Liste von Schülernund Schülernoten wäre es einfach herauszufinden, welche Note ein bestimmter Schüler oder eine bestimmteSchülerin erhalten hat, vor allem wenn die Namen der Schülerinnen und Schüler in alphabetischerReihenfolge stehen. Schwieriger hingegen wäre es, alle Schülerinnen und Schüler zu finden, die den Testnicht bestanden haben.

3. Matrixlisten bestehen aus drei Listen, die nicht parallel konstruiert sind, sondern sich überschneiden undeine Matrix aus Reihen und Spalten bilden. Das typische Beispiel für eine Matrixliste ist einFernsehprogramm, das aus einer Liste der Uhrzeiten, einer Liste der Sender und einer Liste der Sendungenbesteht. Die Sendungen stehen in den Zellen, die sich durch Überschneidungen einer Uhrzeit (normaler-weise in den Spalten abgetragen) mit einem Sender (normalerweise in den Reihen abgetragen) bilden. Imuniversitären Bereich kann ein Fachbereich sein Vorlesungsverzeichnis in Form einer Matrix erstellen, in derzum Beispiel die Spalten den Wochentagen, die Reihen den Uhrzeiten und die Zellen den zu einer be-stimmten Uhrzeit an einem bestimmten Wochentag angebotenen Lehrveranstaltungen entsprechen.Dadurch können die Studierenden ohne weiteres diejenigen Kurse ermitteln, die sich zeitlich nicht über-schneiden. In einer Matrixliste enthält jede Zelle nur einen Eintrag (Titel der Lehrveranstaltung,Fernsehsendung usw.). Viele statistische Tabellen sind Matrixlisten. Beispielsweise stehen in einer Tabelle derArbeitslosenquoten in Großstädten oft die Städte in den Reihen, Datumsangaben in den Spalten und die zueinem bestimmten Datum aktuelle Arbeitslosenquote für diese Städte in den Zellen. Die Tabelle kann soaufgebaut sein, dass Vergleiche zwischen Zeitpunkten möglich sind, etwa wenn es mehrere Spalten gibt, diefür jeweils andere Zeiträume stehen (Monate, Jahre usw.).

4. Verschachtelte Listen bestehen aus einem Satz kombinierter Listen. Beispielsweise werden in einigenMatrixlisten die in den Spalten aufgeführten Kategorien, etwa Wochentage, nicht nur mit den in den Reihenabgetragenen Kategorien (Uhrzeiten), sondern auch noch mit einer vierten Liste kombiniert, etwa denFachbereichen einer Universität. Bei einer echten verschachtelten Liste muss in allen Matrixlisten derselbeKategorientyp verwendet werden. Die Matrixliste der Arbeitslosenquoten etwa kann die Arbeitslosenzahlenpro Monat jeweils für Männer und Frauen getrennt ausweisen; in diesem Falle ist das GeschlechtSubkategorie der Spalte „Monat“.

5. Kombinierte Listen sind Listen, in denen verschiedene Typen von Listen oder verschiedene Listen desgleichen Typs zu einer Liste zusammengefasst werden. Beispielsweise kann die Matrixliste der monatlichenArbeitslosenquoten in bestimmten Großstädten mit einer anderen Matrixliste kombiniert werden, die diemonatlichen Veränderungen der Arbeitslosenquoten in diesen Städten enthält.

Anhang A57

32


• Formate nicht-kontinuierlicher Texte

Die Klassifizierung nicht-kontinuierlicher Texte nach ihrem Format beinhaltet einen anderen Gesichtspunkt.Jeder nicht-kontinuierliche Text kann sowohl nach der Struktur als auch nach dem Format klassifiziert werden.Formulare etwa bilden eine bestimmte Formatkategorie. Jedes Formular hat aber außerdem eine Struktur. Im allge-meinen handelt es sich um eine kombinierte Liste, in der eine Liste von Rubriken mit einer Liste von Leerstellenverbunden ist, in die den Rubriken zugehörige Informationen eingetragen werden. Ein Fahrplan (für Busse, Bahnenoder Flugverbindungen) weist ein Tabellenformat auf, das oft die Struktur einer Matrixliste oder einer ver-schachtelten Liste hat. Es ist wichtig, das Format zu erkennen, weil Texte mit gleicher Struktur ganz unterschiedlichdargestellt werden können. Inhaltsverzeichnisse von Büchern und Formulare etwa sind normalerweise kombinierteListen. Ein Formular besteht, wie oben beschrieben, aus einer Liste mit Rubriken und einer Liste mit Leerstellen.In einem Inhaltsverzeichnis werden eine Liste mit den Kapitelüberschriften und eine Liste mit den Seitenzahlen derjeweiligen Kapitelanfänge genauso kombiniert wie in einem Formular die Rubriken und die Leerstellen. Niemandaber würde ein Formular mit einem Inhaltsverzeichnis verwechseln.

1. Formulare sind strukturierte und formatierte Texte, in denen Leser spezifische Fragen auf spezifische Weisebeantworten sollen. Viele Organisationen verwenden Formulare, um Daten zu erheben. Oft enthalten siestrukturierte oder vorkodierte Antwortformate. Typische Beispiele sind Steuererklärungen,Einwanderungsanträge, Visaanträge, Bewerbungsbögen, statistische Fragebögen usw.

2. Informationsblätter dienen im Gegensatz zu Formularen eher der Weitergabe als der Erhebung vonInformationen. Sie fassen Informationen strukturiert und formatiert zusammen, so dass der Leser bestimmteEinzelinformationen einfach und schnell finden kann. Informationsblätter können verschiedene Textformenenthalten, auch in Kombination mit Listen, Tabellen, Abbildungen und graphisch besonders aufbereitetenTextteilen (Überschriften, Schrifttypen, Einrückungen, Rahmen usw.), durch die die Informationen für dasAuge zusammengefasst und hervorgehoben werden. Fahrpläne, Preislisten, Kataloge und Programme sindBeispiele für diese Form von Dokumenten.

3. Gutscheine dienen dem Nachweis, dass ihr Besitzer Anspruch auf bestimmte Dienstleistungen hat. Aus denInformationen, die sie enthalten, muß außerdem hervorgehen, ob der Gutschein noch gültig ist oder nicht.Typische Beispiele sind Fahrscheine, Rechnungen usw.

4. Bescheinigungen sind schriftliche Bestätigungen über die Gültigkeit einer Vereinbarung oder eines Vertrags.Bei ihnen ist eher der Inhalt als das Format formalisiert. Im allgemeinen müssen sie von einer oder mehrerenautorisierten und kompetenten Personen unterschrieben sein, die den Wahrheitsgehalt der Angaben bezeu-gen können. Garantien, Schulzeugnisse, Diplome, Verträge usw. sind Dokumente, die diese Eigenschaftenaufweisen.

5. Aufrufe und Anzeigen sind Dokumente, mit denen der Leser aufgefordert wird, etwas zu tun, beispielsweiseGüter oder Dienstleistungen zu kaufen, Versammlungen oder Treffen zu besuchen, eine bestimmte Personfür ein öffentliches Amt zu wählen usw. Der Zweck dieser Dokumente ist, die Leser von etwas zu überzeu-gen. Sie bieten etwas an und fordern sowohl Aufmerksamkeit als auch Handlungen. Anzeigen, Einladungen,Aufrufe, Warnungen und Bekanntmachungen sind Beispiele für dieses Format.

6. Schaubilder und grafische Darstellungen sind bildliche Darstellungen von Daten. Sie werden im Rahmen wis-senschaftlicher Argumentation sowie in Zeitungen und Zeitschriften verwendet, um Informationen, die inZahlen- und Tabellenform vorliegen, optisch gut fassbar zu vermitteln.

7. Diagramme kommen oft in technischen Beschreibungen vor (beispielsweise zur Beschreibung der Teile einesHaushaltsgeräts) sowie in darlegenden Texten und Anleitungen (beispielsweise als Anleitung für dasZusammensetzen des Haushaltsgeräts). Es ist häufig sinnvoll, verfahrensorientierte Diagramme (wie etwasgemacht wird) von prozessorientierten Diagrammen (wie etwas funktioniert) zu unterscheiden.

8. Tabellen und Matrizen. Tabellen sind Matrizen, die aus Reihen und Spalten bestehen. In der Regel haben alleEinträge in einer Spalte und in einer Reihe jeweils gemeinsame Eigenschaften, so dass die Bezeichnungenvon Spalten und Reihen Teil der Informationsstruktur des Textes sind. Häufig vorkommende Tabellen sindetwa Fahrpläne, Tabellenkalkulationen, Auftragsformulare und Inhaltsverzeichnisse bzw. Indizes.

9. Listen stellen die einfachste Form nicht-kontinuierlicher Texte dar. Sie bestehen aus einer Reihe vonEinträgen mit mindestens einer gemeinsamen Eigenschaft, die als Bezeichnung oder Titel für die Liste ver-wendet werden kann. Die Listeneinträge können geordnet (etwa die alphabetisch geordneten Namen derSchülerinnen und Schüler einer Klasse) oder ungeordnet (etwa eine Einkaufsliste) sein.



33

10. Karten sind nicht-kontinuierliche Texte, die die geographischen Beziehungen von Orten zeigen. Es gibt eineVielzahl von Kartentypen. Straßenkarten geben Entfernungen und Streckenverläufe zwischen bestimmtenOrten an. Thematische Karten stellen die Beziehungen zwischen Orten und sozialen oder physischenEigenschaften dar.

Test-Rubriken und Aufgabenmerkmale

Die Test-Rubriken bestehen aus drei Merkmalstypen: Fragen oder Anweisungen, die die Aufgabenstellung fürdie Schülerinnen und Schülerenthalten; Antwortformate, die vorgeben, wie die Schülerinnen und Schüler ihreFähigkeiten bei dieser Aufgabe nachweisen sollen; und Auswertungsrichtlinien, die festlegen, wie die Antworten derSchülerinnen und Schüler zu bewerten sind. Alle drei Aspekte sollen hier im Einzelnen behandelt werden, wobeidem ersten erheblich mehr Aufmerksamkeit zu widmen ist als den anderen beiden.

Fragen und Anweisungen

Die den Schülern gestellten Aufgaben können aus einer Makroperspektive und aus einer Mikroperspektivebetrachtet werden. Auf der Makroebene lassen sich die Aufgaben anhand von fünf allgemeinen Aspekten des Lesensbestimmen. Auf der Mikroebene wurden mehrere Variablen identifiziert, die den Schwierigkeitsgrad der Aufgabenbeeinflussen.

• Makroaspekte

Da davon ausgegangen wird, dass die Mehrheit der 15-Jährigen in den Teilnehmerländern die zur Dekodierungvon Texten erforderlichen Grundfähigkeiten beherrscht, muß auf diese nicht näher eingegangen werden. ImRahmen von PISA werden deshalb vor allem komplexere Lesestrategien erfasst (Dole et al., 1991; Paris, Wasik undTurner, 1991).

Um authentische Lesesituationen zu schaffen, werden die folgenden fünf Aspekte gemessen, die zu einemumfassenden Verständnis von kontinuierlichen und diskontinuierlichen Texten gehören. Die Schülerinnen undSchüler sollen ihre Fähigkeiten in all diesen Aspekten nachweisen:

– Allgemeines Textverständnis

– Informationen heraussuchen

– Textinterpretation

– über den Inhalt eines Textes reflektieren und

– über die Form eines Textes reflektieren

Für das vollständige Verständnis eines Textes sind all diese Aspekte wichtig. Es wird erwartet, dass alle Leserunabhängig von ihrer allgemeinen Lesekompetenz in allen genannten Aspekten ein bestimmtes Maß an Kompetenzaufweisen (Langer, 1995). Obwohl natürlich alle fünf Aspekte zusammenwirken – für jeden von ihnen dürften vieleder gleichen grundlegenden Fähigkeiten erforderlich sein –, ist die erfolgreiche Bewältigung eines Aspekts nichtunbedingt von der erfolgreichen Bewältigung eines anderen abhängig. Manche Ansätze gehen davon aus, dass dieAspekte Bestandteil des Repertoires jedes Lesers auf jeder Entwicklungsstufe sind und weder eine hierarchischeAbfolge noch einen festen Komplex von Fähigkeiten bilden. Diese Annahme wird man jedoch untersuchen müssen,sobald die Items entwickelt wurden und Daten aus den Feldtests vorliegen.

Die fünf Aspekte des Lesens werden über eine Reihe von Fragen und Anweisungen operationalisiert, die denan OECD/PISA beteiligten Schülern vorgelegt werden. Mit ihren Antworten auf diese Fragen und Anweisungensollen die Schülerinnen und Schüler nachweisen, dass sie in der Lage sind, verschiedene kontinuierliche und diskon-tinuierliche Texte zu verstehen, zu benutzen und über sie zu reflektieren.

Abbildung 1 zeigt die wichtigsten Unterscheidungsmerkmale der fünf Aspekte des Lesens, die in der Regel vonOECD/PISA gemessen werden. Auch in dieser notwendigerweise stark vereinfachten Form dürfte die schematischeDarstellung nützlich sein, um sich die zwischen den Aspekten bestehenden Beziehungen zu vergegenwärtigen.

Anhang A59

34


Abbildung 1. Unterscheidungsmerkmale der fünf Aspekte des Lesens

Die fünf Aspekte können anhand der folgenden vier Merkmale voneinander unterschieden werden:

– Erstens, inwieweit der Leser Informationen primär dem Text entnehmen oder auf externes Wissen zurück-greifen soll;

– zweitens, inwieweit der Leser den Text als Ganzes betrachten oder sich auf bestimmte im Text enthalteneInformationen konzentrieren soll;

– drittens, ob der Leser spezifische bzw. voneinander unabhängige Informationen finden oder sein Verständnisfür die Beziehungen zwischen einzelnen Teilen des Textes nachweisen soll, ob er sich also auf isolierteTextelemente oder auf Verbindungen zwischen Textteilen konzentrieren soll;

– viertens, ob sich der Leser mit dem Inhalt bzw. der Substanz eines Textes oder mit seiner Form bzw. Strukturbefassen soll.

Die fünf Aspekte des Lesens werden in Abbildung 1 in der letzten Zeile am Ende der jeweiligen Verzweigungenangegeben. Folgt man den Verzweigungen von oben nach unten, kann man sehen, welche Merkmale zu den einzel-nen Aspekten gehören.

Während Abbildung 1 Inhalt und Komplexität der Aspekte von Textverständnis notwendigerweise vereinfacht,soll hier ein erster Versuch unternommen werden, diese Aspekte operational zu definieren und mit bestimmtenTypen von Fragen und Anweisungen zu verbinden. Zu beachten ist, dass jeder Aspekt, der hier nur im Hinblick aufdas Lesen eines einzigen Textes erläutert wird, auch für mehrere Texte gilt, wenn diese eine Einheit bilden5. DieBeschreibung jedes Aspekts hat zwei Teile. Im ersten Teil wird ein allgemeiner Überblick über den Aspekt gegeben,während im zweiten beschrieben wird, auf welche Weise er erfasst werden könnte.

5 Die einzelnen Aspekte sollen anhand exemplarischer Items erläutert werden. Ihre Aufnahme in dieses öffentliche Dokument würde jedoch die Testsicherheitgefährden. Beispiele, mit denen die Beschreibung einzelner Aspekte illustriert werden kann, sollen veröffentlicht werden, nachdem die Daten aus den Feldtests erhoben und analysiert wurden und die endgültige Itemauswahl getroffen wurde.

Primär textinterne Informationen nutzen

Leseverständnis

Text als Ganzesbetrachten

Sich auf bestimmte Textteile

konzentrieren

UnabhängigeEinzel-

informationen

Beziehungen verstehen

AllgemeinesVerständnis

Informationenermitteln

EineInterpretation

entwickeln

Über denInhalt des

Textes reflektieren

Über die Form des

Textes reflektieren

Externes Wissen heranziehen

Inhalt Struktur



35

a) Allgemeines Textverständnis

Häufig wollen Leser erst einmal ein allgemeines Verständnis eines Textes entwickeln, ehe sie beschließen, ihngenauer zu lesen. Bei diesem ersten Durchlesen können erfahrene Leser bestimmen, ob der kontinuierliche odernicht-kontinuierliche Text ihren Zielen entspricht.

Um ein allgemeines Verständnis des Textes zu entwickeln, muss der Leser ihn als Ganzes bzw. unter relativ all-gemeinen Gesichtspunkten betrachten. Dieser Vorgang ähnelt der ersten Begegnung mit einer Person oder einemOrt, da der Leser aufgrund seiner ersten Eindrücke Hypothesen oder Vorhersagen über die Inhalte des Textesentwickelt. Diese Eindrücke sind zwar sehr allgemein, aber dennoch sehr wichtig, wenn es darum geht, den rele-vantesten und interessantesten Lesestoff auszuwählen.

Da die Aufgaben, bei denen es auf ein allgemeines Verständnis ankommt, sich nur auf den Text selbst beziehen,ähneln sie den Aufgaben, bei denen die Leser Informationen heraussuchen oder eine immanente Textinterpretationentwickeln sollen. Im Gegensatz zu diesen Aufgaben müssen Leser bei der Entwicklung eines allgemeinenVerständnisses jedoch das Wesentliche des Textes als Ganzes erfassen – sie müssen erklären können, wovon der Texthandelt, sie müssen das behandelte Thema erkennen usw. Dabei sind verschiedene Komponenten wichtig, etwa denGrundgedanken oder das Thema zu bestimmen und – bei einem nicht-kontinuierlichen Text – zu erkennen, wozuder Text im Allgemeinen verwendet wird.

In verschiedenen Aufgaben sollen die Schülerinnen und Schülerein umfassendes allgemeines Verständnisentwickeln. Dieses erste Verständnis können sie nachweisen, indem sie das Hauptthema oder die zentrale Aussagebzw. den allgemeinen Zweck oder Nutzen des Textes benennen. Beispiele hierfür sind Aufgaben, in denen die Leseraufgefordert werden, einen auf den Text zutreffenden Titel oder eine These auszuwählen bzw. zu formulieren, dieReihenfolge einfacher Anweisungen zu erklären oder die wichtigsten Dimensionen einer Grafik oder Tabelle zu bes-timmen. In anderen Aufgaben dieser Art müssen die Schülerinnen und Schüler die Hauptperson, das Umfeld oderdas Milieu einer Geschichte beschreiben, ein Thema oder eine Aussage in einem literarischen Text identifizieren, denZweck oder den Nutzen einer Karte oder einer Abbildung erklären, das Hauptthema oder die Adressaten einerE-Mail-Nachricht bestimmen, herausfinden, welche Art Buch bestimmte Texttypen enthalten könnte, oder den all-gemeinen Zweck einer Homepage im Internet erfassen.

In einigen Aufgaben, bei denen es um ein allgemeines Verständnis geht, kann es nötig sein, einen Teil des Texteszu finden, der zu der Frage passt. Dies ist beispielsweise der Fall, wenn ein Thema oder ein zentraler Gedanke imText explizit formuliert ist. Bei anderen Aufgaben müssen sich die Schülerinnen und Schüler unter Umständen mitmehr als nur einem spezifischen Bezug im Text befassen – beispielsweise wenn sie das Thema des Textes aus demwiederholten Auftauchen einer bestimmten Kategorie von Informationen ableiten müssen. Die Aufgabe, denHauptgedanken zu finden, impliziert, dass eine Hierarchie der im Text enthaltenen Gedanken aufgestellt undentschieden werden muss, welche Gedanken die allgemeinen und übergreifenden sind. An einer solchen Aufgabe istabzulesen, ob ein Schüler oder eine Schülerin zwischen zentralen Ideen und weniger wichtigen Details unterschei-den kann bzw. ob er in der Lage ist, die Zusammenfassung des Hauptthemas in einem Satz oder Titel zu erkennen.

b) Informationen heraussuchen

Im täglichen Leben benötigen Leser oft eine ganz bestimmte Information. Beispielsweise müssen sie eineTelefonnummer heraussuchen, die Abfahrtszeit eines Busses oder Zugs überprüfen, einen bestimmten Sachverhaltoder Ähnliches ermitteln, der für oder gegen eine Behauptung spricht, die jemand aufgestellt hat. In Situationen wiediesen wollen die Leser eine einzelne Information herausfinden. Dazu müssen sie den Text überfliegen und durch-suchen und die relevante Information lokalisieren und auswählen. Die mit diesem Aspekt des Lesens verbundeneVerarbeitung erfolgt häufig auf der Satzebene, obwohl die Information in einigen Fällen auch auf zwei oder mehrSätze oder Absätze verteilt sein kann.

Erfolgreiches Ermitteln von Informationen erfordert ein unmittelbares Verständnis. Um die benötigteInformation zu finden, muss der Leser unter Umständen mehr als eine Information verarbeiten. Wenn der Leserbeispielsweise feststellen will, welches der späteste Bus ist, mit dem er sein Ziel noch rechtzeitig erreichen kann, kanner anhand eines Busfahrplans die Ankunfts- und Abfahrtszeiten der verschiedenen Busse vergleichen, die die Streckebefahren. Dazu wird er natürlich mehr als nur eine Information suchen.

In Aufgaben, bei denen es um das Heraussuchen von Informationen geht, müssen die Schülerinnen undSchüler die mit der Frage gegebenen Informationen mit wörtlichen oder synonymen Informationen im Text zusam-menführen, um auf diese Weise die verlangte neue Information zu ermitteln. Hierbei beschränkt sich die

Anhang A61

36


Informationssuche auf den Text selber und auf die in ihm enthaltenen expliziten Informationen. Die Schülerinnenund Schüler müssen die Information entsprechend der in den Fragen oder Anweisungen genannten Spezifikationenfinden. Sie müssen die wesentlichen Elemente einer Aussage herausfinden oder identifizieren (z.B. Personen, Ort /Zeit, Kontext) und dann nach einer Entsprechung im Text suchen, die wörtlich oder synonym sein kann.

Geht es um das Finden von Informationen, müssen die Schülerinnen und Schüler unter Umständen auch mitMehrdeutigkeiten fertig werden. In einigen Aufgaben sollen sie explizite Informationen suchen, etwa eine Zeit- oderOrtsangabe in einem Text oder einer Tabelle. Eine schwierige Version dieses Aufgabentyps wäre beispielsweise dieSuche nach synonymen Informationen. Hierzu muss unter Umständen eine Kategorisierung vorgenommen oderzwischen zwei ähnlichen Informationen unterschieden werden. Durch systematische Variation der Elemente, vondenen der Schwierigkeitsgrad dieser Prozesse abhängt, können unterschiedliche Leistungsniveaus innerhalb diesesAspekts des Textverständnisses gemessen werden.

c) Textinterpretation

Um eine Interpretation zu entwickeln, müssen Leser ihre ersten Eindrücke erweitern und ein genaueres oderumfassenderes Verständnis des Gelesenen erreichen. Dazu müssen sie den Text durchgehen und Informationen aus ver-schiedenen Textteilen miteinander verbinden sowie sich mit bestimmten Details als Bestandteile des Ganzen befassen.

Für Aufgaben dieser Kategorie ist logisches Verständnis erforderlich: Die Leser müssen die Anordnung derInformationen im Text verarbeiten, und hierzu ist es nötig die Interaktion zwischen lokalen und globalenZusammenhängen zu verstehen. In manchen Fällen braucht der Leser, um eine Interpretation zu entwickeln, nurzwei aufeinander folgende Sätze im Rahmen ihres lokalen Zusammenhangs zu verarbeiten, was ihm möglicherweisesogar durch explizite Kennzeichnungen dieses Zusammenhangs erleichtert wird. In schwierigeren Fällen (z.B.Bestimmung von Ursache und Wirkung) sind unter Umständen keine solchen Kennzeichnungen vorhanden.

Ein Text enthält mehr Informationen als diejenigen, die explizit formuliert sind. Daher ist das Ziehen vonSchlussfolgerungen ein wichtiger mentaler Prozess, der im Textverständnis viele verschiedene Funktionen hat.Schlussfolgerungen nutzen Informationen und Gedanken, die während des Lesens aktiviert werden, aber im Textnicht explizit formuliert sind. Sie werden (mehr oder weniger) von der Weltkenntnis des Lesers bestimmt. Manchedieser Schlussfolgerungen werden als notwendig für das Verständnis betrachtet und im Zusammenhang mit derVerarbeitung der sprachlichen Mittel (beispielsweise Verweisketten) gesehen. Sie spielen eine wichtige Rolle für dieKohärenz der beim Lesen entwickelten Interpretation. Mit anderen Schlussfolgerungen werden auf der Grundlageder in dem Text enthaltenen Daten und der Kenntnisse des Lesers neue Informationen erzeugt.

Zur Erfassung dieses Aspekts können z. B. Aufgaben verwendet werden, die Vergleiche undGegenüberstellungen von Informationen, das Ziehen von Schlussfolgerungen sowie das Identifizieren und Auflistenvon Belegen erfordern. In Aufgaben, bei denen es um „Vergleich und Gegenüberstellung“ geht, müssen dieSchülerinnen und Schüler zwei oder mehr Informationen aus dem Text in Zusammenhang setzen. Um in solchenAufgaben explizite oder implizite Informationen aus einer oder mehreren Quellen angemessen zu bearbeiten, mussder Leser oft die beabsichtigte Verbindung oder Kategorie schlussfolgern.

Ein anderes Beispiel für Messungen dieses Aspekts des Textverständnisses sind Aufgaben, in denen dieSchülerinnen und Schüler Schlussfolgerungen über die Absichten des Verfassers ziehen und Belege für dieseSchlussfolgerungen angeben sollen.

Weitere Beispiele für charakteristische Fragen zu diesem Aspekt sind das Erschließen der Bedeutung aus demKontext, die Ermittlung der Motive oder Absichten einer bestimmten Person und die Bestimmung von Ursache undWirkung.

d) Über den Inhalt eines Textes reflektieren

Um über den Inhalt eines Textes zu reflektieren, müssen die Leser die in einem Text enthaltenen Informationenmit Kenntnissen aus anderen Quellen verknüpfen. Sie müssen außerdem Behauptungen, die im Text aufgestellt wer-den, mit dem eigenen Weltwissen vergleichen. In vielen Situationen müssen Leser ihren eigenen Standpunktbegründen und vertreten können. Dazu müssen sie in der Lage sein, Aussagen und Intentionen eines Textes zu ver-stehen und diese mentale Repräsentation mit dem zu vergleichen, was sie aufgrund ihres Vorwissens oder aufgrundvon Informationen aus anderen Texten wissen bzw. annehmen. Sie müssen sich auf Belege im Text beziehen unddiese mit Informationen aus anderen Quellen vergleichen. Dabei müssen sie allgemeines und spezifisches Wissenanwenden und in der Lage sein, abstrakt zu denken.



37

Dieser Aspekt des Leseverständnisses erfordert ein hohes Maß an metakognitiven Fähigkeiten. Die Lesermüssen ihr eigenes Denken und ihre Reaktionen auf einen Text überwachen, während sie potentielle mentaleModelle testen. Um den Anforderungen dieses Aufgabentyps gerecht zu werden, müssen relevante Informationenabgerufen und in einen kohärenten Zusammenhang gebracht werden können.

In Aufgaben, die Kategorien des Verarbeitens von Texten erfassen, sollten zum Beispiel textexterne Belege oderArgumente angeführt, einzelne Informationen oder Belege auf ihre Relevanz geprüft oder Vergleiche mit morali-schen oder ästhetischen Regeln (Normen) angestellt werden. Unter Umständen müssen die Schülerinnen undSchüler auch weitere Informationen einbringen oder identifizieren, die das Argument des Verfassers stützen, odereinschätzen, ob die im Text enthaltenen Belege oder Informationen ausreichend sind.

Das externe Wissen, mit dem Textinformationen verknüpft werden müssen, kann aus dem Wissensbestand derSchülerinnen und Schüler stammen, aus anderen Texten, die ebenfalls im Test enthalten sind, oder aus Überle-gungen bzw. Ideen, die in den Fragen explizit formuliert werden.

e) Über die Form eines Textes reflektieren

In Aufgaben dieser Kategorie müssen die Leser sich vom Text lösen, ihn objektiv betrachten und seineBeschaffenheit und Angemessenheit beurteilen. Dazu müssen sie in der Lage sein, Textmerkmale wie Ironie, Humorund logischen Aufbau kritisch zu bewerten und in ihren Auswirkungen zu verstehen. Dieser Aspekt beinhaltet auchdie Fähigkeit, Voreingenommenheiten aufzuspüren und Versuche zu erkennen, den Leser auf subtile Weise vonetwas zu überzeugen.

Hierbei ist entscheidend, dass die Bedeutung von Textstruktur, Gattung und Stilebene/Sprachebene bekanntist. Die Kenntnis dieser zum Handwerkszeug eines Autors gehörenden Textmerkmale bestimmt in hohem Maße dasVerständnis der Standards, die in Aufgaben dieser Art angesprochen werden. Um zu bewerten, wie gut ein Verfassereine bestimmte Eigenschaft darzustellen oder jemanden zu überzeugen vermag, müssen Leser nicht nur überinhaltliches Wissen, sondern auch über die Fähigkeit verfügen, sprachliche Nuancen zu erkennen - beispielsweise zuverstehen, wie die Wahl eines bestimmten Adjektivs die Interpretation beeinflusst. Für einen solchen, in die Tiefegehenden Leseprozess ist es erforderlich, dass der Leser imstande ist, logisch zu denken und kritisch zu analysieren,zu erklären, ob der Verfasser einen bestimmten Sinn angemessen darstellt, Fakten von Meinungen zu unterscheiden,usw. Darüber hinaus muss der Leser die wichtigen Texteinheiten auswählen, sekundäre Elemente integrieren undeine Position begründen.

Typische Testaufgaben, in denen über die Form eines Textes reflektiert werden muss, verlangen Beurteilungender Brauchbarkeit eines Textes für einen angegebenen Zweck sowie der Art und Weise, wie der Autor bestimmteTextmerkmale einsetzt, um diesen Zweck zu erreichen. In anderen Fragen sollen Schülerinnen und Schülerbeschreiben oder kommentieren, wie der Autor einen bestimmten Stil einsetzt und welche Absichten undEinstellungen er hat.

• Mikroaspekte

Bei der praktischen Umsetzung der fünf Aspekte, in denen die Schülerinnen und Schüler ihre Kompetenznachweisen sollen, können drei Prozessvariablen berücksichtigt werden, die den Untersuchungen zum Lesen undzur Lesefähigkeit im Rahmen anderer internationaler Vergleichsstudien (IEA/RLS und IALS) zu entnehmen sind.Diese Variablen sind: die Art der zu ermittelnden Informationen, die Art der Entsprechung zwischen gegebenen undzu ermittelnden Informationen und die Plausibilität von ablenkenden Informationen (Distraktoren). In den fol-genden Abschnitten werden die allgemeinen Merkmale dieser drei Variablen erläutert und Überlegungen dazuangestellt, in welchem Format die entsprechenden Fragen beantwortet und wie die Antworten kodiert werdensollen.

a) Art der zu ermittelnden Information

Damit ist die Art der Information gemeint, die die Schülerinnen und Schüler zur erfolgreichen Beantwortungeiner Testfrage ermitteln müssen. Je konkreter die zu ermittelnde Information ist, desto einfacher ist die Aufgabe.In früheren Untersuchungen, denen umfangreiche Erhebungen der Lesekompetenz von Erwachsenen und Kindernzugrunde lagen (Kirsch, 1995, Kirsch und Mosenthal, 1994; Kirsch, Jungeblut und Mosenthal, 1998), wurde dieVariable Informationstyp auf einer Fünf-Punkte-Skala abgebildet. Dabei entsprach der Wert 1 den konkretesten unddaher am einfachsten zu verarbeitenden Informationen und der Wert 5 den abstraktesten Informationen, die aucham schwierigsten zu verarbeiten waren. Fragen, bei denen die Schülerinnen und Schüler eine Person, ein Tier oder

Anhang A63

38


eine Sache (also vorstellbare Substantive) identifizieren sollten, galten beispielsweise als einfach, weil zu ihrerBearbeitung nur ganz konkrete Informationen ermittelt werden mussten. Daher erhielten sie den Skalenwert 1.Fragen, bei denen die Testpersonen Zielsetzungen, Bedingungen oder Absichten ermitteln mußten, galten alsschwieriger, weil diese Art von Informationen abstrakter sind. Diese Fragen erhielten den Skalenwert 3. Fragen, beidenen die Schülerinnen und Schüler ein „Äquivalent“ finden mußten, galten als die abstraktesten; sie erhielten denSkalenwert 5. Das Äquivalent war in diesen Fällen meist ein Ausdruck oder eine Wendung, die wenig geläufig warund deren Definitionen oder Interpretationen durch Schlußfolgerung aus dem Text abgeleitet werden musste.

b) Art der Entsprechung

Damit ist die Art und Weise gemeint, wie Schülerinnen und Schüler mit dem jeweiligen Text arbeiten müssen,um eine Frage richtig zu beantworten. Dazu gehören auch die Prozesse, mit denen die in der Frage enthaltenenInformationen (die gegebenen Informationen) mit den nötigen Informationen aus dem Text (den neuenInformationen) verknüpft werden, sowie die Prozesse, die erforderlich sind, um die richtige Antwort aus denvorhandenen Informationen herauszusuchen oder zu konstruieren.

Vier Arten von Strategien zur Ermittlung von Entsprechungen wurden identifiziert: einfaches Finden (loca-ting), zyklisches Finden (cycling), Integrieren (integrating) und Generieren (generating). In Aufgaben mit einfachemFinden müssen die Schülerinnen und Schüler zu in der Frage enthaltenen Informationen die gleichlautende odersynonyme Informationen im Text finden. Beim zyklischen Erschließen müssen ebenfalls eine oder mehrereEntsprechungen zu bestimmten Informationen gefunden werden, aber anders als beim einfachen Finden müssen dieSchülerinnen und Schüler hier eine Reihe von Merkmalsabgleichungen durchführen, um die in der Frage for-mulierten Bedingungen zu erfüllen. Beim Integrieren müssen zwei oder mehr Informationen aus dem Text in einebestimmte Art von Beziehung zueinander gebracht werden. Zur Herstellung dieser Beziehung kann es zum Beispielnötig sein, Ähnlichkeiten (durch Vergleiche) oder Unterschiede (durch Gegensatzbildung) zu identifizieren, einVerhältnis (kleiner oder größer) zu ermitteln oder eine Ursache-Wirkung-Beziehung zu bestimmen. Dieentsprechenden Informationen können in einem einzigen Absatz des Textes stehen oder auf mehrere Absätze oderAbschnitte verteilt sein. Beim Integrieren müssen zunächst diejenigen Informationen im Text gefunden werden, dieden in der Frage angegebenen Kategorien entsprechen. Anschließend muss dann zwischen diesen den Kategorienzugeordneten Textinformationen eine Beziehung hergestellt werden, die dem in der Frage spezifizierten Typ vonBeziehung entspricht. In bestimmten Fällen müssen die Schülerinnen und Schüler die Kategorien und/oderBeziehungen jedoch erst selber bilden, ehe sie die im Text enthaltenen Informationen integrieren können. Diesentspricht der vierten Strategie zur Ermittlung von Entsprechungen, dem Generieren.

Die Art der Entsprechung von Frage und Text bestimmt also die Strategie, die die Schülerinnen und Schüleranwenden müssen. Darüber hinaus ist der Bearbeitungsprozess aber auch noch von mehreren anderen Bedingungenabhängig, die zur Gesamtschwierigkeit der Aufgabe beitragen. Die erste ist die Zahl der Sätze, die bei der Suchebearbeitet werden müssen. Die Schwierigkeit der Aufgabe nimmt mit der Menge der Informationen zu, die in derFrage enthalten sind, von der die Suche ausgeht. Fragen zum Beispiel, die aus nur einem Hauptsatz bestehen, sindin der Regel einfacher als Fragen, die aus mehreren Haupt- oder Nebensätzen bestehen. Die Schwierigkeit nimmtaußerdem mit der Anzahl der Antworten zu, die die Schülerinnen und Schüler geben müssen. Fragen, für die eineeinzige Antwort genügt, sind leichter als Fragen, die drei oder mehr Antworten erfordern. Darüber hinaus sindFragen, die die Zahl der erforderlichen Antworten genau angeben, meist einfacher als Fragen, die dieseSpezifizierung nicht enthalten. Die Frage: „Welche drei Gründe gibt es ...“, ist zum Beispiel einfacher zu beant-worten als die Frage: „Welche Gründe gibt es ...“. Die Schwierigkeit der Aufgaben wird außerdem dadurch beein-flusst, inwieweit die Schülerinnen und Schüler Schlussfolgerungen ziehen müssen, um die in der Frage enthaltenenInformationen den entsprechenden Informationen im Text zuzuordnen und um die zu ermittelnde Information zubestimmen.

c) Plausibilität der ablenkenden Informationen (Distraktoren)

Hier geht es darum, in welchem Ausmaß die Informationen im Text Gemeinsamkeiten mit der Informationaufweisen, die zur Bearbeitung einer Frage ermittelt werden muss, ihr aber nicht voll entsprechen. Aufgaben ohneablenkende Informationen im Text gelten als die einfachsten. Ihre Schwierigkeit steigt mit zunehmender Anzahl derDistraktoren, mit zunehmender Anzahl der Merkmale, die die ablenkenden Informationen mit der richtigenAntwort gemeinsam haben, und mit zunehmender Nähe zwischen den Distraktoren und der richtigen Antwort imText. Beispielsweise werden Aufgaben in der Regel als relativ schwierig bewertet, wenn es einen oder mehrereDistraktoren gibt, die einige, aber nicht alle der in der Frage festgelegten Bedingungen erfüllen und in einem



39

anderen Absatz oder Abschnitt des Textes stehen als in dem, der die richtige Antwort enthält. Als die schwierigstenAufgaben gelten solche, bei denen es zwei oder mehr Distraktoren gibt, die in den meisten ihrer Merkmale mit derrichtigen Antwort übereinstimmen und im selben Absatz oder Informationsknoten auftauchen wie die richtigeAntwort.

d) Antwortformate

Zur Messung des Lesekompetenz sind Fragen in der Vergangenheit sowohl mit Multiple-Choice-Antwortenwie auch Fragen mit frei formulierten Antworten (constructed-response questions) benutzt worden. DieTestliteratur liefert jedoch nur wenig Anhaltspunkte dafür, welche Formate zur Messung bestimmter Strategien oderProzesse am besten geeignet sind. So stellte Bennett (1993) fest: „Obwohl kognitive Psychologen diese Annahmestark vertreten, hat die empirische Forschung nicht eindeutig nachweisen können, dass Aufgaben mit frei zu for-mulierenden Antworten grundsätzlich andere Fähigkeiten messen als Multiple-Choice-Fragen“ (S. 8). So kommtTraub in seinem Überblick der Forschung zu den Unterschieden zwischen beiden Antwortformaten beiLeseverständnistests zu dem Schluss, dass es keine Anzeichen für einen deutlichen Formateffekt gibt (Traub, 1993).

Allerdings gibt es zu Formateffekten auch nur wenig empirische Literatur. Traubs Überblick nennt nur zweiUntersuchungen – eine mit College-Studenten und eine mit Schülern der 3. Klasse. Dabei wurden in derUntersuchung mit den College-Studenten (Ward, Dupree und Carlson, 1987) tatsächlich komplexere Aspekte derLesekompetenz gemessen. Frederickson stellt in seiner Ansprache als Präsident der American PsychologicalAssociation (1984) jedoch fest, dass die eigentliche Verzerrung bei Tests auf die Einschränkungen zurückzuführenist, die die alleinige Verwendung von Multiple-Choice-Items mit sich bringt. Darüber hinaus sind möglicherweisedie Schülerinnen und Schüler in einigen OECD-Ländern mit dem Format von standardisierten Multiple-Choice-Items nicht vertraut. Die Aufnahme verschiedenartiger offener Items dürfte daher eine ausgewogenere Auswahl vonAufgabentypen gewährleisten, die Schülern auf der ganzen Welt aus dem Unterricht bekannt sind. DieseAusgewogenheit könnte auch dazu führen, dass die Konstrukte breiter gefasst werden.

Es gibt ein breites Spektrum von Aufgaben mit frei formulierten Antworten. Manche erfordern kaum subjek-tive Beurteilung durch die Kodierer. Dies gilt beispielsweise für Fragen, bei denen die Leser für ihre Antwort nurTeile des Textes oder bestimmte Wörter kennzeichnen müssen. Bei anderen ist ein erhebliches Maß an subjektiverBeurteilung durch die Kodierer notwendig, etwa wenn die Leser einen Text mit eigenen Worten zusammenfassensollen.

Da zur Frage des Methodeneffekts weder eindeutige Befunde noch überzeugende Ratschläge vonItementwicklern vorliegen, dürfte die beste Lösung für die Erfassung von Lesekompetenz aus einer Mischung vonMultiple-Choice-Items und Items mit frei formulierten Antworten bestehen.

e) Kodierung

Bei dichotomen (nur zwei Werte zulassenden) Multiple-Choice-Items ist die Kodierung relativ einfach; entwe-der hat der Schüler oder die Schülerin die richtige Antwort ausgewählt, oder er hat sie nicht ausgewählt. Sogenannte„partial credit models“, also Modelle, die abgestufte Punktwerte vorsehen, erlauben eine komplexere Kodierung vonMultiple-Choice-Items. Da manche falschen Antworten „richtiger“ sind als andere, werden bei diesem Modell fürdie Auswahl „fast richtiger“ Antworten Teilwerte der Höchstpunktzahl vergeben. Psychometrische Modelle fürsolche polytomen Kodierungen haben sich bewährt und sind in mancher Hinsicht den dichotomen Bewertungensogar vorzuziehen, da sie die in den Antworten enthaltenen Informationen besser nutzen. Die Interpretation poly-tomer Bewertungen ist jedoch komplexer, da hier jede Frage mehreren Positionen auf der Schwierigkeitsskala zuge-ordnet werden muss: einer Position für die vollständig richtige Antwort und jeweils einer anderen Position für teil-weise richtige Antworten.

Bei dichotomen Items mit frei formulierten Antworten ist die Kodierung ebenfalls relativ einfach, dieFestlegung der richtigen Antworten ist jedoch schwieriger. Je mehr die Schülerinnen und Schüler sich eigeneGedanken machen müssen, um eine Frage zu beantworten, desto größer werden die Unterschiede zwischen denrichtigen Antworten sein. Um die Vergleichbarkeit der Kodierungen innerhalb der Teilnehmerländer und über dieLänder hinweg zu gewährleisten, sind Kodierertraining und Kodiererkontrolle in erheblichem Umfang erforderlich.Hier ist ein Gleichgewicht zwischen Festlegung und Offenheit zu finden. Sind die Kodieranweisungen zu spezifisch,werden ungewöhnlich formulierte, aber richtige Antworten unter Umständen als falsch kodiert; sind sie zu offen,werden Reaktionen und Antworten, mit denen die Aufgabe nicht vollständig erfüllt wird, unter Umständen alsrichtig kodiert.

Anhang A65

40


Items mit frei formulierten Antworten sind für eine Kodierung mit abgestuften Punktwerten besonders gutgeeignet, wobei dadurch der Kodierprozess (und damit auch die Entwicklung von Kodieranweisungen) komplexerwird. Abgestufte Punktwerte ermöglichen auch eine differenzierte Bewertung von Aufgaben, bei denen ein be-stimmter Antworttyp ein komplexeres Verständnis des Textes anzeigt als ein anderer Antworttyp, obwohl beideAntworten „richtig“ sind. Zumindest für die komplexeren Items mit frei formulierten Antworten empfiehlt sichdaher die Verwendung von abgestuften Punktwerten.

Erhebungsstruktur

In diesem Abschnitt wird beschrieben, wie sich die Testaufgaben im Bereich Lesekompetenz auf die ver-schiedenen Situationen, Textformate, Aspekte und Itemtypen verteilen.

Es wäre nahe liegend, die Aufgaben gleichmäßig auf die vier Situationen zu verteilen (Tabelle 3); den berufs-bezogenen Situationen wurde jedoch aus zwei Gründen ein geringeres Gewicht gegeben: Erstens ist es wichtig, dieAbhängigkeit der Testleistungen, die mit berufsbezogenen Texten verknüpft sein kann, von berufsbezogenemSpezialwissen zu verringern. Zweitens wird davon ausgegangen, dass sich alle Typen von Fragen und Anweisungenauch in Verbindung mit anderen Situationen konstruieren lassen, zu denen 15-Jährige einen besseren inhaltlichenZugang haben.

Tabelle 3. Empfohlene Verteilung der Leseaufgaben auf die Situationen

Die Vielfalt der Texte, die die Schülerinnen und Schüler in der Regel von OECD/PISA lesen werden, ist einwichtiges Merkmal der Erhebung. Die Tabellen 4 und 5 zeigen die empfohlene Verteilung von kontinuierlichen undnicht-kontinuierlichen Texten. Wie man sieht, werden kontinuierliche Texte rund zwei Drittel der Testaufgaben aus-machen. Innerhalb dieser Kategorie werden darlegende Texte den größten Anteil beanspruchen (33 %) undanweisende Texte den kleinsten Anteil (7 %). Die übrigen Typen kontinuierlicher Texte werden mit je 20 %gleichmäßig verteilt sein. Ein Drittel der Texte für den Lesetest wird aus nicht-kontinuierlichen Texten bestehen.Diese werden ganz überwiegend (zu 66 %) aus Tabellen, Diagrammen und Grafiken bestehen. Die übrigen nicht-kontinuierlichen Texte sind Karten, Anzeigen und Formulare, die 15-jährige Schülerinnen und Schüler lesen undbenutzen können sollten. Es sei noch einmal daran erinnert, dass es sich bei diesen Prozentsätzen um Zielvorgabenfür den Haupttest handelt. Die Textauswahl für den Feldtest und später auch für den Haupttest wird nicht nur nachstrukturellen Merkmalen wie Format und Texttyp erfolgen. Berücksichtigt werden auch die kulturelle Vielfalt unddas Spektrum der Schwierigkeit der Texte, das potentielle Interesse, das die Schülerinnen und Schüler an den Textenhaben könnten, und die Authentizität der Texte.

Tabelle 4. Empfohlene Verteilung der Leseaufgaben auf Typen von kontinuierlichem Text

Situation % aller Aufgaben

Privat 28Bildungsbezogen 28Berufsbezogen 16Öffentlich 28

Insgesamt 100

Texttyp % der kontinuier- % des Testslichen Texte

Erzählung 20 13Darlegung 33 22Beschreibung 20 13Argumentation 20 13Anweisung 7 5

Insgesamt 100 66



41

Tabelle 6 zeigt die empfohlene Verteilung der Leseaufgaben auf die fünf oben definierten Aspekte des Lesens.Den größten Prozentsatz machen Aufgaben aus, in denen eine immanente Textinterpretation entwickelt werden soll.Insgesamt erfassen etwas mehr als zwei Drittel der Aufgaben (70 %) die ersten drei Aspekte. Bei jedem dieser dreiAspekte – allgemeines Verständnis entwickeln, Informationen heraussuchen und Interpretation entwickeln – gehtes darum, inwieweit der Leser die in erster Linie im Text enthaltenen Informationen verstehen und benutzen kann.Bei den restlichen Aufgaben (30 %) müssen die Schülerinnen und Schüler entweder über die im Text enthaltenenInhalte bzw. Informationen oder über Struktur und Form des Textes reflektieren. Tabelle 7 zeigt die Verteilung derAufgaben nach Textformat und Aspekt.

Tabelle 5. Empfohlene Verteilung der Leseaufgaben auf Typen von nicht-kontinuierlichem Text

Tabelle 6. Empfohlene Verteilung der Leseaufgaben auf die Aspekte des Lesens

Tabelle 7. Empfohlene Verteilung der Aufgaben nach Format und Aspekt

Texttyp % der nicht-konti- % des Testsnuierlichen Texte

Diagramme/Graphen 33 11Tabellen 33 11Schematische Zeichnungen 10 3Karten 10 3Formulare 8 3Anzeigen 6 2

Insgesamt 100 33

Aspekt % des Tests

Informationen heraussuchen 20Allgemeines Textverständnis 20Immanente Textinterpretation 30Über den Inhalt reflektieren 15Über die Form reflektieren 15

Insgesamt 100

Aspekt % des Tests % der kontinuier- % der nicht-konti-lichen Texte nuierlichen Texte

Informationen heraussuchen 20 13 7Allgemeines Textverständnis 20 13 7Immanente Textinterpretation 30 20 10Über den Inhalt reflektieren 15 10 5Über die Form reflektieren 15 10 5

Insgesamt 100 66 34

Anhang A67

42


Die Festlegung des genauen Anteils der Items mit frei formulierten Antworten wird sowohl auf praktischen alsauch auf konzeptuellen Überlegungen basieren. Tabelle 8 zeigt die vorgeschlagene Verteilung der Aufgaben mit freiformulierten Antworten sowie der Multiple-Choice-Aufgaben auf die fünf Aspekte des Lesens.

Tabelle 8. Empfohlene Verteilung der Aufgaben mit frei formulierten Antworten und mit Multiple-Choice-Antworten auf die fünf Aspekte des Lesens

Tabelle 8 zeigt, dass ungefähr 45 % des Lesetests aus Items mit frei formulierten Antworten bestehen werden,die den Kodierern ein subjektives Urteil abverlangen. Die übrigen 55 % sind Multiple-Choice-Items sowie solcheItems mit frei formulierten Antworten, bei denen die Kodierer nur in geringem Maße subjektiv urteilen müssen.Aus der Tabelle geht außerdem hervor, dass Multiple-Choice-Items und Items mit frei formulierten Antworten zwarfür alle fünf Aspekte eingesetzt werden, aber nicht gleichmäßig verteilt sind: Bei den ersten drei Aspekten derLesekompetenz ist der Anteil der Multiple-Choice-Items höher.

Skalenentwicklung

Eine wesentliche Voraussetzung dafür, dass OECD/PISA seinen Zweck erfüllen kann, ist die Entwicklung vonSkalen zur Beschreibung von Schülerleistungen. Die Entwicklung solcher Skalen ist ein iterativer Prozess, da dieersten Fassungen, die auf bereits vorliegenden Erfahrungen und Forschungen im Bereich des Lernens und der kog-nitiven Entwicklung in der Mathematik beruhen, auf der Grundlage der beim OECD-PISA-Feldtest gewonnenenempirischen Daten weiterentwickelt werden sollen.

Zwei der in der Rahmenkonzeption enthaltenen Organisationsaspekte werden als Grundlage für dieSkalenentwicklung erwogen: die Texttypen (kontinuierlich und nicht-kontinuierlich) und die Makroaspekte (einallgemeines Verständnis entwickeln, Informationen heraussuchen, eine immanente Textinterpretation entwickeln,über den Inhalt eines Textes reflektieren und über die Form eines Textes reflektieren). Dies bedeutet, dass es übereine Gesamtskala für Lesekompetenz hinaus entweder zwei oder fünf weitere Skalen geben wird.

Sonstiges

Außer der Frage, wie Lesekompetenz im Rahmen dieser Erhebung definiert und gemessen werden soll, müssenauch noch andere Aspekte der Erhebung angesprochen werden. Drei betreffen die Kontextfragebögen, die dieSchülerinnen und Schüler beantworten sollen, zwei weitere das Verhältnis zu anderen Leistungsstudien. DieseFragen werden in den folgenden Abschnitten behandelt.

Fragebögen

Manche Bereiche lassen sich besser mit Fragebögen erfassen als mit Leistungstests. Ein solcher Bereich ist dieErhebung von Daten zu den Lesepraktiken und -interessen, ein anderer betrifft bestimmte Aspekte derMetakognition und ein dritter hat mit der Rolle zu tun, die die Technologie im Leben der an OECD/PISA teil-nehmenden Schülerinnen und Schüler spielt.

Aspekt % des Tests % der Aufgaben % der Items mit % der Items mit frei formulier- frei formulierten mit Multiple-

ten Antworten Antworten Choice-Antworten

Informationen heraussuchen 20 35 7 13Allgemeines Textverständnis 20 35 7 13Immanente Textinterpretation 30 35 11 19Über den Inhalt reflektieren 15 65 10 5Über die Form reflektieren 15 65 10 5

Insgesamt 100 45 55



43

Lesepraktiken und -interessen

Der OECD/PISA-Kontextfragebogen für Schülerinnen und Schüler wird - genau wie die Fragebögen inanderen großen Studien zu Lesen und Lesekompetenz (Council of Ministers of Education, Canada, 1994; Elley,1992; Jones, 1995; Smith, 1996; Taube und Mejding, 1997) - Fragen zu ihren Lesepraktiken und zum allgemeinenKontext ihrer Leseaktivitäten innerhalb wie außerhalb der Schule enthalten. Solche Fragen sind sowohl in deskrip-tiver als auch in erklärender Hinsicht von Interesse. Mit ihrer Hilfe kann nämlich die Population der 15-jährigenSchülerinnen und Schüler hinsichtlich folgender Merkmale beschrieben werden: Zugang zu gedruckten Materialien,Interesse an bestimmten Leseaktivitäten und Einstellung zu diesen Aktivitäten sowie aktuelle Lesepraktiken.Außerdem können diese Variablen dazu beitragen, einen Teil der Varianz der Leseleistung zu erklären.

Für die Auswahl der in die Befragung einzubeziehenden Typen von Information waren vor allem zweiPrinzipien maßgeblich:

– die erfassten Informationen müssen bildungspolitisch relevant sein;

– die Messung der Lesekompetenz sollte durch Fragebögen ergänzt werden, mit denen Informationen über dieEinstellungen der Schülerinnen und Schüler zum Lesen und zu bestimmten Lesepraktiken erhoben werden.

Dieser Teil des Kontextfragebogens erfasst:

– Inwieweit Schülerinnen und Schüler zu Hause, in der Schule oder in öffentlichen Zusammenhängen mit ver-schiedenen Arten schriftlichen Materials konfrontiert werden. Hierzu gehören folgende Fragen: Wie vieleBücher gibt es zu Hause? Besitzt die Schülerin oder der Schüler eigene Bücher? Werden in der Familieregelmäßig Tageszeitungen oder Wochenzeitschriften gekauft? Wird eine öffentliche Bibliothek oder eineSchulbibliothek benutzt? usw.

– Lesepraktiken/Lesegewohnheiten. Es ist wichtig, sicherzustellen, dass die Vielfalt und Häufigkeit der ver-schiedenen Arten von Druckerzeugnissen sowohl in Bezug auf die Texttypen und Textformate, die in derRahmenkonzeption unterschieden werden, als auch in Bezug auf den Kontext der Erhebung angemessenrepräsentiert ist. Aufgrund zeitlicher und methodischer Beschränkungen kann eine vollständige Erfassungaller Leseaktivitäten nicht geleistet werden. Statt dessen muss man ein sinnvolles Gleichgewicht finden, daseinerseits der Notwendigkeit Rechnung trägt, die unterschiedlichen Druckerzeugnisse in vielfältigenSituationen aufzulisten (um die Vielfalt zu messen), und andererseits die verschiedenen Beschränkungenberücksichtigt.

– Einstellungen zum Lesen und Leseinteressen. Einstellungen zum Lesen und Motivation dürften einen Einflussauf Lesepraktiken und Leseleistungen haben; diese wiederum können durch die Schaffung eines demLeseverständnis förderlichen Klimas innerhalb und außerhalb der Schule beeinflusst werden. Im Rahmenvon OECD/PISA wird dieser Aspekt mit einigen gezielten, rasch zu beantwortenden Fragen gemessen (etwa:Bekommst du gern Bücher geschenkt? Gehst du gern in die Bücherei? usw.). Darüber hinaus wird diePräferenz für das Lesen mit der Präferenz für andere Freizeitaktivitäten verglichen (Fernsehen, Musik,Ausgehen, Videospiele usw.). Dabei könnte sich herausstellen, dass die Beantwortung von Fragen dieses Typsweniger stark durch eine Orientierung am sozial Erwünschten (compliance effects) beeinflusst wird, als essonst bei Studien zum Leseverhalten oft der Fall ist.

Metakognition

Verschiedene Untersuchungen haben gezeigt, dass es bei jugendlichen Lesern einen Zusammenhang zwischenmetakognitivem Wissen und Leseleistung gibt (Ehrlich et al., 1993; Ehrlich 1996). So wurden interindividuelleUnterschiede beim Verständnis des Begriffs Lesen gefunden, bei den Zielen und Zwecken des Lesens, bei denStrategien, die angewendet werden, um das Gelesene zu verstehen und beim Aufdecken von Widersprüchen imText. Diese Unterschiede hängen mit zwei Grundelementen der Metakognition zusammen: dem Wissen derSchülerinnen und Schüler über Kognition und der Regulation von Kognition. Das erste Element betrifft dieFähigkeit, über die eigenen kognitiven Prozesse zu reflektieren, wozu auch das Wissen gehört, wann, wie und warumbestimmte kognitive Aktivitäten auszuführen sind. Das zweite, die Regulation, bezieht sich auf die Anwendung vonStrategien zur Kontrolle der eigenen kognitiven Bemühungen (Baker, 1991).

Dem Interesse an einer Messung von Metakognition im Rahmen von OECD/PISA liegt die Überzeugungzugrunde, dass die Ergebnisse bildungspolitische Relevanz haben und die Lese- und Lernpraxis beeinflussen könn-

Anhang A69

44


ten, insbesondere da man davon ausgeht, dass metakognitive Fähigkeiten nicht nur bezogen auf Leseaufgaben son-dern allgemeiner gelehrt und angewendet werden können. Die Herausforderung besteht darin, eine Methode zufinden, mit der man Metakognition in groß angelegten Erhebungen wie OECD/PISA messen kann. Ein Großteilder Literatur zu diesem Thema beruht auf experimentellen Studien mit Schülern, die jünger sind als die Zielgruppevon OECD/PISA (Myers und Paris, 1978). Damit scheint es kein Instrument zu geben, von dem angenommen wer-den kann, dass es im Rahmen dieser Studie verlässliche und valide Ergebnisse liefern würde.

Da es kein verlässliches Instrument zur Messung der Metakognition von 15-jährigen Schülern gibt und keineRessourcen für die Entwicklung eines derartigen Instruments zur Verfügung stehen, wurde entschieden,Metakognition im ersten Zyklus weder im Feldtest noch in der Haupterhebung zu messen. Angesichts des Interessesan diesem Thema wird jedoch die Entwicklung eines Instruments zur Messung von Metakognition in künftigenZyklen in Betracht gezogen.

Technologie

In unserer sich rasch verändernden Welt muss die Untersuchung von Lesegewohnheiten und Metakognitionauch auf Fragen ausgeweitet werden, bei denen Technologie und insbesondere Computer eine Rolle spielen. DieVerfügbarkeit von elektronischen Texten und ihre Verwendung bei der Gewinnung und dem Austausch vonInformationen wird im Leben von Schülern in den kommenden Jahren eine immer größere Bedeutung bekommen.

Um die zunehmende Berücksichtigung von Technologie in künftigen OECD/PISA-Zyklen vorzubereiten, wirdin diesem Zyklus ein kurzer Fragebogen eingesetzt, der folgende Informationen erfasst: Zugang, den dieSchülerinnen und Schüler zu Hause, in der Schule, bei der Arbeit oder in öffentlichen Einrichtungen an ihremWohnort zu Computern haben; Einstellungen zur Nutzung des Computers; Häufigkeit der Computernutzung inverschiedenen Situationen; Typen der mit Computern ausgeführten Aktivitäten.

Verknüpfungen mit anderen Studien

Für eine detaillierte Interpretation der bei OECD/PISA gewonnenen Leistungsdaten ist es wichtig, möglichstviele der bereits vorliegenden Informationen einzubeziehen. Solche Zusatzinformationen werden zum Teil aus denFragebögen kommen. Darüber hinaus können aber auch durch Verknüpfungen mit anderen Studien Daten gewon-nen werden, die die Interpretation der Ergebnisse bereichern dürften.

OECD/PISA ist nicht die einzige groß angelegte Studie, in der Lesekompetenz erfasst wird. Auch im Rahmendes bereits genannten International Adult Literacy Survey (IALS) wurde die Lesefähigkeit von Erwachsenengemessen, und es wäre durchaus nützlich, die Ergebnisse, die von OECD/PISA auch im Kontext dieser Studie zuinterpretieren, auch wenn sich die Instrumente von OECD/PISA und IALS hinsichtlich ihrer Art und ihres Designserheblich unterscheiden. Eine Verknüpfung mit IALS würde auch eine Verknüpfung der Messungen fürSchülerinnen und Schüler mit den Messungen für Erwachsene ermöglichen. Dies läßt sich zum Teil dadurch er-reichen, dass Items aus IALS in den OECD/PISA-Test aufgenommen werden, womit eine direkte Verknüpfunghergestellt wird. Dabei war zu überlegen , wie viele Items aus IALS übernommen werden müssten, um sowohl einekonzeptionelle als auch eine statistische Verknüpfung gewährleisten zu können. Außerdem galt es den Wunsch, eineVerknüpfung zwischen IAW und OECD/PISA herzustellen und das Ziel etwas zu messen, das über frühe Studienhinausgeht, zu vereinbaren.

Eine Verknüpfung mit mehr als einer der drei IALS-Skalen etwa wäre nicht möglich, da die Testzeit für dieEinbeziehung eines breiteren Spektrums von IALS-Items nicht ausreicht. Da es im Rahmen von OECD/PISAwahrscheinlich weniger Aufgaben mit nicht-kontinuierlichen als mit kontinuierlichen Texten geben wird, wäre eineVerwendung der IALS-Dokumentenskala wenig sinnvoll. Um nämlich eine solche Verknüpfung zu erlauben,müssten vermutlich so viele IALS-Items in den OECD/PISA-Test aufgenommen werden, dass sie diese Kategoriedominieren würden. Gleiches gilt für die quantitative Skala von IALS, da auch dieser überwiegend nicht-kon-tinuierliche Aufgaben zugrunde liegen. Die Prosa-Aufgaben aus IALS hingegen scheinen für eine Verwendung imRahmen von OECD/PISA geeignet, da sie unter den kontinuierlichen Texten kein Übergewicht bilden würden.

Um diese Verknüpfung untersuchen zu können, wurden zwei Itemblöcke der Prosa-Skala von IALS in denFeldtest von OECD/PISA übernommen. Damit soll geprüft werden, wie gut die Item-Parameter aus IALS auf dieOECD/PISA-Population passen. Da anzunehmen ist, dass die meisten Parameter passen werden, soll eineangemessene Anzahl von IALS-Prosaaufgaben in die Haupterhebung von OECD/PISA aufgenommen werden.



45

Diese Items dienen einem doppelten Zweck. Erstens werden die Item-Parameter aus IALS dazu verwendet, dieLeistungen im Bereich der Prosaliteratur in den OECD/PISA-Ländern zu messen. Zweitens sollen diese Items alsTeil der OECD/PISA-Rahmenkonzeption für Lesekompetenz kodiert werden und dazu beitragen, die Leseleistungvon 15-jährigen Schülern in den Teilnehmerländern zu messen.

Da im Rahmen von OECD/PISA auch andere Leistungen gemessen werden (Mathematik undNaturwissenschaften), bietet die Studie die Möglichkeit, Beziehungen zwischen diesen Bereichen zu schätzen.Simple Ansätze würden einfach davon ausgehen, dass ähnliche Populationen in den gleichen Ländern zur gleichenZeit erfasst werden, ohne den Versuch zu machen, diese Beziehungen zu modellieren. Die interessanteren, aber auchkomplexeren Ansätze würden mit Items arbeiten, die alle Bereiche erfassen. Mit Hilfe der Ergebnisse solchergemeinsamen Items können dann die Beziehungen zwischen Lesen und Naturwissenschaften oder Mathematikdirekt modelliert werden. Obwohl psychometrische Modelle für solche bereichsübergreifenden Messungenexistieren, gestaltet sich die Entwicklung entsprechender Testaufgaben doch als aufwendig, und die Interpretationsolcher bedingten Ergebnisse ist sehr viel komplizierter als bei traditionellen Modellen, bei denen jede Aufgabe nureine einzige Position auf einer einzigen Skala einnimmt. Da die Informationen aus gemeinsamen Items jedoch sehrwichtig sind, wird der OECD/PISA-Feldtest sowohl einen Block von vollständig integrierten Items enthalten(Items, die für mehr als einen Erhebungsbereich kodiert werden), als auch mehrere Blöcke, die separate, aber jeweilsvom gleichen Text oder von der gleichen Situation ausgehende Items für Lesen, Naturwissenschaften undMathematik umfassen.

Anhang A71

Kapitel Zwei

MATHEMATISCHE GRUNDBILDUNG (Mathematical Literacy)


Bei mathematischer Grundbildung geht es um die Fähigkeit von Schülerinnen und Schülern, ihre mathema-tischen Kompetenzen zu nutzen, um die Herausforderungen der Zukunft zu bestehen. Der Bereich erfasst somit dieFähigkeit, mathematische Ideen in effektiver Weise zu analysieren, zu begründen und mitzuteilen, indem mathe-matische Probleme in einer Vielzahl von Bereichen und Situationen gestellt, formuliert und gelöst werden.

Die Definition mathematischer Grundbildung im Rahmen von OECD/PISA lautet:

„Mathematische Grundbildung ist die Fähigkeit einer Person, die Rolle zu erkennen und zu verstehen, dieMathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und sich auf eine Weise mit derMathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens dieser Person als kon-struktivem, engagiertem und reflektierendem Bürger entspricht.“

Diese Definition der Reichweite mathematischer Grundbildung bedarf einiger Erläuterungen.

Mathematische Grundbildung...

Der Begriff Grundbildung (literacy) wurde gewählt, um zu betonen, dass mathematische Kenntnisse undFähigkeiten, wie sie im traditionellen Curriculum der Schulmathematik definiert werden, im Rahmen vonOECD/PISA nicht im Vordergrund stehen. Stattdessen liegt der Schwerpunkt auf der funktionalen Anwendungvon mathematischen Kenntnissen in ganz unterschiedlichen Kontexten und auf ganz unterschiedliche, Reflektionund Einsicht erfordernde Weise. Eine solche Verwendung von Mathematik ist natürlich nur auf der Basis vonumfangreichen mathematischen Grundkenntnissen und -fähigkeiten (wie sie in der Schule oft gelehrt werden)möglich. Auch im sprachlichen Bereich wird der Begriff literacy nicht auf einen breiten Wortschatz und umfassendeKenntnisse grammatischer, phonetischer, orthografischer usw. Regeln beschränkt, er setzt diese Kenntnisse jedochvoraus. Ebenso ist mathematische Grundbildung nicht auf die Kenntnis mathematischer Terminologien, Faktenund Verfahren sowie auf die Fähigkeit zur Durchführung bestimmter Operationen und Anwendung bestimmterMethoden einzuschränken, setzt diese aber voraus.

... die Welt ...

Mit dem Begriff Welt ist das natürliche, soziale und kulturelle Umfeld gemeint, in dem eine Person lebt. Sostellt Freudenthal (1983) fest: „Unsere mathematischen Konzepte, Strukturen und Ideen wurden als Instrumentezur Ordnung von Phänomenen der physischen, sozialen und mentalen Welt erfunden.“

... sich befassen ...

Mit dem Ausdruck sich befassen sind nicht nur physische oder soziale Handlungen im engeren Sinne gemeint.Er beinhaltet auch die folgenden Aktivitäten: sich über Mathematik zu äußern, Stellung zu ihr zu nehmen, sich aufsie zu beziehen, ihre Leistungsfähigkeit zu beurteilen und sie wertzuschätzen. Die Definition mathematischerGrundbildung beschränkt sich also nicht auf die funktionale Anwendung der Mathematik, sondern umfasst auchihre ästhetischen und spielerischen Elemente.

... des gegenwärtigen und künftigen Lebens ...

Die Wendung des gegenwärtigen und künftigen Lebens dieser Person bezieht sich auf deren privates, beruflichesund soziales Leben mit Gleichaltrigen und Verwandten, aber auch auf ihr Leben als Bürger einer Gemeinschaft.

Eine besonders wichtige Fähigkeit, die mit dieser Auffassung von mathematischer Grundbildung angesprochenist, ist die Fähigkeit, mathematische Probleme in ganz unterschiedlichen Bereichen und Situationen zu stellen, zuformulieren und zu lösen. Das Spektrum dieser Situationen reicht von rein mathematischen Problemen bis zuSituationen, in denen zunächst eine mathematische Struktur gar nicht erkennbar ist – in denen also diese Strukturvon der Person, die das Problem stellt oder löst, erst erkannt werden muss. 47


48

Es sei noch einmal ausdrücklich darauf hingewiesen, dass es bei dieser Definition nicht nur um ein bestimmtesMinimum an mathematischem Grundwissen geht, sondern auch um die Verwendung von Mathematik in einembreiten Spektrum von unterschiedlichen Situationen.

Einstellungen und Gefühle wie zum Beispiel Selbstvertrauen, Neugier, Interesse und Wertschätzung für dieMathematik, sowie der Wunsch, bestimmte Dinge zu tun oder zu verstehen, sind zwar nicht Bestandteil derOECD/PISA-Definition mathematischer Grundbildung, aber doch wichtige Voraussetzungen. Grundsätzlich ist esnatürlich möglich, auch ohne derartige Einstellungen und Gefühle über mathematische Grundbildung zu verfügen.Es ist jedoch wenig wahrscheinlich, dass eine Person diese Grundbildung im zuvor definierten Sinne zur Geltungbringt, wenn ihr das Selbstvertrauen, die Neugier, das Interesse oder der Wunsch fehlt, etwas zu tun oder zu verste-hen, das mathematische Komponenten enthält.

Organisation des Gegenstandsbereichs

Für die Zwecke von OECD/PISA ist es sinnvoll, eine Reihe von Aspekten mathematischer Grundbildung zubenennen. Dabei werden zwei Hauptaspekte und zwei Nebenaspekte unterschieden. Die Hauptaspekte sind:

– mathematische Kompetenzen und

– mathematische Leitideen1.

Die Nebenaspekte sind:

– curriculare Teilbereiche der Mathematik und

– Situationen und Kontexte.

Die Hauptaspekte dienen dazu, den Bereich, der mit dieser Erhebung erfasst wird, abzustecken und Leistungenzu beschreiben. Die Nebenaspekte werden verwendet, um zu gewährleisten, dass der Bereich angemessen breitabgedeckt ist und ein ausgewogenes Spektrum von Aufgaben ausgewählt wird.

Es ist wichtig, darauf hinzuweisen, dass diese vier Aspekte nicht zu einem einzelnen Klassifizierungsschemakombiniert werden können. Zwei Aspekte, nämlich „mathematische Leitideen“ und „curriculare Teilbereiche derMathematik“, stellen alternative Möglichkeiten der Beschreibung mathematischer Inhalte dar.

Mathematische Kompetenzen sind allgemeine Fähigkeiten und Kompetenzen wie Problemlösen, Gebrauch dermathematischen Sprache und mathematische Modellbildung.

Mathematische Leitideen sind bedeutungshaltige, stark miteinander vernetzte mathematische Konzepte, wie siein realen Situationen und Kontexten auftreten. Einige dieser Ideen sind in der Mathematik und im allgemeinenSprachgebrauch fest eingeführt, wie etwa Zufall, Veränderung und Wachstum, Abhängigkeit und Beziehungen sowieForm. „Leitideen“ wurden gewählt, weil sie nicht zu einer künstlichen Aufspaltung der Mathematik in einzelne,voneinander getrennte Themenbereiche führen.

Mit dem Aspekt der curricularen Teilbereiche der Mathematik ist der Inhalt der Schulmathematik angesprochen,wie er in vielen Lehrplänen enthalten ist. Im Rahmen von OECD/PISA werden die Bereiche Arithmetik, Messenund Schätzen von Größen, Algebra, Funktionen, Geometrie, Wahrscheinlichkeit, Statistik und diskrete Mathematik ein-bezogen. Die curricularen Teilbereiche werden als Nebenaspekte berücksichtigt, um sicherzustellen, dass sie in derErhebung angemessen abgedeckt werden. Für die Auswahl der in OECD/PISA aufzunehmenden Inhalte ist jedochder wichtigere und allgemeinere Aspekt der mathematischen Leitideen maßgeblich.

Der zweite Nebenaspekt betrifft die Situationen bzw. den allgemeinen Rahmen, in dem die mathematischenProbleme präsentiert werden. Die Situationen können sich auf schulische, berufliche, öffentliche und persönlicheBereiche beziehen.

In den folgenden Abschnitten werden die vier Aspekte im Einzelnen beschrieben.

1 Im deutschen Sprachraum ist auch der Begriff „fundamentale Ideen“ geläufig. Es ist jedoch darauf hinzuweisen, dass diese beiden Konzepte nicht überein-stimmen (Anmerkung der Übersetzer).


Anhang A73

Mathematische Kompetenzen

Den ersten Hauptaspekt der OECD/PISA-Rahmenkonzeption für mathematische Grundbildung bildet derBereich „mathematische Kompetenzen“. Hierbei handelt es sich um eine nicht hierarchisch aufgebaute Liste von all-gemeinen, für alle Ebenen des Lehrens und Lernens von Mathematik relevanten mathematischen Fähigkeiten. DieseListe enthält die folgenden Elemente:

1. Die Fähigkeit, mathematisch zu denken. Dazu gehört: Fragen zu stellen, die für die Mathematik charakteris-tisch sind („gibt es...?“, „wenn ja, wie viele?“, „wie finden wir...?“); zu wissen, welche Art von Antworten dieMathematik für solche Fragen bereithält; zwischen unterschiedlichen Arten von Aussagen zu unterscheiden(Definitionen, Sätze, Vermutungen, Hypothesen, Beispiele, Bedingungen); Reichweite und Grenzen mathe-matischer Konzepte zu verstehen und zu berücksichtigen.

2. Die Fähigkeit, mathematisch zu argumentieren. Dazu gehört: zu wissen, was mathematische Beweise sind undwie sie sich von anderen Arten der mathematischen Argumentation unterscheiden; verschiedene Arten vonmathematischen Argumentationsketten nachzuvollziehen und zu bewerten; heuristisches Gespür („was kann[nicht] passieren und warum?“); Entwicklung von mathematischen Argumenten.

3. Die Fähigkeit zur mathematischen Modellierung. Dazu gehört: den Bereich oder die Situation, die modelliertwerden soll, zu strukturieren; „Mathematisierung“ (Übersetzung der „Realität“ in mathematischeStrukturen); „De-Mathematisierung“ (mathematische Modelle im Rahmen der modellierten „Realität“ zuinterpretieren); mit einem mathematischen Modell zu arbeiten; das Modell zu validieren; das Modell undseine Ergebnisse zu reflektieren, zu analysieren und kritisch zu beurteilen; über das Modell und seineErgebnisse (einschließlich der Grenzen dieser Ergebnisse) zu kommunizieren; den Prozess der Modellbildungzu beobachten und zu steuern.

4. Die Fähigkeit, Probleme zu stellen und zu lösen. Dazu gehört: verschiedene Arten von mathematischenProblemen zu stellen, mathematische Probleme zu formulieren und zu definieren („reine“, „angewandte“,„offene“ und „geschlossene“); und verschiedene Lösungswege für unterschiedliche Arten von mathemati-schen Problemen zu finden.

5. Die Fähigkeit, mathematische Darstellungen zu nutzen. Dazu gehört: verschiedene Formen der Darstellungvon mathematischen Objekten und Situationen sowie die Wechselbeziehungen zwischen diesenDarstellungsformen zu erkennen, zu interpretieren und zu unterscheiden; verschiedene Darstellungsformenje nach Situation und Zweck auszuwählen und zwischen ihnen zu wechseln.

6. Die Fähigkeit, mit den symbolischen, formalen und technischen Elementen der Mathematik umzugehen. Dazugehört: die symbolische und formale Sprache zu dekodieren und zu interpretieren und ihre Beziehung zurnatürlichen Sprache zu verstehen; natürliche Sprache in die symbolische/formale Sprache zu übersetzen; mitAussagen und Ausdrücken umzugehen, die Symbole und Formeln enthalten; Variablen zu benutzen;Gleichungen zu lösen und Berechnungen vorzunehmen.

7. Die Fähigkeit zu kommunizieren. Dazu gehört: sich mündlich und schriftlich in verschiedenen Formen zuSachverhalten mit mathematischem Inhalt zu äußern und entsprechende schriftliche oder mündlicheAussagen von anderen Personen zu verstehen.

8. Die Fähigkeit, Hilfsmittel einzusetzen und zu gebrauchen. Dazu gehört: die verschiedenen Hilfsmittel (ein-schließlich solche aus dem Bereich der Informationstechnologie), die bei mathematischen Aktivitäten hilf-reich sein können, zu kennen und anzuwenden sowie die Grenzen dieser Hilfsmittel einzuschätzen.

Kompetenzklassen

Im Rahmen von OECD/PISA ist nicht vorgesehen, Items zu entwickeln, mit denen diese Fähigkeiten jeweilsgetrennt erfasst werden. Wenn man echte Mathematik betreibt, kommen gewöhnlich viele (wenn nicht alle) dieserFähigkeiten gleichzeitig zum Einsatz, so dass jeder Versuch der Messung einzelner Fähigkeiten zu künstlichenAufgaben und damit zu einer unnötigen Aufspaltung des Bereichs der mathematischen Grundbildung führenwürde.

Um den Aspekt der mathematischen Kompetenzen durch die Konstruktion von Items und Tests operationa-lisieren zu können, ist es hilfreich, die Fähigkeiten zu drei größeren Kompetenzklassen zusammenzufassen. Diesedrei Kompetenzklassen sind:

Mathematische Grundbildung (Mathematical Literacy)

49


50

– Kompetenzklasse 1: Wiedergabe, Definitionen und Berechnungen

– Kompetenzklasse 2: Querverbindungen und Zusammenhänge herstellen, um Probleme zu lösen

– Kompetenzklasse 3: Einsichtsvolles mathematisches Denken und Verallgemeinern

Alle oben genannten Fähigkeiten dürften in jeder der drei Kompetenzklassen eine Rolle spielen; die Fähigkeitengehören also nicht jeweils nur in eine einzige Kompetenzklasse. Die Klassen bilden ein konzeptuelles Kontinuum,das von der reinen Wiedergabe von Fakten und einfachen Rechenfähigkeiten über die Fähigkeit, Verknüpfungenzwischen verschiedenen Bereichen herzustellen, um einfache realitätsnahe Probleme zu lösen, bis zur dritten Klassereicht, nämlich der „Mathematisierung“ von realitätsnahen Problemen und der Reflexion über Lösungen imKontext dieser Probleme unter Anwendung mathematischen Denkens, Argumentierens und Verallgemeinerns (derBegriff der „Mathematisierung“ wird weiter unten ausführlich erläutert).

Diese Beschreibung legt nahe, dass die Kompetenzklassen insofern eine Hierarchie bilden, als Aufgaben, für dieKompetenzen der Klasse 3 erforderlich sind, im Allgemeinen schwieriger sein dürften als Aufgaben, dieKompetenzen der Klasse 2 erfordern. Dies bedeutet jedoch nicht, dass die Fähigkeiten der Klasse 2 Voraussetzungfür jede Fähigkeit der Klasse 3 sind. Tatsächlich haben frühere Untersuchungen (de Lange, 1987; Shafer undRomberg, im Druck) gezeigt, dass man in Kompetenzen der Klasse 1 nicht unbedingt herausragend sein muss, uminnerhalb der Kompetenzklassen 2 oder 3 gute Leistungen zu erbringen, und dass Schülerinnen und Schüler mitguten Leistungen in Kompetenzklasse 3 nicht unbedingt auch in Kompetenzklasse 1 besonders gut sein müssen.

Ausgehend von der Definition mathematischer Grundbildung wird innerhalb von OECD/PISA besondererWert darauf gelegt, dass die Schülerinnen und Schüler Aufgaben bearbeiten, die ihre Fähigkeiten in allen dreiKompetenzklassen aufzeigen. Deshalb werden in den Tests Aufgaben aus allen drei Kompetenzklassen enthaltensein, sodass die Verantwortlichen für das Schul- und Bildungswesen sich einen Überblick darüber verschaffen kön-nen, inwieweit ihre Schulen und Curricula gewährleisten, dass die in den einzelnen Kompetenzklassen erforder-lichen Fähigkeiten entwickelt werden.

Kompetenzen der Klasse 1: Wiedergabe, Definitionen, Berechnungen

In dieser Kompetenzklasse geht es um Aspekte, die in vielen standardisierten Tests und internationalenVergleichsstudien erfasst werden. Dazu gehören Faktenwissen, Wissen um mathematische Darstellungen, Erkennenvon Äquivalenzen, Abrufen der Definitionen mathematischer Objekte und Eigenschaften, Verwendung vonRoutineverfahren, Anwendung von Standardalgorithmen und Entwicklung von technischen Fertigkeiten.Außerdem gehören in diese Kompetenzklasse der Umgang mit Formeln und Ausdrücken, die die üblichen mathe-matischen Symbole enthalten, sowie Berechnungen. Zur Messung der Kompetenzen dieser Klasse können in derRegel Items mit Multiple-Choice-Format oder mit kurzer freier Antwort (wobei es nur eine richtige Antwort gibt)eingesetzt werden.

Bei der Kompetenzklasse 1 geht es insbesondere um die Fähigkeit zum Umgang mit symbolischen, formalenund technischen Elementen, die oben beschrieben wurde. Abbildung 2 zeigt Beispielaufgaben, die dieser Klassezugeordnet sind.

Abbildung 2. Beispiele für Aufgaben der Kompetenzklasse 1


Löse die Gleichung 7x – 3 = 13x + 15Was ist der Mittelwert von 7, 12, 8, 14, 15, 9?Schreibe 69% als Bruchzahl

Die Strecke m ist der __________________ des Kreises

m

Anhang A75

Kompetenzen der Klasse 2: Querverbindungen und Zusammenhänge herstellen, um Probleme zu lösen

In dieser Kompetenzklasse kommt es darauf an, verschiedene Stoffgebiete und Teilbereiche der Mathematikmiteinander in Beziehung zu setzen und Informationen zu verknüpfen, um einfache Probleme zu lösen. Hierzumüssen die Schülerinnen und Schüler entscheiden, welche Strategien und mathematischen Instrumente einzusetzensind. Bei den Problemen handelt es sich zwar nicht um Routineaufgaben, eine „Mathematisierung“ ist jedoch nurauf relativ niedrigem Niveau erforderlich.

Innerhalb der Kompetenzklasse 2 wird von Schülerinnen und Schülern erwartet, dass sie je nach Situation undZielsetzung unterschiedliche Methoden verwenden. Für das Herstellen von Zusammenhängen ist außerdem dieFähigkeit erforderlich, verschiedene Aussagen wie Definitionen, Behauptungen, Beispiele, Bedingungen undBeweise zu unterscheiden und miteinander in Beziehung zu setzen.

Diese Kompetenzklasse umfasst mehrere der oben genannten mathematischen Fähigkeiten. Zur Lösung derBeispielaufgaben ist offensichtlich ein gewisses Maß an mathematischem Denken oder Argumentieren notwendig,also die Anwendung der Fähigkeit, mathematisch zu argumentieren (siehe Abbildung 3). Darüber hinaus müssendie Schülerinnen und Schüler ein „Modell“ des Problems bilden, um es lösen zu können – die Fähigkeit zur ma-thematischen Modellierung ist also ebenfalls erforderlich. Beim Prozess der Problemlösung wird die Fähigkeit,Probleme zu stellen und zu lösen benötigt. Werden bei diesem Prozess verschiedene Darstellungsformen benutzt(z. B. eine Tabelle, ein Diagramm oder eine Zeichnung), erfordert dies die Fähigkeit zur mathematischen Darstel-lung.

Aus der Sicht der mathematischen Sprache ist das Dekodieren und Interpretieren von symbolischer und for-maler Sprache sowie das Verständnis ihrer Beziehung zur natürlichen Sprache eine weitere wichtige Fähigkeit indieser Kompetenzklasse. Items in dieser Kompetenzklasse sind oft in einen Kontext eingebettet, der denSchülerinnen und Schülern mathematische Entscheidungen abverlangt.

Abbildung 3 enthält zwei Beispiele für Aufgaben aus dieser Kompetenzklasse. Anders als bei den Beispielen ausKompetenzklasse 1 ist weder ihre Zugehörigkeit zu einem bestimmten curricularen Teilbereich unmittelbar offen-sichtlich noch welche Methode, welche Strategie oder welcher Algorithmus zur Lösung des Problems am bestengeeignet wäre. In einigen Fällen hängt der curriculare Teilbereich von der Strategie ab, die die Schülerinnen undSchüler wählen und es gibt viele gleich gute Lösungsstrategien.

Abbildung 3. Beispiele für Aufgaben der Kompetenzklasse 2

Kompetenzen der Klasse 3: Einsichtsvolles mathematisches Denken und Verallgemeinern

Um Items dieser Kompetenzklasse zu lösen, müssen die Schülerinnen und Schüler Situationen „mathema-tisieren“, d.h. die in der Situation enthaltene Mathematik erkennen und herausarbeiten sowie mathematischeMethoden anwenden, um das Problem zu lösen. Die Schülerinnen und Schüler müssen weiterhin analysieren undinterpretieren, eigene Modelle und Strategien entwickeln und mathematische Argumente, einschließlich Beweiseund Verallgemeinerungen, darlegen.

Zu diesen Fähigkeiten zählt auch die Gesamtanalyse des Modells und das Reflektieren über denModellierungsprozess. In dieser Kompetenzklasse sollten die Schülerinnen und Schüler in der Lage sein, Problemenicht nur zu lösen, sondern auch zu stellen.


51

Du hast mit deinem Auto zwei Drittel der Gesamtstrecke zurückgelegt. Du bist mit einem vollen Tank losgefahren, undjetzt ist dein Tank noch zu einem Viertel gefüllt. Hast du ein Problem?

Maria lebt zwei Kilometer von der Schule entfernt, Martin fünf Kilometer. Wie weit leben Maria und Martin voneinanderentfernt?


52

All diese Kompetenzen können nur dann richtig eingesetzt werden, wenn die Schülerinnen und Schüler in derLage sind, in verschiedenen Formen angemessen zu kommunizieren: mündlich, schriftlich, visuell usw. DieseKommunikation wird als Prozess verstanden, der zwei Richtungen umfasst: Schülerinnen und Schüler solltensowohl ihre mathematischen Ideen kommunizieren können als auch die mathematischen Mitteilungen von anderenverstehen.

Schließlich ist wichtig, dass die Schülerinnen und Schüler auch über Einsicht in das Wesen der Mathematikverfügen müssen, einschließlich ihrer kulturellen und historischen Elemente, sowie in die Anwendung derMathematik in anderen Kontexten und curricularen Bereichen, in denen mathematische Modellbildung eingesetztwird.

Die Kompetenzen in Klasse 3 beinhalten oft Fähigkeiten und Kompetenzen aus anderen Klassen.

Diese Kompetenzklasse ist ein zentrales Element mathematischer Grundbildung. Leider ist sie jedoch auch amschwierigsten zu messen, vor allem innerhalb so umfangreicher Erhebungen wie OECD/PISA. Multiple-Choice-Items zum Beispiel sind zur Messung dieser Kompetenzen häufig nicht geeignet. Besser geeignet sind Fragen, dieausführlichere Antworten und mehrere Lösungsmöglichkeiten zulassen. Es ist jedoch sehr schwierig, solche Items zuentwickeln und die Schülerantworten zu bewerten. Da diese Kompetenzklasse aber ein wesentlicher Bestandteilmathematischer Grundbildung nach der im Rahmen von OECD/PISA zugrunde gelegten Definition ist, wurde ver-sucht, sie in die Erhebung aufzunehmen und sie zumindest in begrenztem Maße zu erfassen.Abbildung 4 zeigt ein Beispiel für eine Aufgabe der Kompetenzklasse 3.

Abbildung 4. Beispiel für Aufgaben der Kompetenzklasse 3

„Mathematisierung“

Der Begriff der „Mathematisierung“, wie er im Rahmen von OECD/PISA verwendet wird, bezieht sich auf dasStrukturieren der Realität mithilfe mathematischer Ideen und Konzepte. Er bezeichnet die organisierende Tätigkeit,bei der erworbene Kenntnisse und Fähigkeiten angewandt werden, um unbekannte Regelmäßigkeiten, Beziehungenund Strukturen aufzuspüren (Treffers und Goffree, 1985). Dieser Prozess wird manchmal auch horizontaleMathematisierung genannt (Treffers, 1986) und umfasst unter anderem die folgenden Aktivitäten:


In einem Gewässer wurden Fische ausgesetzt. Die Grafik zeigt ein Modell für das Wachstum des Gewichtsdes Fischbestands in diesem Gewässer.

Nimm an, ein Fischer hat vor, ein paar Jahre zu warten und dann erst damit zu beginnen, Fische aus demGewässer zu fangen. Wie viele Jahre sollte der Fischer warten, wenn er die Zahl der Fische maximierenwill, die er von jenem Jahr an jährlich fangen kann? Begründe deine Antwort.

100 000

80 000

60 000

40 000

20 000

0 1 2 3 4 5 6 7 8 9Jahre

kg

Anhang A77

– Erkennen der Mathematik, die in einem allgemeinen Kontext enthalten ist

– Schematisieren

– Formulieren und Visualisieren eines Problems

– Entdecken von Beziehungen und Regelmäßigkeiten

– Erkennen von Ähnlichkeiten zwischen unterschiedlichen Problemen (de Lange, 1987)

Nachdem ein Problem in ein mathematisches übersetzt wurde, kann es mit mathematischen Werkzeugen gelöstwerden. Das heißt, mathematische Werkzeuge können angewendet werden, um realitätsnahe Probleme, die mathe-matisch modelliert worden sind, zu bearbeiten und zu verfeinern. Dieser Prozess wird als vertikale Mathematisierungbezeichnet und ist durch folgende Aktivitäten gekennzeichnet:

– Darstellen einer Beziehung mithilfe einer Formel

– Nachweisen von Regelmäßigkeiten

– Verfeinern und Anpassen von Modellen

– Kombinieren und Integrieren von Modellen

– Verallgemeinern

Der Prozess der Mathematisierung beinhaltet also zwei Phasen: horizontale Mathematisierung, d.h. die Über-setzung der realen Welt in die mathematische Welt, und vertikale Mathematisierung, d.h. die Bearbeitung einesProblems innerhalb der mathematischen Welt und die Anwendung mathematischer Werkzeuge zur Lösung desProblems. Das Reflektieren über die Lösung im Hinblick auf das Ausgangsproblem ist ebenfalls ein wichtiger Schrittim Prozess der Mathematisierung, der jedoch selten angemessen berücksichtigt wird.

An dieser Stelle ließe sich einwenden, dass die Mathematisierung in allen Kompetenzklassen eine Rolle spielt,weil bei allen Problemen, die in einen Kontext eingebettet sind, zunächst erkannt werden muss, was mathematischrelevant ist. Die Art der Mathematisierung, die in Kompetenzklasse 3 erforderlich ist, nimmt innerhalb vonOECD/PISA jedoch einen besonderen Stellenwert ein. Diese Form der Mathematisierung geht nämlich über daseinfache Erkennen von bereits bekannten Problemen hinaus.

Die unterschiedlichen Komplexitätsgrade der Mathematisierung werden in den beiden folgenden Beispielendeutlich. Beide sind für Schülerinnen und Schüler zwischen 13 und 15 Jahren bestimmt und beide beziehen sichauf ähnliche mathematische Konzepte. Beim ersten ist jedoch nur eine einfache, beim zweiten eine komplexereMathematisierung erforderlich.

Bei dem in Abbildung 5 gezeigten Beispiel handelt es sich um ein Item der Kompetenzklasse 2; in diesem Fallist eine Mathematisierung nur auf relativ niedrigem Niveau erforderlich.

Abbildung 5. Beispielitem mit einfacher „Mathematisierung“

Die für das Beispiel in Abbildung 6 erforderliche Mathematisierung hingegen entspricht der Kompetenzklasse 3.Hier müssen Schülerinnen und Schüler nicht nur die relevante Mathematik erkennen, sondern auch ein mathema-tisches Argument entwickeln und argumentativ darstellen können.


53

In einer Klasse sind 28 Schüler. Das Verhältnis von Mädchen zu Jungen ist 4:3. Wie vieleMädchen sind in der Klasse?

Quelle: TIMSS Mathematics Achievement in the Middle Years, S. 98.


54

Abbildung 6. Beispielitem mit komplexerer „Mathematisierung“

„Mathematische Leitideen“

Wie bereits ausgeführt, verfolgt OECD/PISA mit der Erfassung mathematischer Grundbildung andere Zweckeals frühere vergleichende Schulleistungsstudien, bei denen es ebenfalls um Mathematik ging, insbesondereIEA/TIMSS. Einige der wichtigsten Unterschiede werden im Folgenden noch einmal beschrieben.

Bei der Entwicklung der Tests für IEA/TIMSS wurde sehr viel Wert auf eine angemessene Erfassung derCurricula der teilnehmenden Länder gelegt und zur Beschreibung nationaler Curricula wurde ein detailliertes, aufden traditionellen curricularen Inhalten beruhendes Schema entwickelt. Im Unterricht wird die Mathematik jedochhäufig in streng voneinander getrennte Bereiche unterteilt und Berechnungen und Formeln stehen im Vordergrund.Schülerinnen und Schülern am Ende der Sekundarstufe I ist in der Regel nicht bewusst, dass die Mathematik kon-tinuierlich wächst und sich auf neue Felder und Situationen ausweitet. Daher bezogen sich die Instrumente vonIEA/TIMSS überwiegend auf mathematisches Faktenwissen, das isoliert und mit sehr kurzen Items getestet wurde.

Im Gegensatz dazu steht im Rahmen von OECD/PISA mathematische Grundbildung, wie sie oben definiertwurde, im Mittelpunkt. Ziel von OECD/PISA ist es, um es noch einmal ausdrücklich zu betonen,Schülerleistungen in ihrer ganzen Breite und im Zusammenhang zu messen und nicht nur fragmentiertesFaktenwissen abzufragen, das zur Kompetenzklasse 1 gehört. Für PISA sind daher Wechselbeziehungen und allge-meine Ideen zentral. Mathematik ist eine Sprache, die Muster beschreibt – sowohl natürliche als auch von Menschenerdachte Muster. Mathematische Grundbildung setzt voraus, dass Schülerinnen und Schüler diese Muster erkennenund ihre Vielfalt, Regelhaftigkeit und Wechselbeziehungen verstehen.

Aus diesen Gründen werden die traditionellen Inhaltsbereiche der Mathematik im Rahmen von OECD/PISAnicht als zentrale Dimension mathematischer Grundbildung behandelt. Vielmehr werden die zu testenden Inhalteanhand mathematischer Leitideen organisiert.

Die Konzeption der „mathematischen Leitidee“ ist nicht neu. Im Jahre 1990 veröffentlichte das GremiumMathematical Sciences Education Board die Publikation On the Shoulders of the Giant: New Approaches to Numeracy(Senechal, 1990). Dabei handelt es sich um ein nachdrückliches Plädoyer dafür, Schülerinnen und Schülern zuhelfen, tiefer in mathematisches Denken einzudringen, die der Mathematik zugrunde liegenden Konzepte zu erken-nen und so zu einem besseren Verständnis der Bedeutung dieser Konzepte in der realen Welt zu gelangen. Hierzumüssen Ideen, die tief im mathematischen Denken verankert sind, erkundet werden, und zwar ohne sich durch dieGrenzen, die mit den gegenwärtigen curricularen Teilbereichen gesetzt werden, beschränken zu lassen. Dieser Ansatzwird auch von anderen Mathematikern unterstützt; eine der bekannteren Publikationen hierzu ist Mathematics: TheScience of Patterns (Devlin, 1994, 1997).


Der Verteidigungshaushalt eines Landes beträgt im Jahr 1980 30 Millionen Dollar. DerGesamthaushalt für dasselbe Jahr beträgt 500 Millionen Dollar. Im folgenden Jahr beträgt derVerteidigungshaushalt 35 Millionen Dollar, der Gesamthaushalt 605 Millionen Dollar. DieInflationsrate lag in dem Zeitraum, für den diese beiden Haushalte galten, bei 10 Prozent.

a) Du wirst eingeladen, für eine Organisation der Friedensbewegung einen Vortrag zu halten.Dort willst du erklären, dass der Verteidigungshaushalt in diesem Zeitraum abgenommen hat.Beschreibe, wie du das machen würdest.

b) Du wirst eingeladen, in einer Militärakademie einen Vortrag zu halten. Dort willst du er-klären, dass der Verteidigungshaushalt in diesem Zeitraum zugenommen hat. Beschreibe, wiedu das machen würdest.

Quelle: de Lange (1987), mit freundlicher Genehmigung; s. auch MSEB (1991)

Anhang A79

Es gibt sehr viele „mathematische Leitideen“; der Bereich der Mathematik ist so reich und so vielfältig, dass esgar nicht möglich wäre, sie alle aufzuzählen. Um den Bereich der mathematischen Grundbildung im Rahmen vonOECD/PISA abzustecken, war es wichtig, solche „Leitideen“ auszuwählen, die so vielfältig und so tiefgehend sind,dass sie wesentliche Charakteristika der Mathematik repräsentieren. Um dieser Anforderung Genüge zu tun, wer-den im Rahmen von OECD/PISA die folgenden mathematischen Leitideen verwendet:

– Zufall

– Veränderung und Wachstum

– Raum und Form

– quantitatives Denken

– Ungewissheit

– Abhängigkeit und Beziehungen

Im ersten Zyklus von OECD/PISA kann mathematische Grundbildung aufgrund der begrenzten Testzeitselbstverständlich nicht in ihrer ganzen Breite erfasst werden. Der erste Zyklus konzentriert sich deshalb auf die fol-genden beiden mathematischen Leitideen:

– Veränderung und Wachstum

– Raum und Form

Diese Beschränkung im ersten Erhebungszyklus hat vor allem zwei Gründe:

– erstens kann mit diesen beiden Ideen ein breites Spektrum von Themen aus den oben genanntenInhaltsbereichen erfasst werden und

– zweitens werden mit ihnen bestehende Curricula angemessen abgedeckt.

Quantitatives Denken wurde in diesem ersten Erhebungszyklus ausgeklammert, da sonst eine Überbetonungder typischen Rechenfertigkeiten zu befürchten wäre.

Die für den ersten Zyklus ausgewählten Ideen sollen nun ausführlicher beschrieben werden.

Veränderung und Wachstum

Jedes Phänomen unserer Umwelt beinhaltet Veränderung. Beispiele hierfür sind: Organismen, die sich beimWachsen verändern, der Zyklus der Jahreszeiten, Ebbe und Flut, zyklische Schwankungen von Arbeitslosigkeit,Wetterveränderungen und der Dow-Jones-Index. Einige Wachstumsprozesse können direkt mit mathematischenFunktionen oder Modellen beschrieben werden; es kann sich um lineare, exponentielle, periodische, logistische, umdiskrete oder kontinuierliche Prozesse handeln. Viele Prozesse aber fallen unter mehrere Kategorien, so dass oftDatenanalysen nötig sind. Mit Hilfe moderner Computertechnologien sind bessere Näherungsverfahren und aus-gefeiltere Methoden zur Visualisierung von Daten entwickelt worden. Die Muster von Veränderungen in der Naturund in der Mathematik halten sich nicht an die traditionellen Inhaltsbereiche.

Sensibilität für Muster von Veränderungen umfasst laut Stuart (1990) folgende Aspekte:

– das Darstellen von Veränderungen in verständlicher Form

– das Verstehen von grundlegenden Typen der Veränderung

– das Erkennen besonderer Typen der Veränderung

– das Anwenden dieser Techniken auf die Außenwelt

– die Kontrolle eines sich verändernden Universums zu unserem eigenen Vorteil

Diese Fähigkeiten stehen in enger Beziehung sowohl zu unserer Definition mathematischer Grundbildung alsauch zu den weiter oben in dieser Rahmenkonzeption definierten Fähigkeiten.

In der Leitidee von Veränderung und Wachstum sind viele verschiedene Teilbereiche der traditionellen mathe-matischen Gebiete enthalten. Dies ist besonders offensichtlich für die Bereiche Relationen und Funktionen und ihre


55


56

graphischen Darstellungen. Die Begriffe Reihe, Steigung, Gradient sind eng mit Funktionen verknüpft. EineUntersuchung von Wachstumsraten für verschiedene Wachstumsphänomene führt zu linearen, exponentiellen, loga-rithmischen, periodischen und logistischen Wachstumskurven mit bestimmten Eigenschaften und Beziehungenuntereinander. Diese wiederum führen zu Aspekten der Zahlentheorie, wie zum Beispiel den Fibonacci-Zahlen oderdem Goldenen Schnitt. Außerdem können Verbindungen zwischen diesen Ideen und geometrischen Darstellungeneine Rolle spielen.

Die Geometrie kann auch benutzt werden, um Muster in der Natur, Kunst und Architektur zu untersuchen.Ähnlichkeit und Kongruenz können dabei ebenso eine Rolle spielen wie das Wachstum einer Fläche in Relation zumWachstum ihres Durchmessers oder Umfangs.

Wachstumsmuster können in algebraischen Formen und diese wiederum als Graphen dargestellt werden.

Wachstum lässt sich auch empirisch messen. Dabei stellt sich unter anderem die Frage, welche Schlüsse aus denWachstumsdaten gezogen werden können, wie die Wachstumsdaten dargestellt werden können usw. Aspekte derDatenanalyse und der Statistik sind also weitere Inhaltsbereiche, die in diesem Zusammenhang angesprochen wer-den können.

Raum und Form

Muster sind nicht nur in Wachstums- und Veränderungsprozessen zu finden, sondern überall um uns herum:in Sprache, Musik, Videos, Verkehr, Bauwerken und Kunst. Formen wie Häuser, Kirchen, Brücken, Seesterne,Schneeflocken, Stadtpläne, Kleeblätter, Kristalle und Schatten sind Muster. Geometrische Muster können als rela-tiv einfache Modelle für vielerlei Arten von Phänomenen dienen, und es ist möglich und erstrebenswert, sie auf allenEbenen zu untersuchen (Grünbaum, 1985). Form ist ein zentrales, in seiner Bedeutung zunehmendes undfaszinierendes Thema in der Mathematik, das eng mit der traditionellen Geometrie (allerdings weniger mit derSchulgeometrie) zusammenhängt, hinsichtlich Inhalt, Bedeutung und Methode jedoch weit über diese hinaus geht(Senechal, 1990).

Bei der Untersuchung von Form und Konstruktionen suchen wir, wenn wir die Bestandteile einer Formanalysieren und Formen in unterschiedlichen Darstellungen und Dimensionen erkennen, nach Ähnlichkeiten undUnterschieden. Die Untersuchung von Formen hängt eng mit dem Konzept der „Raumerfassung“ („grasping space“,Freudenthal, 1973) zusammen. Damit ist gemeint, dass wir lernen, den Raum, in dem wir leben, zu erkennen, zuerforschen und zu beherrschen, um besser in ihm leben, atmen und uns bewegen zu können.

Um dahin zu gelangen, müssen wir in der Lage sein, die relativen Positionen von Objekten zu verstehen. Wirmüssen uns bewusst sein, wie wir die Dinge sehen und warum wir sie so sehen, wie wir sie sehen. Wir müssen ler-nen, uns im Raum, innerhalb von Konstruktionen und Formen zu bewegen. Dies bedeutet, dass Schülerinnen undSchüler in der Lage sein sollten, die Beziehung zwischen den Formen und ihren Bildern oder visuellen Darstellungenzu verstehen, etwa die Beziehung zwischen einer Stadt und Fotografien oder Karten dieser Stadt. Sie müssen außer-dem verstehen, wie dreidimensionale Objekte zweidimensional dargestellt werden können, wie Schatten sich bildenund zu interpretieren sind, was Perspektive ist und wie sie funktioniert.

Wie hier beschrieben, ist die Untersuchung von Raum und Form offen und dynamisch und fügt sich gut indas für OECD/PISA definierte Konzept mathematischer Grundbildung und mathematischer Fähigkeiten ein.

Curriculare Teilbereiche der Mathematik

Natürlich können und sollen auch die traditionellen curricularen Teilbereiche der Mathematik nicht übergangenwerden. Deshalb wurden sie explizit als sekundäre Ordnungsaspekte des Bereichs mathematischer Grundbildung inOECD/PISA aufgenommen. Dieser Aspekt kann zur Ausgewogenheit der Items und zu einer angemessenenStreuung der Inhalte in Bezug auf schulische Curricula beitragen. Die curricularen Teilbereiche der Mathematik, dieim Rahmen von OECD/PISA berücksichtigt werden, sind:

– Arithmetik

– Größen und Größenordnungen

– Algebra

– Funktionen

– Geometrie


Anhang A81

– Wahrscheinlichkeit

– Statistik

– diskrete Mathematik

Diese Liste der curricularen Teilbereiche der Mathematik wurden in Zusammenarbeit mit den an PISAbeteiligten Ländern entwickelt. Die OECD/PISA-Tests werden Items zu jedem dieser Teilbereiche enthalten.

Situationen

Ein wichtiger Bestandteil der Definition mathematischer Grundbildung ist die Anwendung von Mathematikin vielen verschiedenen Situationen. Es wird berücksichtigt, dass die Wahl mathematischer Methoden und Formender Ergebnisdarstellung oft von der Einbettung abhängt, in der die Probleme präsentiert werden. Jede Situationsollte es den Schülerinnen und Schülern erlauben, sich am Prozess der Mathematisierung zu beteiligen, indem sieerkennen, wie sich die Methoden, die sie in einer bestimmten Situation gelernt haben, auch in anderen, ähnlichenSituationen erfolgreich anwenden lassen.

Situationen können im Hinblick auf ihre „Distanz“ zu den Schülerinnen und Schülern bewertet werden. ImRahmen von OECD/PISA werden Situationen verwendet, die sich hinsichtlich dieser Distanz bzw. Nähe unter-scheiden. Die größte Nähe weisen Kontexte auf, die dem persönlichen Leben entnommen sind, gefolgt vonSituationen aus den Bereichen Schule, Arbeit und Sport (bzw. Freizeit im Allgemeinen) sowie aus der lokalenGemeinschaft und Gesellschaft, wie sie Schülerinnen und Schüler im täglichen Leben begegnen. Am weitesten ent-fernt von Schülerinnen und Schülern sind schließlich die wissenschaftlichen Kontexte. Zu diesen gehören unteranderem Beweise für abstrakte Vermutungen, Verallgemeinerungen von nummerischen oder räumlichen Musternusw.

Hiermit wird also eine mehr oder weniger kontinuierliche Skala entwickelt, die als ein weiterer Aspekt derOECD/PISA-Rahmenkonzeption angesehen werden kann und fünf Situationen umfasst: persönlich, bildungsbezo-gen, beruflich, öffentlich und wissenschaftlich.

Ein mit den Situationen zusammenhängender Aspekt ist die Authentizität des für die Problemstellungbenutzten Kontextes. Dieser Aspekt soll nun im Einzelnen behandelt werden.

Aufgabenmerkmale

In den vorangegangenen Abschnitten wurde der Bereich der mathematischen Grundbildung definiert und seineStruktur beschrieben. In diesem Abschnitt nun geht es um die Testaufgaben, die zur Erfassung der Schülerleistungenverwendet werden. Es werden die Art der Aufgaben, ihr mathematischer Kontext, ihr Format und der Prozess derAufgabenentwicklung beschrieben.

Itemkontexte

Bei der Entwicklung der Testaufgaben muss das Problem der mathematischen Kontexte berücksichtigt werden,in die die Items eingebettet sind. Der Begriff Kontext wird hier entsprechend dem in der Mathematikdidaktiküblichen Gebrauch verwendet. Ein Kontext ist ein außer-mathematischer oder inner-mathematischer Rahmen, in demdie Elemente eines komplexen mathematischen Zusammenhangs (z.B. eines Problems, einer Aufgabe oder einerAnsammlung mathematischer Objekte, Beziehungen, Phänomene usw.) interpretiert werden sollen. Es handelt sichentweder um einen Rahmen, in dem der jeweilige mathematische Komplex bereits enthalten ist (inner-mathe-matischer Kontext), oder um einen Rahmen, der sich zur Aktivierung dieses mathematischen Komplexes eignet,und in den dieser Komplex dann eingebettet wird (außer-mathematischer Kontext). Die Einbettung eines mathe-matischen Komplexes in eine außer-mathematische Situation setzt immer das explizite oder implizite (unausge-sprochene) Vorhandensein eines mathematischen Modells voraus. Dies stellt die Übersetzung dieser Situation (bzw.bestimmter Aspekte dieser Situation) in dem betreffenden mathematischen Komplex dar.

Diese Definition lässt Raum für ein breites Spektrum von Kontexten. Kontexte können anderen Fächern ent-nommen werden, dem Berufsleben, dem Alltag, dem Leben in der Gemeinschaft und Gesellschaft usw. AuchFreizeitkontexte wie Sport und Spiel fallen darunter. Weiterhin ist die in früheren Abschnitten als Nebenaspekt


57


58

definierte „Situation“ eine Form des Kontextes. In den Testaufgaben werden ganz unterschiedliche Kontexte ver-wendet. Dies ist nötig, um kulturelle Vielfalt zu gewährleisten und um das ganze Spektrum der Rollen zu erfassen,die die Mathematik spielen kann.

Die in den Tests von OECD/PISA verwendeten Kontexte werden schwerpunktmäßig authentisch sein. EinKontext wird dann als authentisch angesehen, wenn er innerhalb der tatsächlichen Erfahrungen und Praktiken derTeilnehmer in realen Zusammenhängen angesiedelt ist. Diese Definition setzt jedoch nicht voraus, dass dieSchülerinnen und Schüler, die getestet werden, aktiv an diesen Zusammenhängen teilnehmen. Fragen nach denErträgen von Sparguthaben, die zu realistischen Zinssätzen bei einer Bank angelegt wurden, können durchausauthentisch sein, auch wenn sie außerhalb des aktuellen Erfahrungsbereichs der zu testenden Schülerinnen undSchüler liegen.

Zu berücksichtigen ist auch, dass ein Kontext nicht schon deshalb authentisch ist, weil er realitätsnaheElemente enthält. So enthalten die Aufgaben in Abbildungen 7 und 8 zwar realitätsnahe Elemente. Sie sind jedochnicht authentisch, weil sich diese Probleme in einem außerschulischen Rahmen so niemandem stellen würden. DieKontexte dieser Aufgaben sind gewählt worden, um auf der Oberfläche eine realitätsnahe Einbettungvorzutäuschen. Im Rahmen von OECD/PISA werden Kontexte dieses Typs so weit wie möglich vermieden.

Abbildung 7. Eine realitätsnahe, aber nicht authentische Aufgabe

Abbildung 8. Beispielitem mit einem konstruierten Kontext

Die Betonung der Authentizität von Kontexten im Rahmen von OECD/PISA schließt jedoch nicht aus, dassauch wichtige und/oder interessante inner-mathematische Kontexte (die mitunter auch „virtuell“ sein können)aufgenommen werden. Ein Beispiel hierfür ist die Aufgabe in Abbildung 9. Hier handelt es sich um einen künst-lichen bzw. verallgemeinerten Kontext, der authentisch sein mag oder auch nicht. Solche Kontexte werden, wennsie mathematisch interessant und relevant sind, auch in den OECD/PISA-Tests vorkommen. Eine der größtenStärken der Mathematik liegt ja gerade darin, dass sie benutzt werden kann, um hypothetische Szenarien zu erklärenund potentielle Systeme oder Situationen zu untersuchen, auch wenn diese in der Realität nicht möglich wären.


Was kostet ein T-Shirt?Was kostet ein Getränk?Gib an, welche Überlegungen zu deinen Antworten geführt haben.

44,00 $

30,00 $RoseBowl

RoseBowl

RoseBowl

Welche der folgenden Gleichungen könnte benutzt werden, um folgendes Problem zu lösen? Bill wog letzten Sommer 107 Pfund. Er nahm 4 Pfund ab, nahm dann aber wieder 11 Pfund zu. Wievielwiegt er jetzt?

a) 107 – (4+11) = Ab) (107 – 4) + 11 = Ac) (107 + 11) + 4 = Ad) – 4 + 11 = 107 + Ae) (107 – 11) + 4 = A

Anhang A83

Abbildung 9. Beispielitem mit einem „virtuellen“ Kontext

Aufgabenformate

Bei der Entwicklung von Testinstrumenten muss genau bedacht werden, welche Auswirkungen dieAufgabenformate auf die Leistungen der Schülerinnen und Schüler und damit auf die Definition des zu testendenKonstrukts haben. Diese Frage ist in einem Projekt wie OECD/PISA besonders wichtig, da hier das Spektrum der inFrage kommenden Formate durch den groß angelegten, länderübergreifenden Rahmen erheblich eingeschränkt ist.

Wie die Lesekompetenz soll auch die mathematische Grundbildung im Rahmen von OECD/PISA mit einerKombination aus Items mit Multiple-Choice-Formaten und Items mit offenem Antwortformat gemessen werden.Dabei wird es unter den Items mit offenem Antwortformat sowohl Aufgaben geben, für die es nur eine richtigeLösung gibt (offene Frage/eine richtige Antwort) als auch Fragen, die mehrere richtige Antwortmöglichkeiten haben(offene Frage/mehrere richtige Antworten). Anhang 2 enthält darüber hinaus Überlegungen zu einem breiterenSpektrum von Antwortformaten, die im zweiten Zyklus der Erhebung eingesetzt werden könnten, wenn Mathe-matik der Hauptbereich ist.

Im Zusammenhang mit der zweiten Mathematik-Studie der IEA stellen Travers und Westbury (1989) fest: „DieKonstruktion und Auswahl von Multiple-Choice-Items für die unteren Ebenen kognitiven Verhaltens – Rechnenund Verstehen – war nicht schwierig.“ Aber, so fahren sie fort, „auf den höheren Ebenen ergaben sichSchwierigkeiten“. Multiple-Choice-Formate sind zwar sinnvoll (siehe das Beispiel in Abbildung 10), aber nur inbegrenztem Umfang und nur zur Erfassung von Zielen (oder Verhaltensweisen) und Lernergebnissen auf der unters-ten Ebene. Für Ziele auf höheren Ebenen und für komplexere Prozesse sollten eher andere Testformate verwendetwerden, wobei die einfachste Strategie der Einsatz offener Fragen ist.

Offene Items, die nur eine richtige Antwort haben, stellen ähnliche Fragen wie Multiple-Choice-Items. Sie sinddadurch gekennzeichnet, dass die Schülerinnen und Schüler eine Antwort frei formulieren müssen, die dann leichtals falsch oder richtig beurteilt werden kann. Wenn die Antworten nicht maschinell ausgewertet werden, ist dies dasbevorzugte Format für die Erfassung von Kompetenzklasse 1. Anders als bei Multiple-Choice-Items spielt hier dasErraten richtiger Antworten in der Regel keine große Rolle, und es müssen keine Distraktoren (die das zu testendeKonstrukt beeinflussen) verwendet werden. Ein Beispiel für ein offenes Item, bei dem es nur eine richtige Antwortund viele mögliche falsche Antworten gibt, findet sich in Abbildung 11.

Items, die mehrere richtige Antworten haben, müssen die Schülerinnen und Schüler ausführlicher antworten,und der Antwortprozess erfordert in der Regel Aktivitäten höherer Ordnung. Bei solchen Items müssen dieSchülerinnen und Schüler oft nicht nur eine Antwort formulieren, sondern auch die Schritte angeben, die zu ihrgeführt haben, bzw. erklären, wie sie zu der Antwort gekommen sind. Die wichtigste Eigenschaft dieser Art vonItems ist, dass sie es Schülerinnen und Schülern erlauben, Lösungen auf verschiedenen Ebenen mathematischerKomplexität zu entwickeln. Abbildung 12 zeigt ein Beispiel.

Abbildung 10. Beispielitem mit einer begrenzten Zahl von Antwortmöglichkeiten


59

Wäre es möglich, ein Münzsystem (oder ein Briefmarkensystem) aufzubauen, dem nur die Einheiten 3 und 5 zugrunde liegen?Welche Geldbeträge könnte man mit diesem System bezahlen? Falls ein solches System möglich ist, wäre es auch wünschenswert?

Eine Robbe muss atmen, auch wenn sie schläft. Martin hat eine Robbe eine Stunde lang beobachtet. Zu Beginn seiner Beobachtungtauchte die Robbe zum Meeresboden und begann zu schlafen. Nach 8 Minuten ließ sie sich langsam zurück an die Oberfläche treibenund holte Atem.

Drei Minuten später war sie wieder auf dem Meeresboden, und der ganze Prozess fing von vorne an.

Nach einer Stunde war die Robbe:

a) auf dem Meeresbodenb) auf dem Weg nach obenc) beim Atemholend) auf dem Weg nach unten


Abbildung 11. Beispielitem mit einer richtigen Antwort und vielen falschen Antworten

Abbildung 12. Beispielitem mit einer frei formulierten Antwort

In der OECD/PISA-Studie werden 25-35% der Mathematik-Testzeit auf offene Items mit mehreren richtigenAntworten entfallen. Die Bewertung dieser Items muss von geschulten Kodierern vorgenommen werden. Diesemüssen in der Lage sein, Kodieranweisungen zu verwenden, die ein gewisses Maß an professionellemUrteilsvermögen erfordern. Da bei diesen Items die Gefahr besteht, dass verschiedene Kodierer zu unterschiedlichenErgebnissen kommen, wird OECD/PISA Untersuchungen der Reliabilität der Kodierungen durchführen, um dasAusmaß der Nichtübereinstimmung zu kontrollieren. Erfahrungen mit Untersuchungen dieses Typs haben gezeigt,dass es durchaus möglich ist, klare Kodieranweisungen zu entwickeln und zuverlässige Bewertungen zu erzielen.60


Tepla Louroupe gewann 1998 den Rotterdamer Marathonlauf. „Es war einfach," sagte sie, „die Strecke warganz eben."

Hier siehst du eine Grafik mit den Höhenunterschieden der Rotterdamer Marathonstrecke:

[Höhenunterschiede der Strecke relativ zum Startpunkt – in Metern]

Wie groß war der Unterschied zwischen der höchsten und der niedrigsten Stelle der Strecke?

H O O G T E V E R S C H I L L E N I N H E T PA R C O U R SIn meters ten opzichte van het startpunt20

10

0-5

0 km 5 10 15 20 25 30 35 40 42START NRC Handelsblad 170498 / Bron: Stichting Rotterdam Marathon FINISH

Indonesien liegt zwischen Malaysia und Australien. Die folgende Tabelle zeigt einige Daten zur BevölkerungIndonesiens und ihrer Verteilung auf die Inseln.

Region Fläche (km2) Prozent der Bevölkerung im Prozent der Gesamt-Gesamtfläche Jahre 1980 (in Mio.) bevölkerung

Java/Madura 132 187 7,50 91,281 65,21Sumatra 473 606 26,88 27,981 19,99Kalimantan (Borneo) 539 460 30,62 6,721 4,80Sulawesi (Celebes) 189 216 10,74 10,377 7,41Bali 5 561 0,31 2,470 1,77Irian Jaya 421 981 23,95 1,145 0,82

INSGESAMT 1 762 011 100,00 139,975 100,00

Eines der Hauptprobleme Indonesiens ist die ungleichmäßige Verteilung der Bevölkerung auf die Inseln. Der Tabelle istzu entnehmen, dass auf der Insel Java, die nur 7,5 % der Gesamtfläche einnimmt, etwa 65 % der Bevölkerung lebt.

Frage: Entwerfe eine grafische Darstellung (oder mehrere grafische Darstellungen), die die ungleichmäßige Verteilungder indonesischen Bevölkerung zeigt.

Quelle: de Lange und Verhage (1992), mit freundlicher Genehmigung.

Anhang A85

Im ersten Erhebungszyklus von OECD/PISA wird ein Aufgabenformat verwendet, bei dem mehrere Items anein gemeinsames Stimulusmaterial anknüpfen. Indem zunehmend komplexere Fragen gestellt werden, wird denSchülerinnen und Schülern Gelegenheit gegeben, sich eingehender mit einem Kontext oder Problem zu befassen.Die ersten Fragen sind meistens Multiple-Choice-Items oder offene Items mit einer einzigen richtigen Antwort, aufdie dann in der Regel offene Items mit mehreren richtigen Antworten folgen. Dieses Aufgabenformat ist für alleKompetenzklassen geeignet.

Ein Grund für die Verwendung solcher Aufgabenformate ist, dass mit ihnen realistische Aufgaben entwickeltwerden können, die die Komplexität realitätsnaher Situationen widerspiegeln. Ein weiterer Grund ist die effizienteNutzung der Testzeit, da diese Aufgabenformate die Zeit reduzieren, die für den „Einstieg“ in den mit der Situationgegebenen Stoff benötigt wird. Bei der Entwicklung der OECD/PISA-Aufgaben wird darauf geachtet, dass jedereinzelne Punkt, der innerhalb einer solchen Aufgabe erreicht werden kann, von allen anderen innerhalb der Aufgabezu erzielenden Punkten unabhängig ist. Wichtig ist außerdem, Verzerrungen zu minimieren, die aufgrund derVerwendung einer zu geringen Anzahl verschiedener Situationen entstehen könnten. Dies wird bei der Konstruktiondes Tests ebenfalls beachtet.

Abbildung 13 zeigt eine Aufgabe mit dem hier beschriebenen Format.

Abbildung 13. Eine Aufgabe mit mehreren Items

Erhebungsstruktur

In diesem Abschnitt wird die Struktur des mathematischen Teils in den OECD/PISA-Testheften für den erstenErhebungszyklus beschrieben, in dem insgesamt 60 Minuten Testzeit für Mathematik vorgesehen sind.


61

Wenn eine Figur so zusammengefaltet werden kann, dass die beiden Hälften genau aufeinander liegen, ist die Faltlinieeine Symmetrieachse.

Frage AWelche der folgenden Figuren besitzen Symmetrieachsen?

Frage BZeichne im nebenstehenden Quadrat alle Symmetrieachsen ein.

Frage CWelche der ersten acht Buchstaben des Alphabets haben genau zwei Symmetrieachsen?

Frage DHans sagte: „Ich kenne eine Regel, nach der man beurteilen kann, wann eine Figur mit vier Seiten eine Symmetrieachsehat: Wenn nämlich die Dreiecke auf beiden Seiten der Linie die gleiche Größe und die gleiche Form haben, gibt es eineSymmetrieachse, an der entlang die Figur zusammengefaltet werden kann." Erkläre, warum du Hans zustimmst odernicht zustimmst.

(1) (2) (3)


Im ersten Erhebungszyklus wird die Testzeit gleichmäßig auf die beiden mathematischen Leitideen„Veränderung und Wachstum“ bzw. „Raum und Form“ verteilt, während die Verteilung auf die dreiKompetenzklassen ungefähr 1:2:1 sein wird. Diese Information wird in Tabelle 9 zusammengefasst, die die Anzahlder Items für jede Leitidee und jede Kompetenzklasse angibt. Die Items selbst sind danach aufgeschlüsselt, ob siedurch mehrere Kodierer bewertet werden müssen.

Auf die Nebenaspekte „curriculare Teilbereiche“ und „Situationen“, die in Tabelle 9 nicht aufgeführt sind,verteilen sich die Items ungefähr gleichmäßig. Im Rahmen von OECD/PISA haben also alle oben genannten neuncurricularen Teilbereiche und fünf Situationen gleiches Gewicht.

Tabelle 9. Empfohlene Verteilung der Items und der zu erzielenden Punkte auf die fundamentalen Ideen und Kompetenzklassen

Wie aus Tabelle 9 hervorgeht, wird der Test voraussichtlich folgendes umfassen:

– 15 Items für jede der beiden Leitideen

– 21 Punktwerte für jede der beiden Leitideen

– 8 Items mit Mehrfachkodierung und 22 Items mit Einfachkodierung

– 12 Punktwerte in Kompetenzklasse 1, 20 Punktwerte in Kompetenzklasse 2 und 10 Punktwerte inKompetenzklasse 3

Langfristig sollen die Kompetenzklassen 2 und 3 im Rahmen von OECD/PISA größeres Gewicht erhalten alsim ersten Erhebungszyklus, in dem die Testzeit für Mathematik sehr begrenzt ist.

Nachstehend wird die Zusammensetzung eines typischen halbstündigen Moduls für die Erfassung mathema-tischer Grundbildung im ersten Zyklus beschrieben:

– eine kleine Anzahl (2-4) Multiple-Choice-Items oder offene Items mit einer einzigen richtigen Antwort zurErfassung von Kompetenzklasse 1 oder 2

– eine kleine Anzahl (1-2) von Aufgaben mit jeweils 2 oder 3 Items innerhalb ein und desselben Kontexts zurErfassung von Kompetenzklasse 1 oder 2

– ein Block von mehreren Items innerhalb eines Kontexts; die Items werden mit relativ einfachen Aufgabenzur Erfassung von Kompetenzklasse 1 beginnen und dann zu komplexeren Aufgaben zur Erfassung vonKompetenzklasse 3 übergehen

Skalenentwicklung

Eine wesentliche Voraussetzung dafür, dass die mit OECD/PISA angestrebten Ziele erreicht werden können,ist die Entwicklung von Skalen zur Beschreibung von Schülerleistungen. Der Prozess der Skalenentwicklung istinsofern iterativ, als erste Entwürfe, die auf bereits vorliegenden Erfahrungen und Untersuchungen im BereichLernen und kognitive Entwicklung in der Mathematik basieren, auf Grundlage der im Feldtest von OECD/PISAgewonnen Daten weiterentwickelt werden sollen.

Veränderung und Wachstum Raum und Form

Itemtyp Kompetenzklassen Kompetenzklassen

Klasse 1 Klasse 2 Klasse 3 Klasse 1 Klasse 2 Klasse 3

Ein Kodierer 6(6) 5(5) 6(6) 5(5)Mehrere Kodierer 2(5) 2(5) 2(5) 2(5)

Anm.: Die Zahl in Klammern ist die zu erreichende Punktzahl.

62


Anhang A87

Die Entscheidung, welche Skalen zur Berichterstattung über die Ergebnisse für mathematische Grundbildungzu verwenden sind, muss noch getroffen werden. Die naheliegendsten Alternativen sind die folgenden: i) eineeinzige Skala für mathematische Grundbildung insgesamt, ii) eine separate Skala für jede Leitidee oder iii) eine sepa-rate Skala für jede Kompetenzklasse. Die Entscheidung für eine dieser drei Alternativen wird nach Auswertung derDaten aus dem Feldtest getroffen.

Um den Informationsgehalt der OECD/PISA-Ergebnisse weiter zu erhöhen, werden zumindest bei einigenItems nicht einfach nur Punktwerte für richtige Antworten vergeben, sondern auch die von den Schülerinnen undSchülern jeweils gewählten Strategien kodiert. Beispielsweise wäre es durchaus nicht überraschend, wennSchülerinnen und Schüler aus zwei Ländern zwar auf der Skala für mathematische Grundbildung gleichePunktwerte erzielten, sich aber erheblich darin unterschieden, wie sie dieses Niveau erreicht haben: In dem einenLand könnten sich die Schülerinnen und Schüler mehr an formale Strategien und Routineverfahren halten,während in dem anderen Land möglicherweise eher informelle, auf gesundem Menschenverstand beruhende,Strategien gewählt werden.

Sonstiges

Verknüpfungen mit anderen Erhebungsbereichen

OECD/PISA setzt andere Schwerpunkte als frühere Leistungsvergleiche im Bereich Mathematik, etwa dieThird International Mathematics and Science Study (IEA/TIMSS). Während die in IEA/TIMSS eingesetztenInstrumente auf dem gemeinsamen Nenner der nationalen Curricula aller Teilnehmerländer basieren, soll imRahmen von OECD/PISA mathematische Grundbildung im oben definierten Sinne gemessen werden. WerIEA/TIMSS kennt, wird feststellen, dass zwischen den „mathematischen Kompetenzen“ von OECD/PISA und den„Leistungserwartungen“ („performance expectations“) von IAE/TIMSS gewisse Beziehungen bestehen und dass dieim Rahmen von OECD/PISA unterschiedenen „curricularen Teilbereiche der Mathematik“ Ähnlichkeiten mit denin IEA/TIMSS verwendeten Curriculuminhalten aufweisen. Im Rahmen von OECD/PISA werden die curricularenTeilbereiche jedoch den Leitideen untergeordnet, die den Bereich der mathematischen Grundbildung abgrenzen.Außerdem gehören die meisten Items im IEA/TIMSS-Leistungstest zu Kompetenzklasse 1, während dieOECD/PISA-Tests auch die Kompetenzklassen 2 und 3 erfassen sollen. Aus diesen Gründen ist nicht zu erwarten,dass eine psychometrische Verknüpfung der Skalen von IEA/TIMSS und OECD/PISA möglich sein wird.

Hilfsmittel

Es gibt drei Möglichkeiten, mit der Frage der Benutzung von Taschenrechnern und anderen Hilfsmitteln imRahmen von OECD/PISA umzugehen:

– die Benutzung von Taschenrechnern wird grundsätzlich untersagt

– die Benutzung von Taschenrechnern wird auf einen im Rahmen des OECD/PISA-Tests zur Verfügunggestellten Rechner beschränkt

– die Benutzung von eigenen Taschenrechnern und sonstigen Hilfsmitteln wird freigestellt

OECD/PISA hat sich für die dritte Möglichkeit entschieden. Sie wurde gewählt, weil sie die authentischsteMessung dessen ermöglicht, was Schülerinnen und Schüler leisten können, und für den Vergleich derLeistungsfähigkeit von Bildungssystemen am informativsten ist. Die in einem Bildungssystem getroffeneEntscheidung, Schülerinnen und Schülern den Gebrauch von Taschenrechnern zu erlauben, unterscheidet sichnicht prinzipiell von Entscheidungen über andere Aspekte des Unterrichts, die in Bildungssystemen getroffen undvon OECD/PISA nicht kontrolliert werden.

Im Übrigen ist das Argument, bei den ersten beiden Optionen wären die Vergleiche gerechter, weil dieTestbedingungen scheinbar identisch sind, nur bei oberflächlicher Betrachtung richtig. Schülerinnen und Schüler,die es gewohnt sind, Aufgaben mit Hilfe eines Taschenrechners zu lösen, sind benachteiligt, wenn ihnen diesesHilfsmittel genommen wird. Schülerinnen und Schüler, die einen Rechner erhalten, mit dem sie nicht vertraut sind,können diesen andererseits unter Umständen nicht effektiv nutzen oder lassen sich möglicherweise dazu verleiten,ihn unnötig oder unangemessen einzusetzen. Das einfache Problem 6+4·3=? etwa ist für viele Schülerinnen undSchüler mit einem einfachen Taschenrechner schwerer zu lösen als ohne, insbesondere wenn sie mitTaschenrechnern nicht vertraut sind.


63


64


Deshalb wurde die Entscheidung getroffen, Schülerinnen und Schülern im Rahmen von OECD/PISA dieNutzung von Taschenrechnern und anderen, in ihren Schulen normalerweise benutzten Hilfsmitteln zu erlauben.Die Testitems werden jedoch so gewählt, dass der Gebrauch von Taschenrechnern die Testleistungen nichtverbessern dürfte.

Anhang A89

Kapitel Drei

NATURWISSENSCHAFTLICHE GRUNDBILDUNG (Scientific Literacy)

Eine für die eigenverantwortliche Lebensgestaltung junger Menschen wichtige Kompetenz ist dieFähigkeit, aus vorliegenden Informationen und Befunden angemessene und vorsichtige Schlussfolgerungen zuziehen, Behauptungen anderer Personen anhand der angeführten Belege zu kritisieren und durch Belegegestützte Aussagen von bloßen Meinungen zu unterscheiden. Den Naturwissenschaften kommt hier einebesondere Rolle zu, da sie sich mit der rationalen Überprüfung von Ideen und Theorien anhand von Befundenaus unserer Umwelt befassen. Dies heißt nicht, dass die Naturwissenschaften Kreativität und Phantasie aus-schließen, die für die Weiterentwicklung unseres Verständnisses der Welt schon immer eine zentrale Rollegespielt haben. Auf manche Ideen, die „plötzlich aufgetaucht“ zu sein scheinen, ist man nur aufgrund einesVorgangs gekommen, den Einstein als den „Weg der Intuition“ beschrieben hat, „dem ein Gefühl für die hin-ter den Dingen liegende Ordnung zu Hilfe kommt“ (Einstein, 1933). Welche Ideen man dann aber aufgreifenkonnte, hing von ihrer sozialen Annehmbarkeit zu der betreffenden Zeit ab, so dass Entwicklungen naturwis-senschaftlichen Wissens nicht nur von der Kreativität einzelner Menschen abhängen, sondern immer auch vonder Kultur, in der sie erdacht werden. Wird der kreative Sprung aber vollzogen und ein neuer theoretischerBezugsrahmen formuliert, muss dieser anschließend äußerst sorgfältig an der Realität überprüft werden. WieHawking (1988) schrieb:

„Gut ist eine Theorie, wenn sie zwei Voraussetzungen erfüllt: Sie muss eine grosse Klasse vonBeobachtungen auf der Grundlage eines Modells beschreiben, das nur einige wenige beliebige Elementeenthält, und sie muss bestimmte Voraussagen über die Ergebnisse künftiger Beobachtungen ermöglichen.“(Hawking,1991, S.23-24)

Theorien, die diese Voraussetzungen nicht erfüllen – oder nicht überprüft werden können –, sind keine natur-wissenschaftlichen Theorien. Ein gebildeter Bürger muss in der Lage sein, zwischen Fragen, die von denNaturwissenschaften beantwortet werden können, und Fragen, bei denen dies nicht der Fall ist, ebenso zu unter-scheiden wie zwischen Wissenschaft und Pseudowissenschaft.


Aktuelle Auffassungen über die anzustrebenden Ergebnisse des naturwissenschaftlichen Unterrichts betonen dieEntwicklung eines allgemeinen Verständnisses von wichtigen naturwissenschaftlichen Konzepten undErklärungsmodellen, von den Methoden, mit denen die Naturwissenschaften ihre Erkenntnisse überprüfen undstützen, und von den Möglichkeiten und Grenzen der Naturwissenschaften in der modernen Welt. Als wichtig wirdaußerdem die Fähigkeit angesehen, dieses Verständnis in realen, mit naturwissenschaftlichen Fragen verbundenenSituationen anzuwenden, in denen Behauptungen geprüft und Entscheidungen getroffen werden müssen. So be-steht für Millar und Osborne (1998) das zentrale Anliegen eines modernen naturwissenschaftlichen Curriculums inder Entwicklung der „Fähigkeit, naturwissenschaftliche und technische Informationen zu lesen, sich anzueignenund in ihrer Bedeutung einzuschätzen“. Weiter heißt es bei ihnen:

„Bei diesem Ansatz liegt die Betonung weniger darauf, Naturwissenschaft praktisch zu betreiben. Es geht auch nichtdarum, naturwissenschaftliches Wissen zu erzeugen oder naturwissenschaftliches Wissen für irgendeine Prüfung kurzaus dem Gedächtnis zu reproduzieren. ... Schülerinnen und Schüler sollten im naturwissenschaftlichen Unterrichtangehalten werden, zu zeigen, dass sie in der Lage sind, Belege zu beurteilen, zwischen Theorien und Beobachtungenzu unterscheiden und den Grad der Gewissheit einzuschätzen, der den aufgestellten Behauptungen zugeschriebenwerden kann.“ (Millar und Osborne, 1998)

Dies also sollte der Ertrag des naturwissenschaftlichen Unterrichts für alle Schülerinnen und Schüler sein. Beieinigen Schülerinnen und Schülern, jener Minderheit, die einmal die Naturwissenschaftler von morgen sein wer-den, werden diese grundlegenden Fähigkeiten dann durch eine intensivere Beschäftigung mit naturwis-senschaftlichen Ideen vertieft und durch die Entwicklung der Fähigkeit, selbst naturwissenschaftlich zu arbeiten,erweitert. 65


66

Aus diesen Überlegungen kann gefolgert werden, dass das wesentliche Ergebnis naturwissenschaftlichenUnterrichts, das auch im Rahmen von OECD/PISA im Mittelpunkt stehen sollte, im Aufbau von naturwis-senschaftlicher Grundbildung (scientific literacy) besteht. Dieser Begriff ist in ganz unterschiedlichenZusammenhängen verwendet worden. Das International Forum on Scientific and Technological Literacy for All(UNESCO, 1993) zum Beispiel hat eine ganze Reihe von Sichtweisen vorgeschlagen. Eine davon lautet wie folgt:

„Die Fähigkeit, sich mit Verstand und Zutrauen auf angemessenen Niveaus mit der von Menschen gestalteten Weltund mit der Welt der naturwissenschaftlichen und technischen Ideen auseinanderzusetzen.“ (UNESCO, 1993)

In den vielen verschiedenen Auffassungen naturwissenschaftlicher Grundbildung (einen Überblick gibtShamos, 1955; siehe auch Graeber und Bolte, 1997) sind immer auch Vorstellungen von den Ebenen dieserGrundbildung enthalten. So hat Bybee (1997) eine Unterscheidung von vier Ebenen vorgeschlagen. Die beidenuntersten dieser Ebenen sind die „nominelle naturwissenschaftliche Grundbildung“, bei der es um die Kenntnis vonNamen und Begriffen geht, und die „funktionale Grundbildung“, über die Personen verfügen, wenn sie naturwis-senschaftliches Vokabular in eingeschränkten Zusammenhängen anwenden können. Diese beiden Ebenen derGrundbildung werden als zu niedrig erachtet, um als Bezugspunkte innerhalb der OECD/PISA-Rahmenkonzeptionzu dienen. Die höchste der von Bybee genannten Ebenen, die „multidimensionale naturwissenschaftlicheGrundbildung“, umfasst ein Verständnis der Besonderheiten von Naturwissenschaften sowie ihrer Geschichte undihrer kulturellen Rolle auf einer Ebene, die eher für naturwissenschaftliche Experten angemessen ist als für dieAllgemeinheit. Möglicherweise ist die Annahme, dass naturwissenschaftliche Grundbildung Denken auf diesemspezialisierten Niveau voraussetzt, für die Schwierigkeit verantwortlich, eine leichter zugängliche Vorstellung desKonzepts zu vermitteln. Für die Zwecke der OECD/PISA-Rahmenkonzeption scheint am ehesten Bybees dritteEbene angemessen, die „konzeptuelle und prozedurale naturwissenschaftliche Grundbildung“.

Nachdem eine Reihe von bereits vorliegenden Beschreibungen in Erwägung gezogen wurden, definiertOECD/PISA naturwissenschaftliche Grundbildung (scientific literacy) wie folgt:

„Naturwissenschaftliche Grundbildung ist die Fähigkeit, naturwissenschaftliches Wissen anzuwenden, naturwis-senschaftliche Fragen zu erkennen und aus Belegen Schlussfolgerungen zu ziehen, um Entscheidungen zu verstehenund zu treffen, die die natürliche Welt und die durch menschliches Handeln an ihr vorgenommenen Veränderungenbetreffen.“

Dies soll im folgenden näher erläutert werden.

Naturwissenschaftliche Grundbildung (scientific literacy) ...

Hier ist ausdrücklich darauf hinzuweisen, dass naturwissenschaftliches Wissen (im Sinne eines Wissens über dieNaturwissenschaften) und die Prozesse, mit denen dieses Wissen entwickelt wird, nicht nur wesentliche Bestandteilenaturwissenschaftlicher Grundbildung darstellen, sondern dass sie innerhalb der hier verwendeten Konzeption letzt-lich nicht voneinander zu trennen sind. Prozesse sind, wie sogleich noch ausführlicher zu erläutern sein wird, nurdann naturwissenschaftliche Prozesse, wenn sie bezogen auf naturwissenschaftliche Inhalte angewendet werden.Deshalb setzt die Anwendung von naturwissenschaftlichen Prozessen notwendigerweise ein gewisses Verständnisnaturwissenschaftlicher Inhalte voraus. Die im Rahmen von OECD/PISA zugrunde gelegte Auffassung naturwis-senschaftlicher Grundbildung trägt dieser Verbindung von Denken und Wissen über naturwissenschaftliche Aspekteder Welt Rechnung.

... naturwissenschaftliches Wissen anzuwenden, naturwissenschaftliche Fragen zu erkennen und aus BelegenSchlussfolgerungen zu ziehen ...

Nach dieser Definition bedeutet naturwissenschaftliches Wissen weit mehr als bloßes Faktenwissen und dieKenntnis von Bezeichnungen und Begriffen. Es umfasst ein Verständnis von grundlegenden naturwissenschaftlichenKonzepten, von den Grenzen des naturwissenschaftlichen Wissens und von den Besonderheiten derNaturwissenschaften als ein von Menschen betriebenes Unterfangen. Das Erkennen naturwissenschaftlicher Fragenbezieht sich auf Fragestellungen, die sich mit naturwissenschaftlichen Untersuchungen beantworten lassen und dieein Wissen über die Naturwissenschaften und die naturwissenschaftlichen Aspekte bestimmter Themen voraus-setzen. Aus Belegen Schlussfolgerungen zu ziehen verlangt, dass die zur Auswahl und Beurteilung vonInformationen und Daten notwendigen Prozesse gewusst und angewendet werden. Dabei muss berücksichtigt wer-den, dass die vorhandenen Informationen häufig nicht ausreichen, um endgültige Schlussfolgerungen zu ziehen,und dass in solchen Fällen vorsichtig und bewusst Vermutungen anhand der verfügbaren Informationen angestelltwerden müssen.


Anhang A91

... Entscheidungen zu verstehen und zu treffen ...

Die Formulierung Entscheidungen zu verstehen und zu treffen weist darauf hin, dass erstens einVerständnis der natürlichen Welt als Ziel an sich und als Voraussetzung für das Treffen von Entscheidungenwertvoll ist, und dass zweitens naturwissenschaftliches Verständnis zur Entscheidungsfindung zwar beitragenkann, diese aber selten bereits determiniert. Praktische Entscheidungen sind immer in Situationen einge-bunden, die auch soziale, politische oder ökonomische Dimensionen haben, und naturwissenschaftlichesWissen wird im Zusammenhang von Wertvorstellungen angewendet, die mit diesen Dimensionen verknüpftsind. Wo über die Werte in einer Situation Einvernehmen besteht, kann der Rückgriff auf naturwis-senschaftliche Belege unumstritten sein. Wo die Wertvorstellungen jedoch auseinander gehen, werden dieAuswahl und die Verwendung von naturwissenschaftlichen Befunden bei der Entscheidungsfindung eherkontrovers sein.

... die natürliche Welt und die durch menschliches Handeln an ihr vorgenommenen Veränderungen ...

Die Wendung die natürliche Welt wird als Kurzform für das physikalische Umfeld, die Lebewesen sowie dieBeziehungen zwischen ihnen gebraucht. Entscheidungen über die natürliche Welt schließen Entscheidungen ein,die mit den Naturwissenschaften und ihrer Beziehung zur eigenen Person, zur Familie, zur Gemeinde oder zuglobalen Problemen zusammenhängen. Die Wendung durch menschliches Handeln an ihr vorgenommenenVeränderungen bezieht sich auf geplante und ungeplante Anpassungen der natürlichen Welt an menschlicheZwecke (einfache und komplexe Technologien) und auf deren Folgen.

An dieser Stelle muß hervorgehoben und später auch noch ausführlicher erklärt werden, dass der Begriff dernaturwissenschaftlichen Grundbildung nicht dichotom ist. Das heißt, er ist nicht so zu verstehen, als könnte manMenschen danach einteilen, ob sie über naturwissenschaftliche Grundbildung verfügen oder nicht. Hier mußman sich vielmehr ein Kontinuum vorstellen, das von einer wenig entwickelten bis zu einer hoch entwickeltennaturwissenschaftlichen Grundbildung reicht. So können beispielsweise Schülerinnen und Schüler mit einerweniger entwickelten naturwissenschaftlichen Grundbildung durchaus in der Lage sein, manche Belege zu erken-nen, die für die Beurteilung einer Behauptung oder für die Untermauerung eines Arguments relevant sind, odereinfache und vertraute Situationen relativ umfassend zu bewerten. Eine höher entwickelte naturwissenschaftlicheGrundbildung hingegen zeigt sich in umfassenderen Antworten und in der Fähigkeit, auch in weniger vertrau-ten und komplexeren Situationen Wissen anzuwenden und Behauptungen unter Rückgriff auf Belege zubeurteilen.

Organisation des Gegenstandsbereichs

Die OECD/PISA-Definition naturwissenschaftlicher Grundbildung umfasst drei Aspekte:

– naturwissenschaftliche Prozesse, die, eben weil sie naturwissenschaftlich sind, entsprechendes Wissen voraus-setzen, wobei aber das Wissen nicht die wichtigste Voraussetzung für die erfolgreiche Bewältigung derAufgaben sein soll

– naturwissenschaftliche Konzepte, deren Verständnis anhand von Anwendungsaufgaben in bestimmtenInhaltsbereichen gemessen werden soll und

– Situationen, die in den Testaufgaben präsentiert werden (dieser Aspekt wird im allgemeinenSprachgebrauch häufig als „Kontext“ bezeichnet)

Im Folgenden werden diese Aspekte einzeln behandelt. Es ist jedoch wichtig, an dieser Stelle daraufhinzuweisen, dass Messungen naturwissenschaftlicher Grundbildung immer Kombinationen aus allen dreiAspekten erfassen.

Die ersten beiden Aspekte werden sowohl zur Aufgabenkonstruktion als auch zur Charakterisierung derSchülerleistungen benutzt. Durch Berücksichtigung des dritten Aspekts wird sichergestellt, dass bei derAufgabenentwicklung die naturwissenschaftlichen Inhalte in ein breites Spektrum relevanter Kontexte eingebettetwerden.

In den folgenden Abschnitten werden die drei organisierenden Gesichtspunkte ausführlicher behandelt.Durch ihre Spezifizierung in der OECD/PISA-Rahmenkonzeption wird gewährleistet, dass die Leistungsmessungdie Erträge des naturwissenschaftlichen Unterrichts umfassend abdeckt.

Naturwissenschaftliche Grundbildung (Scientific Literacy)

67


68

Naturwissenschaftliche Prozesse

Prozesse sind mentale (und manchmal physische) Handlungen, die beim Konzipieren, Erheben, Interpretierenund Anwenden von Belegen oder Daten ausgeführt werden, um Wissen oder Verständnis aufzubauen. Prozessemüssen in Bezug auf einen bestimmten Inhalt angewendet werden; es gibt keine inhaltsfreien Prozesse. DasSpektrum der Inhalte, auf die Prozesse angewendet werden können, ist breit; zu naturwissenschaftlichen Prozessenwerden sie, wenn der Inhalt mit naturwissenschaftlichen Aspekten der Welt zu tun hat und ihre Anwendung zueiner Erweiterung des naturwissenschaftlichen Verständnisses führt.

Die Prozesse, die gewöhnlich als naturwissenschaftlich bezeichnet werden, umfassen ein breites Spektrum vonVerständnis und Fähigkeiten, die erforderlich sind, um Belege aus der uns umgebenden Welt zu sammeln, zu inter-pretieren und Schlussfolgerungen aus ihnen zu ziehen. Zu den Prozessen, die mit dem Sammeln von Belegen ver-bunden sind, gehören auch forschungspraktische Prozesse wie die Planung und der Aufbau vonVersuchsanordnungen, das Durchführen von Messungen, das Sammeln von Beobachtungen mit geeignetenInstrumenten usw. Die Entwicklung solcher Prozesse gehört zu den Zielen des naturwissenschaftlichen Unterrichts.Es soll damit den Schülerinnen und Schülern ermöglicht werden, zu erfahren und zu verstehen, wie naturwis-senschaftliches Verständnis aufgebaut wird und, im Idealfall, was die Besonderheiten von naturwissenschaftlicherForschung und von naturwissenschaftlichem Wissen ausmacht. Nur wenige Schülerinnen und Schüler werden diesepraktischen Fertigkeiten im späteren Leben einsetzen. Für alle ist es jedoch wichtig, ein Verständnis von Prozessenund Konzepten durch praktisches Untersuchen und Experimentieren zu entwickeln. Im Übrigen gibt es guteGründe für die Annahme, dass die traditionelle, im naturwissenschaftlichen Unterricht auch heute noch häufiganzutreffende Auffassung vom „naturwissenschaftlichen Prozess“ als induktives Schließen aus Beobachtungen imGegensatz dazu steht, wie naturwissenschaftliches Wissen tatsächlich gewonnen wird (z.B. Ziman, 1980).

Für naturwissenschaftliche Grundbildung, wie sie hier definiert wurde, hat die Anwendung von naturwis-senschaftlichem Wissen, um „aus Belegen Schlussfolgerungen zu ziehen“, höhere Priorität als die Fähigkeit, selberBelege zu sammeln. Die Fähigkeit, Belege oder Daten zu Behauptungen und Schlussfolgerungen in Beziehung zusetzen, ist wesentlich für alle Menschen, damit sie Urteile über solche Aspekte ihres Lebens fällen können, die vonden Naturwissenschaften beeinflusst werden. Daraus folgt, dass alle Menschen wissen sollten, wo naturwis-senschaftliches Wissen relevant ist und welche Fragen von den Naturwissenschaften beantwortet werden könnenund welche nicht. Weiterhin sollten alle in der Lage sein, die Gültigkeit von Belegen zu beurteilen, und zwar inHinblick auf ihre Relevanz und auf die Art und Weise, wie sie gewonnen wurden. Am Wichtigsten ist jedoch, dassalle imstande sein sollten, Schlussfolgerungen auf die Belege zurückzubeziehen und Belege abzuwägen, die für odergegen bestimmte, das Leben auf persönlicher, sozialer oder globaler Ebene beeinflussende Handlungen sprechen.

Die soeben vorgenommenen Unterscheidungen lassen sich dahingehend zusammenfassen, dass den Prozessenüber Naturwissenschaften (Umgang mit naturwissenschaftlichen Erkenntnissen) höhere Bedeutung zugesprochenwerden als den Prozessen in den Naturwissenschaften (naturwissenschaftliches Arbeiten). Bei den in Abbildung 14aufgeführten Prozessfähigkeiten geht es daher primär um den Umgang mit den Naturwissenschaften und wenigerum ihre Anwendung in den Naturwissenschaften. In allen in Abbildung 14 aufgeführten Prozessen spielt dieKenntnis naturwissenschaftlicher Konzepte eine Rolle. Bei den vier ersten Prozessen sind diese Kenntnissenotwendig, aber nicht hinreichend, da hier Wissen, das die Erhebung und Anwendung von naturwissenschaftlichenBelegen und Daten betrifft, im Vordergrund steht. Bei dem fünften Prozess ist dagegen das Verständnis naturwis-senschaftlicher Konzepte selber der wesentliche Faktor.

Abbildung 14. Ausgewählte naturwissenschaftliche Prozesse

Diese Prozesse sollen im Folgenden genauer beschrieben werden. Darüber hinaus zeigt Abbildung 19, wie sieoperationalisiert werden.


1. Fragestellungen erkennen, die naturwissenschaftlich untersucht werden können.2. Belege/Nachweise identifizieren, die in einer naturwissenschaftlichen Untersuchung benötigt werden.3. Schlussfolgerungen ziehen oder bewerten.4. gültige Schlussfolgerungen kommunizieren.5. Verständnis naturwissenschaftlicher Konzepte zeigen.

Anhang A93

Naturwissenschaftliche Fragestellungen erkennen

Zum Erkennen naturwissenschaftlicher Fragestellungen gehört unter anderem: die Frage oder Idee zu erken-nen, die in einer bestimmten Untersuchung geprüft wurde (oder hätte geprüft werden können); zu unterscheiden,welche Fragen durch naturwissenschaftliche Untersuchungen beantwortet werden können und welche nicht; odereine Frage zu stellen, die in einer bestimmten Situation naturwissenschaftlich untersucht werden könnte.

Naturwissenschaftliche Nachweise identifizieren

Zum Identifizieren von Nachweisen, die für eine naturwissenschaftliche Untersuchung erforderlich sind, gehörtes, die Informationen zu bestimmen, die für die gültige Überprüfung einer bestimmten Idee benötigt werden. Dabeikann es zum Beispiel erforderlich sein, zu bestimmen oder zu erkennen, was verglichen werden muss, welcheVariablen verändert oder kontrolliert werden müssen, welche zusätzlichen Informationen benötigt werden und wasgetan werden muss, um relevante Daten zu erheben.

Schlussfolgerungen ziehen oder bewerten

Zum Ziehen von Schlussfolgerungen bzw. zur kritischen Bewertung solcher Schlussfolgerungen gehört unteranderem, auf der Basis naturwissenschaftlicher Belege oder Daten eine Schlussfolgerung zu formulieren bzw. ausalternativen Schlussfolgerungen diejenige auszuwählen, die zu diesen Daten passt; Gründe anzugeben, die unterBerücksichtigung der vorliegenden Daten für oder gegen eine bestimmte Schlussfolgerung sprechen; oder dieAnnahmen zu identifizieren, die dieser Schlussfolgerung zugrunde liegen.

Gültige Schlussfolgerungen kommunizieren

Zur Mitteilung von validen, auf vorhandene Belege und Daten gestützten Schlussfolgerungen an eine be-stimmte Zielgruppe gehört unter anderem, auf Basis der Situation und der vorliegenden Daten oder auf Basis vonzusätzlichen relevanten Informationen eine Argumentation zu entwickeln, die für das betreffende Publikumangemessen und klar formuliert ist.

Verständnis naturwissenschaftlicher Konzepte zeigen

Zum Nachweis des Verständnisses naturwissenschaftlicher Konzepte durch ihre situationsangemesseneAnwendung gehört unter anderem, naturwissenschaftliche Ideen und/oder Informationen, die nicht vorgegebenwurden, heranzuziehen, um Zusammenhänge und mögliche Ursachen bestimmter Veränderungen zu erklären, umVorhersagen über die Wirkung bestimmter Veränderungen zu treffen oder um Faktoren zu bestimmen, die ein be-stimmtes Ergebnis beeinflussen.

Naturwissenschaftliches Wissen wird bei allen fünf Prozessen benötigt. Bei den ersten vier sollen dieseKenntnisse jedoch nicht die entscheidende Voraussetzung darstellen, da hier die mentalen Prozesse untersucht wer-den sollen, die bei der Erhebung, Beurteilung und Kommunikation von gültigen naturwissenschaftlichen Belegenausschlaggebend sind. Bei dem fünften Prozess dagegen wird das Verständnis naturwissenschaftlicher Konzepte ansich gemessen und stellt insofern die eigentliche „Hürde“ dar.

Zu beachten ist, dass der Schwierigkeitsgrad der Aufgaben, die zu jedem der oben aufgeführten Prozesse gestelltwerden, breit variieren kann und von den jeweiligen naturwissenschaftlichen Konzepten wie auch von denSituationen abhängt. OECD/PISA wird mit Hilfe von Rückmeldungen aus den Teilnehmerländern und denErgebnissen des Feldtests sicher stellen, dass die für die Haupterhebung ausgewählten Items einen für 15-Jährigeangemessenen Schwierigkeitsgrad aufweisen.

Konzept und Inhalt

Konzepte versetzen uns in die Lage, neuen Erfahrungen Bedeutung zu geben, indem wir sie mit dem verbinden,was wir bereits wissen. Naturwissenschaftliche Konzepte helfen uns, bestimmte Aspekte der natürlichen und der vomMenschen geschaffenen Welt zu verstehen. Naturwissenschaftliche Konzepte werden auf vielen verschiedenenEbenen formuliert – von den sehr umfassenden Bezeichnungen für die Naturwissenschaft, unter denen sie in denSchulen präsentiert werden (Biologie, Physik, Geowissenschaften usw.), bis zu den langen Listen vonVerallgemeinerungen, wie sie häufig in Beschreibungen von curricularen Anforderungen oder in Lehrplänen auf-tauchen.


69


70

Es gibt viele Möglichkeiten, naturwissenschaftliche Konzepte zu gruppieren, um das Verständnis der naturwis-senschaftlichen Aspekte der Welt zu erleichtern. Manchmal sind Konzepte Bezeichnungen, die charakteristischeMerkmalsbereiche für eine bestimmte Gruppe von Objekten oder Ereignissen beinhalten (z.B. „Säugetiere“,„Beschleunigung“, „Lösungsmittel“); von solchen Konzepten dürfte es mehrere Tausend geben. Konzepte könnenaber auch als Verallgemeinerungen bestimmter Phänomene formuliert werden (z.B. die „Gesetze“ oder Theoremeder Physik oder Chemie); von diesen gibt es viele Hunderte. Diese können außerdem als wichtige naturwis-senschaftliche Themen gefaßt werden, die allgemein anwendbar sind und sich für Mess- und Berichtszwecke leichteroperationalisieren lassen.

Im Rahmen von OECD/PISA wird die Auswahl der naturwissenschaftlichen Konzepte, die erfasst werdensollen, durch vier Kriterien bestimmt:

– Das erste Kriterium ist die Relevanz für alltägliche Situationen. Naturwissenschaftliche Konzepte unter-scheiden sich im Grad ihrer Nützlichkeit für das tägliche Leben. Die Relativitätstheorie zum Beispiel bietetzwar eine genauere Beschreibung der Beziehungen zwischen Länge, Masse, Zeit und Geschwindigkeit, dochsind die Newtonschen Gesetze nützlicher, wenn es um die Kräfte und Bewegungen geht, mit denen wir esim Alltag zu tun haben.

– Das zweite Kriterium ist, dass die ausgewählten Konzepte und Inhalte bleibende Bedeutung für das Lebenim nächsten Jahrzehnt und darüber hinaus haben sollten. Da naturwissenschaftliche Grundbildung erst imJahr 2006 die Hauptkomponente der Erhebung sein wird, werden im ersten Zyklus von OECD/PISA solcheKonzepte im Mittelpunkt stehen, die mit großer Wahrscheinlichkeit auch dann noch eine Bedeutung in denNaturwissenschaften und in der Politik haben werden.

– Die dritte Grundlage für die Auswahl ist die Relevanz der Konzepte für Situationen, die für den Nachweisnaturwissenschaftlicher Grundbildung geeignet sind.

– Das vierte Kriterium ist, dass die Konzepte eine Verknüpfung mit ausgewählten naturwissenschaftlichenProzessen gestatten. Dies wäre nicht der Fall, wenn es nur darum ginge, Bezeichnungen oder Definitionenaus dem Gedächtnis zu reproduzieren.

Abbildungen 15 und 16 zeigen das Ergebnis der Anwendung dieser Kriterien auf naturwissenschaftlicheKonzepte und Inhalte. Abbildung 15 führt wichtige naturwissenschaftliche Themen zusammen mit einigenBeispielen für darauf bezogene Konzepte auf. Diese allgemeinen Konzepte sind Voraussetzung für ein Verständnisder natürlichen Welt und für das Erfassen der Bedeutung neuer Erfahrungen. Sie hängen von der Untersuchungspezifischer Phänomene und Ereignisse ab und werden aus ihnen abgeleitet, gehen aber über das hierbei gewonneneDetailwissen hinaus. Die in Abbildung 15 aufgeführten Konzepte sind Beispiele, die die Bedeutung der Themenveranschaulichen sollen; sie stellen keine vollständige Liste aller mit diesen Themen verbundenen Konzepte dar.

An den in Abbildung 15 als Beispiele aufgeführten Konzepten ist zu erkennen, dass sich das zu messendeWissen auf die großen Hauptbereiche der Naturwissenschaften bezieht: Physik, Chemie, Biologie,Geowissenschaften. Die Items werden nach diesen Hauptbereichen sowie nach den Themen, Anwendungsbereichenund Prozessen klassifiziert, die mit ihnen untersucht werden sollen.


Anhang A95

Abbildung 15. Wichtige naturwissenschaftliche Themen (mit Beispielen für zugeordnete Konzepte) für die Messung naturwissenschaftlicher Grundbildung

Abbildung 16 zeigt diejenigen Anwendungsbereiche der Naturwissenschaften, in denen sich Fragen stellen, dieBürger von heute und morgen verstehen und zu denen sie Entscheidungen treffen müssen. An diesen Anwendungenorientiert sich die Auswahl der Aufgabeninhalte und Items. Abbildung 16 gibt also die Anwendungsbereiche an, indenen das Verständnis der in Abbildung 15 aufgeführten Konzepte gemessen wird.

Abbildung 16. Anwendungsbereiche der Naturwissenschaften für die Messungnaturwissenschaftlicher Grundbildung


71

Struktur und Eigenschaften von Stoffen(Wärmeleitfähigkeit und elektrische Leitfähigkeit)

Atmosphärische Veränderungen(Strahlung, Transmission, Druck)

Chemische und physikalische Veränderungen(Aggregatzustände, Reaktionsgeschwindigkeit, Zerfall)

Energieumwandlungen(Energieerhalt, Energieabbau, Photosynthese)

Kräfte und Bewegung(Kräfte im Gleichgewicht/Ungleichgewicht, Geschwindigkeit, Beschleunigung, Impuls)

Form und Funktion(Zelle, Skelett, Anpassung)

Humanbiologie(Gesundheit, Hygiene, Ernährung)

Physiologische Veränderungen(Hormone, Elektrolyse, Neurone)

Artenvielfalt(Arten, Genpool, Evolution)

Genetische Steuerung(Dominanz, Vererbung)

Ökosysteme(Nahrungsketten, Nachhaltigkeit)

Die Erde und ihre Stellung im Universum(Sonnensystem, diurnale und saisonale Veränderungen)

Geologische Veränderungen(Kontinentaldrift, Verwitterung)

Naturwissenschaften im Bereich Leben und GesundheitGesundheit, Krankheit und Ernährung

Erhalt und nachhaltige Nutzung von ArtenWechselseitige Abhängigkeit von physikalischen/biologischen Systemen

Naturwissenschaften im Bereich Erde und UmweltUmweltverschmutzung

Landgewinnung, LandverlustWetter und Klima

Naturwissenschaften im Bereich TechnologieBiotechnologie

Nutzung von Stoffen und AbfallbeseitigungEnergienutzung

Verkehr


72

OECD/PISA wird, wie oben bereits erwähnt, wichtige Konzepte einbeziehen, die für die naturwis-senschaftlichen Curricula der Teilnehmerländer relevant sind, ohne sich dabei jedoch auf einen allen nationalenCurricula gemeinsamen Nenner beschränken zu müssen. Da in der Studie der Schwerpunkt auf naturwis-senschaftlicher Grundbildung (literacy) liegt, wird dies dadurch realisiert, dass ausgewählte naturwissenschaftlicheKonzepte und Prozesse in wichtigen Situationen angewendet werden müssen, die die reale Welt widerspiegeln undmit naturwissenschaftlichen Ideen zu tun haben.

Situationen

Neben Prozessen und Konzepten ist das dritte Merkmal von Testaufgaben, das die Leistung beeinflusst, dieSituation, in der die Probleme eingebettet sind. Dies wird häufig als der Kontext oder Rahmen von Aufgaben be-zeichnet. Hier wird jedoch das Wort „Situation“ benutzt, um Verwechslungen mit anderen Verwendungen dieserBegriffe zu vermeiden. Da die jeweils gewählte Situation die Leistung beeinflusst, ist es wichtig, das Spektrum derSituationen für die Testaufgaben festzulegen und zu kontrollieren. Zwar ist nicht vorgesehen, Leistungen getrenntnach Situationen zu berichten. Die Situationen müssen aber dennoch genau bestimmt werden, um sicherzustellen,dass sich die Aufgaben angemessen auf die als wichtig erachteten Situationen verteilen, und dass diese Situationen,soweit es sich aufgrund der Feldtestergebnisse als notwendig erweist, über die Erhebungszyklen hinweg unter demGesichtspunkt ihrer internationalen Vergleichbarkeit kontrolliert werden können.

Bei der Auswahl der Situationen ist zu beachten, dass der Zweck der OECD/PISA-Erhebung im Bereich natur-wissenschaftlicher Grundbildung darin besteht, die Fähigkeit von Schülern zu messen, Kompetenzen undKenntnisse, die sie gegen Ende der Pflichtschulzeit erworben haben, auch anzuwenden. Eine Voraussetzung istdabei, dass die Aufgaben Situationen aus dem Leben allgemein und nicht nur aus dem Leben in der Schule wider-spiegeln. In der Schulsituation sind die naturwissenschaftlichen Prozesse und Konzepte oft auf das Labor oder dasKlassenzimmer beschränkt, doch wird in den naturwissenschaftlichen Curricula vieler Länder zunehmend versucht,Konzepte und Prozesse anwendungsorientiert zu behandeln, also eingebettet in Zusammenhänge der außerschuli-schen Welt.

Realitätsnahe Situationen beinhalten Probleme, die uns als Individuen betreffen können (etwaNahrungsmittel- und Energieverbrauch), als Mitglieder einer lokalen Gemeinschaft (etwa Trinkwasser-aufbereitung oder Standortsuche für ein Kraftwerk) oder als Bürger der Welt (etwa globale Erwärmung,Abnahme der Artenvielfalt). All diese Situationen sind im Spektrum der Testaufgaben von OECD/PISAvertreten. Für bestimmte Themen geeignet sind weiterhin historische Situationen, mit deren Hilfe dasVerständnis von Fortschritten naturwissenschaftlichen Wissens untersucht werden kann. Im Rahmen vonOECD/PISA betreffen die Items also Angelegenheiten, die sich auf die eigene Person und Familie (persönlich),auf die Gemeinschaft (öffentlich) oder auf die ganze Welt (global) beziehen. Weiterhin werden die Entwicklungnaturwissenschaftlichen Wissens und der Einfluss dieses Wissens auf gesellschaftliche Entscheidungen ange-sprochen (historische Relevanz).

Im Rahmen einer internationalen Studie ist es wichtig, die für die Items verwendeten Situationen unterBerücksichtigung des Lebens und der Interessen von Schülern in allen Teilnehmerländern auszuwählen. Außerdemsollten sie zur Messung von naturwissenschaftlichen Prozessen und Konzepten geeignet sein. Bei der Entwicklungund Auswahl der Aufgaben hat die Sensibilität für kulturelle Unterschiede nicht nur wegen der Validität derMessung hohe Priorität, sondern auch weil Rücksicht auf die unterschiedlichen Wertvorstellungen und Traditionender Teilnehmerländer genommen werden muss. Mit Hilfe der Ergebnisse aus den Feldtests soll sichergestellt wer-den, dass die für die Testaufgaben ausgewählten Situationen sowohl für alle Teilnehmerländer relevant und geeignetsind als auch eine Verbindung von naturwissenschaftlichem Wissen und Anwendung naturwissenschaftlicherProzesse beinhalten.

Mit der Einbettung der Items in diese Art von Situationen verfolgt OECD/PISA das Ziel, die Anwendung vonWissen zu messen, das die Schülerinnen und Schüler im Rahmen ihres naturwissenschaftlichen Unterrichts erwor-ben haben dürften (auch wenn bestimmte Kenntnisse aus anderen Fächern oder außerschulischen Quellen stam-men können). Obwohl jedoch das Wissen, das dabei gefordert ist, zum Lehrstoff gehört, wird es im Rahmen vonOECD/PISA als angewandtes, auf realitätsnahe Situationen übertragenes Wissen gemessen. Auf diese Weise soll her-ausgefunden werden, ob der Wissenserwerb über ein isoliertes Faktenwissen hinausgegangen ist und zurEntwicklung von naturwissenschaftlicher Grundbildung (scientific literacy) geführt hat. Dies wird später anhandvon Beispielitems verdeutlicht werden.


Anhang A97

Aufgabenmerkmale

Gemäß der OECD/PISA-Definition naturwissenschaftlicher Grundbildung, sind für die Bearbeitung jederTestaufgabe die Anwendung eines oder mehrerer der in Abbildung 14 aufgeführten Prozesse und, wie ebenfalls be-reits dargestellt, ein bestimmtes Maß an naturwissenschaftlichem Wissen erforderlich. Die Aufgaben bestehen auseiner Reihe von Fragen (Items), die sich auf ein bestimmtes, die Situation definierendes Stimulusmaterial beziehen.Manche Aufgaben können neben Items, die naturwissenschaftliche Grundbildung erfassen, auch Items zur Messungvon Lesekompetenz und mathematischer Grundbildung enthalten.

Beispiele für Items zur Erfassung von naturwissenschaftlichen Prozessen

Die folgenden Items, die sich zur Erfassung einiger der Prozesse eignen könnten, sollen die operationaleBedeutung dieser Prozesse verdeutlichen. Die beiden ersten Prozesse werden mit zwei Fragen in der Aufgabe „Stoppdiese Bazille!“ gemessen. In dieser Aufgabe lesen die Schülerinnen und Schülereinen kurzen Text, der einen Auszugüber die Geschichte der Impfung enthält. Der Auszug und zwei Beispielfragen sind in Abbildung 17 dargestellt.

Abbildung 17. Naturwissenschaftliche Grundbildung, Beispiel 1

Beispielitem 1 erfordert eine frei formulierte Antwort, die je nach der Anzahl der darin enthaltenen relevan-ten Details die Punktwerte 2, 1 oder 0 erhalten kann. (Die folgende Antwort würde zum Beispiel zwei Punktebekommen: „Durch Einritzen der Haut und Einbringen von Eiter direkt in die Blutbahn werden die Chancenerhöht, dass sich Abwehrstoffe gegen Windpocken bilden.“) Das Item erfasst Prozess 1 – naturwissenschaftlicheFragestellungen erkennen –, wobei Kenntnisse aus der Humanbiologie im Bereich Leben und Gesundheit angewendetwerden müssen.

Beispielitem 2 kann ebenfalls die Punktwerte 2, 1 oder 0 erhalten, je nachdem, wie viele der relevantenInformationen genannt werden (die Überlebensrate ohne Boylstons Behandlung und die Frage, ob seine Patientenaußerhalb dieser Behandlung mit Windpocken zu tun hatten). Das Item erfasst Prozess 2 – NaturwissenschaftlicheNachweise identifizieren – und erfordert Kenntnisse der Humanbiologie und ihrer Anwendung im Bereich Leben undGesundheit.

Die vier Items in Abbildung 18 gehören zu einer Aufgabe, deren Stimulusmaterial ein Text über Peter Cairneyist, der für den Australian Road Research Board arbeitet.

Beispielitem 3 erfasst Prozess 2 – Naturwissenschaftliche Nachweise identifizieren –, wobei Kenntnisse überKräfte und Bewegung im Bereich Technologie angewendet werden müssen.

Beispielitem 4 erfasst Prozess 3 – Schlussfolgerungen ziehen oder bewerten –, wobei ebenfalls Kenntnisse über Kräfteund Bewegung im Bereich Technologie angewendet werden müssen. Für die Zustimmung oder Ablehnung an sich wer-den keine Punkte vergeben, sondern für die angegebenen Gründe dieser Zustimmung oder Ablehnung, die mit der


73

Bereits im 11. Jahrhundert haben chinesische Ärzte das Immunsystem manipuliert.Sie bliesen pulverisierten Schorf eines Windpockenkranken in die Nasenlöcher ihrerPatienten und konnten so häufig eine milde Form von Windpocken herbeiführen,die eine spätere, schwerere Erkrankung verhinderte. Anfang des 18. Jahrhundertsrieb man sich mit getrocknetem Schorf ein, um sich vor der Krankheit zu schützen.Diese primitiven Praktiken wurden in England und in den amerikanischenKolonien eingeführt. 1771 und 1772 ritzte Zabdiel Boylston, ein Arzt in Boston,bei seinem sechsjährigen Sohn sowie bei 285 anderen Leuten die Haut ein und riebEiter von Windpockenschorf in die Wunde. Bis auf sechs Patienten überlebten alle.

Beispielitem 1: Welche Idee könnte Zabdiel Boylston getestet haben?

Beispielitem 2: Nenne zwei weitere Informationen, die Du brauchen würdest, umzu entscheiden, wie erfolgreich Boylstons Ansatz war.


74

gegebenen Information in Einklang stehen müssen (zum Beispiel: Zustimmung, weil die Gefahr von Zusammenstössengeringer ist, wenn der Verkehr nah an den Rändern der Strasse bleibt, auch wenn er insgesamt schneller wird; wird erschneller, besteht weniger Anreiz zum Überholen. Oder: Ablehnung, weil bei schneller werdendem Verkehr und gleichbleibendem Abstand in Notfällen möglicherweise nicht genug Platz für Brems- und Ausweichmanöver bleibt).

Beispielitem 5 erfasst Prozess 5 – Verständnis naturwissenschaftlicher Konzepte zeigen – mit Fragen zu Kräftenund Bewegung im Bereich Technologie. Es erfordert eine frei formulierte Antwort, die die Punktwerte 2, 1 oder 0erhalten kann, je nach dem, ob einer oder beide der signifikanten Punkte genannt werden: a) ein Fahrzeug, dasschneller fährt, hat eine größere Schubkraft, und infolgedessen ist mehr Kraft erforderlich, um es zum Stehen zubringen; b) ein mit höherer Geschwindigkeit fahrendes Fahrzeug, das die Geschwindigkeit verringert, legt in dergleichen Zeit eine weitere Strecke zurück als ein langsameres Fahrzeug.

Beispielitem 6 erfasst ebenfalls Prozess 5 – Verständnis naturwissenschaftlicher Konzepte zeigen – mit Fragen zuKräften und Bewegung im Bereich Technologie. Es ist ein einfaches Multiple-Choice-Item mit nur einer richtigenAntwort (Alternative b), die mit einem Punkt bewertet wird.

Abbildung 18. Naturwissenschaftliches Verständnis, Beispiel 2


... Peter sammelt Informationen auch noch auf andere Art, nämlich mit einer Fernsehkamera, die an einer 13 Meter langen Stange angebrachtist und mit der er den Verkehr auf einer schmalen Strasse filmt. Den Bildern können die Forscher zum Beispiel entnehmen, wie schnell derVerkehr ist, wieviel Abstand die Fahrzeuge voneinander halten und welchen Teil der Strasse die Fahrzeuge nutzen. Nach einer gewissen Zeit wer-den dann Linien auf die Strasse gemalt, um Fahrbahnen zu markieren. Dann können die Forscher mit Hilfe der Fernsehkameras sehen, ob derVerkehr jetzt anders verläuft. Ist der Verkehr schneller oder langsamer geworden? Sind die Abstände zwischen den Fahrzeugen größer oder klei-ner als vorher? Fahren die Autofahrer jetzt, wo es Linien gibt, dichter am Rand oder eher in der Mitte der Strasse? Nachdem Peter diese Dingeweiß, kann er Ratschläge dazu geben, ob auf schmalen Strassen Fahrbahnen mit Linien markiert werden sollten oder nicht.

Beispielitem 3: Um sicherzugehen, dass er gute Ratschläge gibt, könnte Peter, außer die schmale Strasse zu filmen, auch noch andereInformationen sammeln. Welche der folgenden Informationen würden ihm helfen, noch sicherer zu sein, dass seine Ratschläge zu denAuswirkungen von Fahrbahnmarkierungen auf schmalen Strassen richtig sind?

a) Die gleiche Information für andere schmale Strassen sammeln. Ja/Neinb) Die gleiche Information für breite Strassen sammeln. Ja/Neinc) Die Unfallzahlen vor und nach Anbringen der Fahrbahnmarkierungen prüfen. Ja/Neind) Die Zahl der Autos prüfen, die vor und nach Anbringen der

Fahrbahnmarkierungen die Strasse benutzen. Ja/Nein

Bewertung: Ja bei a) und c) Nein bei b) und d) (2 Punkte)Ja bei a) Nein bei b), c) und d) (1 Punkt)Alle anderen Kombinationen (0 Punkte)

Beispielitem 4: Nimm an, Peter findet heraus, dass sich der Verkehr in einem bestimmten Abschnitt der schmalen Strasse ändert, wie inder folgenden Tabelle angegeben.

Geschwindigkeit Verkehr ist schneller gewordenPosition Verkehr hält sich dichter an den Rändern der StrasseAbstand Unverändert

Aufgrund dieser Ergebnisse wurde beschlossen, dass auf allen schmalen Strassen die Fahrbahnen durch Begrenzungslinien markiert werden sollten.

Meinst du, dass dies die beste Entscheidung war?Nenne deine Gründe, warum du zustimmst oder nicht zustimmst.

Ich stimme zuIch stimme nicht zuBegründung:

Beispielitem 5: Autofahrern wird geraten, wenn sie schnell fahren, grösseren Abstand zu dem Fahrzeug vor ihnen zu halten, als wenn sielangsam fahren, weil schnellere Fahrzeuge länger brauchen, um zum Stehen zu kommen.

Erkläre, warum ein schnelleres Fahrzeug länger braucht, um zum Stehen zu kommen, als ein langsameres.

Begründung:

Beispielitem 6: Peter sieht auf seinem Fernsehschirm, wie ein mit 45 km/Std. fahrendes Auto (A) von einem anderen Auto (B) überholtwird, das 60 km/Std. fährt. Aus der Sicht einer Person, die in Auto (A) sitzt, wie schnell scheint Auto (B) zu fahren?

a) 0 km/Std.b) 15 km/Std.c) 45 km/Std.d) 60 km/Std.e) 105 km/Std.

Anhang A99

Zur Beantwortung all dieser Fragen müssen die Schülerinnen und Schüler Wissen aktivieren, das sie im natur-wissenschaftlichen Unterricht erworben haben, und dieses Wissen in einer neuen Situation anwenden. Bei Items,die nicht in erster Linie konzeptuelles Verständnis messen sollen, stellt das erforderliche Wissen nicht dieHauptschwierigkeit (Haupthürde) dar, und der Erfolg sollte von der Fähigkeit im Umgang mit dem Prozess abhän-gen, um den es geht. Ist jedoch der Hauptzweck des Items, wie in den Beispielen 5 und 6, die Messungkonzeptuellen Verständnisses, besteht der Prozess im Nachweisen dieses Verständnisses.

Erhebungsstruktur

Wie die Beispiele zeigen, wird eine Aufgabe in der Regel aus mehreren, an ein und dasselbe Stimulusmaterialanknüpfenden Items bestehen. Dabei können die Items innerhalb einer Aufgabe verschiedene Prozesse oder natur-wissenschaftliche Konzepte messen, wobei jedoch jedes Item immer einen der in Abbildung 14 aufgeführten natur-wissenschaftlichen Prozesse erfasst.

Diese Struktur dient unter anderem dazu, die Aufgaben so realistisch wie möglich zu machen und dieKomplexität realitätsnaher Situationen widerzuspiegeln. Ein weiterer Grund für die Wahl der Struktur ist dieeffizientere Nutzung der Testzeit: Die Zeit, die die Schülerinnen und Schüler zum „Einstieg“ in das mit einer neuenSituation angesprochene Thema benötigen, verkürzt sich, wenn zu jeder Situation nicht nur eine, sondern mehrereFragen gestellt werden. Bei der Entwicklung der OECD/PISA-Aufgaben wird darauf geachtet, dass jeder einzelnePunkt, der innerhalb einer solchen Aufgabe erreicht werden kann, von allen anderen innerhalb der Aufgabe zu erzie-lenden Punkten unabhängig ist. Wichtig ist außerdem, Verzerrungen zu minimieren, die durch Verwendung einergeringeren Anzahl verschiedener Situationen entstehen können.

Alle Aufgaben werden aus mehreren – maximal acht – Items bestehen, die jeweils unabhängig zu bewerten sind.Fast alle, vielleicht sogar alle Aufgaben enthalten sowohl Items, bei denen es um die Kenntnis und das Verständniseines bestimmten Konzepts geht (siehe Beispiele 5 und 6), als auch Items, bei denen einer oder mehrere Prozesseangewendet werden müssen, die mit der Erhebung und Verwendung von Belegen und Daten in einer naturwis-senschaftlichen Untersuchung verbunden sind (siehe Beispiele 1 bis 4). OECD/PISA wird, wie bereits erwähnt,keine praktischen Aufgaben enthalten, zumindest nicht in den Jahren 2000 und 2003, in denen naturwis-senschaftliche Grundbildung eine Nebenkomponente ist.

Tabelle 10 zeigt das für den Test angestrebte Gleichgewicht zwischen den Prozessen in Form ihrer prozentualenAnteile an den Gesamttestwerten. Für die OECD/PISA-Erhebung im Jahr 2006, in der die Naturwissenschaftenden Schwerpunkt bilden werden, kann diese Verteilung noch revidiert werden.

Tabelle 10. Empfohlene Verteilung der zu erzielenden Punkte auf die naturwissenschaftlichen Prozesse

Es kann passieren, dass durch die Inhalte in manchen Aufgaben eine Verlagerung des Schwerpunktes auf dieMessung konzeptuellen Verständnisses erfolgt (Prozess 5). Bei anderen Aufgaben wird jedoch dafür eineVerschiebung in die entgegengesetzte Richtung erfolgen. Soweit möglich, werden Items zur Messung der Prozesse 1bis 4 und Items zur Messung von Prozess 5 in allen Aufgaben vorkommen, um erstens das Ziel zu erreichen, dassalle wichtigen naturwissenschaftlichen Konzepte, die die Schülerinnen und Schüler im naturwissenschaftlichenUnterricht oder auch außerhalb der Schule erworben haben dürften, erfasst werden, und um zweitens zu berück-sichtigen, daß die Fähigkeit, Prozesse anzuwenden, sehr stark von der Situation abhängt, in der diese vorkommen(so dass die Prozesse in Bezug auf eine ganze Reihe verschiedener Konzepte gemessen werden müssen). Wie in den


75

Naturwissenschaftliche Prozesse % der zu erzielenden Punkte

Naturwissenschaftliche Fragestellungen erkennen 10-15Naturwissenschaftliche Nachweise identifizieren 15-20Schlussfolgerungen ziehen oder bewerten 15-20Schlussfolgerungen kommunizieren 10-15Verständnis naturwissenschaftlicher Konzepte zeigen 40-50


76

Zielen von OECD/PISA definiert, sind sowohl das konzeptuelle Verständnis als auch die Verbindung naturwis-senschaftlichen Wissens mit der Fähigkeit, anhand vorliegender Informationen Schlussfolgerungen zu ziehen,wertvolle Lernergebnisse. Die angestrebte, ungefähr gleichmäßige Verteilung der erreichbaren Punkte auf diese bei-den wichtigen Lernergebnisse soll diesen Zielen dienen.

Es wurde bereits darauf hingewiesen, dass es bei allen Itemtypen um die Anwendung von naturwis-senschaftlichen Konzepten geht, die die Schülerinnen und Schüler als Teil des naturwissenschaftlichen Lehrstoffs inder Schule erworben haben dürften. Die OECD/PISA-Items unterscheiden sich von manchen – aber keineswegsallen – in der Schule benutzten naturwissenschaftlichen Tests insofern als diese Konzepte in realitätsnahenSituationen angewendet werden müssen. Auch die Fähigkeit, aus Belegen Schlussfolgerungen zu ziehen, gehört zuden Zielen vieler naturwissenschaftlichen Curricula. Im OECD/PISA-Test sollen die Prozesse aber in Kontextenangewendet werden, die über Situationen innerhalb des Schullabors oder Klassenzimmers hinausgehen. Inwieweitdies neu für die Schülerinnen und Schüler ist, wird davon abhängen, in welchem Umfang realitätsnaheAnwendungen bereits Teil ihres Curriculums sind.

Tabelle 11 zeigt, dass die Verteilung der im Test zu erzielenden Punkte auf die drei Hauptgruppen derAnwendungsbereiche so gleichmäßig wie möglich sein wird.

Tabelle 11. Empfohlene Verteilung der zu erzielenden Punkte auf die Anwendungsbereiche

Ebenso wird im Rahmen von OECD/PISA eine gleichmäßige Verteilung der Items auf die vier genanntenSituationen angestrebt: persönlich, gemeinschaftsbezogen, global und historisch.

Die in den Aufgaben enthaltenen Situationen werden mit Hilfe von Stimulusmaterial in Gestalt eines kurzenTextes oder der zu einer Tabelle, einem Diagramm oder einem Graphen gehörenden Beschriftung definiert. DieItems werden aus einem Komplex einzeln zu bewertender Fragen bestehen, die die in Abbildung 19 aufgeführtenArten von Antworten erfordern. Zu beachten ist, dass diese auch die Fähigkeit umfassen, Verständnis naturwis-senschaftlicher Konzepte durch ihre Anwendung in den Anwendungsbereichen nachzuweisen. Die erforderlichenAntworten beziehen sich also auf die im Stimulus vorgegebenen Situationen und Anwendungsbereiche.

Bevor die Vortests durchgeführt und ihre Ergebnisse analysiert worden sind, können keine verbindlichenAussagen darüber gemacht werden, wie einheitlich die Aufgaben zum Beispiel in Bezug auf die Zahl der in ihnenenthaltenen Items sein sollten, ob die Items sich auf mehr als einen Anwendungsbereich beziehen sollten oder wieItems mit verschiedenen Formaten angeordnet werden sollten. Zur Zeit ist folgendes geplant:

– Alle Aufgaben werden aus mehreren Items bestehen. Sie werden Items enthalten, mit denen ein oder mehrerenaturwissenschaftliche Prozesse (Abb. 14), Kenntnisse naturwissenschaftlicher Konzepte (Abb. 15) undKenntnisse in Bezug auf einen oder mehrere Anwendungsbereiche der Naturwissenschaften (Abb. 16) erfasstwerden und die mit Papier und Bleistift zu beantworten sind (schriftlich oder als Zeichnung).

– Die meisten Aufgaben werden in schriftlicher Form gestellt, zumindest im Rahmen der Erhebung im Jahr2000. Für die Erhebung im Jahr 2006, in der die Naturwissenschaften den Hauptbereich bilden werden,wird auch der Einsatz von Stimulusmaterial in anderen Formen erwogen.

– Einige Aufgaben werden Items enthalten, bei denen es auch um Lesekompetenz und/oder mathematischeGrundbildung geht und die einen Beitrag zu den Messungen in diesen Bereichen leisten sollen. Es wirdjedoch im Bereich naturwissenschaftlicher Grundbildung weder Items geben, bei denen lediglichInformationen aus dem Stimulusmaterial wiederzugeben sind, noch Items, für die isoliertes Faktenwissen ausdem Gedächtnis reproduziert werden muss.


Anwendungsbereiche der Naturwissenschaften % der zu erzielenden Punkte

Naturwissenschaften im Bereich Leben und Gesundheit 30-40Naturwissenschaften im Bereich Erde und Umwelt 30-40Naturwissenschaften im Bereich Technologie 30-40

Anhang A101

Zur Erfassung des ganzen Spektrums der Fähigkeiten und des Verständnisses, wie sie in dieserRahmenkonzeption definiert wurden, sind verschiedene Antwortformate erforderlich. So können zum BeispielMultiple-Choice-Items für eine valide Messung von Prozessen entwickelt werden, bei denen es um Wiedererkennenoder Auswählen geht. Zur Messung der Beurteilungs- und Kommunikationsfähigkeit dürften valide und authenti-sche Ergebnisse jedoch eher mit frei formulierten Antworten zu erzielen sein. In vielen Fällen wird es aber vomInhalt des Items abhängen, welches Format am besten geeignet ist.

Abbildung 19. Itemtypen für die Messung naturwissenschaftlicher Grundbildung


77

Vorgabe Verlangte Antwort

Naturwissenschaftliche Fragestellungen erkennen

Darstellung einer Untersuchung oder eines Verfahrens, bei Die Frage oder Idee auswählen oder formulieren, die der oder dem Daten erhoben oder Vergleiche durchgeführt getestet wurde (oder hätte getestet werden können).wurden.

Beschreibung einer Situation, in der Fragen naturwissen- Eine Frage formulieren, die naturwissenschaftlich unterschaftlich untersucht werden könnten. sucht werden könnte.

Mehrere Fragen/Ideen, die sich aus der vorgegeben Situation Diejenige(n) Frage(n)/Idee(n) auswählen, die durch natur-ergeben oder für sie relevant sind. wissen schaftliche Untersuchungen beantwortet/getestet

werden könnte(n).

Naturwissenschaftliche Nachweise identifizieren

Eine Idee oder Hypothese, die in der Frage oder in dem zu Informationen auswählen oder anführen, die benötigt wer-testenden Stimulusmaterial dargelegt wird. den, um die Idee zu testen oder eine auf ihr beruhende

Vorhersage zu machen. Diese Informationen können fogende Fragen betreffen:a) Welche Dinge verglichen werden sollten.b) Welche Variablen verändert oder kontrolliert werden

sollten.c) Welche zusätzlichen Informationen benötigt werden.d) Welche Schritte unternommen werden sollten, damit

relevante Daten erhoben werden können.

Schlussfolgerungen ziehen oder bewerten

Daten (Testergebnisse, Beobachtungen), aus denen Schluss- Schlussfolgerungen formulieren, die zu den Daten passen.folgerungen gezogen werden können.

Daten (Testergebnisse, Beobachtungen) und Schlussfolge- Diejenige Schlussfolgerung auswählen, die zu den Daten rungen, die aus ihnen gezogen wurden. passt, und eine Erklärung geben.

Daten (Testergebnisse, Beobachtungen) und eine Schlussfol- Gründe dafür angeben, warum die vorliegenden Daten diegerung, die aus ihnen gezogen wurde. Schlussfolgerung stützen oder nicht stützen, oder beur-

teilen, inwieweit die Schlussfolgerung verlässlich ist.

Schlussfolgerungen kommunizieren

Eine Situation, aus der (verschiedene) Schlussfolgerungen Eine Argumentation entwickeln, die für das gegebene gezogen werden können oder in der Informationen zusam- Publikum klar formuliert ist und sich auf relevante Belege/ men gezogen werden müssen, um eine Schlussfolgerung zu Datenaus dem Stimulusmaterial stützt.stützen, sowie Bestimmung eines Publikums.

Verständnis naturwissenschaftlicher Konzepte zeigen

Eine Situation, in der eine Vorhersage, Erklärung Eine Vorhersage oder Erklärung oder Zusatzinformation oder Information verlangt wird. formulieren oder auswählen, die auf dem Verständnis eines

naturwissenschaftlichen Konzepts oder auf Information beruht, die nicht in der Frage oder dem Stimulusmaterial enthalten ist.


78

Skalenentwicklung

Skalen und Subskalen

Die Entwicklung von Leistungsskalen für Schülerinnen und Schüler ist eine wesentliche Voraussetzung für dieVerwirklichung der Ziele von OECD/PISA. Der Prozess der Skalenentwicklung ist insofern iterativ, als ersteEntwürfe, die auf bereits vorliegenden Erfahrungen und Untersuchungen im Bereich Lernen und kognitiveEntwicklung in den Naturwissenschaften basieren, auf Grundlage der beim Feldtest von OECD/PISA gewonnenDaten weiterentwickelt werden sollen.

Bereits vorhandene Forschungsergebnisse und frühere Erfahrungen deuten darauf hin, dass eine Skala identi-fiziert werden kann, die die Entwicklung naturwissenschaftlicher Grundbildung abbildet. Diese Entwicklung reicht

von der Fähigkeit, relativ leicht begreifbare naturwissenschaftliche Konzepte zu benutzen und in vertrautenSituationen folgendes zu tun:

– Fragen zu erkennen, die durch naturwissenschaftliche Untersuchungen entschieden bzw. nicht entschiedenwerden können;

– Informationen zu identifizieren, die vorliegen müssen, damit in Situationen, in denen eine Variable verän-dert und eine andere kontrolliert werden muss, eine Behauptung geprüft oder ein Problem untersucht wer-den kann;

– zu erklären, warum sich Schlussfolgerungen oder Behauptungen in Situationen nicht aufrecht erhaltenlassen, in denen eine Variable kontrolliert werden müsste, aber nicht kontrolliert werden kann;

– die wichtigsten Verknüpfungspunkte zwischen Schlussfolgerungen und Belegen so darzustellen, dass sie vonanderen verstanden werden können;

– mit Hilfe von relativ leicht zu begreifenden Konzepten Vorhersagen zu machen und Erklärungen zu geben;

bis zur Fähigkeit, kognitiv anspruchsvollere Konzepte anzuwenden und in komplexeren Situationen Folgendeszu tun:

– zu verstehen, dass jedes naturwissenschaftliche Verständnis vorläufig ist, und dass das Testen von Theorienzu einer Revision und Verbesserung dieses Verständnisses führen kann;

– zu bestimmen, welche Informationen gesammelt werden müssen und unter welchen Bedingungen sie gesam-melt werden sollten, um auf ihrer Grundlage in komplexen Situationen eine Erklärung zu überprüfen oderein Problem zu untersuchen;

– die Angemessenheit der zur Unterstützung einer Behauptung oder eines Arguments herangezogenenInformationen kritisch zu prüfen bzw. in Fällen, in denen es keine einfache Kausalbeziehung gibt, auf derBasis der vorhandenen Information für oder gegen eine Erklärung oder Schlussfolgerung zu argumentieren;

– unter Bezugnahme auf naturwissenschaftliche Kenntnisse und vorhandene Daten oder Informationen eingut aufgebautes Argument für oder gegen eine bestimmte Schlussfolgerung vorzulegen;

– auf der Grundlage eines Verständnisses von relativ komplexen und abstrakten naturwissenschaftlichenKonzepten Vorhersagen zu machen und Erklärungen zu geben.

Im Einzelnen wird sich die Skala für naturwissenschaftliche Grundbildung aus Analysen der Feldtestdatenergeben. Diese Ergebnisse werden zeigen, welche Items sich zusammenfassen lassen und wie sie sich auf unter-schiedliche Punkte der Skala verteilen. Die empirischen Daten sollen genutzt werden, um die hier vorgeschlageneprogressive Skala naturwissenschaftlicher Grundbildung auf der Grundlage eigener Urteile sowie bereits vorliegen-der Erkenntnisse über kognitive Entwicklung zu testen.

Im Jahr 2006, wenn genügend Testzeit für eine breite Erfassung der naturwissenschaftlichen Konzepte undAnwendungsbereiche vorhanden sein wird, wird möglicherweise zusätzlich eine Subskala für das Verständnis vonnaturwissenschaftlichen Konzepten (Prozess 5) verwendet, das anhand deren Anwendung in vorgegebenenSituationen erfasst wird. Auf einer solchen Skala wird die Entwicklung vom Nachweis eines richtigen, aber unvoll-ständigen Verständnisses von eher leichter zu begreifenden Konzepten bis zum Nachweis eines umfassenderenVerständnisses von eher komplexeren Konzepten dargestellt.


Anhang A103

Im Jahr 2006 werden genügend Informationen über alle in Abbildung 14 aufgeführten naturwissenschaftlichenProzesse vorliegen, so dass es eventuell möglich sein wird, Subskalen für Leistungen in einzelnen Prozessen oder inden Hauptbereichen der Naturwissenschaften zu bilden und zu berichten. Auch dies wird wieder von statistischen,konzeptuellen und schulpolitischen Überlegungen abhängen. Sollte sich eine Berichterstattung mit Hilfe solcherSubskalen als möglich erweisen, würden damit die Teilnehmerländer in die Lage versetzt, die im Einzelnen erziel-ten Ergebnisse ihres naturwissenschaftlichen Unterrichts mit den von ihnen für wünschenswert erachteten Zielenzu vergleichen.

Berichte über den Inhalt verschiedener Items und über falsche Antworten, die gegeben wurden, stellen einewichtige Ergänzung zu den Itemstatistiken dar. Zu erwarten ist, dass sich entsprechende auf den Inhalt bezogeneKategorien aus dem Feldtest ergeben werden und den verschiedenen Typen der von den Schülern tatsächlich gegebe-nen Antworten zugeordnet werden können. Eine Berichterstattung über einige Typen von Antworten auf bestimmteItems wird ausserdem nötig sein, um die Skala bzw. die Skalen zu erläutern und ihnen sinnvolle Bezeichnungen zugeben. Hierfür müssen einige der in OECD/PISA verwendeten Items freigegeben werden.

Weitere Berichtsebenen wären wünschenswert und könnten nach der Haupterhebung zur naturwis-senschaftlichen Grundbildung im Jahr 2006 möglich werden. Eine davon beträfe Leistungen in Itemgruppen, dieüber mehrere Aufgaben verteilt sind und sich auf die verschiedenen Anwendungsbereiche der Naturwissenschaftenbeziehen. Diese Informationen wären nützlich, um einzuschätzen, ob aktuelle Fragestellungen ausreichend undeffizient berücksichtigt werden.

Sonstiges

Verknüpfungen mit anderen Bereichen

Wenn die Informationen für eine Testaufgabe zur naturwissenschaftlichen Grundbildung in Form eines län-geren schriftlichen Textes vorgelegt werden, können gleichzeitig auch Aspekte der Lesekompetenz gemessen werden.Ebenso kann, wenn das Material aus Tabellen, Diagrammen, Graphen usw. besteht, zugleich die Fähigkeit gemessenwerden, Informationen dieser Art zu lesen. Mit Items, die ein gewisses Maß an Umgang mit Zahlen verlangen,schließlich, können bestimmte Aspekte mathematischer Grundbildung gemessen werden. Aufgaben dieser Art wer-den als integrierte Items im Test enthalten sein. Mit anderen Aufgaben sollen nur naturwissenschaftliche Prozessegemessen werden, zu denen das Ziehen von Schlussfolgerungen aus Belegen und der Nachweis des Verständnissesnaturwissenschaftlicher Konzepte gehören.

Eine psychometrische Verknüpfung zwischen OECD/PISA und IEA/TIMSS wird aus den bereits im Kapitelüber mathematische Grundbildung erläuterten Gründen nicht möglich sein.

Haupterhebungen und Nebenerhebungen im Bereich Naturwissenschaften

Die Erhebungen naturwissenschaftlicher Grundbildung in den Jahren 2000 und 2003, in denen dieNaturwissenschaften nur eine Nebenkomponente darstellen, werden die Grundlage für Vergleiche im Zeitverlaufbilden. Die beschränkte Zahl der Testaufgaben in den Jahren 2000 und 2003 bedeutet, dass es weniger Aufgabenzu den einzelnen Anwendungsbereichen der Naturwissenschaften geben wird als im Jahr 2006 (dies gilt obwohl dasErhebungsdesign unterschiedliche Zusammenstellungen von Items für unterschiedliche Untergruppen vonSchülern vorsieht). Die „Nebenerhebungen“ zur naturwissenschaftlichen Grundbildung werden alle in Abbildung14 aufgeführten Prozesse sowie einige Konzepte und Anwendungsbereiche aus Abbildungen 15 und 16 abdecken.Im Jahr 2006, dem Jahr in dem naturwissenschaftliche Grundbildung Hauptkomponente sein wird, wird dann eineweitaus breitere Erfassung der naturwissenschaftlichen Konzepte und Anwendungsbereiche möglich sein.


79


LITERATURHINWEISE

ALMOND, R.G. and MISLEVY, R.J. (1998),Graphical Models and Computerized Adaptive Testing, TOEFL Technical Report No.14, Educational Testing Service,Princeton, NJ, March.

BAKER, L. (1991),"Metacognition, reading and science education", in C. M. Santa and D. E. Alvermann (Eds.), Science Learning:Processes and Applications, International Reading Association, Newark, DE, pp. 2-13.

BENNETT, R.E. (1993),"On the meanings of constructed response", in R.E. Bennett (Ed.), Construction vs. Choice in CognitiveMeasurement: Issues in Constructed Response, Performance Testing, and Portfolio Assessment, Lawrence ErlbaumAssociates, Hillsdale, NJ, pp. 1-27.

BINKLEY, M. and LINNAKYLÄ, P. (1997),"Teaching reading in the United States and Finland", in M. Binkley, K. Rust and T. Williams (Eds.), ReadingLiteracy in an International Perspective, U.S. Department of Education, Washington, DC.

BRUNER, J. (1990),Acts of Meaning, Harvard University Press, Cambridge, MA.

BYBEE, R.W. (1997),"Towards an understanding of scientific literacy", in W. Grabe and C. Bolte (Eds.), Scientific Literacy – AnInternational Symposium, IPN, Kiel.

Council of Europe (1996),Modern Languages: Learning, Teaching, Assessment. A Common European Framework of Reference, CC LANG (95) 5Rev. IV, Strasbourg.

Council of Ministers of Education, Canada (1994),Student Achievement Indicators Program: Reading and Writing, Toronto.

de LANGE, J. and VERHAGE, H. (1992),Data Visualization, Sunburst, Pleasantville, NY.

de LANGE, J. (1987),Mathematics, Insight and Meaning, OW and OC, Utrecht.

DEVLIN, K. (1994, 1997),Mathematics, The Science of Patterns, Scientific American Library, New York.

DOLE, J., DUFFY, G., ROEHLER, L. and PEARSON, P. (1991),"Moving from the old to the new: Research on reading comprehension instruction", Review of EducationalResearch, 16 (2), pp. 239-264.

EHRLICH, M.F. (1996),"Metacognitive monitoring in the processing of anaphoric devices in skilled and less-skilled comprehenders", in C.Cornoldi and J. Oakhill (Eds.), Reading Comprehension Difficulties: Processes and Interventions, Lawrence ErlbaumAssociates, Mahwah, NJ, pp. 221-249.

EHRLICH, M. F., KURTZ-COSTES, B. and LORIDANT, C. (1993),"Cognitive and motivational determinants of reading comprehension in good and poor readers", Journal of ReadingBehavior, 25, pp. 365-381.

EINSTEIN, A. (1933),"Preface to M. Plank", Where is Science Going?, Allen and Unwin, London.

ELLEY, W.B. (1992),How in the World do Students Read?, International Association for the Evaluation of Educational Achievement, TheHague.

FREDERICKSON, N. (1984),"The real test bias", American Psychologist, 39, pp. 193-202.0 89

Anhang A105

90

FREUDENTHAL, H. (1973),Mathematics as an Educational Task, Reidel, Dordrecht.

FREUDENTHAL, H. (1983),Didactical Phenomenology of Mathematical Structures, Reidel, Dordrecht.

GRAEBER, W. and BOLTE, C (Eds) (1997),Scientific Literacy -- An International Symposium, IPN, Kiel.

GRONLUND, N.E. (1968),Constructing Achievement Tests, Prentice Hall, Englewood Cliffs.

GRÜNBAUM, B. (1985),"Geometry strikes again", Mathematics Magazine, 58 (1), pp 12-18.

HAWKING, S.W. (1988),A Brief History of Time, hier zitiert nach der deutschen Ausgabe: Eine kurze Geschichte der Zeit, Reinbek beiHamburg, Rowohlt, 1988.

HUBBARD, R. (1989),"Notes from the underground: Unofficial literacy in one sixth grade", Anthropology and Education Quarterly, 20,pp. 291-307.

JONES, S. (1995),"The practice(s) of literacy", in Literacy, Economy and Society: Results of the First International Adult Literacy Survey,OECD and Statistics Canada, Paris and Ottawa, pp. 87-113.

KIRSCH, I. (1995),"Literacy performance on three scales: Definitions and results", in Literacy, Economy and Society: Results of the FirstInternational Adult Literacy Survey, OECD and Statistics Canada, Paris and Ottawa, pp. 27-53.

KIRSCH, I.S. and MOSENTHAL, P.B. (1989-1991),"Understanding documents. A monthly column", Journal of Reading, International Reading Association,Newark, DE.

KIRSCH, I. S. and MOSENTHAL, P. B. (1994),"Interpreting the IEA reading literacy scales", in M. Binkley, K. Rust and M. Winglee (Eds.), Methodological Issuesin Comparative Educational Studies: The Case of the IEA Reading Literacy Study, U.S. Department of Education,National Center for Education Statistics, Washington, DC, pp. 135-192.

KIRSCH, I., JUNGEBLUT, A. and MOSENTHAL, P. B. (1998),"The measurement of adult literacy", in T. S. Murray, I. S. Kirsch, and L. Jenkins (Eds.), Adult Literacy in OECDCountries: Technical Report on the First International Adult Literacy Survey, U.S. Department of Education, NationalCenter for Education Statistics, Washington, DC.

LANGER, J. (1995),Envisioning Literature, International Reading Association, Newark, DE.

LINNAKYLÄ, P. (1992),"Recent trends in reading literacy research in Finland", in P. Belanger, C. Winter and A. Sutton (Eds.), Literacy andBasic Education in Europe on the Eve of the 21st Century, Council of Europe, Strasbourg, pp. 129-135.

LUNDBERG, I. (1991),"Reading as an individual and social skill", in I. Lundberg and T. Hoien (Eds.), Literacy in a World of Change, Centerfor Reading Research/UNESCO, Stavanger.

MACCARTHEY, S.J. and RAPHAEL, T.E. (1989),Alternative Perspectives of Reading/Writing Connections, College for Education, Institute for Research on Teaching.Occasional paper #130, Michigan State University.

MILLAR, R. and OSBORNE, J. (1998),Beyond 2000: Science Education for the Future, King’s College London School of Education, London.

MYERS, M. and PARIS, S.G. (1978),"Children’s metacognitive knowledge about reading", Journal of Educational Psychology, 70, pp. 680-690.



PARIS, S., WASIK, B. and TURNER, J. (1991),"The development of strategic readers", in R. Barr, M. Kamil and P. Mosenthal (Eds.), Handbook of ReadingResearch, Vol. II, Longman, New York.

SENECHAL, M. (1990),"Shape", in L.A. Steen (Ed.), On the Shoulders of the Giant – New Approaches to Numeracy, National Academy Press,Washington D.C., pp 139-182.

SHAFER, M.C. and ROMBERG, T. A. (in press),"Assessment in Classroom that Promote Understanding", in E. Fennema and T. A. Romberg (eds.), MathematicsClassroom that Promote Understanding, Erlbaum, Mahwah, NJ.

SHAMOS, M.H. (1995),The Myth of Scientific Literacy, Rutgers University Press, New Brunswick.

SMITH, M.C. (1996),"Differences in adults’ reading practices and literacy proficiencies", Reading Research Quarterly, 31, pp.196-219.

STICHT, T.G. (Ed.) (1975),Reading for Working: A Functional Literacy Anthology, Human Resources Research Organization, Alexandria, VA.

STIGGINS, R.J. (1982),"An analysis of the dimensions of job-related reading", Reading World, 82, pp. 237-247.

STREEFLAND, L. (1990),Fractions in Realistic Mathematics Education, A Paradigm of Developmental Research, Reidel Dordrecht.

STUART, I. (1990),"Change", in: L.A. Steen (Ed.), On the Shoulders of the Giant – New Approaches to Numeracy, National AcademyPress, Washington D.C., pp. 183-218.

TAUBE, K. and MEJDING, J. (1997),"A nine-country study: What were the differences between the low and high performing students in the IEAReading Literacy Study?", in M. Binkley, K. Rust and T. Williams (Eds.), Reading Literacy in the InternationalPerspectives, U.S. Department of Education, National Center for Education Statistics, Washington, DC,pp. 63-100.

TRAUB, R.E. (1993),"On the equivalence of the traits assessed by multiple-choice and constructed-response tests", in R. E. Bennett(Ed.), Construction vs. Choice in Cognitive Measurement: Issues in Constructed Response, Performance Testing, andPortfolio Assessment, Lawrence Erlbaum Associates, Hillsdale, NJ, pp. 29-44.

TRAVERS, K.J. and WESTBURY, I. (1989),The IEA Study of Mathematics, Vol. 1, Analysis of mathematics curricula, Pergamon Press, Oxford.

TREFFERS, A. (1986),Three Dimensions, Reidel, Dordrecht.

TREFFERS, A. and GOFFREE, F. (1985),"Rational analysis of realistic mathematics education", in L. Streefland (Ed.), Proceedings of the Ninth InternationalConference for the Psychology of Mathematics Education (PME), OW and OC, Utrecht, pp. 79-122.

UNESCO (1993),International Forum on Scientific and Technological Literacy for All, Final Report, UNESCO, Paris.

WARD, W.C., DUPREE, D. and CARLSON, S.B. (1987),A Comparison of Free-response and Multiple-choice Questions in the Assessment of Reading Comprehension (RR-87-20),Educational Testing Service, Princeton, NJ.

WERLICH, E. (1976), A Text Grammar of English, Quelle and Meyer, Heidelberg.

ZIMAN, J.M. (1980),Teaching and Learning about Science and Society, Cambridge University Press.

Literaturhinweise

91

Hier finden Sie die Originalfragebögen für Schüler/innen undSchulleiter (jeweils mit internationalem und nationalem Teil), welcheim Haupttest der PISA-Studie 2000 Anwendung fanden.

SCHÜLER- UNDSCHULFRAGEBOGEN

Österreichisches PISA ZentrumUniversität Salzburg

5020 Salzburg; Akademiestr. 26/1

SCHÜLERFRAGEBOGEN

(1) GEBOREN AM

(2) KLASSE

T T

Im Auftrag des

PISA 2000 - Österreich

M M19

J J

Schülerfragebogen International 2

In diesem Heft findest du Fragen über...

dich und deine Familie.

deine Schulerfahrungen.

deine Pläne für die Zukunft.

Bitte lies jede Frage sorgfältig durch und beantworte sie so genau wie möglich. Meistens musst du als Antwort ein Kästchen ankreuzen. Bei einigen Fragen musst du eine kurze Antwort einfügen.

Wenn du beim Ankreuzen einen Fehler machst, streiche ihn durch und kreuze das richtige Kästchen an. Wenn du etwas Falsches aufgeschrieben hast, streiche es einfach durch und schreib die richtige Antwort daneben.

In diesem Fragebogen gibt es keine „falschen“ Antworten. Gib die Antworten, die für dich am besten passen.

Wenn du etwas nicht verstehst oder nicht weißt, wie du antworten sollst, darfst du den Testleiter oder die Testleiterin um Hilfe bitten.

Deine Antworten werden vertraulich behandelt. Kein Lehrer/keine Lehrerin deiner Schule wird deine Antworten sehen.

Vielen Dank.

3 PISA-Zentrum Österreich

3. Bist du weiblich oder männlich? Weiblich Männlich

4. Wer wohnt normalerweise mit dir zusammen?

Bitte bei jeder Person JA oder NEIN ankreuzen.

Ja Nein

a) Mutter ......................................................................................

b) Eine andere weibliche Erziehungsberechtigte

(z.B. Stiefmutter oder Pflegemutter) .......................................

c) Vater ........................................................................................

d) Ein anderer männlicher Erziehungsberechtigter

(z.B. Stiefvater oder Pflegevater) ............................................

e) Bruder/Brüder oder Stiefbrüder ...............................................

f) Schwester/Schwestern oder Stiefschwestern ...........................

g) Großmutter oder Großvater .....................................................

h) Andere Personen ......................................................................

5. Wie viele Geschwister hast du?

Bitte in jeder Zeile nur ein Kästchen ankreuzen. Vergiss nicht, „keine“ anzukreuzen, wenn das für dich zutrifft.

Keine 1 2 3 4 oder mehr

a) Ältere Geschwister .......................

b) Jüngere Geschwister ....................

c) Gleichaltrige Geschwister ............


Die folgenden Fragen betreffen deine Mutter und deinen Vater oder die Personen, die wie Mutter und Vater für dich sind, z.B. deine Stiefmutter oder deinen Pflegevater.

Falls du in mehr als einer Familie lebst, beantworte die Fragen bitte für die Personen, mit denen du die meiste Zeit zusammen wohnst.

6. Was macht deine Mutter zurzeit?

Sie ist berufstätig (auch selbstständig):

Vollzeit ....................................

Teilzeit .....................................

Sie ist nicht berufstätig, aber auf Arbeitssuche ...

Sonstiges (z.B. Hausfrau, Pensionistin) ...............

7. Was macht dein Vater zurzeit?

Er ist berufstätig (auch selbstständig):

Vollzeit ....................................

Teilzeit .....................................

Er ist nicht berufstätig, aber auf Arbeitssuche .....

Sonstiges (z.B. Hausmann, Pensionist) ...............

8. Welchen Beruf übt deine Mutter aus? (z.B. Verkäuferin, Krankenschwester, Lehrerin)

Wenn deine Mutter derzeit nicht berufstätig ist, gib bitte an, welchen Beruf sie zuletzt ausgeübt hat.

Beruf: _____________________________________________

9. Was macht deine Mutter in diesem Beruf? (z.B. Brot verkaufen, Kranke pflegen, im Gymnasium unterrichten)

Bitte beschreibe ihre Arbeit in einigen Worten. Wenn deine Mutter derzeit nicht berufstätig ist, gib bitte an, was sie bei ihrer letzten Arbeit gemacht hat.

Art der Arbeit: ______________________________________


10. Welchen Beruf übt dein Vater aus? (z.B. Tischler, Automechaniker, Verkaufsleiter)

Wenn dein Vater derzeit nicht berufstätig ist, gib bitte an, welchen Beruf er zuletzt ausgeübt hat.

Beruf: _____________________________________________

11. Was macht dein Vater in diesem Beruf?(z.B. Möbel in einer Fabrik herstellen, Autos reparieren, eine Verkaufsabteilung in einem Baumarkt leiten)

Bitte beschreibe seine Arbeit in einigen Worten. Wenn dein Vater derzeit nicht berufstätig ist, gib bitte an, was er bei seiner letzten Arbeit gemacht hat.

Art der Arbeit: ______________________________________

12. Welchen höchsten Schulabschluss hat deine Mutter?

Bitte nur den höchsten Abschluss ankreuzen.

Sie hat keine Schule abgeschlossen. ............................................................

Sie hat die Volksschule oder Sonderschule abgeschlossen. ........................

Sie hat die Hauptschule oder AHS-Unterstufe abgeschlossen. ..................

Sie hat den Polytechnischen Lehrgang abgeschlossen. ..............................

Sie hat eine mittlere Schule (Fachschule, Handelsschule) abgeschlossen.

Sie hat eine Schule mit Matura (AHS, BHS) abgeschlossen. .....................

13. Welchen höchsten Schulabschluss hat dein Vater?


Er hat keine Schule abgeschlossen. .............................................................

Er hat die Volksschule oder Sonderschule abgeschlossen. .........................

Er hat die Hauptschule oder AHS-Unterstufe abgeschlossen. ....................

Er hat den Polytechnischen Lehrgang abgeschlossen. ...............................

Er hat eine mittlere Schule (Fachschule, Handelsschule) abgeschlossen. ...


Er hat eine Schule mit Matura (AHS, BHS) abgeschlossen. ......................

14. Welche höchste berufliche Ausbildung hat deine Mutter?


Sie hat keine abgeschlossene Berufsausbildung. ........................................

Sie hat die Berufsschule/eine Lehre abgeschlossen. ...................................

Sie hat nach der Matura eine weiterführende Ausbildung (Pädagogische

Akademie, Sozialakademie,...) abgeschlossen. ......................................

Sie hat ein Universitätsstudium (mit Diplom/Mag., Dipl.-Ing. oder

Doktorat/Dr.) abgeschlossen. .................................................................

15. Welche höchste berufliche Ausbildung hat dein Vater?


Er hat keine abgeschlossene Berufsausbildung. .........................................

Er hat die Berufsschule/eine Lehre abgeschlossen. ....................................

Er hat nach der Matura eine weiterführende Ausbildung (Pädagogische

Akademie, Sozialakademie,...) abgeschlossen. ......................................

Er hat ein Universitätsstudium (mit Diplom/Mag., Dipl.-Ing. oder

Doktorat/Dr.) abgeschlossen. .................................................................

16. In welchem Land bist du geboren? In welchem Land sind deine Eltern geboren?

Bitte in jeder Zeile nur ein Kästchen ankreuzen.

In In einem Österreich anderen Land

a) Du ..................

b) Mutter ............

c) Vater ..............

17. Welche Sprache sprichst du normalerweise zuhause?

Deutsch ..................................................................

Türkisch .................................................................

Bosnisch/kroatisch/serbisch/serbokroatisch ..........

Rumänisch .............................................................


Polnisch ..................................................................

Ungarisch ...............................................................

Tschechisch ............................................................

Slowenisch .............................................................

Eine andere Sprache ..............................................

18. Wie oft hast du im letzten Jahr ...

Bitte in jeder Zeile nur ein Kästchen ankreuzen. Nie Mehr als oder 1-2-mal 3-4-mal 4-mal fast nie im Jahr im Jahr im Jahr

a) im Kino einen Film gesehen? .................................

b) ein Museum oder eine Kunstausstellung besucht? .

c) ein Rock-, Pop-, Techno-Konzert (oder Ähnliches)

besucht ....................................................................

d) eine Oper, ein Ballett oder ein klassisches

Konzert besucht? ....................................................

e) ein Theater besucht? ...............................................

f) eine Sportveranstaltung besucht? ...........................

19. Wie oft kommt es im Allgemeinen vor, dass deine Eltern ...

Bitte in jeder Zeile nur ein Kästchen ankreuzen. Ein paar Etwa Mehrmals Nie oder Mal einmal Mehrmals in der fast nie im Jahr im Monat im Monat Woche

a) mit dir über politische oder soziale

Fragen diskutieren? ....................................

b) mit dir über Bücher, Filme oder

Fernsehsendungen diskutieren? .................

c) mit dir klassische Musik hören? ................

d) mit dir über deine Schulleistungen sprechen?

e) gemeinsam mit dir mittags/abends am

Tisch sitzen und essen? ..............................

f) sich Zeit nehmen, um einfach nur

mit dir zu reden? ........................................

20. Wie oft unterstützen dich die folgenden Personen bei Haus-übungen, Projekten oder anderen Arbeiten für die Schule?

Bitte in jeder Zeile nur ein Kästchen ankreuzen. Ein paar Etwa Mehrmals Nie oder Mal einmal Mehrmals in der fast nie im Jahr im Monat im Monat Woche


a) Deine Mutter ...............................................

b) Dein Vater ...................................................

c) Deine Geschwister ......................................

d) Deine Großeltern ........................................

e) Andere Verwandte ......................................

f) Freunde deiner Eltern .................................

g) Deine Freunde oder Schulkollegen .............

21. Gibt es bei dir zu Hause ...

Bitte in jeder Zeile JA oder NEIN ankreuzen.

Ja Nein

a) eine Geschirrspülmaschine? ......................

b) ein Zimmer für dich allein? .......................

c) Lern-Software? ..........................................

d) einen Internet-Anschluss? ..........................

e) ein Wörterbuch? .........................................

f) einen ruhigen Platz zum Lernen? ..............

g) einen Schreibtisch zum Lernen? ................

h) Schulbücher? ..............................................

i) klassische Literatur (z.B. von Goethe)? .....

j) Bücher mit Gedichten? ..............................

k) Kunstwerke (z.B. Bilder)? .........................

22. Wie viele der folgenden Dinge habt ihr zu Hause?


3 oder 0 1 2 mehr

a) Handys ........................................................

b) Fernseher/TV Geräte ..................................

c) Taschenrechner ...........................................


d) Computer/PC ..............................................

e) Musikinstrumente (z.B. Klavier, Geige) .....

f) Autos ...........................................................

g) Badezimmer ................................................

h) DVD-Player ................................................

i) MP3-Player .................................................

j) Mini-Disc-Player ........................................

k) Digitale Kameras ........................................

l) Digitale Videokameras ...............................

23. Hast du in den letzten 3 Jahren in deiner Schule zusätzlichen Unterricht gehabt, um deine Leistungen zu verbessern?


Nein, Ja, Ja, nie manchmal regelmäßig

a) Förderkurs in Deutsch .............................................

b) Förderkurs in anderen Fächern ...............................

c) Zusatzangebote (Übungen, Freifächer,

Wettbewerbe, Olympiaden,...) ................................

d) Kurse zur Verbesserung deiner allgemeinen

Lerntechniken („Lernen lernen“) ............................

24. Hast du in den letzten 3 Jahren außerhalb der Schule (z.B. in einem Nachhilfeinstitut) Unterricht gehabt, um deine Leistungen zu verbessern?

Bitte in jeder Spalte nur ein Kästchen ankreuzen.

Nein, Ja, Ja, nie manchmal regelmäßig

a) Nachhilfe in Deutsch ..............................................

b) Nachhilfe in Mathematik ........................................

c) Nachhilfe in anderen Fächern .................................


d) Kurse zur Verbesserung deiner allgemeinen

Lerntechniken (“Lernen lernen“) ............................

e) Zusatzkurse (z.B. Kurse an einer Volkshochschule,

Computerkurse) ......................................................

25. Entfällt in Österreich


26. Wie oft kommt bei euch im Deutschunterricht Folgendes vor?


In den In In einigen meisten jeder Nie Stunden Stunden Stunde

Unser Lehrer / unsere Lehrerin …

a) muss lange warten, bis Ruhe eintritt

(sich die Schüler/innen beruhigen). .........................

b) will, dass wir uns richtig anstrengen. .......................

c) sagt, dass wir eigentlich besser sein könnten. ..........

d) ist unzufrieden, wenn Schüler/innen schlampige

nachlässige Arbeiten liefern. ....................................

e) interessiert sich für den Lernfortschritt jedes

einzelnen Schülers/jeder Schülerin. .........................

f) gibt uns Gelegenheit, unsere Meinung zu sagen. ....

g) hilft uns bei der Arbeit. ............................................

h) erklärt etwas so lange, bis wir es verstehen. ............

i) tut viel, um uns zu helfen. ........................................

j) hilft uns beim Lernen. ..............................................

k) kontrolliert die Hausübungen. .................................

Wir Schülerinnen / wir Schüler …

l) können nicht ungestört arbeiten. ..............................

m) hören nicht auf das, was der Lehrer/die Lehrerin sagt.

n) brauchen nach Unterrichtsbeginn lange, bis wir zu

arbeiten anfangen. ....................................................

o) müssen viel lernen. ...................................................

Im Deutschunterricht …

p) ist es laut und alles geht durcheinander. ..................

q) vergehen zu Beginn der Stunde mehr als

5 Minuten, in denen gar nichts passiert. ..................


27. Wie viele Unterrichtsstunden hattest du in der letzten vollen Schulwoche in ...

Schreibe 0, wenn du dieses Fach heuer nicht hast.

Anzahl der Ist dies die normale im Stundenplan Unterrichtsstunden vorgesehene Stundenanzahl

Ja Nein

a) Deutsch? .......................................

b) Mathematik/Fachrechnen? ............

c) Biologie/Umweltkunde? ...............

d) Physik? ..........................................

e) Chemie/Labor? .............................

28. Wie viele Schüler/innen sind durchschnittlich in deiner Klasse/Gruppe in ...

Bitte mach einen Strich, wenn du dieses Fach heuer nicht hast.

Anzahl

a) Deutsch? ..................................

b) Mathematik/Fachrechnen? .......

c) Biologie/Umweltkunde? ..........

d) Physik? .....................................

e) Chemie/Labor? ........................

29. Wie oft ist es in den letzten 2 Schulwochen vorgekommen, dass du ...


1- oder 3-oder 5-mal Nie 2-mal 4-mal oder mehr

a) in der Schule entschuldigt gefehlt hast? .......

b) Stunden geschwänzt hast? ............................

c) zu spät zur Schule gekommen bist? .............


30. Wie sehr stimmst du den folgenden Aussagen über die Lehrerinnen und Lehrer an deiner Schule zu?


Stimme Stimme Stimme Stimme überhaupt eher eher völlig nicht zu nicht zu zu zu

a) Die Schüler/innen kommen mit den

meisten Lehrer/innen gut aus. ....................

b) Den meisten Lehrer/innen ist es wichtig,

dass sich die Schüler/innen wohl fühlen. ...

c) Die meisten meiner Lehrer/innen interes-

sieren sich für das, was ich zu sagen habe.

d) Wenn ich zusätzliche Hilfe brauche, be-

komme ich sie von meinen Lehrer/innen. ..

e) Die meisten Lehrer/innen behandeln mich

fair. .............................................................

31. Meine Schule ist ein Ort, ...


Stimmt Stimmt überhaupt eher Stimmt Stimmt nicht nicht eher völlig

a) an dem ich mich als Außenseiter fühle. ...................

b) an dem ich leicht Freunde finde. ..............................

c) an dem ich mich dazugehörig fühle. ........................

d) an dem ich mich oft frustriert und fehl am

Platz fühle. ...............................................................

e) an dem ich anscheinend beliebt bin. ........................

f) an dem ich mich einsam fühle. ................................

g) wo ich nicht hingehen möchte. ................................

h) an dem ich mich oft langweile. ................................


32. Gib bitte an, wie häufig Folgendes bei dir vorkommt.


Manch- Nie mal Meistens Immer

a) Ich mache meine Hausübungen rechtzeitig fertig. ..

b) Ich mache meine Hausübungen beim Fernsehen. ....

c) Meine Lehrer/innen benoten meine Hausübungen.

d) Ich mache meine Hausübungen in der Schule fertig.

e) Meine Lehrer/innen geben wertvolle Kommentare

zu meinen Hausübungen ab. ....................................

f) Meine Hausübungen sind interessant. .....................

g) Meine Hausübungen zählen als Teil meiner Noten

im Zeugnis. ...............................................................

33. Wie viel Zeit brauchst du im Durchschnitt jede Woche für Hausübungen und Lernen in ...

Bitte in jeder Zeile nur ein Kästchen ankreuzen. Zähle dazu, wie lange du am Wochenende lernst.

Weniger 3 oder als 1 1 bis 3 mehr Keine Stunde Stunden Stunden Zeit pro Woche pro Woche pro Woche

a) Deutsch? ....................................................

b) Mathematik/Fachrechnen? .........................

c) Biologie/Umweltkunde? ............................

d) Physik? .......................................................

e) Chemie/Labor? ..........................................

34. Wie viel Zeit verbringst du normalerweise jeden Tag damit, zu deinem Vergnügen zu lesen?

Ich lese nicht zum Vergnügen. ..............................

bis zu 30 Minuten täglich ......................................

zwischen einer halben und 1 Stunde täglich ..........

1 bis 2 Stunden täglich ...........................................


mehr als 2 Stunden täglich .....................................

35. Wie genau stimmen die folgenden Aussagen über Lesen für dich?


Stimmt Stimmt überhaupt eher Stimmt Stimmt nicht nicht eher völlig

a) Ich lese nur, wenn ich muss. ....................................

b) Lesen ist eines meiner liebsten Hobbys. ..................

c) Ich rede gern mit anderen Leuten über Bücher. ......

d) Es fällt mir schwer, Bücher zu Ende zu lesen. ........

e) Ich freue mich, wenn ich ein Buch geschenkt

bekomme. .................................................................

f) Für mich ist Lesen Zeitverschwendung. ..................

g) Ich gehe gern in Buchhandlungen oder Bibliotheken.

h) Ich lese nur, um Informationen zu bekommen,

die ich brauche. ........................................................

i) Ich kann nicht länger als ein paar

Minuten stillsitzen und lesen. ...................................

36. Wie oft liest du zu deinem Vergnügen ...


Ein paar Etwa Mehrmals Nie oder Mal einmal Mehrmals in der fast nie im Jahr im Monat im Monat Woche

a) Zeitschriften/Magazine? ............................

b) Comic-Hefte/Comics? ...............................

c) Romane, Erzählungen, Geschichten? ........

d) Sachbücher (z.B. Geschichte, Biographie

Wissenschaft, Technik)? ............................

e) E-Mails und Web-Seiten (im Internet)? .

f) Tageszeitungen? ........................................


37. Wie viele Bücher habt ihr zu Hause? Wie viele davon gehören dir persönlich?

Auf einen Meter Bücherregal passen ungefähr 40 Bücher. Zähle Zeitschriften bitte nicht mit.

Wie viele ... ... habt ihr zu Hause? ... gehören dir?

keine .............................. ...............................................

1– 10 ............................. ...............................................

11– 50 ............................ ...............................................

51– 100 .......................... ...............................................

101– 250 ........................ ...............................................

251– 500 ........................ ...............................................

mehr als 500 Bücher ...... ...............................................

38. Wie oft leihst du Bücher in einer öffentlichen Bücherei (Bibliothek) oder in der Schulbibliothek aus, um zu deinem Vergnügen zu lesen?

nie oder fast nie .....................

ein paar Mal im Jahr .............

etwa einmal im Monat ..........

mehrmals im Monat ..............

39. Wie oft benutzt du in der Schule ...


Ein paar Etwa Mehrmals Nie oder Mal einmal Mehrmals in der fast nie im Jahr im Monat im Monat Woche

a) die Schulbibliothek? ..................................

b) Computer (z.B. in Computerräumen)? ......

c) einen Taschenrechner? ...............................

d) das Internet? ...............................................

e) ein Biologie-, Physik-, Chemielabor? ........


40. Was meinst du, welchen Beruf wirst du mit 30 Jahren haben?

Beruf: _____________________________________________

41. Welche Noten hattest du im letzten Semesterzeugnis in....

Bitte die zutreffenden Ziffern einkreisen, z.B. so:

Wenn du in einer Hauptschule mit Leistungsgruppen bist, kreise bitte immer auch deine Leistungsgruppe ein.

Note Leistungs-gruppe

a) Deutsch? 1 2 3 4 5 I. II. III. Wir haben

keine Leistungs-gruppen

b) der 1. Fremdsprache (Engl./Fr.)? 1 2 3 4 5 I. II. III.

c) Mathematik/Fachrechnen? 1 2 3 4 5 I. II. III.

d) Biologie/Umweltkunde? 1 2 3 4 5

e) Physik? 1 2 3 4 5

f) Chemie/Labor? 1 2 3 4 5

42. Wie zufrieden bist du mit deinen Noten bzw. deinen Leistungen in der Schule?

sehr zufrieden zufrieden wenig zufrieden nicht zufrieden

43. Wie lange gehst du insgesamt schon in die Schule?

Bitte das laufende Schuljahr und eventuelle Vorschuljahre dazuzählen.

8 Jahre ...................................

9 Jahre ...................................

10 Jahre .................................

11 Jahre .................................


Vo

lkss

chu

leH

aup

tsch

ule

So

nd

ersc

hu

leP

oly

tech

nis

che

Sch

ule

AH

S

(Gym

nas

ium

)B

eru

fssc

hul

eB

eru

fsb

ilden

de

Mit

tler

e S

chu

le

Ber

ufs

bild

end

e

Hö

her

e S

chu

leA

nd

ere

Sch

ule

1.

Ja

hr

OO

O2

. J

ah

rO

OO

3.

Ja

hr

OO

O4

. J

ah

rO

OO

5.

Ja

hr

OO

OO

O6

. J

ah

rO

OO

OO

7.

Ja

hr

OO

OO

8.

Ja

hr

OO

OO

9.

Ja

hr

OO

OO

OO

O1

0.

Ja

hr

OO

OO

OO

OO

44

. S

CH

UL

LA

UF

BA

HN

: W

elc

he S

ch

ule

n h

ast

du

bis

he

r (i

n d

ein

em

Le

ben

) b

esu

ch

t?

a)

Has

t d

u v

or

der

1. K

las

se V

olk

ss

ch

ule

ein

Ja

hr

in e

iner

VO

RS

CH

UL

KL

AS

SE

ve

rbra

ch

t?

O

O

Ja

Ne

in

b)

Bit

te k

reu

ze in

der

folg

en

den

Ta

belle

in

je

dem

ab

so

lvie

rten

Sc

hu

ljah

r (i

n je

de

r Z

eile

) d

en

be

su

ch

ten

Sch

ult

yp

an

. W

enn

der

Schu

ltyp

ni c

ht

ang

efüh

rt i

st,

dan

n kr

euze

bit

te i

n de

r le

tzte

n S

pa

lte

“A

nd

ere

Sch

ule

” a

n.

Au

s d

ein

en

Ang

aben

kön

nen

wir

dan

n de

ine

voll

stän

dige

Sch

ulla

ufba

hn e

rseh

en.

CCC 18

C 1. Wie oft stimmen die folgenden Dinge für dich?

Bitte nur eine Antwort pro Zeile ankreuzen. Fast Fast nie Manchmal Oft immer

1) Wenn ich lerne, versuche ich alles auswendig zu lernen, was

abgefragt werden könnte. .........................................................................

2) Ich bin sicher, dass ich auch den schwierigsten Stoff in Unterrichts-

texten verstehen kann. ..............................................................................

3) Wenn ich lerne, überlege ich mir zuerst, was genau ich lernen muss. .....

4) Wenn ich mich hinsetze, um etwas gründlich zu lernen, dann gelingt mir

das auch. ..................................................................................................

5) Wenn ich lerne, lerne ich so viel wie möglich auswendig. .........................

6) Ich lerne, um meine Berufsmöglichkeiten zu verbessern. .........................

7) Wenn ich lerne, arbeite ich so fleißig wie möglich. ...................................

8) Ich bin überzeugt, dass ich auch den kompliziertesten Stoff, den unser/e

Lehrer/in vorträgt, verstehen kann. ...........................................................

9) Wenn ich lerne, versuche ich neuen Stoff mit bereits gelerntem

Wissen aus anderen Fächern zu verbinden. ........ .....................................

10) Wenn ich lerne, präge ich mir alles Neue so ein, dass ich es

aufsagen kann. .........................................................................................

11) Wenn ich mir vornehme, keine schlechten Noten zu bekommen,

gelingt mir das. ..........................................................................................

12) Wenn ich lerne, arbeite ich auch dann weiter, wenn der Stoff schwierig

ist. .............................................................................................................

13) Wenn ich lerne, zwinge ich mich zu prüfen, ob ich mir das bereits

Gelernte auch gemerkt habe. ....................................................................

14) Ich lerne, damit ich in der Zukunft finanziell abgesichert sein werde. .......

15) Wenn ich lerne, übe ich, indem ich mir den Stoff immer wieder aufsage. .

16) Wenn ich mir vornehme, bei keiner Aufgabe einen Fehler zu machen,

gelingt mir das. ..........................................................................................

17) Wenn ich lerne, überlege ich, inwiefern die (gelernten) Informationen

im wirklichen Leben nützlich sein könnten. ...............................................

18) Ich bin überzeugt, dass ich bei Hausaufgaben und schriftlichen

Prüfungen gute Leistungen erzielen kann. ................................................

19) Wenn ich lerne, versuche ich herauszufinden, was ich noch nicht

richtig verstanden habe. ............................................................................

20) Wenn ich lerne, versuche ich mein Bestes zu geben, um mir das

Wissen und die Fertigkeiten anzueignen. .................................................

21) Wenn ich lerne, versuche ich durch Verknüpfen mit bereits Gelerntem

den neuen Stoff besser zu verstehen. ......................................................

22) Ich lerne, um einen guten Arbeitsplatz zu bekommen. .............................

23) Wenn ich lerne, gehe ich sicher, dass ich mir die wichtigsten Dinge

gemerkt habe. ...........................................................................................

24) Wenn ich etwas gut lernen will, kann ich das auch. ..................................

25) Wenn ich lerne, überlege ich mir, wie der Stoff mit dem zusammen-

hängt, was ich schon gelernt habe. ...........................................................

19 PISA Zentrum Österreich

Fast Fast nie Manchmal Oft immer

26) Ich bin überzeugt, dass ich die Fertigkeiten, die gelehrt werden, auch

beherrschen kann. ....................................................................................

27) Wenn ich lerne und etwas nicht verstehe, suche ich zusätzliche

Informationen, um das Problem zu klären. ...............................................

28) Wenn ich lerne, gebe ich mein Bestes. .....................................................

C 2. Wie sehr treffen die folgenden Dinge auf dich zu?

Bitte nur eine Antwort pro Zeile ankreuzen. trifft trifft trifft trifft überhaupt eher eher genau nicht zu nicht zu zu zu

29) Wenn ich mich mit Mathematik beschäftige, vergesse ich manchmal

alles um mich herum. ................................................................................

30) Ich arbeite gerne mit anderen Schüler/innen zusammen. .........................

31) In den meisten Schulfächern lerne ich schnell. .........................................

32) Ich versuche gerne besser als andere Schüler/innen zu sein. ..................

33) Im Fach Deutsch bin ich ein hoffnungsloser Fall. .....................................

34) Weil mir das Lesen Spaß macht, würde ich es nicht gerne aufgeben. .....

35) Ich bin in den meisten Schulfächern gut. ..................................................

36) Ich lerne am meisten, wenn ich mit anderen Schüler/innen zusammen

arbeite. ..............................................................................................................

37) Im Fach Deutsch lerne ich schnell. ...........................................................

38) Da mir Mathematik Spaß macht, würde ich es nicht gerne aufgeben. ......

39) Wenn ich versuche, besser als andere zu sein, leiste ich gute Arbeit. .....

40) Im Fach Mathematik bekomme ich gute Noten. ........................................

41) Ich lese in meiner Freizeit. ........................................................................

42) Ich arbeite am besten, wenn ich mit anderen Schüler/innen zusammen

arbeite. ..............................................................................................................

43) Mathematik ist eines meiner besten Fächer. ............................................

44) Ich möchte gern in irgendeinem Bereich der/die Beste sein. ....................

45) Wenn ich lese, vergesse ich manchmal alles um mich herum. .................

46) Ich war schon immer gut in Mathematik. ...................................................

47) Ich helfe anderen in einer Gruppe gerne dabei, gut zu sein. ....................

48) Ich schneide bei schriftlichen Prüfungen (Schularbeiten, Tests) in den

meisten Schulfächern gut ab. ....................................................................

49) Mathematik ist für mich persönlich wichtig. ...............................................

50) Wenn man an einem Projekt arbeitet, ist es hilfreich die Ideen von allen

zusammen zu tragen. ...............................................................................

51) Im Fach Deutsch bekomme ich gute Noten. .............................................

52) Ich lerne schneller, wenn ich versuche, besser als die anderen zu sein. ..

Vielen Dank für deine bisherigen Antworten! Bitte geh weiter zum nächsten Teil.

1

PISA - OECD Programme for International Student Assessment

SCHÜLERFRAGEBOGEN

ÖSTERREICH

Lesegewohnheiten Margit Böck – Karin Sollat

PISA ZENTRUM ÖSTERREICH

Universität Salzburg

HAUPTTEST 2000

Version 24/01/00

PISA PLUS Schülerfragebogen Lesegewohnheiten 2

ZUERST EIN PAAR FRAGEN ZUM LESEN IN DER FREIZEIT

1. Wie gerne liest du in deiner Freizeit Bücher ?

Bitte eine Antwort ankreuzen.

sehr gerne gerne nicht so gerne überhaupt nicht gerne

2. Wie lange hast du am letzten Wochentag bzw. am letzten Wochenende in deiner Freizeit ZUR UNTERHALTUNG in einem Buch gelesen ?

Bitte jeweils FÜR DEN LETZTEN WOCHENTAG und DAS LETZTE WOCHENENDE eine Antwort ankreuzen. am letzten am letzten Wochentag Wochenende

a) Ich habe keine Bücher zur Unterhaltung gelesen ..............

b) 30 Minuten oder weniger ...................................................

c) eine halbe bis etwa eine Stunde ........................................

d) ein bis zwei Stunden ...........................................................

e) länger als zwei Stunden .....................................................

f) Ich lese Bücher nie zur Unterhaltung ......................

3. Wie lange hast du am letzten Wochentag bzw. am letzten Wochenende in deiner Freizeit ZUR INFORMATION ODER WEITERBILDUNG in einem Buch gelesen?

Bitte jeweils FÜR DEN LETZTEN WOCHENTAG und DAS LETZTE WOCHENENDE eine Antwort ankreuzen. am letzten am letzten Wochentag Wochenende

a) Ich habe keine Bücher zur Information oder Weiterbildung gelesen

b) 30 Minuten oder weniger ..............................................................

c) eine halbe bis etwa eine Stunde ...................................................

d) ein bis zwei Stunden ......................................................................

e) länger als zwei Stunden ................................................................

f) Ich lese Bücher nie zur Information oder Weiterbildung ...

4. Wie viele Bücher hast du in deiner Freizeit in den letzten 12 Monaten ungefähr gelesen? Wenn Du es nicht genau weißt, schätze es bitte!


kein Buch 6 bis 10 Bücher

1 bis 2 Bücher 11 bis 20 Bücher

3 bis 5 Bücher mehr als 20 Bücher

5. Wie oft kommt es vor, dass du in der Freizeit ein Buch liest, weil ...

Bitte in jeder Zeile eine Antwort ankreuzen. nie selten manchmal oft

a) du den Film z.B. im Fernsehen gesehen hast. ..........................................

b) es deinem Freund oder deiner Freundin gut gefallen hat. ........................

c) es in der Schule empfohlen worden ist. .....................................................

d) du es geschenkt bekommen hast. .............................................................

e) du es zu Hause im Bücherregal entdeckt hast. .........................................

f) du darüber etwas in einer Zeitung/Zeitschrift gelesen hast. ......................

g) du es in der Bibliothek oder in einer Buchhandlung entdeckt hast. ..........

h) dich der Buchtitel oder der Umschlagtext neugierig gemacht hat. ............


i) du schon ein Buch von dem Autor/von der Autorin gelesen hast. ............

6. Jetzt haben wir ein paar Meinungen zum LESEN IN DER FREIZEIT aufgeschrieben. Kreuze bitte bei jedem Satz an, wie das bei dir ist.

trifft trifft nicht zu zu

a) Ich sehe lieber fern, als ein Buch zu lesen. .....................................................................

b) Ich schaue mir lieber ein Video an, als ein Buch zu lesen. .............................................

c) Ich lese lieber Zeitschriften als ein Buch. ........................................................................

d) Ich lese lieber Comics als ein Buch. ...............................................................................

e) Ich spiele lieber Computer- oder Videospiele (z.B. Gameboy, Nintendo, Playstation),

als ein Buch zu lesen. .....................................................................................................

f) Ich surfe lieber im Internet, als ein Buch zu lesen. ..........................................................

g) Ich mache lieber etwas anderes am Computer (z.B. Texte schreiben,

Programmieren,...), als ein Buch zu lesen. .....................................................................

7. Welche von diesen GERÄTEN hast du selbst bzw. gehören dir persönlich ?

Bitte Zutreffendes ankreuzen.

Fernseher

Radio

Kassettenrecorder/CD-Player/Hifi-Anlage

Walkman/Discman

Videorecorder

Videospiele/Spielkonsolen (z.B. Gameboy, Nintendo, Playstation)

Computer (PC, Apple)

Handy

KEINES dieser Geräte

8. Warum machst du die folgenden Dinge? Kreuze bitte alles an, was für dich jeweils zutrifft!

Du kannst in jeder Zeile MEHRERE KREUZE machen!

mache ich

nicht

um mich

zu infor-

mieren

um etwas

zu lernen

um

mich auszu-ruhen

um Spaß

zu haben

um alles um mich herum zu vergessen

weil ich

alleine bin

weil mir

langweilig ist

a) fernsehen ............................................. .......... .......... ........... ........... .......... .......... ...........

b) Radio hören ......................................... .......... .......... ........... ........... .......... .......... ...........

c) Musik (CDs, Kassetten etc.) hören ...... .......... .......... ........... ........... .......... .......... ...........

d) ein Buch lesen ..................................... .......... .......... ........... ........... .......... .......... ...........

e) Zeitschriften lesen ............................... .......... .......... ........... ........... .......... .......... ...........

f) Tageszeitung lesen ............................. .......... .......... ........... ........... .......... .......... ...........

g) Comics lesen ....................................... .......... .......... ........... ........... .......... .......... ...........

h) Video schauen ..................................... .......... .......... ........... ........... .......... .......... ...........

i) Computer-/Videospiele spielen ............ .......... .......... ........... ........... .......... .......... ...........

j) das Internet nutzen .............................. .......... .......... ........... ........... .......... .......... ...........

k) anderes als Spiele oder Internet


am Computer machen ......................... .......... .......... ........... ........... .......... .......... ........... l) telefonieren .......................................... .......... .......... ........... ........... .......... .......... ...........

9. Nehmen wir an, du könntest diese Medien längere Zeit nicht mehr nutzen. Wie sehr würdest du sie vermissen ?

Bitte in jeder Zeile eine Antwort ankreuzen. überhaupt

nicht vermissen

ein wenig

vermissen

stark

vermissen

sehr stark

vermissen

a) Fernsehen ..........................................................................

b) Radio ..................................................................................

c) CDs/Musikkassetten/Schallplatten .....................................

d) Bücher ................................................................................

e) Zeitschriften .......................................................................

f) Tageszeitung ......................................................................

g) Comics ...............................................................................

h) Video ..................................................................................

i) Computer/-Videospiele (Gameboy, Playstation, etc.) ........

j) Internet (Surfen, Chatten, E-mail, etc.) ...............................

k) Computer (in anderen Funktionen als Spielen oder Internet)

l) Telefon .........................................................................................

WIE DAS FRÜHER MIT DEM LESEN UND MIT BÜCHERN BEI DIR WAR ...

10. Wenn du versuchst, dich an die Zeit zu erinnern, als du noch nicht zur Schule gegangen bist (also vor deinem 6. Lebensjahr): Wie war das damals bei dir zu Hause ?

Bitte in jeder Zeile eine Antwort ankreuzen. trifft

nicht zu trifft zu

a) Mir hat jemand oft Geschichten erzählt. .........................................................................

b) Jemand hat mit mir oft Bilderbücher angeschaut. ...........................................................

c) Mir hat jemand oft aus Büchern vorgelesen. ...................................................................

d) Ich habe schon (vor der Schule) selbst Bücher lesen können. .......................................

11. Und wie war das im KINDERGARTEN ?

Wenn du nicht in den Kindergarten gegangen bist, dann kreuze bitte hier an ....... und mache weiter mit der Frage 12. Bitte in jeder Zeile eine Antwort ankreuzen.

trifft nicht zu

trifft zu

a) Im Kindergarten gab es viele Bücher, in denen wir blättern und lesen durften. ..............

b) Wir konnten uns die Bilderbücher selbst nehmen und mussten nicht vorher fragen. .....

c) Die Kindergärtnerin hat uns oft aus Büchern vorgelesen. ...............................................

d) Es wurden uns oft Geschichten erzählt. .........................................................................

e) Wir haben oft Lieder, Geschichten oder Bilderbücher nachgespielt. ..............................


f) Wir haben oft Singspiele gemacht (z.B. „Himpelchen und Pimpelchen gingen

auf einen Berg“). .............................................................................................................

g) Wir haben im Kindergarten oft selbst Reime erfunden. ..................................................

h) Wenn wir etwas nicht gewusst haben, haben wir oft gemeinsam in einem Lexikon

nachgeschaut. .................................................................................................................

12. Kannst du dich noch daran erinnern, wie das in deiner VOLKSSCHULE war ?


nicht zu trifft zu

a) Wir haben in der Volksschule viel mit Büchern gemacht, z.B. Geschichten

nachgespielt oder Bilder zu Geschichten gemalt. ...........................................................

b) Wir haben uns oft selbst Bücher oder Geschichten zum Lesen aussuchen dürfen. .......

c) Die Lehrerin/der Lehrer hat uns oft aus Büchern vorgelesen. ........................................

d) In der Volksschule hat es Klassenbibliotheken oder eine Leseecke

im Klassenzimmer gegeben. ...........................................................................................

e) Manchmal haben uns Autoren oder Autorinnen aus ihren Büchern vorgelesen. ............

f) Wir hatten in der Volksschule oft „freie Lesestunden“, also Stunden in denen wir

lesen durften, was wir wollten. ........................................................................................

g) Wir waren in der Volksschule mit der Klasse manchmal in einer Öffentlichen Bücherei

(Gemeinde-, Stadt- oder Pfarrbibliothek). .......................................................................

13. Und wie war das mit Büchern und mit dem Lesen bei dir in der HAUPTSCHULE oder in der AHS-UNTERSTUFE ?


nicht zu trifft zu

a) Wir haben im Deutschunterricht viel mit Büchern gemacht, z.B. Teile von

Geschichten nachgespielt. ..............................................................................................

b) Manchmal haben uns Autoren oder Autorinnen in der Schule aus ihren Büchern

vorgelesen. . ....................................................................................................................

c) Meine Deutschlehrer/innen haben den Eindruck vermittelt, dass sie auch selbst

gerne Bücher lesen. ........................................................................................................

d) Wir waren mit der Klasse manchmal in einer Öffentlichen Bücherei (Gemeinde-,

Stadt- oder Pfarrbibliothek). ............................................................................................

e) Wir haben uns oft selbst Bücher oder Geschichten zum Lesen aussuchen dürfen. .......

f) Ich habe oft von meinen Lehrer/innen Hinweise und Tipps zu interessanten

Büchern erhalten. ............................................................................................................

g) Wir hatten in der Schule oft „freie Lesestunden“, also Stunden, in denen wir lesen

durften, was wir wollten. ..................................................................................................

14. Deine ELTERN und das Lesen in deiner Kindheit:



nicht zu trifft zu

a) Meine Mutter war eine eifrige Leserin. ............................................................................

b) Mein Vater war ein eifriger Leser. ...................................................................................

c) Meine Eltern haben oft gesagt, dass ich mehr lesen soll. ...............................................

d) Meine Eltern nahmen mich öfter in Buchhandlungen oder Bibliotheken mit. ..................

e) Ich wurde oft zum Lesen gezwungen, obwohl ich lieber etwas anderes gemacht hätte.

f) Meine Eltern haben mir oft Bücher geschenkt. ...............................................................

g) Meinen Eltern war es egal, ob ich las oder nicht. ............................................................

15. Wie war das sonst in deiner Kindheit mit dem Lesen und mit Büchern ?

Bitte in jeder Zeile eine Antwort ankreuzen. trifft nicht zu

trifft zu

a) Ich habe oft mit meinen Freunden und Freundinnen Bücher getauscht. ........................

b) Ich habe mich oft mit meinen Freunden und Freundinnen über Bücher unterhalten. .....

c) Ich hatte viele eigene Bücher. .........................................................................................

d) Über Buchgeschenke habe ich mich immer sehr gefreut. ..............................................

e) Ich habe mir oft Bücher in einer Bibliothek oder Bücherei ausgeliehen. .........................

f) Ich erinnere mich noch sehr genau an einige Bücher aus meiner Kindheit,

die mich sehr beeindruckt haben. ...................................................................................

16. Kannst du dich noch daran erinnern, wie das war, als du in der Schule das Lesen gelernt hast ?


Ich habe schneller als meine Klassenkamerad/innen lesen gelernt.

Ich habe gleich schnell wie die anderen in meiner Klasse lesen gelernt.

Ich habe etwas länger als die anderen in meiner Klasse zum Lesenlernen gebraucht.

Ich kann mich nicht mehr daran erinnern.

17. Hat es in deiner Hauptschule oder in der AHS-Unterstufe eine SCHULBIBLIOTHEK gegeben ?


ja

nein Wenn es keine Schulbibliothek gegeben hat, dann mach weiter mit Frage 20.

18. Wenn es eine Schulbibliothek gegeben hat: Wie oft hast du dir dort Bücher ausgeborgt ?


nie

einige Male im Jahr

einige Male im Monat

einmal pro Woche

mehrmals pro Woche

19. Wie hat dir diese Schulbibliothek gefallen ?

Wenn du nie in der Schulbibliothek warst, dann kreuze bitte hier an ....... und mach weiter mit der Frage 20.


Bitte in jeder Zeile eine Antwort ankreuzen.

trifft überhaupt

nicht zu

trifft eher

nicht zu

trifft eher zu

trifft sehr zu

a) Die Bücher waren sehr aktuell. ..........................................

b) Ich hätte mir mehr Sachbücher gewünscht. .......................

c) Die Bücher, die ich lesen wollte, waren oft ausgeliehen. ...

d) Wir durften uns Bücher wünschen, die dann gekauft wurden.

e) Die Bücher waren sehr übersichtlich aufgestellt. ...............

f) Ich hätte in der Bibliothek gerne mehr Zeitschriften gehabt. g) Ich hätte dort auch gerne andere Medien gehabt, wie z.B. CDs, Videos oder Computerspiele. .................................... h) Die Bibliothek war sehr gemütlich eingerichtet. ..................

i) Die Öffnungszeiten waren für mich ausreichend. ...............

j) Ich habe mich in der Bibliothek wohl gefühlt. .....................

20. Wie haben dir die folgenden AKTIONEN in der Hauptschule oder AHS-Unterstufe gefallen, sofern es sie gegeben hat ?

Bitte in jeder Zeile eine Antwort ankreuzen. hat es weniger sehr nicht nicht gut gut gut gegeben gefallen gefallen gefallen gefallen

a) Lesungen von Autoren und Autorinnen .......................

b) Besuche in Öffentlichen Bibliotheken/Büchereien .......

c) Buchausstellungen in der Schule .................................

d) „Lesenächte“ ................................................................

e) Und wie war das mit „freien Lesestunden“,

Stunden in denen ihr lesen konntet, was ihr wolltet? ....

WIE DAS JETZT MIT DEM LESEN UND MIT BÜCHERN BEI DIR IST ...

21. Was und wie oft musst du ZU HAUSE etwas für die SCHULE lesen ?


nie

seltener als

einmal pro Monat

einige Male pro

Monat

einmal

pro Woche

mehrmals

pro Woche

fast

jeden Tag

a) in Schulbüchern ..............................................................

b) Romane oder Erzählungen .............................................

c) Gedichte und Lyrik ..........................................................

d) in Sachbüchern ...............................................................

e) in Nachschlagewerken und Lexika .................................

f) in Zeitungen/Zeitschriften ................................................

22. Wie ist das mit deinen FREUNDEN und FREUNDINNEN und dem Lesen ?


nie

seltener als

einmal pro Monat

einige Male pro

Monat

einmal

pro Woche

mehrmals

pro Woche

fast

jeden Tag

a) Liest dein bester Freund/deine beste Freundin Bücher?

b) Tauschst du mit deinem Freund/deiner Freundin Bücher?

c) Schenkst du deinem Freund/deiner Freundin Bücher? ...


d) Bekommst du von deinem Freund/deiner Freundin

Bücher geschenkt? .........................................................

23. Wie oft unterhältst du dich mit deinen FREUNDEN und FREUNDINNEN ...?


nie

seltener als

einmal pro Monat

einige Male pro

Monat

einmal

pro Woche

mehrmals

pro Woche

fast

jeden Tag

a) über das, was ihr im Fernsehen gesehen habt ...............

b) über Musik ......................................................................

c) über Bücher ....................................................................

d) über Zeitungen oder Zeitschriften oder das, was ihr

darin gelesen habt ...........................................................

e) über Computer- oder Videospiele ...................................

f) über das Internet .............................................................

g) über den Computer .........................................................

24. Deine ELTERN und das Lesen:


nie

seltener als

einmal pro Monat

einige Male pro

Monat

einmal

pro Woche

mehrmals

pro Woche

fast

jeden Tag

a) Wie oft liest dein Vater Bücher zur Unterhaltung? ..........

b) Wie oft liest deine Mutter Bücher zur Unterhaltung? .......

c) Unterhalten sich deine Eltern mit dir über Bücher? .........

d) Fragen dich deine Eltern, welche Bücher du liest? .........

JETZT NOCH EINE LETZTE FRAGE ZUM LESEN IN DER SCHULE

25. Wir haben einige Meinungen zum Lesen in der Schule aufgeschrieben. Wie sehr treffen sie auf dich zu?


überhaupt nicht zu

trifft eher

nicht zu

trifft eher zu

trifft genau

zu

a) Im Deutschunterricht sollten wir häufiger darüber abstimmen,

was wir lesen wollen. .................................................................

b) Ich lese hauptsächlich für die Schule, in meiner Freizeit

mache ich lieber etwas anderes. ................................................

c) In der Schule sollten wir mehr Bücher lesen, die ich auch

in meiner Freizeit gerne lese. .....................................................

d) In der Schule lesen wir fast nur langweilige Bücher. ..................

e) Wir sollten nicht nur im Deutschunterricht, sondern auch

in anderen Gegenständen „ganze Bücher“ lesen, die keine

Schulbücher sind. ......................................................................


f) Mir wäre es lieber gewesen, wenn wir Bücher, die mir

gefallen haben, in der Schule nicht besprochen hätten. ............

g) Die Schule hat mir den Spaß am Lesen verdorben. ..................

HERZLICHEN DANK FÜR DEINE ANTWORTEN ZUM LESEN!

1


SCHÜLERFRAGEBOGEN

ÖSTERREICH

Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu II

Ferdinand Eder



HAUPTTEST 2000

Version 24/01/00

PISA PLUS Schülerfragebogen Befindlichkeit und Schulerfolg 2

Teil I: Dieser Teil des Fragebogens bezieht sich auf dich selbst und die Verhältnisse in deiner JETZIGEN Schulklasse

1. Wie viele Schüler/innen sind in deiner Klasse (dich selber eingeschlossen) ?

2. Wie viele davon sind Mädchen ?

3. Gehst du gerne in die Schule ? (Bitte Zutreffendes ankreuzen.)

sehr gerne gerne ungern sehr ungern

4. Wie gut gefällt es dir in der Schule insgesamt ?

sehr gut gut nicht besonders überhaupt nicht

5. Halten deine Mitschüler/innen zu dir, wenn es darauf ankommt ?

immer, oft manchmal selten nie, fast nie

6. Kommt es vor, dass du von bestimmten Mitschüler/innen belästigt wirst ?


7. Freust du dich, wenn du nach dem Wochenende deine Mitschüler/innen wieder siehst ?

ja, sehr ziemlich nicht besonders überhaupt nicht

8. Wie gut treffen die folgenden Sätze auf die Verhältnisse in deiner JETZIGEN Schulklasse zu ?

Bitte eine Antwort pro Zeile ankreuzen. stimmt genau

stimmt ziemlich

teils/ teils

stimmt etwas

stimmt nicht

a) Die meisten Lehrer/innen bemühen sich, die Schüler/innen auch persönlich kennen zu lernen.

b) Wenn jemand einmal nicht ordentlich mitarbeitet, wird gleich mit einer schlechten Note gedroht.

c) In unserer Klasse haben die Schüler/innen bzw. ihre Vertreter we-nig Einfluss.

d) Einige Schüler/innen werden immer wieder von den Lehrer/innen bevorzugt.

e) Unsere Lehrer/innen sind hauptsächlich an den guten Schüler/innen interessiert.

f) In unserer Klasse gibt es eine gute Klassengemeinschaft.

g) Wenn jemand aus der Klasse Hilfe braucht, helfen ihm die anderen gerne.

h) Bei uns arbeiten die einzelnen Schüler/innen eher gegeneinander als miteinander.

i) Die meisten Schüler/innen in dieser Klasse lernen gerne und stren-gen sich für die Schule an.

j) Bei uns ist es im Unterricht nur selten so ruhig, dass man ungestört arbeiten kann.

k) Bei uns ist es vielen Schüler/innen wichtig, mit möglichst wenig Aufwand durchzukommen.

l) Wenn wir nicht am Wochenende lernen, schaffen wir kaum, was von uns verlangt wird.

m) Oft wird in einer Stunde so viel durchgenommen, dass man Schwierigkeiten mit dem Mitkommen hat.

n) Die meisten Lehrer/innen geben sich Mühe, ihren Unterricht an-schaulich und praxisnah zu gestalten.

o) Viele Lehrer/innen gestalten den Unterricht so, dass die Schü-ler/innen selbstständig denken und arbeiten können.

p) yBei uns kontrollieren die Lehrer laufend, wie wir arbeiten und was wir können.


9. Wie ist deine prsönliche Situation in der Schule ? Bitte überleg, wie sehr die folgenden Sätze für deine Situation stimmen und kreuze pro Zeile eine Antwort an!

stimmt genau

stimmt ziemlich

stimmt etwas

stimmt nicht

a) Die Noten, die ich bekomme, sind oft ungerecht.

b) Vor manchen Lehrer/innen habe ich ziemlich Angst.

c) Ich glaube, dass ich bei einigen Lehrer/innen unbeliebt bin.

d) Meistens werde ich von den Lehrer/innen fair behandelt.

e) Viele Dinge lerne ich einfach auswendig, obwohl ich sie nicht verstehe.

f) Im Unterricht kenne ich mich oft nicht aus.

g) Oft kann ich nur schwer unterscheiden, was wichtig und was unwichtig ist.

h) Vieles, was ich in der Schule lerne, ist für mich auch persön-lich interessant und wichtig.

i) Die Schule bringt mir insgesamt viel für mein Leben.

10. Überleg bitte, wie sehr die folgenden Sätze für dich selber stimmen !


stimmt ziemlich

stimmt etwas

stimmt nicht

a) Eigentlich bin ich mit mir ganz zufrieden.

b) Manchmal glaube ich, dass ich zu überhaupt nichts gut bin.

c) Ich meine, dass ich eine Reihe guter Eigenschaften habe.

d) Ich finde mich ganz in Ordnung.

e) Ich kann mit meinem Leben genauso gut zurechtkommen wie andere.

f) Es gibt nicht viel, auf das ich stolz sein könnte.

g) Ich kann mich gut in andere hineinversetzen.

h) Ich glaube, dass ich bei den anderen beliebt bin.

i) Ich habe viele Freunde / Freundinnen.

j) Ich lerne Dinge schnell.

k) Für die Schule arbeiten macht mir Spaß.

l) Es fällt mir leicht, Freundschaften zu schließen.

m) Ich weiß die Antwort auf eine Frage meistens früher als die anderen.

n) Mit mir kann man gut auskommen.

o) Ich unternehme gerne etwas mit anderen zusammen.

p) Ich gehöre in der Schule zu den Besten.

q) Ich kann gut mit anderen zusammenarbeiten.

r) Für gute Noten brauche ich mich nicht anzustrengen.

s) Es fällt mir leicht, schwierige Aufgaben zu lösen.

t) Mit mir kann man gut auskommen.


Die Fragen auf dieser Seite sind nur für BERUFSSCHÜLER/INNEN

11. Für welchen Lehrberuf machst du die Ausbildung ?

(genaue Bezeichnung des Berufs)

12. Welche Gründe waren für dich wichtig, dass du diesen Lehrberuf gewählt hast ? Bitte pro Zeile eine Antwort ankreuzen.

Das war für mich ....

Ich habe meinen Lehrberuf gewählt, .... sehr

wichtig

wichtig weniger wichtig

un-wichtig

a) weil meine Eltern das so gewünscht haben.

b) weil dieser Beruf genau meinen Interessen entspricht.

c) weil der Ausbildungsbetrieb für mich gut erreichbar ist.

d) weil dieser Beruf sehr angesehen ist.

e) weil die Beschäftigungsaussichten in diesem Beruf sehr günstig sind.

f) weil dieser Beruf genau meinen Fähigkeiten entspricht .

g) weil mir meine früheren Lehrer/innen diesen Beruf empfohlen haben.

h) weil es in diesem Beruf gute Verdienstmöglichkeiten gibt.

i) weil es sich einfach so ergeben hat.

j) weil ich in einem anderen Beruf keinen Ausbildungsplatz bekommen habe.

k) weil auch Bekannte oder Freunde diesen Beruf gewählt haben.

13. Ist der Beruf, für den du dich entschieden hast, im Ganzen gesehen der richtige für dich ?

ja, ganz bestimmt

wahrscheinlich schon wahrscheinlich

nicht bestimmt

nicht

14. Wenn du dich noch einmal für einen Beruf entscheiden könntest, würdest du dann wieder diesen Lehrberuf wählen ?

ja, ganz bestimmt

wahrscheinlich schon

wahrscheinlich nicht

bestimmt nicht

15. Wenn du an alle deine Erfahrungen in der Berufsschule denkst: Wie zufrieden bist du mit der Schule insgesamt ?

Bitte lass die nächste Seite aus und arbeite erst auf der übernächsten Seite weiter ! (geh zu Frage 20)


Die Fragen auf dieser Seite sind für ALLE ANDEREN SCHÜLER/INNEN

16. Welche Gründe waren für dich wichtig, dass du diese Schule besuchst ? Bitte pro Zeile eine Antwort ankreuzen.

Das war für mich.....

Ich besuche diese Schule,... sehr

wichtig

wichtig weniger wichtig

un-wichtig

a) weil meine Eltern das so gewünscht haben.

b) weil man an dieser Schule genau das lernen kann, was mich interessiert.

c) weil diese Schule zu dem Beruf hinführt, den ich einmal ergreifen möchte.

d) weil ich keine entsprechenden Arbeitsmöglichkeiten gefunden habe.

e) weil es mir meine früheren Lehrer/innen empfohlen ha-ben.

f) weil diese Schule meinen Fähigkeiten am besten ent-spricht.

g) weil man nach dem Abschluss dieser Schule gute Chan-cen hat.

h) weil ich an einer anderen Schule nicht aufgenommen wurde.

i) weil Freunde / Freundinnen auch in diese Schule gehen.

17. Ist die Schule, für die du dich entschieden hast, im Ganzen gesehen die richtige für dich ?

ja, ganz bestimmt



bestimmt nicht

18. Wenn du dich noch einmal für eine Schule entscheiden könntest, würdest du dann wieder diese Schule wählen ?

ja, ganz bestimmt



bestimmt nicht

19. Wenn du an alle deine Erfahrungen in der Schule denkst: Wie zufrieden bist du mit der Schule insgesamt ?


Teil II: Dieser Teil des Fragebogens bezieht sich auf die Schule, die du VOR DER JETZIGEN besucht hast.

20. Hast du die 4. Klasse einer Hauptschule oder AHS schon abgeschlossen ? Bitte Zutreffendes ankreuzen.

ja

nein Wenn NEIN, geh zu TEIL III und bearbeite die Fragen über Interessen (S. 28)!

21. Bist du damals (in der 4. Klasse) gerne in die Schule gegangen ?

sehr gerne gerne ungern sehr ungern

22. Wie gut gefiel es dir in der damaligen Schule insgesamt ?

sehr gut gut nicht besonders überhaupt nicht

23. Hielten deine Mitschüler/innen zu dir, wenn es darauf ankam ?


24. Kam es vor, dass du von bestimmten Mitschüler/innen belästigt wurdest ?


25. Wenn du an alle deine Erfahrungen in der damaligen Schule denkst: Wie zufrieden warst du mit der Schule insgesamt ?

26. Wie waren die Verhältnisse in deiner DAMALIGEN Schulklasse ?


stimmt ziemlich

teils/ teils

stimmt etwas

stimmt nicht

a) Die meisten Lehrer/innen bemühten sich, die Schüler/innen auch persönlich kennen zu lernen.

b) Wenn jemand einmal nicht ordentlich mitarbeitete, wurde gleich mit einer schlechten Note gedroht.

c) In unserer Klasse hatten die Schüler/innen bzw. ihre Vertreter wenig Einfluss.

d) Einige Schüler/innen wurden immer wieder von den Lehrer/innen bevorzugt.

e) Unsere Lehrer/innen waren hauptsächlich an den guten Schüler/innen interessiert.

f) In unserer Klasse gab es eine gute Klassengemeinschaft.

g) Wenn jemand aus der Klasse Hilfe brauchte, halfen ihm die anderen gerne.

h) Bei uns arbeiteten die einzelnen Schüler/innen eher gegeneinander als miteinan-der.

i) Die meisten Schüler/innen in dieser Klasse lernten gerne und strengten sich für die Schule an.

j) Bei uns war es vielen Schüler/innen wichtig, mit möglichst wenig Aufwand durch-zukommen.

k) Bei uns war es im Unterricht nur selten so ruhig, dass man ungestört arbeiten konnte.

l) Wenn wir nicht am Wochenende lernten, schafften wir kaum, was von uns verlangt wurde.

m) Oft wurde in einer Stunde so viel durchgenommen, dass man Schwierigkeiten mit dem Mitkommen hatte.


n) Die meisten Lehrer/innen gaben sich Mühe, ihren Unterricht anschaulich und praxisnah zu gestalten.

o) Viele Lehrer/innen gestalteten den Unterricht so, dass die Schüler/innen selbst-ständig denken und arbeiten konnten.

p) Bei uns kontrollierten die Lehrer/innen laufend, wie wir arbeiteten und was wir konnten.

27. Welche Noten hast du in der Hauptschule / in der AHS-Unterstufe in den folgenden Gegens-tänden im letzten Zeugnis (4. Klasse) bekommen ? Bitte versuch dich möglichst genau zu erinnern und ringle eine Note pro Zeile ein. Wenn du in einer Hauptschule mit Leistungsgruppen warst, ringle bitte immer auch deine Leistungsgruppe ein.

Note Leistungsgruppe

a. in Deutsch hatte ich die Abschlussnote: 1 2 3 4 5 I. II. III. Es gab keine

Leistungs-gruppen

b. in Englisch hatte ich die Abschlussnote: 1 2 3 4 5 I. II. III.

c. in Mathematik hatte ich die Abschlussnote: 1 2 3 4 5 I. II. III.

28. An manchen Schulen gibt es besondere Veranstaltungen für "soziales Lernen". Welche der folgenden Einrichtungen / Veranstaltungen gab es damals in deiner Klasse ? Denk dabei nicht nur an die letzte Klasse der Hauptschule / AHS-Unterstufe, sondern an die gesamten vier Schuljahre. Bitte eine Antwort pro Zeile ankreuzen. ja,

regel-mäßig

nur bei besonderen An-

lässen

nein,

gar nicht

a) eine eigene "Klassenvorstandsstunde" .................................

b) einen "Klassenrat" oder eine "Klassenstunde" .....................

c) einen "Morgenkreis" .............................................................

d) Stunden für "Gemeinschaft", "Gemeinschaftserziehung", "Gemeinschaftskunde" .........................................................

e) eine Veranstaltung "Soziales Lernen" ..................................

f) eine Veranstaltung "Kommunikation-Kooperation-Konflikt" ("KoKoKo") oder "Kommunikation" .......................................

g) ein "Schülerparlament" für die ganze Schule .......................

29. In den meisten Schulen gibt es Angebote, wie man sich auf die Wahl der anschließenden Schule bzw. des Berufes vorbereiten kann. An welchen vorbereitenden Maßnahmen hast du vor dem Eintritt in deine jetzige Schule teilgenommen ? Bitte alles, was auf dich zutrifft, ankreuzen. ja

a) Ich habe an einem Vortrag eines Berufsberaters in der Klasse teilgenommen. ........................

b) Ich war in einem Berufsinformationszentrum (BIZ). ...................................................................

c) Ich erhielt eine persönliche Beratung/Einzelberatung durch eine/n Berufsberater/in. ...............

d) Ich erhielt eine persönliche Beratung durch einen Lehrer / eine Lehrerin. ................................

e) Ich erhielt eine persönliche Beratung durch eine/n Bildungsberater/in an meiner Schule. ........

f) Ich habe verschiedene Broschüren über Berufe/Schulen und Berufswahl durchgelesen. ........

g) Ich habe an einer "Schnupperlehre" teilgenommen. .................................................................


h) Ich habe an Betriebsbesichtigungen teilgenommen. .................................................................

i) In meiner Klasse gab es einen längerdauernden berufskundlichen Unterricht. ........................

j) Ich habe an einer Übung Berufsorientierung/Berufsinformation teilgenommen. .......................

k) Ich war bei einer Berufsinformationsmesse. ..............................................................................

l) Ich habe meine jetzige Schule/meinen Lehrplatz vorher schon besichtigt. ...............................

Teil III: INTERESSEN

Der folgende Teil des Fragebogens besteht aus einer Liste mit verschiedenen Tätigkeiten. Gib bitte für jede Ein-zelne davon an, wie sehr sie dich interessiert bzw. interessieren würde.

Interessieren heißt: etwas gerne tun, etwas wegen der Sache selbst tun.

Du kannst für jede Tätigkeit bis zu 5 Punkte vergeben, je nachdem, wie groß dein Interesse ist. Bitte kreuze in jeder Zeile eine Antwort an. Verschieden viele Punkte sollen bedeuten:

5 Punkte 4 Punkte 3 Punkte 2 Punkte 1 Punkt Das interessiert mich

sehr; das tue ich sehr gerne

Das interessiert mich ziemlich

Das interessiert mich etwas

Das interessiert mich wenig

Das interessiert mich gar nicht; das tue ich

nicht gerne

das interessiert mich....

sehr ziemlich etwas wenig nicht

5 Punkte 4 Punkte 3 Punkte 2 Punkte 1 Punkt

1. mit Maschinen oder technischen Geräten arbeiten

2. in einem Versuchslabor Experimente durchführen

3. etwas nach künstlerischen Gesichtspunkten gestalten

4. andere Personen betreuen oder pflegen

5. eine Gruppe bei der Arbeit leiten

6. eine Buchhaltung führen

7. untersuchen, wie etwas funktioniert

8. wissenschaftliche Artikel lesen

9. Dichtungen/Literatur lesen und interpretieren

10. jemanden unterrichten oder erziehen

11. eine Diskussion leiten

12. mit einem Computer arbeiten

13. schwere Fahrzeuge lenken


14. sich mit unerforschten Dingen beschäftigen

15. Dinge schön gestalten (formen, verzieren, schmücken)

16. andere Menschen beraten

17. für eine Sache Werbung betreiben

18. Geschäftsbriefe schreiben

19. Servicearbeiten durchführen (reinigen, instandhalten, reparieren)

20. ein Computerprogramm entwickeln

21. sich mit fremden Kulturen auseinander setzen




22. mit anderen in einem Team zusammenarbeiten

23. eine Veranstaltung organisieren

24. mit einem Schreib- oder Grafikprogramm arbeiten

25. Konstruktionspläne zeichnen

26. etwas genau beobachten und analysieren

27. in einer Schauspiel- oder Musikgruppe mitspielen

28. andere Menschen bedienen, für andere sorgen

29. jemandem etwas verkaufen

30. Statistiken anlegen und auswerten

31. in einen Computer neue Teile einbauen

32. eine Untersuchung planen

33. Bilder malen, zeichnen

34. Kranke oder Verletzte versorgen

35. andere von etwas überzeugen oder zu etwas veranlassen

36. über etwas Aufzeichnungen oder Listen führen

37. EDV-Geräte untereinander vernetzen

38. chemische oder physikalische Versuche durchführen


39. anderen etwas vorführen, vorlesen oder vorzeigen

40. über gesellschaftliche Veränderungen nachdenken

41. eine neue Aufgabe übernehmen und vorantreiben

42. ein Computerprogramm so lange verbessern, bis es funktioniert

43. auf einer Baustelle arbeiten

44. Informationen aus dem Internet suchen

45. eine Homepage entwerfen und gestalten

46. sich für eine gerechtere Gesellschaft einsetzen

47. für eine Sache in der Öffentlichkeit auftreten

48. Angebote einholen und vergleichen

49. elektrische Geräte oder Anlagen bauen

50. über längere Zeit an der Lösung eines Problems arbeiten




51. etwas mit sprachlichen Mitteln künstlerisch gestalten

52. hilfsbedürftige Kinder oder Erwachsene betreuen

53. mit anderen Menschen verhandeln

54. Gegenstände/Materialien sammeln, ordnen oder verwalten

55. Metall/Holz bearbeiten, etwas aus Metall/Holz herstellen

56. herausfinden, wie ein neues Computerprogramm funktioniert

57. einen Werbetext entwerfen

58. sich in die Situation anderer Menschen hineindenken

59. das Amt des Sprechers in einer Gruppe übernehmen

60. die Einhaltung von Richtlinien überwachen

61. etwas nach einem Plan oder einer Skizze anfertigen

62. die Ursachen eines Problems erforschen

63. einen Bericht/eine Reportage über ein Ereignis verfassen

64. sich für die Anliegen anderer einsetzen


65. ein Geschäft oder Unternehmen führen

66. eine Abrechnung kontrollieren

67. in einer Land- oder Forstwirtschaft arbeiten

68. neue Ideen entwickeln und überprüfen

69. eine fremde Sprache lernen, sich in einer Fremdsprache unterhal-ten

70. sich die Probleme anderer Menschen anhören

71. andere beaufsichtigen oder kontrollieren

72. Informationen zu einem Thema zusammentragen und auswerten

HERZLICHEN DANK FÜR DEINE ANTWORTEN ZU SCHULERFOLG UND

BEFINDLICHKEIT!


Liebe Schülerin, lieber Schüler !Wie zufrieden bist du mit den Lehrern in deiner Klasse? Bieten deine Klasse und deine Schule eine angenehme undanregende Lebens- und Lernumgebung? Dieser Fragebogen gibt dir die Möglichkeit, deine Meinung über deineLehrer/innen, deine Mitschüler/innen und deine Schule auszudrücken. Deine Meinung ist uns wichtig, denn in gutenSchulen ist es oft leichter, bessere Leistungen zu erbringen. Wir Wissenschafter wollen die Schulen verbessernhelfen, und dazu müssen wir die Stärken und Schwächen der Schulen, ihrer Lehrer und Schüler kennen. Und vieleder dazu notwendigen Informationen können wir nur von Schülern erhalten. Alle deine Antworten sind vertraulich, das heißt, niemand an der Schule erfährt, von welchem Schüler welcheAntworten stammen. Versuche ehrlich und gerecht zu urteilen und zu antworten. Antworte völlig selbstständig - lassdich nicht von deinen Mitschülern beeinflussen. Herzlichen Dank für dein Bemühen.

Im ersten Teil des Fragebogens sollst du verschiedene Eigenschaften deiner Klassenlehrer insgesamt einschätzen. Du kannstin einer Liste ankreuzen, ob die angegebenen positiven Eigenschaften auf alle deine Lehrer/innen zutreffen, auf die meisten,auf einige, nur auf einen oder auf gar keinen. Ein Beispiel:

Du kannst dabei aus fünf Abstufungen wählen von "alle" bis "keiner". In unserem Beispiel hat der Schüler den zweiten Kreisvon links angekreuzt, was bedeutet, dass er die meisten seiner Lehrerinnen und Lehrer (aber nicht alle) als geduldig erlebt.

Teil A: Eigenschaften deiner Klassenlehrer

Die Lehrer/innen inmeiner Klasse sind ...

Bitte deutlich ankreuzen

geduldig

Die Lehrer/innen inmeiner Klasse sind ...

trifft aufalle zu

trifft aufdie meisten zu

trifft aufeinige zu

trifft aufkeinen zu

trifft nur aufeinen zu

trifft aufalle zu


trifft aufeinige zu

trifft aufkeinen zu


a) fair - gerecht

b) humorvoll - fröhlich

c) hilfsbereit - unterstützend

d) freundlich

e) engagiert - aktiv

f) verständnisvoll - rücksichtsvoll

g) ehrlich - aufrichtig

h) kooperativ - kontaktfreudig

i) tolerant - lassen Kritik zu

2PISA PLUS Schülerfragebogen Schulqualität

1) Für eine gute Note verlangen die Lehrer/innen sehr viel. .........................

2) Die Lehrer/innen legen im Unterricht großen Wert auf ausreichende Übun-gen und Wiederholungen, damit wir uns den Stoff auch gut merken. .......

3) Die Lehrer/innen erklären im Unterricht so verständlich und klar, dass ichalles Wichtige gut verstehe und begreife. ................................................

4) Ich denke, dass ich bei meinen Lehrer/innen etwas lerne, was ich auch imspäteren Leben wirklich brauchen kann. ..................................................

5) Durch die hohen Lernanforderungen fühle ich mich beim Lernen oftüberlastet und habe Angst, bei den Prüfungen zu versagen. ...............

6) Ich habe den Eindruck, dass mir die Lehrer/innen heuer schon viel Nützlichesbeigebracht haben. .....................................................................................

7) Die Lehrer/innen sind an mir persönlich nicht interessiert - sie behan-deln mich im Unterricht oft nur wie eine Nummer. ................................

8) Im Allgemeinen entsprechen die Noten, die ich bekomme, ziemlich genaumeinen tatsächlichen Leistungen in diesem Fach. ...................................

9) Durch ihr Engagement und ihren Einsatz gelingt es den Lehrer/innen, michfür ihr Fach besonders zu interessieren und zu aktivieren. .......................

10) Die Lehrer/innen schaffen es oft nicht, die nötige Ruhe und Disziplin inder Klasse herzustellen. .........................................................................

11) Der Unterricht ist interessant und attraktiv, weil sich die Lehrer um Ab-wechslung und Praxisnähe bemühen (z.B. Projekte, Videos, Exkursionen).

12) Die Lehrer/innen können auch schwierige Fragen beantworten, weil siesich in ihrem Fachgebiet wirklich gut auskennen. ....................................

13) Die Lehrer/innen bemühen sich, die Schüler/innen nur nach Leistung undBenehmen zu loben oder zu ermahnen und niemanden zu bevorzugen. ....

14) Die Aufgaben, die an uns gestellt werden, sind oft so schwierig, dasswir sie trotz grösster Anstrengung nicht lösen können. ........................

15) Wenn Lehrer/innen Hausübungen geben, dann kann ich diese normaler-weise selbständig und ohne die Hilfe anderer Personen bewältigen. .......

16) Die Lehrer/innen achten darauf, dass wir Schüler/innen eigene Beiträge zumUnterricht leisten und etwas nach unseren eigenen Ideen verwirklichen. ..

17) Die Lehrer/innen sind hauptsächlich an den guten Schüler/innen interes-siert - sie nehmen kaum Rücksicht auf die schwächeren. .........................

18) Die Qualität des Unterrichts bzw. der Ausbildung durch diese Lehrer/innensteigert meine Erfolgschancen auf dem künftigen Arbeitsmarkt.. ...............

Der Unterricht deiner Klassenlehrer/innen: trifft auf trifft auf die trifft auf trifft nur auf trifft aufalle zu meisten zu einige zu einen zu keinen zu

Hier fragen wir dich, ob verschiedene Beschreibungen auf deine Klassenlehrer/innen zutreffen. Dadurch erfahren wir deineEinschätzung der Unterrichtsqualität. Bitte lies jeden Satz sorgfältig durch und kreuze dann eine der fünf Antworten von"trifft auf alle zu" bis "trifft auf keinen zu" an. Ein Beispiel:

In unserem Beispiel hat der Schüler "trifft auf alle zu" angekreuzt, weil in dieser Klasse wirklich alle Lehrer/innen, dieHausübungen aufgeben, diese auch sorgfältig kontrollieren.

Teil B: Der Unterricht deiner Klassenlehrer/innen

Achte beim Antworten besonders auf die kursiv gedruckten Behauptungen 5, 7,10, usw., denn sie sind negativ formuliert.

sehr unzufrieden

19) Wie zufrieden bist du mit deinen LEHRERN insgesamt ? .................Bitte kreuze unter dem Gesicht an, das am ehesten deine Zufriedenheit ausdrückt.

sehr zufrieden

51. Die Lehrer kontrollieren die Hausübungen sorgfältig ...

trifft aufalle zu


trifft aufeinige zu

trifft aufkeinen zu



1) Wenn jemand aus meiner Klasse Probleme hat, dann helfen die anderen gerne.

2) Manche in meiner Klasse versuchen selbst gut dazustehen, indem sie andereSchüler/innen ständig schlechtmachen. ..........................................................

3) Unsere Klasse ist eine gute Gruppe, die zusammenhält, wenns drauf ankommt.

4) In unserer Klasse bekommt man schnell Probleme, wenn man ein wenig an-ders als die Mehrheit ist. .................................................................................

5) Wenn jemand in der Klasse einen Fehler macht oder eine schlechte Note be-kommt, dann freuen sich viele Mitschüler/innen heimlich. .............................

6) In meiner Klasse ist es allen wichtig, eine gute Leistung zu erbringen. ..............

7) In meiner Klasse interessiert sich kaum einer für die persönlichen Problemedes anderen. .....................................................................................................

8) In meiner Klasse fühle ich mich oft wie ein Außenseiter. ....................................

9) Es gibt in meiner Klasse häufig Streitereien zwischen den Schüler/innen. ........

10) Bei uns ist es selbstverständlich, dass die besseren Schüler/innen den schlechte-ren helfen. .........................................................................................................

11) Viele Schüler/innen in der Klasse lernen nur, weil sie Angst vor schlechtenNoten haben - für den Unterricht selbst interessieren sie sich weniger. .........

12) Einige Schüler/innen stören immer wieder den Unterricht, obwohl die ande-ren konzentriert mitarbeiten möchten. ............................................................

13) Einige meiner besten Freunde/Freundinnen (auch außerhalb der Schule) gehen inmeine Klasse. .....................................................................................................

14) In meiner Klasse kann man nie ernsthaft miteinander reden, weil keiner demanderen wirklich zuhören will. .........................................................................

15) In meiner Klasse gibt es einige ziemlich ausgeflippte, aber nette Typen. ...........

16) Manche meiner Mitschüler/innen haben ernsthafte Drogenprobleme. ..........

17) In meiner Klasse habe ich mehrere gute Freunde/Freundinnen, die zu mir haltenund mit denen ich über alles reden kann. ............................................................

18) Manche Schüler/innen gehen durch dauerndes Stören nicht nur den Lehrer/innen auf den Geist, sondern auch uns anderen. ............................................

19) Gewalt ist in unserer Klasse ein ernstes Problem - man muss befürchten, dassman von Mitschülern bedroht oder gar verletzt wird. ........................................

20) Die meisten Schüler/innen in der Klasse lernen gerne und strengen sich für dieSchule an. ..........................................................................................................

völligrichtig

eherrichtig

völligfalsch

eherfalsch

21) Wie zufrieden bist du mit deiner KLASSE insgesamt ? ....................Bitte kreuze unter dem Gesicht an, das am ehesten deine Zufriedenheit ausdrückt.

Im dritten Teil wollen wir wissen, ob verschiedene Behauptungen über deine Klasse bzw. deine Klassenkamerad/innen richtigoder falsch sind. Dadurch können wir erfahren, wie gut eure Klassengemeinschaft ist. Ein Beispiel:

In diesem Beispiel hat die Schülerin "eher falsch" angekreuzt, weil die Mitschüler in der Klasse sich eher nicht (oder nurselten) bemühen, bei Schwierigkeiten zu helfen.

Teil C: Deine Klasse, deine Mitschüler/innen

Deine Klasse, deine Mitschüler/innen

Achte beim Antworten besonders auf die kursiv gedruckten Behauptungen 2, 5, 7, usw., denn sie sind negativ formuliert.

61. Wenn ein Schüler/eine Schülerin in Schwierigkeiten ist, bemühensich alle in unserer Klasse, ihm/ihr zu helfen. ...................................

sehr unzufriedensehr zufrieden

völligrichtig

eherrichtig

völligfalsch

eherfalsch

4PISA PLUS Schülerfragebogen Schulqualität

1) An unserer Schule gibt es klare und verständliche Regeln, wie man sich als Schülerzu verhalten hat. ..................................................................................................

2) An unserer Schule gibt es regelmäßig Veranstaltungen, an der auch die Eltern oderandere interessierte Personen teilnehmen können. .............................................

3) Diese Schule bietet Schüler/innen auch außerhalb des Unterrichts Interessantes(z.B. durch Sprach-, Sport-, Computer-, Kultur- und Freizeitangebote). .............

4) Unser Direktor/unsere Direktorin bemüht sich, Probleme auch aus der Schüler-sicht zu verstehen und sucht immer eine faire Lösung. .......................................

5) Gewalt unter den Schülern ist hier ein Problem - man muss befürchten, dassman von Mitschülern bedroht oder gar verletzt wird. ......................................

6) Ich habe den Eindruck, dass die Lehrer/innen an dieser Schule gut zusammenarbei-ten und ein gemeinsames Ziel anstreben. ............................................................

7) An unserer Schule werden viele Möglichkeiten geboten, dass Schüler ihren geisti-gen, sportlichen und künstlerischen Interessen und Hobbys nachgehen können.

8) Wenn Schüler/innen dringend Hilfe brauchen (z.B. bei Lern-, Gewalt- oder Drogen-problemen), dann erhalten sie schnell und ausreichend Unterstützung. ...............

9) Schüler/innen mit guten Leistungen/Noten werden an dieser Schule von allen be-sonders geschätzt. ..............................................................................................

10) Unsere Lehrer/innen achten sehr darauf, dass die geltende Hausordnung aucheingehalten wird. .................................................................................................

11) Diese Schule legt Wert darauf, dass wir Schüler/innen in der Schulgemeinschaftaktiv mitreden und in wichtigen Dingen auch mitbestimmen können. .................

12) In unserer Schule sind die Räume (z.B. Klassenräume) individuell, freundlich undhell gestaltet. ......................................................................................................

13) Schüler/innen, die für die Schule an Wettbewerben teilnehmen und dabei besonde-re Leistungen erbringen, haben an der Schule ein hohes Ansehen. ......................

14) Wir Schüler/innen erleben hier häufig Lehrerwechsel, weil viele Lehrer/innendie Schule verlassen oder eine neue Klasse übernehmen. ..............................

15) An dieser Schule gibt es ein Drogenproblem (Schüler/innen nehmen Drogenoder es wird illegal unter Schüler/innen mit Drogen gehandelt bzw. gedealt).

16) Es kommt häufig zu Vandalismus bzw. mutwilliger Sachbeschädigung durchSchüler/innen (z.B. Beschmieren von Wänden, Beschädigen der Einrichtung)....

17) Direktor/in, Lehrer/innen, Eltern und Schüler/innen bemühen sich an dieser Schulegemeinsam um eine generelle Verbesserung der Schulqualität. .............................

18) In dieser Schule gibt es vieles, was mir ständig Angst macht. .............................

19) Die Einrichtung unserer Schule ist modern und zweckmäßig (z.B. passende Sessel,Tische, Kästen, Garderoben). ..............................................................................

20) Ich fühle mich in dieser Schule nicht wohl - mir wäre es am liebsten, wenn ich baldin eine andere Schule wechseln könnte. .............................................................

völligrichtig

eherrichtig

völligfalsch

eherfalsch

Sind die folgenden Beschreibungen und Behauptungen über deine Schule und das Leben an der Schule richtig oder falsch?Aus deinen Antworten schließen wir auf die Qualität deiner Schule. Ein Beispiel:

In diesem Beispiel hat die Schülerin "völlig richtig" angekreuzt, weil die Schule tatsächlich ein großes Angebot an Freifächernund unverbindlichen Sportübungen für alle Schüler/innen bereithält.

Teil D: Deine Schule, das Leben an dieser Schule

Deine Schule und das Leben an dieser Schule:

Achte beim Antworten besonders auf die kursiv gedruckten Behauptungen 5,14,18, usw , denn sie sind negativ formuliert.

76. Unsere Schule hat ein vielfältiges Angebot an Freifächernund sportlichen Schwerpunkten.................................................

völligrichtig

eherrichtig

völligfalsch

eherfalsch


23) Wie zufrieden bist du mit deiner SCHULE insgesamt ? .................Bitte kreuze unter dem Gesicht an, das am ehesten deine Zufriedenheit ausdrückt.

21) An dieser Schule herrscht eine Atmosphäre, in der man sich als Schüler/in auchpersönlich geachtet und akzeptiert fühlt. ............................................................

22) Schüler/innen, die diese Schule besuchen, erbringen im allgemeinen bessere Lei-stungen als Schüler/innen aus anderen Schulen desselben Typs. .........................

völligrichtig

eherrichtig

völligfalsch

eherfalsch

Herzlichen Dank für deine Rückmeldung.Bitte kontrolliere, ob du alle Fragen beantwortet hast.

Deine Antworten bleiben strikt vertraulich -niemand an der Schule wird erfahren, wer welche Antworten gegeben hat.

Teil E: Schüler-Feedback an Lehrer und Schule

1. Wie viele deiner Lehrer/innen haben dich in den letzten beiden Schuljahren (98/99, 99/00) um ein persönli-ches und schriftliches FEEDBACK gebeten (eine schriftliche Rückmeldung über deine Zufriedenheit mit demLehrer bzw. mit seinem Unterricht - ähnlich wie in Teil A und B dieses Fragebogens, aber für einen einzelnenLehrer)?

keiner einer einige die meisten alle

2. Wie wichtig wäre/ist für dich ein solches regelmäßiges persönliches und schriftliches Feedback an deine Lehrer/innen?

sehr wichtig wichtig weniger wichtig völlig unwichtig

3. Wie wichtig ist für deine Lehrer/innen ein regelmäßiges schriftliches Feedback durch die Schüler?

sehr wichtig wichtig weniger wichtig völlig unwichtig

4. Hast du in den letzten beiden Schuljahren (98/99, 99/00) schon einmal einen Schülerfragebogen zurSchulqualität ausgefüllt (z.B. mit Fragen zur Qualität des Unterrichts in dieser Schule, zum Klassen- undSchulklima, zur Qualität der Schulleitung, ähnlich wie in TEIL C und D dieses Fragebogens) ?

NEIN, nie JA, einmal JA, zweimal oder öfter

sehr unzufriedensehr zufrieden


COMPUTERNUTZUNG IN DER SCHULE

1. Hast du in der Schule jemals einen Computer benutzt?

Ja Nein Wenn du in der Schule niemals einen Computer benutzt hast geh bitte zu Frage 14

2. In welchem Schuljahr hast du erstmals in der Schule einen Computer benutzt?

zum ersten Mal im Schuljahr 19 /

3. Wie häufig hast du in den letzten beiden Schuljahren Computer im Unterricht benutzt? (während des gesamten Unterrichts: z.B. in Deutsch, Mathematik, Informatik, oder in Projekten)

Bitte in jeder Zeile eine Antwort ankreuzen. in weniger als in in in mehr als

("Unt.Stunden" = Unterrichtsstunden) 5 Unt.Stunden 5 bis 15 16 bis 40 40

nie im Jahr Unt.Stunden Unt.Stunden Unt.Stunden

a) in diesem Schuljahr 1999/2000 .................................

b) im vergangenen Schuljahr 1998/99 ..........................

4. Wie häufig hast du in diesem Schuljahr in den folgenden Fächern Computer benutzt? Bitte in jeder Zeile eine Antwort ankreuzen. ich habe in weniger als in in in mehr als

dieses Fach 5 Unt.Stunden 5 bis 15 16 bis 40 40

heuer nicht nie im Jahr Unt.Stunden Unt.Stunden Unt.Stunden

a) in Deutsch .................................................................

b) in Mathematik/Rechnen ............................................

c) in Physik/Chemie/im Labor .......................................

d) in Biologie/Umweltkunde/Gesundheitslehre ..............

e) in Geographie/Wirtschaftskunde ...............................

f) in Geom.Zeichnen/Darst.Geometrie/CAD .................

g) in der Fremdsprache (z.B. Englisch, Französisch) .....

h) in einem speziellen Computerfach (z.B. Informatik) ..

i) in anderen Fächern ...................................................

5. Wie häufig hast du in diesem Schuljahr im Unterricht für die folgenden Tätigkeiten Computer benutzt ?


5 Unt.Stunden 5 bis 15 16 bis 40 40


a) Texte verfassen/bearbeiten (z.B. Aufsätze, Artikel) . .

b) Erstellen einer gedruckten Schülerzeitung ................

c) Briefe verfassen (z.B. Bestellung, Geschäftsbrief) ....

d) in einem Projekt Daten erfassen und verwalten ........

e) Lesen (z.B. elektronische Bücher/Literatur von CD) .

PISA

PISA PLUS Schülerfragebogen Computer und Internet 2

f) Grammatik-Übungen (z.B. in Deutsch, Englisch) ......

g) Rechtschreib-Übungen (z.B. in Deutsch, Englisch) ..

6. Welche der folgenden Probleme treten in deiner Schule im Zusammenhang mit der Nutzung von Computern auf? Wie groß sind diese Probleme für dich? Bitte in jeder Zeile eine Antwort ankreuzen. NEIN JA JA kein kleines großes Problem Problem Problem

a) die Schule hat zu wenig Computer / zu wenig Computerräume ..............

b) die Computer sind veraltet / zu langsam ..................................................

c) den Lehrer/innen fehlt das notwendige Computerwissen ........................

d) es gibt zu wenig gute, interessante Software an der Schule ....................

e) die vorhandenen Programme sind schwer zu verstehen / zu verwenden

f) die Computer sind häufig kaputt (funktionieren nicht richtig) ...................

g) außerhalb des Unterrichts gibt es keinen Zugang zu den Schul-Computern

h) es fehlen moderne Computerkomponenten (z.B. CD-ROM, Laserdrucker)

i) es gibt keinen oder zu wenig Zugänge für Schüler zum INTERNET .......

j) Schüler/innen können in der Schule kein E-MAIL benutzen ....................

7. Kannst du die Computer der Schule auch außerhalb des Unterrichts verwenden?

Nein, das ist nicht möglich / nicht erlaubt.

Ja

Wenn JA Wie häufig benutzt du die Schul-Computer auch außerhalb des Unterrichts?

nie

in einigen Wochen des Schuljahrs / ein paar Mal im Schuljahr

die meisten Wochen im Schuljahr

jede Woche / fast jede Woche im Schuljahr

INTERNETNUTZUNG IN DER SCHULE

8. Hast du in der Schule jemals das INTERNET benutzt?

Ja

Nein Wenn du in der Schule niemals das Internet benutzt hast geh bitte zu Frage 14

9. In welchem Schuljahr und welcher Klasse hast du erstmals in der Schule das INTERNET benutzt?


10. Wie häufig hast du in den letzten beiden Schuljahren das INTERNET im Unterricht benutzt? (während des gesamten Unterrichts: z.B. in Deutsch, Mathematik, Informatik, oder in Projekten)



("Unt.Stunden" = Unterrichtsstunden) 5 Unt.Stunden 5 bis 15 16 bis 40 40


a) in diesem Schuljahr 1999/2000 .................................

b) im vergangenen Schuljahr 1998/99 ..........................

11. Wie häufig hast du in diesem Schuljahr das INTERNET in den folgenden Fächern benutzt? Bitte in jeder Zeile eine Antwort ankreuzen. ich habe in weniger als in in in mehr als

dieses Fach 5 Unt.Stunden 5 bis 15 16 bis 40 40

heuer nicht nie im Jahr Unt.Stunden Unt.Stunden Unt.Stunden

a) in Deutsch .................................................................

b) in Mathematik/Rechnen ............................................

c) in Physik/Chemie/im Labor .......................................

d) in Biologie/Umweltkunde/Gesundheitslehre ..............

e) in Geographie/Wirtschaftskunde ...............................

f) in Geom.Zeichnen/Darst.Geometrie/CAD .................

g) in der Fremdsprache (z.B. Englisch, Französisch) ....

h) in einem speziellen Computerfach (z.B. Informatik) ..

i) in anderen Fächern ...................................................

12. Wie häufig hast du in diesem Schuljahr das INTERNET in der SCHULE (im Unterricht und außerhalb des Unterrichts) für die folgenden Tätigkeiten benutzt? Bitte in jeder Zeile eine Antwort ankreuzen. ein- oder 3- bis öfter als

nie zweimal 5-mal 5-mal

a) mit einer Internet-Suchmaschine arbeiten (z.B. Altavista, Yahoo) ...........

b) Material für ein Unterrichtsprojekt im Internet suchen/herunterladen .......

c) E-Mails versenden und empfangen .........................................................

d) eine eigene Homepage erstellen (für dich/für die Klasse oder Schule) ....

e) mit anderen online im Internet chatten (Chat-Rooms benutzen) ..............

f) aktuelle Bilder von einer Web-Kamera abrufen ........................................

g) in Internet-Zeitungen (Ezines) lesen ........................................................

h) Musik oder Radioprogramme über Internet empfangen ...........................

i) im Internet mit jemandem telefonieren .....................................................

j) aktuelle Angebote von Firmen/Kaufhäusern/Shops lesen .......................

k) einfach nur zum Spaß im Internet herumsurfen .......................................

l) Programme (Software) oder Grafiken herunterladen (Download) ............

13. Kannst du den INTERNET-Zugang der Schule auch außerhalb des Unterrichts verwenden?

Nein, das ist nicht möglich / nicht erlaubt.

Ja


Wenn JA Wie häufig benutzt du das Internet an der Schule auch außerhalb des Unterrichts?

nie

in einigen Wochen des Schuljahrs / ein paar Mal im Schuljahr

die meisten Wochen des Schuljahrs

jede Woche / fast jede Woche des Schuljahrs

COMPUTERNUTZUNG AUSSERHALB DER SCHULE

14. Benutzt du außerhalb der Schule einen Computer? (z.B. zu Hause, bei Freunden)

Ja Nein Wenn du außerhalb der Schule keinen Computer benutzt geh bitte zu Frage 25

15. In welchem Schuljahr hast du erstmals außerhalb der Schule einen Computer benutzt?


16. Wo benutzt du außerhalb der Schule einen Computer und wie häufig? Bitte in jeder Zeile eine Antwort ankreuzen. weniger als einmal/ ein paar Mal einmal ein paar Mal pro Woche nie im Monat im Monat und öfter

a) zu Hause (in eurer Wohnung) .....................................................................

b) bei Freunden/Freundinnen, die einen Computer haben ..............................

c) an einem anderen Ort .................................................................................

17. Besitzt du ZU HAUSE einen eigenen Computer (nur für dich) oder darfst du den Computer eines anderen Familienmitglieds zu Hause mitbenutzen ? Bitte Zutreffendes ankreuzen.

Nein, ich kann zu Hause keinen Computer benutzen. Ja, ich besitze einen eigenen Computer. Ja, ich darf einen Computer zu Hause mitbenutzen (z.B. von den Eltern oder Geschwistern).

18. In welchem UMFANG hast du bisher einen Computer außerhalb der Schule benutzt? Bitte in jeder Zeile eine Antwort ankreuzen. weniger als weniger als 1 bis zu 6 bis 11 bis mehr als

5 Stunden 1 Stunde 5 Stunden 10 Stunden 20 Stunden 20 Stunden

nie im Schuljahr pro Woche pro Woche pro Woche pro Woche pro Woche

a) in diesem Schuljahr 1999/2000 .................

b) im vergangenen Schuljahr 1998/99 ..........

PISA


19. In welchem Umfang hast du in diesem Schuljahr Computer außerhalb der Schule benutzt für ...?


5 Unt.Stunden 5 bis 15 16 bis 40 40


a) Texte verfassen/bearbeiten (z.B. Aufsätze, Artikel) . .

b) Erstellen einer gedruckten Schülerzeitung ................

c) Briefe verfassen (z.B. Bestellung, Geschäftsbrief) ....

d) in einem Projekt Daten erfassen und verwalten ........

e) Lesen (z.B. elektronische Bücher/Literatur von CD) .

f) Grammatik-Übungen (z.B. in Deutsch, Englisch) ......

g) Rechtschreib-Übungen (z.B. in Deutsch, Englisch) ..

INTERNETNUTZUNG AUSSERHALB DER SCHULE

20. Benutzt du außerhalb der Schule das INTERNET? (z.B. zu Hause, bei Freunden)

Ja

Nein Wenn du außerhalb der Schule das Internet nicht benutzt geh bitte zu Frage 25

21. In welchem Schuljahr hast du erstmals außerhalb der Schule das INTERNET benutzt?


22. Wo benutzt du außerhalb der Schule das Internet und wie häufig?

Bitte in jeder Zeile eine Antwort ankreuzen. weniger als einmal/ ein paar Mal einmal ein paar Mal pro Woche nie im Monat im Monat und öfter

a) zu Hause (in eurer Wohnung) .....................................................................

b) bei Freunden/Freundinnen, die einen Computer mit Internet haben ...........

c) an einem anderen Ort .................................................................................

23. In welchem UMFANG verwendest du das Internet außerhalb der Schule ? Bitte in jeder Zeile eine Antwort ankreuzen. weniger als weniger als 1 bis zu 6 bis 11 bis mehr als

5 Stunden 1 Stunde 5 Stunden 10 Stunden 20 Stunden 20 Stunden

nie im Schuljahr pro Woche pro Woche pro Woche pro Woche pro Woche

a) in diesem Schuljahr 1999/2000 .................

b) im vergangenen Schuljahr 1998/99 ..........

24. Wie häufig hast du in diesem Schuljahr das Internet außerhalb der Schule für die folgenden Tätigkeiten benutzt? Bitte in jeder Zeile eine Antwort ankreuzen.

ein- oder 3- bis öfter als

nie zweimal 5-mal 5-mal

a) mit einer Internet-Suchmaschine arbeiten (z.B. Altavista, Yahoo) ...........

b) Material für ein Unterrichtsprojekt im Internet suchen/herunterladen .......


c) E-Mails versenden und empfangen .........................................................

d) eine eigene Homepage erstellen (für dich/für die Klasse oder Schule) ....

e) mit anderen online im Internet chatten (Chat-Rooms benutzen) ..............

f) aktuelle Bilder von einer Web-Kamera abrufen ........................................

g) in Internet-Zeitungen (Ezines) lesen ........................................................

h) Musik oder Radioprogramme über Internet empfangen ...........................

i) im Internet mit jemandem telefonieren .....................................................

j) aktuelle Angebote von Firmen/Kaufhäusern/Shops lesen .......................

k) zum Spaß einfach nur im Internet herumsurfen .......................................

l) Programme (Software) oder Grafiken herunterladen (Download) ............

WICHTIGE FRAGEN AN ALLE SCHÜLER/INNEN

25. Bitte kreuze an, wer von den folgenden Personen nach deinem Wissen regelmäßig Computer oder das Internet für berufliche (schulische) und/oder private Zwecke verwendet: Bitte nur Zutreffendes ankreuzen.

COMPUTER INTERNET beruflich privat beruflich privat (oder schulisch) (zuhause) (oder schulisch) (zuhause)

a) deine Mutter (weibliche Erziehungsberechtigte) ......................................

b) dein Vater (männlicher Erziehungsberechtigter) ......................................

c) deine Geschwister ....................................................................................

d) andere Familienmitglieder ........................................................................

e) deine besten Freunde/Freundinnen .........................................................

26. COMPUTER-KENNTNISSE: Wie gut schätzt du dich selbst im Umgang mit COMPUTERN (PCs) ein ? Bitte kreuze in der folgenden Liste an, ob du bestimmte Dinge gut kannst, ein wenig oder gar nicht kannst.

Kannst du .... ? kann ich kann ich kann ich nicht ein wenig gut

a) einen Aufsatz oder Brief mit Textverarbeitung verfassen und ausdrucken ...............

b) ein Plakat (mit Grafik) für den nächsten Schülerball entwerfen und drucken ............

c) eine Datenbank erstellen und Ergebnisse eines Sportfests damit speichern ............

d) mit Hilfe einer Tabellenkalkulation automatische Preisberechnungen durchführen

(z.B. Einkaufspreis + Kosten + Steuern + Gewinn = Verkaufspreis) .........................

e) eine Schülerzeitung erstellen, die (fast) wie eine richtige Tageszeitung aussieht .....

f) mit einem CAD-Programm einen dreidimensionalen Körper konstruieren ................

g) ein einfaches Programm erstellen, das eingegebene Daten alphabetisch sortiert ....

h) eine Festplatte formatieren und partitionieren ...........................................................

i) ein Betriebssystem (z.B. Windows) auf einem neuen Computer einrichten ..............

j) einen Virus in einem Computer finden und ihn beseitigen ........................................

27. INTERNET-KENNTNISSE: Wie gut schätzt du dich selbst im Umgang mit dem INTERNET ein ?


Bitte kreuze in der folgenden Liste an, ob du bestimmte Dinge gut kannst, ein wenig oder gar nicht kannst. Kannst du .... ? kann ich kann ich kann ich nicht ein wenig gut

a) mit einer Internet-Suchmaschine arbeiten (z.B. Altavista, Yahoo) ............................

b) E-Mails versenden und empfangen ..........................................................................

c) Informationen, die dich interessieren, im Internet suchen und herunterladen ...........

d) eine eigene Homepage im Internet erstellen ............................................................

e) mit anderen online im Internet chatten (Chat-Rooms benutzen) ...............................

f) aktuelle Bilder von einer Web-Kamera abrufen .........................................................

g) Musik oder Radioprogramme über Internet empfangen / speichern .........................

h) im Internet mit jemandem telefonieren (Internet-Telefonie) ......................................

i) aktuelle/günstige Angebote von Firmen/Kaufhäusern/Shops suchen .......................

j) Software von einem Internet-Anbieter auf deinen Computer herunterladen .............

HERZLICHEN DANK

FÜR DEINE ANTWORTEN ZU COMPUTER UND INTERNET!

Österreichisches PISA ZentrumUniversität Salzburg

5020 Salzburg; Akademiestr. 26/1

SCHULFRAGEBOGEN

Im Auftrag des

PISA 2000 - Österreich

Der erste (internationale) Teil des Fragebogens bis Seite 11 sollte unbedingt durch den Schulleiter bzw. die Schulleiterin selbst ausgefüllt werden (eventuell in Absprache mit dem Administrator/der Administratorin).

Schulfragebogen International 2

Sehr geehrter Schulleiter, sehr geehrte Schulleiterin!

Dieser Schulfragebogen gehört zur Durchführung des PISA-Projekts des BMUK an Ihrer Schule. Er besteht aus vier Teilen: dem internationalen Teil (bis Seite 11) und den drei nationalen Teilen „Qualität der Schule“, „Rahmenbedingungen der Leseförderung“ und „Nutzung von Informationstechnologien“.

Der internationale Teil hat vor allem Fragen zu den Ressourcen der Schule, der Anzahl der Lehrkräfte, administrativen Strukturen und dem Leitbild der Schule zum Inhalt.

Wir ersuchen Sie sehr herzlich, zumindest den ersten „internationalen“ Teil bis Seite 11 und die beiden darauf folgenden Teile „Qualität der Schule„ und „Rahmenbedingungen der Leseförderung“ selbst auszufüllen. Bei dem letzten Abschnitt „Nutzung von Informationstechnologien“ können Sie gerne die Hilfe von in diesem Bereich gut informierten Kolleg/innen in Anspruch nehmen (in welcher Reihenfolge die Teile ausgefüllt werden, ist nicht wichtig). Wenn der Bogen vollständig beantwortet ist, geben Sie ihn bitte dem PISA-Schulkoordinator/der PISA-Schulkoordinatorin zurück.

Wir danken Ihnen sehr herzlich für Ihre Mitarbeit und Unterstützung.

Vorbemerkung :

Mit „15-/16-Jährigen“ sind in diesem Fragebogen immer die Schüler/innen des Geburtsjahrgangs 1984 gemeint.


INTERNATIONALER TEIL

1. Wie groß ist die Gemeinde, in der sich Ihre Schule befindet?

Dorf mit weniger als 3.000 Einwohnern ..................................................

Ortschaft mit 3.000 bis 15.000 Einwohnern ..................................................

Stadt mit 15.000 bis 100.000 Einwohnern ..............................................

Stadt mit 100.000 bis 1.000.000 Einwohnern .........................................

in der Nähe des Zentrums einer Großstadt mit über 1.000.000 Einwohnern ............

anderswo in einer Großstadt mit über 1.000.000 Einwohnern .................................

2. Wie hoch war die Gesamtzahl der Schülerinnen und Schüler am 31. März 2000 an Ihrer Schule (unter ihrer Leitung)?

(Bitte 0 eintragen, wenn es keine gibt.)

a) Anzahl der Knaben ________

b) Anzahl der Mädchen ________

3. Ist Ihre Schule eine „öffentliche“ oder eine „private“ Schule?

(Bitte kreuzen Sie nur ein Kästchen an.)

Öffentliche Schule (Schule, für die direkt oder indirekt ein öffentlicher Schulträger wie Gemeinde, Land oder BMUK verantwortlich ist.)

Private Schule (Schule, die direkt oder indirekt von einer nicht-staatlichen Organisation oder Vereinigung geführt wird, z.B. privater Trägerverein, Kirche.)

4. Wie viel Prozent des insgesamt für Ihre Schule aufgebrachten Gesamt-Schulbudgets stammen in einem normalen Schuljahr aus folgenden Quellen?

Bitte eine Zahl pro Zeile eintragen. (0, wenn keine vorhanden)

Prozent a) Öffentliche Mittel (Bund, Länder, Gemeinde) ............... ______ %

b) Schulgeld, das von den Eltern entrichtet wird ............... ______ %

c) Spenden von Förderern, Geld aus Stiftungen, Sponsoring,

Elternspenden, etc. ......................................................... ______ %

d) Andere Quellen, z. B. privater Schulträger, Schulverein ______ %


Gesamt: 100 %

5. Welche der folgenden Schulstufen gibt es an Ihrer Schule?

Bitte kreuzen Sie alle Schulstufen an, die es an Ihrer Schule regulär (unter Ihrer Leitung) gibt.

Vorschule 1.-4. 5.-8. 9. 10. 11. 12. 13.

6. Die folgenden Fragen betreffen die Unterrichtszeit von 15-/16-Jährigen in Ihrer Schule.

Wenn an Ihrer Schule 15-/16-jährige Schüler/innen in verschiedenen Schulstufen sind, wählen Sie bitte jene, in der sich die meisten befinden.

Bitte in jeder Zeile die entsprechende Anzahl eintragen (0, wenn keine vorhanden).

Anzahl

a) Wie viele Unterrichtswochen hat das aktuelle Schuljahr (ohne Ferien)? _______ Wochen

b) Wie viele Unterrichtseinheiten hat eine Schulwoche? _______ Unterrichtseinheiten

c) Wie viele Minuten hat eine Unterrichtseinheit? _______ Minuten

7. Wie oft werden die folgenden Kriterien bei der Aufnahme von Schüler/innen in Ihre Schule in Betracht gezogen?

nie manchmal immer

a) Wohnsitz (Schulsprengel) .........................................

b) Bisherige Schulleistungen, Zeugnisnoten

oder Aufnahmeprüfungen ..........................................

c) Empfehlung der letzten Schule .................................

d) Elterliche Unterstützung der Schulphilosophie

(pädagogisch oder religiös) .......................................

e) Besondere Bedürfnisse oder Interessen von

Schüler/innen bzgl. eines Schultyps ..........................

f) Bevorzugung von Familienmitgliedern derzeitiger

oder ehemaliger Schüler/innen ..................................

g) Sonstiges ....................................................................


8. Wie viel Prozent der 15-/16-Jährigen werden an Ihrer Schule den folgenden Schultypen bzw. Schulstufen zugeordnet?

Bitte jeweils die Zahl eintragen (0, wenn keine vorkommen).

Prozent a) Pflichtschule (HS, VS, SoS bis 8. Stufe),

AHS-Unterstufe (bis 8. Stufe) __________ 2A

b) Polytechnischer Lehrgang (9. Stufe) __________ 3C

c) AHS (Allgemeinbildende Höhere Schule - Oberstufe 9.-12. Stufe) __________ 3A

d) BHS (Berufsbildende Höhere Schule: HTL, HAK, HBLA, usw.). __________ 3A

e) Lehrer-/Erzieherbildung (z.B. BA für Kindergartenpädagogik) __________ 3A

f) BMS (Berufsbildende Mittlere Schule: z.B. Fachschulen, Handelsschulen) __________ 3B

g) Berufsschule/Lehre __________ 3C

h) Ein-/zweijährige Haushaltungs-/Hauswirtschaftsschule __________ 3C

i) Andere (bitte angeben):_________________________ __________

Gesamt: 100 %

9. Wie wichtig sind in Ihrer Schule die folgenden Kriterien für die Entscheidung, welchen Schultyp ein/e 15-/16-jährige/r Schüler/in besucht?

Bitte eine Antwort pro Zeile ankreuzen.

nicht sehr wichtig wichtig wichtig

a) Entscheidung des Schülers / der Schülerin ........

b) Schulleistungen oder Zeugnisnoten des

Schülers / der Schülerin .....................................

c) Aufnahmeprüfung ..............................................

d) Empfehlung der Lehrer/innen ............................

e) Wunsch der Eltern oder der

Erziehungsberechtigten ......................................

10. Entfällt in Österreich


11. Wie sehr wird das Lernen 15-/16-jähriger Schüler/innen an Ihrer Schule durch folgende Probleme beeinträchtigt?


gar nicht kaum etwas sehr

a) Schlechter Zustand der Gebäude .........................

b) Schlechte Heiz-, Klima- oder

Beleuchtungsanlagen ...........................................

c) Mangel an Unterrichtsräumen

(z.B. zu wenig Klassenzimmer) ..........................

d) Mangel an Unterrichtsmaterialien

(z.B. Lehrmittel, Schulbücher) ............................

e) Nicht genügend Computer für den Unterricht ....

f) Mangel an Unterrichtsmaterialien in der

Bibliothek ............................................................

g) Mangel an Multimedia-Ausstattung für den

Unterricht ............................................................

h) Unzureichende Laborausstattung ........................

i) Unzureichende Ausstattung des Bereiches Kunst

und bildnerische Erziehung .................................

12. Gibt es an Ihrer Schule die folgenden Angebote für 15-/16-jährige Schüler/innen?


Ja Nein

a) Zusatzangebote für leistungsstarke Schüler/innen

(z.B. Physikolympiade) .....................................................................

b) Förderkurse in Deutsch für leistungsschwache Schüler/innen .........

c) Spezielle Kurse in Lerntechniken für leistungsschwache

Schüler/innen .................................................................................... .

d) Nachhilfe durch Lehrkräfte ...............................................................

e) Räume, in denen Schüler/innen ihre Hausübungen unter

fachlicher Anleitung machen können ................................................


13. Wie viele Computer gibt es in Ihrer Schule?

Bitte jeweils die Anzahl eintragen (0, wenn keine vorhanden).

Anzahl

In der Schule insgesamt

Für 15-/16-jährige Schüler/innen verfügbar

Nur für die Lehrkräfte verfügbar

Nur für die Verwaltung/Administration verfügbar

Mit Internetanschluss

Mit Anschluss an ein lokales Netzwerk (LAN/Intranet)

14. Wie viele Voll- und Teilzeit-Lehrkräfte gibt es an Ihrer Schule?

Als Vollzeit-Lehrkraft gilt, wer zumindest 90% seiner Lehrverpflichtung an Ihrer Schule

beschäftigt ist. Alle übrigen Lehrkräfte sind als Teilzeitlehrkräfte zu zählen.

Bei der Beantwortung dieser Frage können Doppelzählungen vorkommen. Dies ist zulässig.

Bitte jeweils die Anzahl eintragen (0, wenn keine vorhanden).

Vollzeit Teilzeit

a) Gesamtzahl .......................................................................... ____ ____

b) Wie viele sind voll geprüft (für diesen Schultyp) ............... ____ ____

c) Wie viele unterrichten Deutsch? ......................................... ____ ____

d) Wie viele sind für das Fach Deutsch voll geprüft? ............. ____ ____

e) Wie viele unterrichten Mathematik? ................................... ____ ____

f) Wie viele sind für das Fach Mathematik voll geprüft? ....... ____ ____

g) Wie viele unterrichten Naturwissenschaften

(Physik, Chemie, Biologie)? ............................................... ____ ____

h) Wie viele sind für die naturwissenschaftlichen Fächer

(Physik, Chemie, Biologie) voll geprüft? ........................... ____ ____

15. Wie viel Prozent der Lehrkräfte Ihrer Schule haben in den letzten drei Monaten an einer Fortbildungsveranstaltung teilgenommen?

Bitte zählen Sie nur Veranstaltungen mit, die zumindest einen Tag dauern.

%


16. Wie oft werden die 15-/16-jährigen Schüler/innen gemäß folgender Kriterien beurteilt?


1 mal- 2-mal 3-mal 4-mal nie pro Jahr pro Jahr pro Jahr pro Jahr oder öfter

a) Standardisierte Tests (mit Normwerten oder

Vergleichsmöglichkeiten) ....................................

b) Von Lehrkräften selbst zusammengestellte Tests,

Schularbeiten ........................................................

c) Beurteilung durch die Lehrkraft (z. B. auf Grund münd-

licher Prüfungen, Beobachtung der Mitarbeit).....

d) Schülermappen, Portfolios ...................................

e) Hausübungen, Projektarbeiten, etc. .....................

17. Wie häufig werden in Ihrer Schule Informationen über die Leistungen von 15-/16-jährigen Schüler/innen offiziell an folgende Personen weitergegeben?


1 mal- 2-mal 3-mal 4-mal nie pro Jahr pro Jahr pro Jahr pro Jahr oder öfter

a) Eltern ....................................................................

b) Schulleiter / Schulleiterin .....................................

c) Schulaufsicht (BSI, LSI) ......................................

18. Werden an Ihrer Schule Prüfungen von 15-/16-jährigen Schüler/innen genutzt um ...


Ja Nein

a) die Eltern über die Lernfortschritte ihres Kindes zu informieren? ...

b) Entscheidungen über Aufsteigen oder Wiederholen zu treffen? ......

c) Schüler/innen in leistungsdifferenzierte Gruppen einzuteilen? ........

d) die Schule mit Bezirks- oder nationalen Leistungsstandards zu

vergleichen? .......................................................................................

e) die Entwicklung des Leistungsniveaus der Schule von Jahr zu

Jahr zu beobachten? ...........................................................................

f) die Effektivität der Lehrer/innen zu beurteilen? ...............................


19. Werden Lernprozesse der 15-/16-Jährigen an Ihrer Schule durch Folgendes beeinträchtigt?


gar nicht kaum etwas sehr

a) Niedrige Erwartungen der Lehrer/innen . ...............

b) Häufige Abwesenheit von Schüler/innen. ...............

c) Schlechtes Lehrer-Schüler-Verhältnis ....................

d) Häufiger Lehrerwechsel ..........................................

e) Mangel an elterlicher Unterstützung beim Lernen

zu Hause ..................................................................

f) Störung des Unterrichts durch Schüler/innen .........

g) Lehrer/innen gehen nicht auf individuelle Bedürf-

nisse der Schüler/innen ein. .....................................

h) Häufige Abwesenheit von Lehrer/innen ................

i) Schwänzen von Unterrichtsstunden durch

Schüler/innen...........................................................

j) Fehlender Respekt der Schüler/innen vor den

Lehrer/innen ............................................................

k) Widerstand des Lehrkörpers gegenüber

Veränderungen ...........................................................

l) Nicht genügend Unterrichtszeit ..............................

m) Konsum von Alkohol oder illegalen Drogen ..........

n) Lehrer/innen sind mit den Schüler/innen zu streng

o) Einschüchtern oder Schikanieren von

Schüler/innen durch Mitschüler/innen ....................

p) Schüler/innen werden nicht ermutigt, ihr Potential

voll auszuschöpfen ..................................................

q) Schüler/innen aus sozial benachteiligten

Verhältnissen ...........................................................

20. Wenn Sie an die Lehrkräfte Ihrer Schule denken, wie sehr stimmen Sie dann den folgenden Aussagen zu?

Bitte eine Antwort pro Zeile ankreuzen. stimme stimme stimme stimme überhaupt eher eher völlig nicht zu nicht zu zu zu

a) Stimmung und Arbeitshaltung der Lehrkräfte

sind in dieser Schule gut. ...................................

b) Die Lehrkräfte arbeiten mit großem Engagement.


c) Die Lehrkräfte sind stolz auf diese Schule. .......

d) Die Lehrkräfte legen Wert auf schulische Leistung.

21. Wie sehr wird das Lernen 15-/16-jähriger Schüler/innen in Ihrer Schule durch Folgendes beeinträchtigt?

Bitte eine Antwort pro Zeile ankreuzen. gar nicht kaum etwas sehr

a) Mangel oder fachfremder Einsatz von

Lehrkräften allgemein .............................................

b) Mangel an für das Fach ausgebildeten Deutsch-

lehrer/innen .............................................................

c) Mangel an für das Fach ausgebildeten

Mathematiklehrer/innen ..........................................

d) Mangel an für das Fach ausgebildeten Naturwissen-

schaftslehrer/innen (Physik, Chemie, Biologie) .....

22. Wer trägt an Ihrer Schule die Verantwortung für die folgenden Bereiche?

Es können pro Zeile mehrere Kästchen angekreuzt werden.

nicht im Schul- Fach- Lehrer/- Verantwor- gemein- Schul- bereich innen oder tungsbereich schafts- leitung (Fachkoor- Lehrer- der Schule ausschuss dinatoren) Konferenz

a) Einstellung von Lehrkräften ...................

b) Entlassung von Lehrkräften ...................

c) Festlegung des Anfangsgehalts der

Lehrer/innen ...........................................

d) Entscheidung über Gehaltser-

höhungen für Lehrer/innen .....................

e) Festlegung des Schulbudgets .................

f) Entscheidung über die Verwendung

des Budgets innerhalb der Schule ..........

g) Festlegung von Disziplinarmaßnahmen

für Schüler/innen (z.B. Schulordnung) ..

h) Festlegung von Kriterien für die

Schülerbeurteilung .................................

i) Aufnahme von Schüler/innen in

die Schule ...............................................

j) Wahl der verwendeten Schulbücher ......

k) Festlegung des Lehrstoffs ......................


l) Entscheidungen über Fächerangebot .....

Herzlichen Dank für Ihre Antworten. Bitte gehen Sie zum nächsten Teil weiter.

1


SCHULFRAGEBOGEN ÖSTERREICH

Qualitätsentwicklung Qualitätssicherung

Günter Haider



HAUPTTEST 2000

Version 03/02/2000

PISA PLUS Schulfragebogen Qualitätsentwicklung 2

1. Lesen Sie bitte die folgende Liste mit einer Reihe von möglichen Maßnahmen zur Qualitätsent- wicklung und Qualitätssicherung durch. Kreuzen Sie dann an, welche dieser Maßnahmen an Ihrer Schule in der letzten Zeit (in diesem oder im vergangenen Schuljahr) bereits durchgeführt wurden:

Qualitätsmaßnahme NEIN, wurde

nicht durchge-führt

JA, wurde durchgeführt

a) ausführliche Diskussion im Lehrkörper über mögliche Leitziele bzw. zentrale Wertvorstel-lungen dieser Schule ("welche Qualitätsmerkmale sind uns wichtig")

O O

b) Erstellung eines schriftlichen Leitbildes und/oder Schulprofils für die Schule Auswahl und Beschreibung von erwünschten Qualitätsmerkmalen der Schule

O O

c) gemeinsame Vereinbarung von Entwicklungsprioritäten für diese Schule nach Diskussi-on im Lehrkörper und/oder im Schulgemeinschaftsausschuss/-forum

O O

d) umfassende Diskussion über die derzeitigen Stärken und Schwächen der Schule O O

e) gemeinsame Diskussion der Schulpartner (Eltern, Schüler/innen, Lehrer/innen) über mögliche Leitziele bzw. zentrale Wertvorstellungen (Schlüsselkriterien)

O O

f) Diskussion über die aktuellen Probleme der Schule, ihre Ursachen und mögliche Verbes-serungsvorschläge

O O

g) Durchführung von systematischem Individual-Feedback bei den Lehrer/innen. O O

h) schriftliche Befragung von Eltern zur aktuellen Schulqualität (Qualitäts-Feedback) O O

i) schriftl. Befragung von Schüler/innen zur aktuellen Schulqualität O O

j) schriftl. Befragung von Lehrer/innen zur aktuellen Schulqualität (Selbsteinschätzung) O O

k) Befragung ehemaliger Absolvent/innen zur erlebten Schulqualität O O

l) Durchführung von standardisierten Leistungstests zur objektiven Überprüfung der erreich-ten Schülerkompetenzen (Wissen, Fähigkeiten, Fertigkeiten)

O O

m) eine umfassende Qualitätsprüfung durch externe Experten/Berater (z.B. Zertifizierung durch erfahrene Qualitätsexperten)

O O

n) die gemeinsame Erstellung eines Maßnahmenkatalogs zur Verbesserung von Unter-richt und Erziehung an dieser Schule

O O

o) die schriftliche Festlegung von Leistungstandards, die an dieser Schule in verschiede-nen Bereichen von den Schüler/innen erreicht werden sollen

O O

p) eine systematische Bestandsaufnahme wichtiger Daten zur Qualität der Schule (z.B. Notenverteilung, Absenzen, schulisches Angebot, Fortbildung der Lehrer/innen)

O O

q) Diskussionen/Workshops an der Schule, um über den prinzipiellen Nutzen und die Pla-nung von Qualitätssicherungsmaßnahmen zu sprechen

O O

r) Diskussion und Beschluss im Schulgemeinschaftsausschuss/Schulforum über die baldige Einsetzung einer Qualitäts-Arbeitsgruppe an der Schule

O O

s) formell eingerichtete Qualitäts-Arbeitsgruppe, die die verantwortliche Planung der Qua-litätsmaßnahmen an der Schule aufgenommen hat

O O

t) Festlegung von Qualitäts-Indikatoren, deren Messung künftig Auskunft über die Errei-chung der Ziele der Schule gibt (z.B. Schüler-/Eltern-Feedback- oder Leistungskriterien)

O O

u) Erstellung eines vorläufigen Qualitätsentwicklungs-Konzeptes (Termine, Aktivitäten, Verantwortlichkeiten) durch die Qualitäts-Arbeitsgruppe der Schule

O O

v) Herstellung eines Informationsfolders (Broschüre) für die Öffentlichkeit, der über die Leitziele, das Schulprogramm bzw. die Qualitätsmaßnahmen der Schule Auskunft gibt

O O

w) Durchführung einer umfassenden Bestandsaufnahme in Form einer vollständigen Schul-recherche/Selbstevaluation (Erhebung und Beschreibung der IST-Situation)

O O

x) Erstellung eines vollständigen Schulprogramms für die Schule (mit Leitbild, inhaltlichen Schwerpunkten, Umsetzungsvorgaben, zu erreichenden Standards, Evaluationskriterien)

O O

y) Durchführung einer Pädagogischen Konferenz oder Pädagogischen Tagung an der Schule, bei der Qualität, Qualitätsentwicklung und -sicherung im Mittelpunkt standen

O O

z) Andere durchgeführte Qualitätsentwicklungsmaßnahme (bitte angeben): O


2. Welche der in Frage 1 aufgezählten Qualitätsentwicklungsmaßnahmen planen Sie an Ihrer Schule in nächster Zukunft durchzuführen?

Bitte in der geplanten Reihenfolge aufschreiben. Verwenden Sie die Buchstaben a - z zur abgekürzten Darstellung.

3. Qualitätsentwicklungs- und -sicherungsmaßnahmen wie die Entwicklung von Leitbildern oder ganzen Schulprogrammen sind komplexe Prozesse, die günstiger Rahmenbedingungen an der Schule bedürfen.

Wie sieht es an Ihrer Schule mit den Rahmenbedingungen für die Qualitätsentwicklung aus?

Bitte eine Antwort pro Zeile ankreuzen. trifft trifft trifft trifft überhaupt eher eher völlig nicht zu nicht zu zu zu

a) Die Lehrer/innen verfügen bereits über die wichtigsten Informationen zu den künftig verbindlichen Qualitätsentwicklungsmaßnahmen. .................. O O O O

b) Die Lehrer/innen sind motiviert und interessieren sich für die angekündigten Qualitätsmaßnahmen. ................................................ O O O O

c) Die Lehrer/innen erwarten sich von Maßnahmen wie Leitbild oder Schulprogramm eine langfristige Verbesserung der Schulqualität. ................ O O O O

d) Viele Eltern sind an einem Dialog zur Entwicklung gemeinsamer Ziele und Maßnahmen zur Qualitätsverbesserung interessiert. ..................... O O O O

e) Elternvertreter und/oder Elternverein verfügen bereits über Informationen zu den möglichen Qualitätsmaßnahmen an unserer Schule. ......................... O O O O

f) Akute Probleme der Schule bilden eine aktuelle Herausforderung für diese Schule, die Qualitätsinitiativen begünstigen wird. .......................................... O O O O

g) Es gibt Initiativen und Anregungen von Seiten der Schulaufsicht in Form von Beratung, Erfahrungsaustausch, Fortbildungsveranstaltungen. .............. O O O O

h) Gewisse personelle Veränderungen wären an der Schule notwendig, damit Qualitätsmaßnahmen rascher in Gang gesetzt werden können. .......... O O O O

i) An dieser Schule gibt es seit langem erfolgreiche Initiativen und Aktivitäten von Lehrer/innen und Schüler/innen zur Verbesserung des Unterrichts und/oder der sozialen Beziehungen - auf diese kann bei der Qualitätsentwicklung aufgebaut werden. ........................................................ O O O O

j) Die gute und konstruktive Zusammenarbeit im Lehrkörper erhöht die Erfolgschancen von Qualitätsmaßnahmen an dieser Schule. ........................ O O O O

k) Eine Reihe von Lehrer/innen hat bereits Informationsveranstaltungen und/oder Seminare zum Thema "Qualität in Schulen" besucht. .................... O O O O

l) Diese Schule hat schon viele "Reformen" überstanden - wir werden auch diese "Qualitätsentwicklung"s-Mode überstehen. .................................. O O O O

4. Welche Vorschriften bezüglich Qualitätsentwicklung sind für Ihre Schule derzeit gültig? Sind die Entwicklung eines Schulprogrammes (inkl. Leitbild, Schulprofil) und die Durchführung von Selbstevaluationen für Sie ...

a) verpflichtend, d.h. bereits verbindlich/gesetzlich vorgeschrieben? ............................. O

b) von verschiedenen Seiten empfohlen, aber noch nicht gesetzlich vorgeschrieben? ... O

c) noch völlig freiwillig (Durchführung im freien Ermessen der Schule)? ......................... O

d) das weiß ich nicht ................... O

PISA PLUS Schulfragebogen Qualitätsentwicklung 4

5. Welche der folgenden Personen/Personengruppen an Ihrer Schule wirken nach Ihrer Ansicht eher fördernd oder eher hemmend in der Planung und Entwicklung von künftigen Qualitätsmaßnahmen wie z.B. von Schulprogrammen, Feedbacks oder Selbstevaluationen?

Bitte in jeder Zeile einmal ankreuzen.

fördernd hemmend

a) das Lehrerkollegium ................................................ O O

b) die Personalvertretung ............................................ O O

c) die Leitung des Elternvereins .................................. O O

d) die Schulaufsicht/Schulinspektoren ......................... O O

e) Schulgemeinschaftsausschuss/Schulforum ............ O O

f) die Schüler/innen bzw. Schülervertreter/innen ........ O O

g) der Bürgermeister und/oder Gemeinderat ............... O O

h) die Schulbehörden/Schulverwaltung ....................... O O

i) einzelne Lehrer/innen oder Lehrergruppen ............. O O

j) einzelne Eltern oder Elterngruppen ......................... O O

6. Wie würden Sie selbst die Qualität dieser Schule in den 5 großen Bereichen bewerten? Weist die jüngste Entwicklung an Ihrer Schule in eine positive oder eher negative Richtung?

Bitte in jeder Zeile zweimal einkreisen (einmal bei "Bewertung", einmal bei "jüngste Entwicklung")

bedeutet “ansteigend – besser werdend” bedeutet “gleichbleibend” bedeutet “schlechter werdend”

Bereiche Bewertung jüngste Entwicklung

I. QUALITÄT DES UNTERRICHTS

1 Unterrichtsgestaltung ++ + - --

2 hohe Standards & Lernanforderungen ++ + - --

3 erreichte Schülerleistungen ++ + - --

II. QUALITÄT LEBENSRAUM KLASSE/SCHULE

4 Klassen-/Schulklima ++ + - --

5 Schule als Lernort ++ + - --

6 Schule als sozialer Ort ++ + - --

III. SCHULPARTNERSCHAFT UND AUSSENBEZIEHUNGEN

7 Schülerpartizipation ++ + - --

8 Elternpartizipation ++ + - --

9 Öffnung nach außen ++ + - --

IV. QUALITÄT DES SCHULMANAGEMENTS

10 Organisation und Administration ++ + - --

11 Führung und Leitung ++ + - --

12 Pädagogik und Beratung ++ + - --

V. PERSONALENTWICKLUNG

13 Systematische Fort- und Weiterbildung ++ + - --

14 Innovations- und Entwicklungskompetenz ++ + - --

15 Selbstreflexion und persönliche Entwicklung ++ + - --


QUALITÄT IN SCHULEN – ein Projekt des BMUK

7. Kennen Sie das BMUK-Internetprojekt Q.I.S. ?

O Nein, nie davon gehört. bitte weiter bei Frage 10.

O Ja, ich habe davon gehört, weiß aber nichts Genaues. bitte weiter bei Frage 10.

O Ja, ich kenne das Q.I.S.-Projekt.

8. Über welche Q.I.S. Angebote haben Sie sich selbst bereits am Internet genauer informiert? Wie beurteilen Sie die gelesenen Angebote nach der Brauchbarkeit für Ihre Schule?

Dieses Angebot kenne ich ... Beurteilung einkreisen genau etwas gar nicht (Brauchbarkeit)

Leitfaden zur Schulentwicklung (Schulprogramm) ......... O O O 1 2 3 4 5

Verfahrensvorschläge .................................................... O O O 1 2 3 4 5

Methodenpool (Muster-Fragebögen mit Anleitung) ........ O O O 1 2 3 4 5

Methodenpool (Offene Methoden) ................................. O O O 1 2 3 4 5

Qualitätsnetzwerk ........................................................... O O O 1 2 3 4 5

9. Welche der Q.I.S. Angebote (Texte, Fragebögen, etc.) wurden an Ihrer Schule bereits im Prozess der Qualitätsentwicklung praktisch verwendet?

verwendet nicht verwendet

Leitfaden zur Schulentwicklung (Schulprogramm) ......... O O

Verfahrensvorschläge .................................................... O O

Methodenpool (Muster-Fragebögen mit Anleitung) ........ O O

Methodenpool (Offene Methoden) ................................. O O

Qualitätsnetzwerk ........................................................... O O

10. Welche unterstützenden MATERIALIEN sind am notwendigsten/dringendsten zur Durchführung von künftigen Qualitätsentwicklungsmaßnahmen an Ihrer Schule?

sehr dringend weniger dringend überflüssig

Leitfaden zur Erstellung von Schulprogrammen......................................... O O O Verfahrensvorschläge für Schulentwicklungsprozesse .............................. O O O Vorlagen/Muster-Fragebögen für Schüler/Lehrer/Eltern ............................ O O O

Exemplarische Beispiele erfolgreicher Schulentwicklungsprozesse .......... O O O Standardisierte Tests mit Vergleichswerten anderer Schulen .................... O O O

Offene Methoden: Anleitungen zur Selbsterstellung von Verfahren ........... O O O Anleitungen/konkrete Beispiele für Selbstevaluationsmaßnahmen ............. O O O

Fertige Schulprogramme anderer Schulen als Muster/Anleitung ................ O O O

Andere: ___________________________________________________ O O

Andere: ___________________________________________________ O O

HERZLICHEN DANK FÜR IHRE ANTWORTEN ZUR QUALITÄTSENTWICKLUNG.

Bitte gehen Sie zum nächsten Teil weiter.

1


SCHULFRAGEBOGEN

ÖSTERREICH

Rahmenbedingungen der Leseförderung Margit Böck – Karin Sollat



HAUPTTEST 2000

Version 25/01/2000

Dieser Fragebogenteil sollte von der Schulleiterin/vom Schulleiter ausgefüllt werden.

PISA PLUS Schulfragebogen Rahmenbedingungen der Leseförderung 2

1. Glauben Sie, dass durch entsprechende Maßnahmen der Schule bei einem 15-jährigen Nichtleser bzw. einer 15-jährigen Nichtleserin Interesse am Lesen geweckt werden kann ?


ist sicher möglich

ist nur schwer möglich

ist kaum möglich

2. Gibt es an Ihrer Schule eine Arbeitsgruppe, eine Arbeitsgemeinschaft oder Ähnliches, die sich mit der Förderung des Lesens beschäftigt ?


ja nein

3. Gibt es an Ihrer Schule "freie" Lesestunden? Das sind Stunden, in denen die Schüler/innen lesen dürfen, was sie wollen.


ja, wird prinzipiell durchgeführt (in allen Deutschklassen)

ja, wird von den meisten Deutschlehrer/innen durchgeführt

ja, wird von einigen Deutschlehrer/innen durchgeführt

nein

4. Wird an Ihrer Schule im Fach Deutsch kreativ mit Texten gearbeitet, z.B. Nachspielen von Texten, Produktion von Filmen nach Texten, Malen von Buchillustrationen, Vertonen von Texten etc. ?


ja, wird prinzipiell durchgeführt (in allen Deutschklassen)

ja, wird von den meisten Deutschlehrerinnen durchgeführt

ja, wird von einigen Deutschlehrer/innen durchgeführt

nein

5. Gibt es an Ihrer Schule in irgendeiner Form Angebote, Maßnahmen oder Förderunterricht für leseschwache Schüler/innen in der Altersgruppe der 15-/16-Jährigen ?


nein

ja Wenn JA welche? (Bitte zutreffendes ankreuzen)

Diagnostik Lesetests

Fördergruppen/-unterricht

EinzelförderungProgramme zur Verbesserung des SchreibensSpezielle ComputerprogrammeAnderes


6. In welche Einrichtungen an Ihrer Schule wurde in den letzten Jahren vorrangig investiert (finanziell und/oder personell) bzw. sind für die nächsten Jahre besondere Investitionen geplant? Kreuzen Sie bitte jeweils maximal drei Vorgaben an!

Bitte in der linken und rechten Spalte höchstens dreimal ankreuzen!

in den

letzten Jahren

Einrichtungen

in den nächsten Jahren

Computerraum/-räume Laboreinrichtungen für naturwissenschaftliche Fächer Werk-/Zeichenräume Aufführungsräume für musikalische und künstlerische Veranstaltungen Schulbibliothek Sprachlabor Werkstättenräume sonstige Einrichtungen

ZU IHRER SCHULBIBLIOTHEK

Wenn es an Ihrer Schule keine Schulbibliothek gibt, kreuzen Sie bitte hier an

und gehen Sie gleich weiter zu Frage 10.

7. Welche der folgenden Aussagen trifft auf die Bibliothek an Ihrer Schule zu ?


Die Schule verfügt über eine sogenannte Zentrale Schulbibliothek.

Eine Zentrale Schulbibliothek ist gerade im Aufbau begriffen.

Die Schule verfügt über eine klassische Schülerbibliothek, d.h die Bibliotheken für die Lehrer/innen und Schüler/innen sind getrennt.

8. Gibt es an Ihrer Schule Maßnahmen, die vorgegebenen Öffnungszeiten der Schulbibliothek zu erweitern ?

Bitte in jeder Zeile JA oder NEIN ankreuzen. ja nein

a) durch die Lehrer/innen ................................

b) durch die Schüler/innen ...............................

c) durch die Eltern ...........................................

d) durch andere ...............................................

9. Wie schätzen Sie die Rahmenbedingungen (finanziell, personell, räumlich) für die Schulbibliothek an Ihrer Schule ein ?


sehr zufrieden stellend

eher zufrieden stellend

weniger zufrieden stellend

nicht zufrieden stellend


10. Unabhängig davon, ob sich an Ihrer Schule eine SCHULBIBLIOTHEK befindet oder nicht: Wie stufen Sie die Nützlichkeit einer Schulbibliothek für folgende Ziele ein ?


nicht nützlich

eher weniger nützlich

eher

nützlich

sehr

nützlich

a) Erlernen der selbstständigen Beschaffung von Information

b) Förderung der Freude am Lesen .........................................

c) Kennen lernen eines weiten Spektrums an informativer und

unterhaltender Literatur .......................................................

d) Unterstützung und Erweiterung des Unterrichts ..................

e) Kennen lernen der Funktionen und Benutzung von

Bibliotheken .........................................................................

BUCHAUSSTELLUNGEN AN DER SCHULE

11. Finden an Ihrer Schule Buchausstellungen statt ?


regelmäßig

unregelmäßig, nicht jedes Schuljahr

nein Wenn KEINE Buchausstellungen an Ihrer Schule

stattfinden: Was sind die Gründe dafür?


a) kein Raum .........................................................

b) wird von Eltern/Schüler/innen nicht angenommen

c) keine Kooperationspartner .................................

d) überfordert Arbeitspotential der Lehrer/innen .....

e) Sonstiges ...........................................................

Bitte gehen Sie weiter zu Frage 15.

12. Werden die Buchausstellungen von den Eltern und Schüler/innen angenommen ?


ja teils/teils eher nein

13. Mit wem kooperiert die Schule bei den Buchausstellungen ?


a) mit Buchverlagen ................................................................................

b) mit dem örtlichen Buchhandel ............................................................

c) mit anderen Medienunternehmen (Zeitungen, Zeitschriften, Rundfunk)

d) mit Computerhändlern ........................................................................

e) mit anderen ortsansässigen Firmen ...................................................

f) mit sonstigen Einrichtungen ...............................................................


14. Wer (außer den Kooperationspartnern) arbeitet an der Organisation dieser Buchausstellungen aktiv mit?

Bitte eine Antwort ankreuzen. ja nein

a) Lehrer/innen ..........................

b) Schüler/innen ........................

c) Eltern .....................................

d) Sonstige ................................

LESUNGEN VON AUTOR/INNEN AN DER SCHULE

15. Finden an Ihrer Schule Lesungen von Autoren oder Autorinnen statt ?


regelmäßig selten manchmal nie Wenn NIE gehen Sie bitte weiter zu Frage 18.

16. Wie viele Schulklassen nehmen üblicherweise an diesen Lesungen teil ?


eine zwei mehr als zwei, aber nicht alle alle

17. In welchem Raum finden diese Lesungen meistens statt ?


in einem Klassenzimmer in der Aula/im Festsaal im Turnsaal woanders in der Schule außerhalb der Schule

DIE SCHULE UND DIE ÖFFENTLICHE BIBLIOTHEK

18. Gibt es Kooperationen zwischen Ihrer Schule und der örtlichen Öffentlichen Bibliothek?


nein, es gibt keine örtliche Öffentliche Bibliothek

nein, keine Kooperation

ja

Wenn JA Worin bestehen diese Kooperationen zwischen Ihrer Schule und der Bibliothek? Bitte Zutreffendes ankreuzen.

Besuche von Schulklassen in der Bibliothek

Bibliothek stellt Bücher für den Unterricht zur Verfügung

Bibliothek stellt Neuerwerbungen in Schaukästen aus

Bibliothekar/in stellt Bibliothek im Unterricht vor

Klassen machen Exkursionen in die nächst gelegene, größere Stadtbibliothek

Sonstiges


ZEITUNG IN DER SCHULE

19. Haben an Ihrer Schule Klassen am Projekt „Zeitung in der Schule“ teilgenommen bzw. findet diese Aktion zur Zeit/in diesem Schuljahr an Ihrer Schule statt?


Klassen haben früher teilgenommen, dieses Schuljahr aber keine Teilnahme

Schule nimmt bereits seit längerem an dieser Aktion teil

Aktion läuft in diesem Schuljahr zum ersten Mal

Schule hat noch nicht teilgenommen, Interesse ist aber da

nein, kein Interesse an dieser Aktion

ZU DEN ELTERN DER SCHÜLER/INNEN

20. Wie wichtig ist den Eltern Ihrer Schule die Förderung des Lesens?

Bitte eine Antwort ankreuzen. sehr wichtig eher wichtig eher weniger wichtig nicht wichtig

DAS PROFIL IHRER SCHULE

21. Welchem der folgenden Bereiche wird im Schulprofil/Schulprogramm Ihrer Schule ein besonderer Stellenwert gegeben bzw. hat Ihre Schule hier bereits Schwerpunkte gelegt?

Bitte in jeder Zeile eine Antwort ankreuzen. besonderer

Schwerpunkt bereits gelegt

als

Schwerpunkt geplant

als Schwerpunkt

nicht geplant

noch keine

Überlegungen diesbezüglich

a) Lesen/Leseförderung ...................................................

b) Medienpädagogik .........................................................

c) Neue Technologien (z.B. Internet) ...............................

d) Sport .....................................................................................

e) Musik ....................................................................................

f) Fremdsprachen ...................................................................

g) Informatik .............................................................................

HERZLICHEN DANK FÜR IHRE ANTWORTEN ZUR LESEFÖRDERUNG. Bitte gehen Sie jetzt zum nächsten Teil des Fragebogens.

23


SCHULFRAGEBOGEN ÖSTERREICH

Die Nutzung von Informationstechnologien Claudia Reiter



Haupttest 2000

Version 25-01-2000

Das Ausfüllen dieses Teils durch den Computer-Koordinator der Schule ist zulässig.

PISA

PISA PLUS Schulfragebogen Informationstechnologien 24

HINWEIS: Diesen letzten Teil des Schulfragebogens sollte eine Person ausfüllen, die mit der Computeraustattung der Schule bzw. der Computernutzung gut vertraut ist.

1. In welchem Schuljahr wurden Computer erstmals an dieser Schule für Lehr- und Lernaktivitäten im Unterricht eingesetzt?

zum ersten Mal im Schuljahr 19 __ __ / __ __ __ __

2. Über wie viele COMPUTERRÄUME für den Unterricht mit mindestens je 6 - 8 PC-Arbeits-plätzen verfügt diese Schule?

Wie viele ARBEITSPLÄTZE (PCs) sind in diesen Computerräumen zusammen verfügbar?

______ Computerräume ______ Computerarbeitsplätze

3. Wie MODERN ist Ihre Computerausstattung? Wie viel Prozent Ihrer Computer, die Sie im Unterricht einsetzen, gehören den folgenden Gruppen an? Bitte den Prozentanteil gerundet einsetzen (Summe soll 100% betragen, bezogen auf die Computerarbeitsplätze in Frage 2)

a) ältere 16-Bit-Computer mit 386-/486-er Prozessor oder Vergleichbare _____ %

b) Pentium-Computer der ersten Generation (bis etwa 200 Mhz) oder Vergleichbare _____ %

c) neueste Pentium Computer (PII / PIII ab etwa 233 Mhz) oder Vergleichbare _____ %

d) andere Computer (bitte Typ angeben): _______________________________ _____ %

4. Wie viel Prozent Ihrer PC-Arbeitsplätze für den Unterricht haben eine MULTIMEDIA-Grundausstattung? (= mindestens VGA-Farbgrafik + CD-ROM Laufwerk + Soundkarte)

Rund ______ % der PC-Arbeitsplätze, die für den Unterricht zur Verfügung stehen, sind multimediafähig.

5. Wie viele der folgenden speziellen HARDWAREKOMPONENTEN sind an Ihrer Schule für den Unterricht verfügbar?.


keiner einer mehrere

a) CD-Brenner (CD-R, CD-RW) ....................................................

b) Scanner .....................................................................................

c) Laserdrucker .............................................................................

d) Tintenstrahl-Farbdrucker ...........................................................

e) LCD-Projektor/LCD-Overhead Panel für Präsentation ..............

f) Digitale AV-Geräte (Digital Video/Audio) ...................................


6. Welche der folgenden PROBLEME treten im Zusammenhang mit Computern in Ihrer Schule auf? Wie groß sind diese Probleme für Ihre Schule? NEIN JA JA Bitte in jeder Zeile eine Antwort ankreuzen. kein kleines großes Problem Problem Problem

a) die Schule hat zu wenig Computer / zu wenig Computerräume ....................

b) die Computer sind veraltet / zu langsam ........................................................

c) den Lehrer/innen fehlt das notwendige Computerwissen ..............................

d) es gibt zu wenig gute, interessante Software an der Schule ..........................

e) die vorhandenen Programme sind schwer zu verstehen / zu verwenden ......

f) die Computer sind häufig kaputt (funktionieren oft nicht richtig) ....................

g) außerhalb des Unterrichts gibt es keinen Computer-Zugang für Schüler/innen

h) es fehlen moderne Computerkomponenten (z.B. CD-ROM, Laserdrucker) ...

i) es gibt keinen oder zu wenig Zugänge für Schüler zum INTERNET ..............

j) Schüler/innen können in der Schule kein E-MAIL benutzen ...........................

k) ständige technische Betreuung / Wartung der Computer oder Netzwerke ....

l) es gibt an unserer Schule zu wenig geprüfte Informatiklehrer/innen ..............

m) Lehrer/innen kennen sich im Umgang mit modernen Informationstechnologien (INTERNET, E-MAIL, CD-ROM) nicht genug aus ...........................................

n) Lehrer/innen setzen den Computer in ihren Fächern zu wenig ein .................

o) Lehrer/innen besuchen zu wenig Aus- und Fortbildungsveranstaltungen im Zusammenhang mit modernen Informationstechnologien .........................

7. Können die Computer in Ihrer Schule von den Schüler/innen auch AUSSERHALB des Unterrichts benutzt werden?

Nein, das ist nicht möglich/nicht erlaubt.

Ja Wenn JA Wie viele Computerarbeitsplätze/Computerräume stehen zur Verfügung?

_____ Arbeitsplätze _____ Computerräume

Wie viele davon verfügen über einen INTERNET-Zugang ?

_____ Arbeitsplätze _____ Computerräume

Wie viele Stunden stehen diese Computer in der Woche zur Verfügung? weniger als 10 Stunden in der Woche zwischen 10 und 20 Stunden in der Woche mehr als 20 Stunden in der Woche

8. Haben Schüler/innen an Ihrer Schule derzeit Zugang zum INTERNET (für pädagog. Zwecke)?

� Ja �Nein Wenn nein gehen Sie bitte weiter zu Frage 13

9. In welchem Schuljahr wurde an dieser Schule das INTERNET erstmals für pädagogische Zwecke (im Unterricht) verwendet?

zum ersten Mal im Schuljahr 19 __ __ / __ __ __ __

10. Wie ist der ZUGANG zum Internet an der Schule technisch gestaltet? (bitte alles ankreuzen, was zutrifft)

a) durch analoges Modem ISDN-Anschluss Kabel-Modem LAN

b) mit Wählleitung mit Standleitung

PISA PLUS Schulfragebogen Informationstechnologien 26

11. Wie viele Schüler/innen (wie viele PC-Arbeitsplätze) an der Schule können im optimalen Fall gleichzeitig am Internet hängen (= können simultan auf Inhalte des Internet zugreifen) ? nur ein, Arbeitsplatz ein ganzer Computerraum

zwei bis drei Arbeitsplätze mehrere Computerräume alle Computer im Schul-Netzwerk

12. Welche der folgenden Beschreibungen treffen auf die INTERNET-NUTZUNG Ihrer Schüler/innen und Lehrer/innen bzw. auf Ihre Schule insgesamt zu?

Bitte JA, NEIN oder WEISS NICHT ankreuzen. WEISS JA NEIN NICHT

a) Schüler/innen unserer Schule haben Zugang zum INTERNET im Unterricht ........................

b) Schüler/innen haben in der Schule Zugang zum INTERNET auch außerhalb des Unterrichts

c) Schüler/innen unserer Schule können E-MAILS an der Schule versenden und empfangen.

d) (Manche) Schüler/innen unserer Schule haben eine eigene E-MAIL-Adresse an der Schule.

e) (Manche) Lehrer/innen unserer Schule haben eine eigene E-MAIL-Adresse an der Schule.

f) Unsere Schule hat eine eigene Internet-HOMEPAGE. ............................................................

g) An unserer Schule finden INTERNET-bezogene Projekte statt, an denen Schüler/innen wesentlich mitarbeiten ................................................................................................................

h) (Manche) Lehrer/innen haben sich eine eigene HOMEPAGE im Internet erstellt ..................

i) Schüler/innen können auf alle Inhalte im INTERNET zugreifen (ohne Sperre bestimmter Adressen)

13. Welche Bedeutung (Priorität) haben die folgenden Dinge (Vorhaben) für die nahe Zukunft Ihrer Schule? "nahe Zukunft" meint die nächsten beiden Schuljahre.

Bitte in jeder Zeile eine Antwort ankreuzen. NICHT niedrige hohe wichtig Priorität Priorität

a) zusätzliche Computerräume an der Schule einrichten ......................................

b) zusätzliche Computer/Computerarbeitsplätze kaufen .......................................

c) Anschaffung besserer/modernerer Software für den Unterricht .......................

d) alte Computer durch modernere/leistungsfähigere Computer ersetzen ...........

e) einen besseren technischen Zugang zum Internet schaffen .............................

f) mehr Arbeitsplätze mit Internet-Zugang schaffen ..............................................

g) Anschaffung moderner Peripheriegeräte (z.B. Laserdrucker,Scanner) ...........

h) ein besseres Angebot an Fortbildungskursen für Lehrerinnen/Lehrer .............

i) ein besserer technischer Service (Wartung) für die Schul-Computer .............

j) mehr verpflichtende Informatik-/EDV-Stunden für die Schüler/innen ...............

k) mehr Informatik/EDV als Wahl-/Freifächer für Schüler/innen ...........................

l) Förderung von Unterrichts-Initiativen in nicht-technischen Fächern, die sich moderner Informationstechnologien bedienen .....................................

m) Entwicklung neuer Unterrichtsformen/Unterrichtsmodelle im Zusammenhang mit dem Internet....................................................................................................

n) Förderung von Projekten/fächerübergreifenden Aktivitäten mit Internet-Nutzung

o) Schaffung eines Schulprogramms, in dem moderne Informationstechnologien einen besonderen Stellenwert aufweisen ..........................................................

p) Sperrung bestimmter Internet-Adressen (Gewalt, Pornos) für den Schüler-Zugriff

14. Wer hat diesen Computer-Teil des Schulfragebogens hauptsächlich ausgefüllt?

Schulleiter/in Computerkoordinator/in andere Person/Funktion: _____________________

HERZLICHEN DANK FÜR IHRE ANTWORTEN. Bitte geben Sie den vollständig ausgefüllten Schulfragebogen dem PISA-Schulkoordinator,

der PISA-Schulkoordinatorin Ihrer Schule zurück.

ANHANG ABSCHNITT VI

• Informationsbrief an die Schulleiter derTestschulen

• Musterschülerliste

• Informationsbrief an die Schulkoordinatoren I

• Informationsbrief an die Schulkoordinatoren II

• Informationsblatt: Hinweise zur Erstellung einerSchülerliste

INHALT


[email protected] http://www.system-monitoring.at

Das OECD-Programm für internationale Schüler Assessments (PISA) wird in Österreich im Auftrag des Bundesministeriums für Wissenschaft und Kultur vom Fachbereich Systemmonitoring am Institut Für Erziehungswissenschaft der Universität Salzburg durchgeführt.

Bildung,

An alleSchulleiterinnen und Schulleiter,der für den PISA Haupttest ausgewählten Schulen

Information über die Durchführungdes PISA-Projekts an Ihrer Schule

Salzburg, am 9. Dezember 1999

Sehr geehrte Frau Direktor,sehr geehrter Herr Direktor,

Österreichs Schulen nehmen im Frühjahr 2000 am internationalen Projekt PISA (OECD Programme forInternational Student Assessment) teil. Das Ziel von PISA 2000 ist, die Leistungen von Schülerinnen undSchülern der OECD-Staaten des Jahrgangs 1984 in Lesen, in Mathematik und in den naturwissen-schaftlichenFächern zu erheben und zu vergleichen. Dafür wurden in internationaler Kooperation Schulleistungstestsfür diese drei Bereiche konstruiert.

In Österreich werden im Auftrag des BMUK rund 6000 Schüler/innen in Lesen, Mathematik undNaturwissenschaft getestet. Weltweit sind rund 150.000 Schüler/innen in 34 Staaten daran beteiligt.

Für den Haupttest im April/Mai 2000 wurden österreichweit 221 Schulen (fast aller Schultypen)zufällig ausgewählt. Pro PISA-Schule werden maximal je 35 Schüler/innen getestet und befragt (mehrInformation über dieses Projekt finden Sie im beiliegenden Farbfolder).

Ihre Schule ist eine dieser 221 ausgewählten Schulen und wir ersuchen Sie, uns bei der Durchführungder Untersuchung zu unterstützen. Die jeweiligen Abteilungen am BMUK und die für Sie zuständigeSchulaufsicht (der/die Landesschulinspektor/in) unterstützen das Projekt und wurden bereits von der Auswahlverständigt.

Wir möchten Sie nun über den Ablauf der Studie informieren. Vorausschickend können wir Ihnenversichern, dass der administrative Aufwand für PISA für Sie gering sein wird, die Testung selbst wirddirekt von speziell geschultem Personal des PISA Zentrums vorgenommen. Der Einsatz dieser ExternenTestadministratoren (meist Mitarbeiter/innen von PI oder PA oder von Universitäten) soll die administrativeBelastung der Schulen durch PISA minimieren.

Wer ist für PISA verantwortlich?

Frau BM Elisabeth Gehrer beauftragte eine Forschergruppe am Salzburger Institut fürErziehungswissenschaft unter der Leitung des Nationalen Projektmanagers DDr. Günter Haider mit derDurchführung von PISA. Alle Amtsführenden Präsidenten wurden in einem Schreiben der FrauBundesminister (GZ 13.054/102-Präs. 1/99; liegt in Kopie bei) ersucht, dieses Projekt in ihremWirkungsbereich zu unterstützen. Ein von Sektionschef Dr. Anton Dobart geleitetes Nationales PISA Komitee,dem Vertreter des BMUK, der Landesschulräte, der Schulaufsichtsbeamten, der Lehrerschaft, der Eltern undSchüler angehören, ersucht ebenfalls dringend um ihre tatkräftige Mithilfe bei der Realisierung des Projekts.

Die Durchführung von PISA geschieht im Auftrag der Schulbehörden, das gesamte Vorhaben wurdedaher von den Rechtsexperten des BMUK sorgfältig geprüft. Da keine Schülernamen gespeichert, alleSchuldaten nach der Erhebung anonymisiert und die Ergebnisse nur in zusammengefasster Form (z.B. als

Anhang A187

Mittelwert aller untersuchten Schulen) publiziert werden, gibt es keine datenschutzrechtlichen Bedenken. DieEltern der ausgewählten Schüler/innen werden einige Wochen vor dem Test in einem eigenen Elternbriefinformiert. Auch die Schüler/innen werden durch einen Brief im Detail informiert. Als unabhängigesUniversitätsinstitut verarbeiten wir Daten ausschließlich zu wissenschaftlichen Zwecken und könnenallen Beteiligten absolute Vertraulichkeit und bestmöglichen Datenschutz zusichern.

Im Falle einer Nichtteilnahme einer ausgewählten Schule ist der Schulleiter/die Schulleiterinverpflichtet, dies innerhalb einer Woche der Schulbehörde erster Instanz, dem BMUK (Abt. Präs. 1,MR Mag. Friedrich Plank) und dem Österreichischen PISA Zentrum unter Angabe triftiger Gründe zurKenntnis zu bringen. Die Teilnahme möglichst aller für den Haupttest ausgewählten Schulen ist vonenormer Wichtigkeit für die Qualität der Untersuchung. Der ordnungsgemäße Ablauf von PISA wird

überdies von internationalen Beobachtern der OECD geprüft.

Was ist die Aufgabe des Schulleiters/der Schulleiterin im PISA Haupttest?

Sie werden ersucht,• eine/n PISA Schulkoordinator/in als Kontaktperson für uns an der Schule zu benennen (das können

natürlich auch Sie als Schulleiter/in sein) - das PISA Zentrum bezahlt dieser Person für ihre Arbeit nachAbschluss ein Honorar von öS 600.-. Bitte geben Sie diesem Koordinator das beiliegende Kuvert.

• Die Aufgabe diese/r Schulkoordinator/in ist es, eine Liste aller Schüler/innen des Geburtsjahrgangs1984 des ausgewählten Schultyps an Ihrer Schule zu erstellen und innerhalb einer Woche an das PISAZentrum in Salzburg zu senden. Da in den meisten Schulen inzwischen EDV zur Schülerverwaltungeingesetzt wird, sollte es relativ einfach sein eine solche Liste aus der Schülerdatenbank zu erstellen (eineBeispielliste liegt als Muster dem Informationsblatt für den Schulkoordinator bei) und via Email an dasPISA Zentrum zu schicken. Sollten Sie über keinen Internetzugang verfügen, ersuchen wir Sie uns denAusdruck einer solchen Liste zu faxen oder als Brief zu schicken. Bitte kontrollieren Sie als Schulleiter/indiese Liste, bevor sie an uns gesandt wird - sie bildet die Grundlage der Stichprobenziehung.

Nachdem diese Liste bei uns am PISA Zentrum eingelangt ist, wählen wir die maximal 35 Test-Schüler ausund geben Sie dem/der Schulkoordinator/in direkt bekannt. Diese/r vereinbart dann in Zusammenarbeit mitdem externen Testadministrator des PISA Zentrums die Durchführung des Haupttests an der Schule(Information an die Eltern der ausgewählten Schüler/innen verteilen, Festlegung des günstigsten Testterminsan der Schule, Organisation des Testraumes). Dafür erhält der/die Schulkoordinator/in Ende März bzw. AnfangApril vom PISA-Zentrum nochmals eine detaillierte Information zugesandt. Im Testzeitraum von 20. April –31. Mai 2000 wird dann der externe Testadministrator mit allen notwendigen Unterlagen zum vereinbartenTermin an die Schule kommen und Test und Befragung durchführen (Gesamtdauer etwa drei Stunden).

Sie wollen mehr über PISA wissen?

Weitere Informationen zu diesem Projekt PISA können Sie dem beiliegenden Brief von Frau BundesministerElisabeth Gehrer an die amtsführenden Präsidenten, den beigelegten PISA-Foldern oder unserer Internet-Homepage (http://www.system-monitoring.at) entnehmen. Falls Fragen offen geblieben sind oder SieHilfestellung benötigen, steht für Sie das PISA Zentrum in Salzburg gerne auch telefonisch unter 0662-8044-4230 Auskunft bereit (Mo bis Fr, 9 - 14 Uhr PISA Hotline). Sie können auch die Faxnummer 0662-8044-610 oder die Email-Adresse “[email protected]” benutzen. Auch der Leiter des Nationalen PISAKomitees (SCh Dr. Anton Dobart, BMUK 01-53120-4311) und der Leiter der begleitenden Arbeitsgruppeam BMUK (MR Mag. Plank, Abt. Präs. 1, 01-53120-2810) stehen Ihnen gerne für weitere Anfragen zurVerfügung. Wir danken im Voraus für Ihre Unterstützung.

Mit freundlichen Grüßen

Haider Günter

Nationaler ProjektmanagerBeilagen:- Kopie des Briefs von Frau BM Elisabeth Gehrer an den Amtsführenden Präsidenten- Kuvert für den Schulkoordinator

- 2 PISA Folder (u.a. mit Haupttest-Ablaufplan)


Bildung,


Schulkoordinator/in: Mag. Johann SchröckingerTel: 01-4312122/23 Fax: 01-4312122/67Email: [email protected]

Schüler Jg. ´84 des Schultyps: Oberstufenrealgymnasium

Nr. NAME Geschlecht Klasse Geburtsdatum

1 Leitner Max w 5A 02.01.84

2 Heugenhauser Claudia w 4A 31.01.84

3 Roth Susanne w 4A 01.02.84

4 Varicka Joseph m 5A 01.02.84

5 Laner Vera w 5A 03.02.84

6 Eggermann Heidi w 5B 04.02.84

7 Nowy-Rummel Silvia w 4C 08.02.84

8 Löschenkohl Kurt m 4C 21.02.84

9 Schaub Christine w 5D 23.02.84

10 Streibl Elisabeth w 3B 23.02.84

11 Zeilinger Maria w 4B 17.03.84

12 Oberdorfer Hubert m 4D 09.04.84

13 Kies Sabine w 4C 13.04.84

14 Chi Hua Marie w 5B 23.04.84

15 Pirsch Fabienne w 4B 25.04.84

16 Schleiss Christian w 5D 30.04.84

17 Mostbauer Juliane w 4C 02.05.84

18 Hohenwarter Markus m 3B 12.05.84

19 Bichler Michelle w 4A 07.06.84

20 Holzer Selina w 2D 11.06.84

21 Javanus Uta w 5C 15.06.84

22 Andexer Markus m 3A 18.06.84

23 Schiedeck Dagmar w 4A 22.06.84

24 Tran Sulei w 4B 24.06.84

25 Reichenauer Anja w 4D 28.06.84

26 Kern Claudia w 4C 29.06.84

27 Uhl Valerie w 3B 01.07.84

28 Malkovics Anna w 4D 12.07.84

29 Lirk Barbara w 5C 05.08.84

30 Schilcher Ursula w 4B 05.08.84

31 Töglhofer Margit w 4D 18.08.84

32 Hundstorfer Max m 2B 21.08.84

33 Schubert Christine w 5D 23.08.84

34 Walnhöher Traude w 4B 28.08.84

35 Kieslinger Sonja w 4C 10.10.84

36 Strondl Elisabeth w 3B 23.10.84

37 Leitner Heidemarie w 4A 02.11.84

38 Strahammer Barbara w 4C 20.11.84

39 Winkler Fritz m 5D 21.11.84

40 Lausenhammer Wolfgang m 5B 22.11.84

41 Krahuber Waldemar m 5A 23.11.84

42 Schausberger Johann m 2D 04.12.84

43 Schaubensteiner Johann m 2D 07.12.84

44 Strobl Barbara w 4C 20.12.84

Bezeichnung der Schule: Bundesgymnasium XII1120 WIEN, Haigergasse 34

PISA Projekt - Schüler/innen des Jahrgangs 1984

MUSTER

Anhang A189

Hinweise zur Erstellung der Schülerliste

(für den PISA Schulkoordinator)

1. Allgemeine Angaben zur Schule

• genaue Bezeichnung und Adresse der Schule• Name des Schulkoordinators/der Schulkoordinatorin• Telefon, Faxnummer (ev. Emailadresse) der Schule/des Schulkoordinators

(diese Angaben können wenn nötig auch auf einem eigenen/getrennten Blatt stehen)

2. Namen, Geschlecht, Klassen, Geburtsdaten aller Schüler/innen

des Jg. 1984

Jeweils eine Liste aller Schüler/innen des Geburtsjahrgangs 1984, die zumTestzeitpunkt April/Mai 2000 voraussichtlich „ordentliche“ Schüler/innen ihrer Schulesind (bei saisonalen Berufsschulen: Schüler/innen, die zu diesem Zeitpunkt an der Schulesind) ==> mit vollständigem Namen, Geschlecht, Klasse und Geburtsdatum (siehe Muster)

Die Liste der Schüler/innen soll nach dem Geburtsdatum gereiht und mit einer fortlaufen-den Nummer versehen werden.

Es wäre wichtig, dass die Form der Liste dem beigelegten Muster möglichst entspricht.

Anmerkung:Bitte keine Ausnahmen bei der Auflistung der Schüler/innen machen, also auch alleSchüler/innen nicht-deutscher Muttersprache mit begrenzten Sprachkenntnissen undSchüler/innen mit Behinderungen in die Liste aufnehmen – einzige Kriterien sind dieausgewählte Schulsparte und der Geburtsjahrgang 1984.

Bitte senden Sie uns diese Liste möglichst umgehend zu.

Möglichst per Email (als Word-, Excel- oder Textfile): [email protected]

Fax-Nummer: 0662 - 8044 – 610

Brief-Adresse: PISA Zentrum Österreich, Universität Salzburg, Akademiestr. 26/1, 5020 Salzburg


An alle

PISA-Schulkoordinator/inn/en

Informationsblattüber die Durchführungdes PISA-Projekts an Ihrer Schule

Salzburg, am 9. Dezember 1999

Sehr geehrte Schulkoordinatorin,

sehr geehrter Schulkoordinator,

herzlichen Dank für Ihre Bereitschaft, als Kontaktperson für diese Untersuchung zur Verfügung zu stehen.Öster-reichs Schulen nehmen im Frühjahr 2000 am internationalen Projekt PISA (OECD Programme for Inter-national Student Assessment) teil. Das Ziel von PISA 2000 ist, die Leistungen von Schülerinnen und Schülernder OECD-Staaten des Jahrgangs 1984 in Lesen, in Mathematik und in den naturwissenschaftli-chen Fächern zuerheben und zu vergleichen. Dafür wurden in internationaler Kooperation Schulleis-tungstests für diese dreiBereiche konstruiert.In Österreich werden im Auftrag des BMUK rund 6000 Schüler/innen in Lesen, Mathematik und Naturwissenschaftgetestet. Weltweit sind rund 150.000 Schüler/innen in 34 Staaten daran beteiligt.Für den Haupttest im April/Mai 2000 wurden österreichweit 221 Schulen (fast aller Schultypen) zufälligausgewählt. Pro PISA-Schule werden maximal je 35 Schüler/innen getestet und befragt (mehr Information überdieses Projekt finden Sie im beiliegenden Farbfolder).Ihre Schule ist eine dieser 221 ausgewählten Schulen und wir ersuchen Sie, uns bei der Durchführung derUntersuchung zu unterstützen. Die jeweiligen Abteilungen am BMUK und die für Sie zuständige Schulaufsicht(der/die Landesschulinspektor/in) unterstützen das Projekt und wurden bereits von der Auswahl verständigt.Wir möchten Sie nun über den Ablauf der Studie informieren. Vorausschickend können wir Ihnen versi-chern,dass der administrative Aufwand für PISA für Sie gering sein wird (Sie erhalten für diese Tätigkeit einHonorar von öS 600.-). Die Testung selbst wird direkt von speziell geschultem Personal des PISA Zentrumsvorgenommen. Der Einsatz dieser Externen Testadministratoren (meist Mitarbeiter/innen von PI oder PAoder von Universitäten) soll die administrative Belastung der Schulen durch PISA minimieren.

Wer ist für PISA verantwortlich?

Frau BM Elisabeth Gehrer beauftragte eine Forschergruppe am Salzburger Institut für Erziehungswissen-schaft unter der Leitung des Nationalen Projektmanagers DDr. Günter Haider mit der Durchführung vonPISA. Alle Amtsführenden Präsidenten wurden in einem Schreiben der Frau Bundesminister (GZ 13.054/102-Präs. 1/99; liegt in Kopie bei) ersucht, dieses Projekt in ihrem Wirkungsbereich zu unterstützen. Ein vonSektionschef Dr. Anton Dobart geleitetes Nationales PISA Komitee, dem Vertreter des BMUK, derLandesschulräte, der Schulaufsichtsbeamten, der Lehrerschaft, der Eltern und Schüler angehören, ersuchtebenfalls dringend um ihre tatkräftige Mithilfe bei der Realisierung des Projekts.Die Durchführung von PISA geschieht im Auftrag der Schulbehörden, das gesamte Vorhaben wurde da-hervon den Rechtsexperten des BMUK sorgfältig geprüft. Da keine Schülernamen gespeichert, alle Schuldatennach der Erhebung anonymisiert und die Ergebnisse nur in zusammengefasster Form (z.B. als Mittelwertaller untersuchten Schulen) publiziert werden, gibt es keine datenschutzrechtlichen Bedenken. Die Eltern derausge-wählten Schüler/innen werden einige Wochen vor dem Test in einem eigenen Elternbrief informiert.



Bildung,

Anhang A191


Bildung,

Als unab-hängiges Universitätsinstitut verarbeiten wir Daten ausschließlich zu wissenschaftlichen Zwecken undkönnen allen Beteiligten absolute Vertraulichkeit und bestmöglichen Datenschutz zusichern.

Was ist die Aufgabe des Schulkoordinators/der Schulkoordinatorin im PISAHaupttest?

Sie werden ersucht,••••• sich als Kontaktperson für das PISA-Projekt intern und extern zur Verfügung zu stellen. Dazu geben wir Ihnen

Informationen über das Projekt und stehen für Sie telefonisch oder per Email auch gerne zur Unter-stützungbereit. Bitte geben Sie uns Ihren vollständigen Namen, mit Telefonnummer/Klappe, Faxnummer und/oderEmail-Adresse bei der Einsendung der Schülerliste bekannt (s.u.).

• 1. SCHÜLERLISTE: Die erste Aufgabe als Schulkoordinator/in ist es, eine Liste aller Schüler/innen desGeburtsjahrgangs 1984 an Ihrer Schule zu erstellen und möglichst innerhalb einer Woche an das PISA Zentrumin Salzburg zu senden. Die Liste muß mindestens eine laufende Nummer, die Namen der Schüler, das Geschlecht,das Geburtsdatum und die Klasse enthalten. Da in den meisten Schulen inzwischen EDV zur Schülerverwaltungeingesetzt wird, sollte es relativ einfach sein eine solche Liste aus der Schülerdatenbank zu erstellen (eineBeispielliste liegt als Muster dem Informationsblatt für den Schulkoordinator bei) und via Email an das PISAZentrum zu schicken. Sollten Sie über keinen Internetzugang verfügen, ersuchen wir Sie uns den Ausdruck zufaxen oder als Brief zu schickenr schicken.

Brief-Adresse: PISA Zentrum Österreich, Universität Salzburg, Akademiestr. 26/1, 5020 SalzburgFax-Nummer: 0662 - 8044 - 610 Email: [email protected]

• 2. INFORMATION: Nachdem diese Liste bei uns am PISA Zentrum eingelangt ist, wählen wir die maxi-mal35 Test-Schüler/ innen aus und schicken Ihnen die markierte Liste spätestens April per Post wieder di-rekt zu.Gleichzeitig erhalten Sie eine entsprechende Anzahl von Eltern-Informationsblättern zur Verteilung an dieausgewählten Testschüler/innen, einen Fragebogen für die Schulleitung und eine Information über denzuständigen Externen Testadministrator Ihrer Schule.

• 3. TERMIN- UND RAUMPLANUNG: Mit diesem externen Testadministrator sollten Sie einen (für IhreSchule) günstigen Termin innerhalb des Zeitraumes vom 20. April - 31. Mai 2000 und einen Raum für dieDurchführung des Haupttests vereinbaren. Am Morgen des vereinbarten Testtages wird dann der externeTestadministrator mit allen notwendigen Unterlagen an die Schule kommen und Test und Befragung gemäßden PISA-Bestimmungen durchführen (Gesamtdauer etwa drei Stunden). Ihre Aufgabe wird es sein, dieausgewählten Testschüler am Morgen im vereinbarten Testraum zu versammeln.

• Für diese Koordinationstätigkeit erhalten Sie vom PISA-Zentrum nach Abschluss des Tests öS 600.- barausbezahlt.

Sie wollen mehr über PISA wissen?

Weitere Informationen zum Projekt PISA können Sie dem beiliegenden Brief von Frau Bundesminister ElisabethGehrer an die Amtsführenden Präsidenten, den beigelegten PISA-Foldern oder unserer Internet-Homepage (http://www.system-monitoring.at) entnehmen. Falls Fragen offen geblieben sind oder Sie Hilfestellung benöti-gen, stehtfür Sie das PISA Zentrum in Salzburg gerne auch telefonisch unter der Nummer 0662-8044-4230 zur Auskunftbereit (Mo bis Fr, 9 - 14 Uhr PISA Hotline). Sie können auch die Faxnummer 0662-8044-610 oder die Email-Adresse "[email protected]" benutzen. Auch der Leiter des Nationalen PISA Komitees (SCh Dr. Anton Dobart,BMUK 01-53120-4311) und der Leiter der begleitenden Arbeitsgruppe am BMUK (MR Mag. Plank, Abt. Präs. 1,01-53120-2810) stehen Ihnen gerne für weitere Anfragen zur Verfügung. Wir danken im Voraus für Ihre Unterstützung


Haider Günter Nationaler Projektmanager

Beilagen- Kopie des Schreibens der Frau BM Gehrer an den Amtsführenden Präsidenten- 2 PISA Folder (u.a. mit Haupttest-Ablaufplan)- Hinweise zur Erstellung der Schülerliste- Muster für eine Schülerliste



An alle

PISA-Schulkoordinator/inn/en

Informationsblattüber die Durchführungdes PISA-Projekts an Ihrer Schule

Salzburg, am 22. März 2000

Sehr geehrte Schulkoordinatorin,sehr geehrter Schulkoordinator,

herzlichen Dank für ihre bisherige Unterstützung und für Ihre Bereitschaft, als Kontaktperson für dieseUntersuchung zur Verfügung zu stehen. Mit dieser Aussendung erhalten Sie alle Informationen, die Sie fürihre Tätigkeit als Schulkoordinator/in benötigen.

In den nächsten Tagen wird ein/e externe/r Testadministrator/in, der/die für die Durchführung der Untersuchungan ihrer Schule zuständig ist, mit Ihnen Kontakt aufnehmen, um mit Ihnen gemeinsam den Testtermin und dieDetails für die Durchführung der Untersuchung (Testzeit, Testraum etc.) zu vereinbaren. Als Testtermin muss einSchultag in der Zeit von 20. April bis 31. Mai 2000 gewählt werden.

Für die Vorbereitung der Untersuchung ersuchen wir Sie um die folgenden Tätigkeiten, auch in Bezug auf diebeiliegenden Materialien (Schulfragebogen, Teilnahmeliste der ausgewählten Schüler/innen, Eltern- und

Schülerinformation, Poster):

· Schulfragebogen:

Geben Sie diesen bitte an den/die Schulleiter/in weiter, damit er/sie ihn ausfüllen kann. Übergeben Siebitte den ausgefüllten Fragebogen am Tag des Tests dem/der Testadministrator/in.

· Teilnahmeliste der ausgewählten Schüler/innen:

- Nur die genannten Schüler/innen dürfen an der Untersuchung teilnehmen!

- Kontrollieren Sie bitte, ob die Informationen auf der Liste Mängel enthalten (z.B. fehlerhafte oder fehlendeInformationen, Schüler/innen die fälschlicherweise aufgeführt sind (z.B. falscher Jahrgang)). Falls Siesolche Mängel auf der Liste der ausgewählten Schüler/innen finden, kennzeichnen Sie diese und meldenSie sie an uns (Tel.: 0662-8044-4230; Fax: 0662-8044-610; E-mail: [email protected]).

- Jeder/jede dieser Schüler/innen, die nicht eindeutig wegen schwerer Behinderung oder mangelnderSprachkenntnisse ausgeschlossen werden müssen, sollte unbedingt teilnehmen! Überprüfen Sie bittedeshalb, ob auf der Liste Schüler/innen genannt sind, für die es nach den festgelegten Kriterien (sieheHinweise zur Aktualisierung der Teilnahmeliste, Teil 1) nicht möglich ist an der Untersuchungteilzunehmen.

- Soweit es Ihnen bekannt ist, tragen Sie bitte den jeweiligen Code für den Ausschließungsgrund vonSchüler/innen und den Teilnahmestatus (siehe Hinweise zur Aktualisierung der Teilnahmeliste, Teil 2)ein.

- Übergeben Sie am Testtag dem/der Testadministrator/in die geänderte Schülerliste. Besprechen Sie bittemit ihm/ihr alle Veränderungen (z.B. falsche Eintragungen, Schüler/innen, die ausgeschlossen werdenmüssen, Schüler/innen, die von den Eltern abgemeldet wurden oder sich selbst abgemeldet haben) und

aktualisieren sie gemeinsam die Liste des Testadministrators/der Testadministratorin.


Bildung,

Anhang A193


Bildung,

• Eltern- und Schülerinformation:

Wir ersuchen Sie den auf der Schülerliste genannten Schüler/innen, bei denen kein Ausschließungsgrundvorliegt, den vereinbarten Testtermin mitzuteilen und jedem/jeder dieser Schüler/innen sowohl eineSchülerinformation (gelbes Blatt) als auch ein Kuvert mit der Elterninformation mitzugeben. MotivierenSie bitte die Schüler/innen an der Testsitzung teilzunehmen. Für das Gelingen der Untersuchung ist eswichtig, dass alle der ausgewählten Schüler/innen teilnehmen.

• Zu ihren Aufgaben gehört es auch, einen geeigneten Testraum für den Untersuchungstermin zu vereinbaren.Der Testraum sollte angemessen Platz für die teilnehmendenden Schüler, Ruhe und genug Arbeitsfläche bieten.

• Die Schüler/innen werden in der Schülerinformation darüber informiert, dass Sie ihren eigenen Taschenrechnerund ein Lineal mitnehmen sollen. Falls die Schule oder Sie am Testtag Reservetaschenrechner oder Lineale zurVerfügung stellen kann/können, wäre das sehr hilfreich.

• Treffen Sie sich bitte mit dem/der Testadministrator/in ca. eine Stunde vor dem Testtermin, um ihm/ihr denTestraum zu zeigen, die Rahmenbedingungen gemeinsam zu überprüfen und die Vorgangsweise abzusprechen.Es wäre wichtig, dass Sie die ersten 30 Minuten ab Beginn des Tests anwesend sind, insbesondere umsicherzustellen, dass die ausgewählten Schüler/innen tatsächlich am ihnen zugewiesenen Arbeitsplatz sitzen.Legen Sie bitte gemeinsam mit dem/der Testadministrator/in auch fest, wohin die Schüler/innen nach derTestsitzung entlassen werden (in den laufenden Unterricht oder nach Hause) bzw. was in speziellen Situationen(z.B. bei Alarm) zu tun ist und wie er/sie bei einem Notfall Sie und die Schulleitung erreichen kann.

• Sollte es aus triftigen Gründen notwendig sein den vereinbarten Testtermin kurzfristig zu verändern, vereinbarenSie den neuen Testtermin bitte mit dem/der Testadministrator/in und informieren Sie das PISA-Zentrum (Tel.:0662-8044-4230; Fax: 0662-8044-610; E-mail: [email protected]) über die Terminänderung.

• Das beiliegende Poster ist als zusätzliche Information für die gesamte Schule (Schulleitung, Lehrerkollegiumund Schüler/innen) gedacht. Bitte ergänzen Sie den Testtermin und hängen Sie es an das Schwarze Brett derSchule.

Aufgrund der strengen Anonymitätsbestimmungen der Untersuchung möchten wir daran erinnern, dass an derTestsitzung keine außenstehenden Personen teilnehmen dürfen. Ebenso dürfen aus diesem Grund von der Untersuchungkeine Videos und Fotos gemacht werden.

Einige Ergänzungen, die nur zu berücksichtigen sind, falls ihre Schule zu dem genannten Schultyp gehört:• Allgemeine Sonderschule:

Da Sie die Schüler/innen viel besser kennen als der/die Testadministrator/in, ersuchen wir Sie, dass Sie nichtnur in den ersten 30 Minuten ab Beginn des Tests anwesend sind, sondern während der gesamten Testsitzung.

• Schulen in denen zwei Schultypen ausgewählt wurden:Für jeden Schultyp muss ein eigener Testtermin vereinbart werden (z.B. für HAK und HaSch extra).

Nach der Durchführung der Untersuchung an ihrer Schule werden wir ihnen für ihre Koordinationstätigkeit ATS 600.-überweisen. Hierzu benötigen wir ihre Bankverbindung (Kontonummer + Bankleitzahl). Verwenden Sie dazu bittedas beiliegende Faxformular und schicken Sie diese Information ans PISAZentrum (Fax: 0662-8044-610).

Wir danken im Voraus für Ihre weitere Unterstützung.


Haider Günter Nationaler Projektmanager

Beilagen

- Teilnahmeliste der ausgewählten Schüler/innen- Hinweise zur Aktualisierung der Teilnahmeliste- Faxformular Bankverbindung


Hinweise zur Aktualisierung der Teilnahmeliste

1) Welche Schüler/innen sollen von der Untersuchung ausgeschlossen werden?

a) Schüler/innen, die in einem Maße anhaltend körperlich behindert sind, dass sie die Testsituation nichtdurchhalten würden oder die wegen der körperlichen Behinderung nicht ins Testheft schreiben können.Schüler/innen, die zwar körperlich behindert sind, aber intellektuell den Test dennoch durchführen könnten,sollen unbedingt am Test teilnehmen.

b) Schüler/innen, die nach Ihrer fachlichen Meinung oder der Meinung der Schulleitung oder andererqualifizierter Personen des Kollegiums für geistig behindert gehalten werden oder als solche in einempsychologischen Test ausgewiesen wurden. Dies betrifft Schüler/innen, die emotional oder geistig nicht inder Lage sind, auch nur den allgemeinen Anweisungen des Tests zu folgen.

c) Schüler/innen, die die im Test benutzte Sprache weder ausreichend lesen noch sprechen können und diediese Sprachbarriere in der Testsituation nicht überwinden könnten. In der Regel sollte ein/e Schüler/in,der/die weniger als ein Jahr lang in Deutsch unterrichtet wurde, vom Test ausgeschlossen werden.

Es ist für die Vergleichbarkeit der Studie innerhalb und zwischen den Ländern wichtig, dass diese Kriterienbefolgt werden. Lassen Sie den/die Schüler/in im Zweifelsfall lieber teilnehmen. Nicht ausgeschlossen werdensollten Schüler/innen lediglich auf Grund von geringer intellektueller Leistungsfähigkeit oder disziplinärerProbleme.

2) Codes für den Ausschließungsgrund und den Teilnahmestatus

Sollten auf ihrer Liste Schüler/innen stehen, die laut den oben genannten Kriterien auszuschließen sind, tragenSie bitte auf der Liste in Spalte 7, in der Zeile des Schülers/der Schülerin den zutreffenden Code für denAusschließungsgrund ein:

1 = körperliche Behinderung

2 = geistige Behinderung

3 = fehlende sprachliche Kenntnisse

4 = andere

Soweit es Ihnen bekannt ist, füllen Sie bis zum Testtag auch die Spalte 9 aus. P1 ist die Abkürzung für Testteil 1,P2 für Testteil 2 und SQ für Schülerfragebogen (Student questionnaire). In dieser Spalte wird der Teilnahmestatusder ausgewählten Schüler/innen eingetragen.

- Die Ziffer 1 steht für alle voraussichtlich anwesenden Schüler/innen.- Mit der Ziffer 3 werden alle Schüler/innen gekennzeichnet, die selbst die Testteilnahme verweigert haben

oder die durch die Eltern abgemeldet wurden. Wir ersuchen Sie, uns durch die Motivierung der Schüler/innen zur Testteilnahme zu unterstützen, damit diese Gruppe möglichst gering bleibt.

- Mit der Ziffer 8 sollen schlussendlich jene Schüler/innen gekennzeichnet werden, die entweder vom Testausgeschlossen wurden (siehe obengenannte Kriterien) oder nicht mehr an der Schule gemeldet sind(z.B. Wechsel der Schule).

ANHANG ABSCHNITT VIII

• Beispiel für einen Arbeitsplan eines ReadingMarkers im Haupttest

• Beispiel für einen Arbeitsplan eines MathematikMarkers im Haupttest

• Multiple Marking Reading Sheet (Feldtest 1999)

• Multiple Marking Reading Sheet (Haupttest 2000)

• Aufteilung der Reading Items auf Cluster(=Aufgabenblöcke)

INHALT


Marker 216

Cluster Booklets Batch Beginn Ende Stunden

R1 1-5-7 P

R2 1-2-6 O

R3 2-3-7 N

R4 1-3-4 M

R5 2-4-5 L

R6 3-5-6 K

R7 4-6-7 J

R8 7-8-9 I

R9 8-9 H

Single Marking Reading:

Mustermarker

Anhang A197

Marker 103

Batch Beginn Ende Stunden

B8 M-P

B3 E-H

B9 I-L

B5 A-D

B1 I-L

Single Marking Mathematik:

Mustermarker


Ite

m I

DB

ookle

t 1

Bo

okle

t 5

Boo

klet

7It

em

ID

Bo

okl

et

1B

ookle

t 3

Boo

kle

t 4

Item

ID

Bo

okl

et

4B

oo

klet

6B

ookle

t 7

R2

19

Q0

1A

-E1

33

17

R2

27

Q0

332

14

3R

099

Q0

4B

39

23

6R

219

Q0

22

34

18

R2

27

Q0

433

15

4R

120

Q0

64

32

71

0R

081

Q0

24

36

20

R2

27

Q0

634

16

5R

220

Q0

14

52

91

2

R0

81

Q0

55

37

21

R0

86

Q0

736

18

7R

081

Q0

6A

63

822

R0

86

Q0

437

19

8R

081

Q0

6B

73

923

R1

02

Q0

4A

39

21

10

R0

70

Q0

416

48

32

R1

02

Q0

540

22

11

Item

ID

Bo

okl

et

7B

oo

klet

8B

ookle

t 9

R1

02

Q0

641

23

12

R1

10

Q0

44

63

65

5R

111

Q02B

44

26

15

R110

Q0

54

73

75

6R

111

Q06B

47

29

18

R237

Q0

14

93

95

8

R237

Q0

35

04

05

9R

236

Q0

15

14

16

0R

236

Q0

25

24

26

1

Ite

m I

DB

ookle

t 1

Bo

okle

t 2

Boo

klet

6It

em

ID

Bo

okl

et

2B

ookle

t 4

Boo

kle

t 5

R2

46

Q0

15

34

36

2

R2

45

Q0

118

134

R0

93

Q0

324

19

1R

246

Q0

25

44

46

3R

245

Q0

219

235

R0

93

Q0

425

20

2R

239

Q0

15

54

56

4R

225

Q0

221

437

R0

55

Q0

227

22

4R

239

Q0

25

64

66

5

R2

38

Q0

124

740

R0

55

Q0

328

23

5R

238

Q0

225

841

R0

55

Q0

529

24

6R

234

Q0

126

942

R1

22

Q0

1A

-C30

25

7

R2

34

Q0

227

10

43

R0

67

Q0

434

29

11

Item

ID

Bo

okl

et

8B

oo

klet

9

R241

Q0

128

11

44

R067Q

05

35

30

12

R077

Q0

34

83

5R

241

Q0

229

12

45

R076Q

03

36

31

13

R077

Q0

55

03

7

R0

76

Q0

436

32

14

R2

16

Q0

25

34

0

R216

Q03A

-C54

41

R216

Q0

45

54

2R

088

Q0

35

84

5

Ite

m I

DB

ookle

t 2

Bo

okle

t 3

Boo

klet

7It

em

ID

Bo

okl

et

3B

ookle

t 5

Boo

kle

t 6

R0

40

Q0

3A

63

50

R0

91

Q0

513

134

R0

61

Q0

130

16

1R

040

Q0

3B

64

51

R0

91

Q0

7B

16

437

R0

61

Q0

533

19

4R

119

Q0

9A

-B17

538

R0

83

Q0

235

21

6R

119

Q0

77

740

R0

83

Q0

336

22

7

R1

19

Q0

89

942

R0

83

Q0

638

24

9It

em

ID

Fra

ge

R119

Q0

511

11

44

R104Q

01

43

29

14

R219

Q01A

-E1

R104

Q0

244

30

15

R219Q

02

2R

104

Q0

645

31

16

R225Q

02

4R

104

Q0

546

32

17

R110Q

04

8

R110

Q0

59

Clu

ste

r R

1C

lus

ter

4

Bo

okle

t 60

Re

ad

ing

: It

em

s f

ür

Sin

gle

Ma

rkin

g je

Clu

ste

r u

nd

Bo

okle

t

Clu

ste

r 7

Clu

ste

r 8

Clu

ste

r 5

Clu

ste

r 9

Clu

ste

r 6

Clu

ste

r 3

Clu

ste

r 2

Anhang A199

Record Sheet for Multiple Marks

Marker: _____________________ Date: __________ / 99

Marker-ID: _______

R071

Q01

R216

Q02

R216

Q03

R216

Q04

R219

Q01

R219

Q02

R119

Q02

R119

Q03

R119

Q05

R220

Q01

R220

Q03

R221

Q01

R221

Q05

Student ID 1 4 5 6 10 11 14 15 17 18 21 25 29

1/998899-97

R078

Q04a

R078

Q04b

R078

Q05a

R078

Q05b

R088

Q02

R088

Q03

R055

Q02

R055

Q03

R055

Q04B

R055

Q05

R112

Q03

R076

Q02

R076

Q06

39(1) 39(2) 40(1) 40(2) 42 43 49 50 52 53 56 59 63

R071

Q01

R216

Q02

R216

Q03

R216

Q04

R219

Q01

R219

Q02

R119

Q02

R119

Q03

R119

Q05

R220

Q01

R220

Q03

R221

Q01

R221

Q05

Student ID 1 4 5 6 10 11 14 15 17 18 21 25 29

2/998899-98

R078

Q04a

R078

Q04b

R078

Q05a

R078

Q05b

R088

Q02

R088

Q03

R055

Q02

R055

Q03

R055

Q04B

R055

Q05

R112

Q03

R076

Q02

R076

Q06

39(1) 39(2) 40(1) 40(2) 42 43 49 50 52 53 56 59 63

R071

Q01

R216

Q02

R216

Q03

R216

Q04

R219

Q01

R219

Q02

R119

Q02

R119

Q03

R119

Q05

R220

Q01

R220

Q03

R221

Q01

R221

Q05

Student ID 1 4 5 6 10 11 14 15 17 18 21 25 29

3/998899-99

R078

Q04a

R078

Q04b

R078

Q05a

R078

Q05b

R088

Q02

R088

Q03

R055

Q02

R055

Q03

R055

Q04B

R055

Q05

R112

Q03

R076

Q02

R076

Q06

39(1) 39(2) 40(1) 40(2) 42 43 49 50 52 53 56 59 63

Please enter and check full ID for each student, and the mark you assign for each of the items for that student, one student per pair of grid blocks.

OECD PISA Field Trial 1999


��

RECORD SHEET FOR MULTIPLE MARKING FIRST SECOND THIRD MARKING

Booklet 6: Reading Marker’s name_____________________ Date_______/00

Question # Item name Item Label Marking Codes Missing N/A

Q1 Macondo R061Q01 0 1 2 9 n

Q4 R061Q05 0 1 9 n

Q6 Hausarbeit R083Q02 0 1 9 n

Q9 R083Q06 0 1 9 n

Q17 Telefon R104Q05 0 1 2 9 n

Q23 Planint R099Q04B 0 1 2 3 9 n

Q27 Schülermeinungen R120Q06 0 1 9 n

Q29 Südpol R220Q01 0 1 9 n

Q37 Atommüll R225Q02 0 1 9 n

Q40 Fahrrad R238Q01 0 1 9 n

Q42 Personal R234Q01 0 1 9 n

Q43 R234Q02 0 1 9 n

Q44 Garantie R241Q01 0 1 9 n

Q45 R241Q02 0 1 9 n

Marker ID Student ID

StlDStr StlDSch StlDSt