Die kognitive Validität von Ordered Multiple Choice Aufgaben zur Erfassung des Verständnisses von Materie; The Cognitive Validity of Ordered Multiple Choice Items to Assess Students’

1 3

originalarbeit

© Gesellschaft für Didaktik der Physik und Chemie (GDCP) 2014

Die kognitive Validität von Ordered Multiple Choice Aufgaben zur Erfassung des Verständnisses von Materie

Jan Christoph Hadenfeldt · Björn Repenning · Knut Neumann

ZfDNDOI 10.1007/s40573-014-0003-7

Schlüsselwörter Physik · Chemie · Materie · Ordered Multiple Choice Aufgaben · Lautes Denken · kognitive Validität

The Cognitive Validity of Ordered Multiple Choice Items to Assess Students’ Understanding of Matter

Abstract One important goal of science education is to foster students’ understanding of scientific concepts. To di-agnose students’ states of understanding Ordered Multiple Choice (OMC) items have been suggested by Briggs et al. (Briggs, Alonzo, Schwab und Wilson 2006). In OMC items, each of the possible response options corresponds to a specific level of an underlying learning progression. In order to provide more diagnostic information than typical multiple choice items, students’ response behavior must re-flect their understanding of the construct measured. That is, evidence about the cognitive validity of OMC items is re-quired. In this paper, we present the findings from a think-aloud-study with 11 students from grade 6 (n = 3), grade 9 (n = 4), and grade 12 (n = 4). We investigated the cognitive validity of 8 OMC items that covered aspects of students’ understanding of the matter concept. Our findings suggest that 9th and 12th grade students’ choice of response option was mainly based on cognitive processes related to their understanding of the matter concept, whereas 6th graders’ choices were mainly based on other, non-matter-related cognitive processes.

Keyword Physics · Chemistry · Matter · Ordered multiple choice items · Think aloud · Cognitive validity

Zusammenfassung Unterricht in den naturwissenschaft-lichen Fächern soll Schülerinnen und Schülern ein solides Verständnis naturwissenschaftlicher Konzepte vermitteln. Zur Erfassung eines solchen Verständnisses wurden von Briggs et al. (Briggs, Alonzo, Schwab und Wilson 2006) Ordered Multiple Choice (OMC) Aufgaben vorgeschlagen. Mit diesem Aufgabentyp sollen in einer Aufgabe unter-schiedliche Niveaus des Verständnisses im Sinne unter-scheidbarer, hierarchisch geordneter Ausprägungen einer latenten Fähigkeit erfasst werden können. Entscheidend dafür ist jedoch, dass die Wahl einer OMC Antwortoption auf kognitive Prozesse zurückzuführen ist, die sich eben-falls einer entsprechenden Ausprägung des Verständnisses zuordnen lassen. In der in diesem Beitrag vorgestellten Stu-die wurde untersucht, inwieweit eine solche kognitiv vali-de Interpretation von OMC Testergebnissen möglich ist. 11 Schülerinnen und Schüler der Jahrgangsstufen 6 (n = 3), 9 (n = 4) und 11 (n = 3) eines Gymnasiums in Schleswig-Holstein wurden acht OMC Aufgaben zur Erfassung des Verständnisses von Materie vorgelegt. Es wurden Proto-kolle des lauten Denkens erhoben, transkribiert und auf Lösungsstrategien hin analysiert. Die Ergebnisse legen nahe, dass das Antwortverhalten der Probanden aus den Jahrgangsstufen 9 und 12 auf ein Verständnis von Materie zurückzuführen ist. Das Antwortverhalten der Probanden aus Klassenstufe 6 hingegen konnte nicht auf ein Verständ-nis von Materie zurückgeführt werden. Dennoch wählten diese Probanden vornehmlich Antwortoptionen, die ein für ihre Klassenstufe typisches Verständnis widerspiegelten.

J. C. Hadenfeldt () · B. Repenning · K. NeumannIPN Leibniz Institute for Science and Mathematics Education,Olshausenstrasse 62, 24118 Kiel, DeutschlandE-Mail: [email protected]

2

1 3

J. C. Hadenfeldt et al.

Einleitung

Ein zentrales Element naturwissenschaftlicher Grundbil-dung ist das Verständnis grundlegender naturwissenschaft-licher Konzepte (Hmelo-Silver und Duncan 2009). Sowohl national, wie auch international wendet sich die empirische Bildungsforschung zunehmend der Fragestellung zu, wie sich ein solches Verständnis als Folge schulischer Lernpro-zesse entwickelt (Bernholt, Neumann und Nentwig 2012). Zu diesem Zweck werden Instrumente benötigt, die sowohl Unterschiede im Verständnis als auch eine Entwicklung des Verständnisses von Schülerinnen und Schülern valide erfas-sen können. Insbesondere bei großen Stichproben werden zur Konstruktion dieser Instrumente Aufgaben benötigt, die einfach und schnell auszuwerten sind. Wurden bisher zu diesem Zweck bisher insbesondere Multiple Choice Auf-gaben verwendet (vgl. z. B. Marohn 2008; Bernholt et al. 2009; Neumann, Viering, Boone und Fischer 2013), wer-den neuerdings auch sogenannte Ordered Multiple Choice Aufgaben eingesetzt (vgl. Briggs et al. 2006; Alonzo und Steedle 2009; Hadenfeldt und Neumann 2012). Diese Auf-gaben unterscheiden sich von traditionellen Multiple Choice Aufgaben dadurch, dass bei der Konstruktion der Antwort-optionen einer OMC Aufgabe bereits verschiedene Ausprä-gungen des Verständnisses berücksichtigt werden. Dadurch sollen in einer Aufgabe unterschiedliche Ausprägungen und damit eine Entwicklung des Verständnisses erfasst werden. In vorangehenden Untersuchungen konnte gezeigt werden, dass sich das Verständnis von Materie durch OMC Auf-gaben ähnlich gut erfassen lässt, wie durch offene Aufga-ben mit gleicher Fragestellung (Hadenfeldt und Neumann 2012). Ob sich die Wahl einer OMC Antwortoption jedoch auf kognitive Prozesse zurückzuführen lässt, die sich eben-falls einer entsprechenden Ausprägung des Verständnisses zuordnen lassen und somit eine kognitiv valide Interpreta-tion der Testergebnisse möglich ist, ist bisher nicht geklärt. Ziel der in diesem Beitrag vorgestellten Studie ist es daher, die kognitive Validität eines auf OMC Aufgaben basieren-den Testinstruments zur Erfassung der Kompetenzentwick-lung im Basiskonzept Materie zu untersuchen.

Theoretischer Hintergrund

Materie ist sowohl national wie international eines der zen-tralen naturwissenschaftlichen Konzepte (Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland 2005; American Association for the Advancement of Science 2001; Nation Research Council 1996). Ein Verständnis von Materie ist somit inte-graler Bestandteil einer naturwissenschaftlichen Grundbil-dung. Die umfangreiche Forschung zu Schülervorstellungen verdeutlicht die Vielzahl von unterschiedlichen Vorstellun-

gen über Materie und die Fülle an Phänomenen zu deren wissenschaftlich korrekter Erklärung ein profundes Ver-ständnis von Materie notwendig ist (für einen Überblick s. Duit 2008). Im Folgenden wird zunächst ein Rahmenmo-dell skizziert, das geeignet scheint, die Entwicklung des Verständnisses im Verlauf der Schulzeit zu beschreiben (vgl. Hadenfeldt und Neumann 2011). Anschließend wer-den Möglichkeiten diskutiert, Verständnis von Materie zu erfassen und vor diesem Hintergrund OMC Aufgaben als Aufgabentyp vorgestellt.

Entwicklung eines Verständnisses von Materie

Die bisherige Forschung, in der die Entwicklung von Schü-lervorstellungen untersucht wurde (z. B. Johnson 1998; Krnel und Glazar 2003; Adbo und Taber 2009; Löfgren und Helldén 2009; Stevens et al. 2009), legt nahe, dass sich ein Verständnis von Materie entlang hierarchisch geordneter Verständnisniveaus, beginnend bei Alltagsvorstellungen, hin zu ausdifferenzierten Teilchenvorstellungen entwi-ckelt. Diese Verständnisniveaus lassen sich qualitativ wie folgt beschreiben (vgl. Hadenfeldt und Neumann 2011): Alltagsvorstellungen, Hybridvorstellungen, einfache Teil-chenvorstellungen, differenzierte Teilchenvorstellungen und systemische Teilchenvorstellungen.

Das Verständnis von Schülerinnen und Schülern auf Ebene der Alltagsvorstellungen (Niveau 1) ist geprägt durch deren unmittelbare Erfahrungen und das direkt Beobacht-bare. So wenden sie kein Teilchenmodell zur Erklärung oder bei der Beschreibung von Phänomenen an. Ferner kön-nen sie nicht zwischen chemischen Reaktionen oder physi-kalischen Veränderungen unterscheiden und verfügen noch nicht über eine Vorstellung, dass Materie bei Veränderungen erhalten bleibt (Bar und Galili 1994; Krnel et al. 1998). Das folgende Verständnisniveau (Hybridvorstellungen – Niveau 2) ist dadurch charakterisiert, dass erste (noch unausge-reifte) Teilchenvorstellungen in die vorhandene, auf Erfah-rungen basierte Wissensbasis integriert werden. Typisch für dieses Verständnisniveau ist die Vorstellung, dass Teilchen (Atome) in Materie eingebettet sind (Renström et al. 1990; Johnson 2002). Diese Teilchen können bei physikalischen Veränderungen von Materie oder bei chemischen Reaktio-nen nicht verschwinden, dafür aber ihre Eigenschaften (z. B. Masse, Form, Aussehen) verändern (Andersson 1990; Krnel und Glazar 2003). Auf dem folgenden Niveau 3 gelingt bei der Erklärung von naturwissenschaftlichen Phänomenen die Anwendung eines einfachen Teilchenmodells. Schülerin-nen und Schüler verfügen über die Vorstellung, dass Mate-rie vollständig aus Teilchen (Atomen) aufgebaut ist, ohne jedoch über ein Verständnis des Aufbaus dieser Teilchen zu verfügen (Löfgren und Helldén 2009). Da diese Teilchen häufig als „letztes Teilungsstücke“ eines Stoffes verstanden werden, weisen Schülerinnen und Schülern ihnen typischer-

3

1 3

Die kognitive Validität von Ordered Multiple Choice Aufgaben zur Erfassung

die Problemstellungen so zu formulieren, dass sie sowohl von Schülerinnen und Schülern ohne ein elaboriertes Ver-ständnis verstanden werden und zugleich Schülerinnen und Schüler mit einem elaborierten Verständnis dazu ermuntern, dieses bei der Bearbeitung der Aufgabe auch zum Ausdruck zu bringen (Mohan et al. 2009). Diese Einschränkungen liegen bei einem Einsatz von Multiple Choice Aufgaben nicht vor. Zwar sind diese sehr effizient auszuwerten, doch bedarf es in der Regel einer großen Anzahl an Aufgaben, um Verständnis valide erfassen zu können. Mit dem Ziel, bei gleicher Effizienz wie bei Multiple Choice Aufgaben mehr Informationen über das Verständnis von Schülerinnen und Schülern zu erhalten, lassen sich in der Literatur drei Ansätze identifizieren: 1.) Ergänzung von Multiple Choice Aufgaben durch zusätzliche Multiple Choice Fragen (sog. „two-tier“ Aufgaben), durch die die Wahl der Antwortop-tion begründet werden soll (Tan et al. 2002; Treagust und Chandrasegaran 2007), 2.) Explizite Berücksichtigung von alternativen Vorstellungen bei der Entwicklung von Dis-traktoren (Marohn 2008; Herrmann-Abell und DeBoer 2011), 3.) Berücksichtigung unterschiedlicher Verständ-nisniveaus bei der Entwicklung der Distraktoren (Briggs et al. 2006; Alonzo und Steedle 2009). Wird bei den erst-genannten two-tier Aufgaben die Informationsdichte durch zusätzliche Aufgaben erhöht, kommen die beiden zuletzt genannten Ansätze ohne zusätzliche Aufgaben aus. Sollen nicht wie bei 2.) einzelne Vorstellungen, sondern die damit verbundene Entwicklung eines Verständnisses erfasst wer-den, scheint der zuletzt genannte Ansatz von Briggs et al. (2006) am geeignetsten. In den sogenannten Ordered Mul-tiple Choice (OMC) Aufgaben OMC Antwortoption einem bestimmten Verständnisniveau zugeordnet, wobei die Ver-ständnisniveaus, die von den Distraktoren abgebildet wer-den, unterhalb des Verständnisniveaus liegen, das durch den Attraktor abgebildet wird (vgl. Abb. 1). Dadurch können in einer Aufgabe unter Beibehaltung des Aufgabenkontextes mehrere Ausprägungen des Verständnisses erfasst werden (für eine ausführlichere Beschreibung von OMC Aufgaben siehe Hadenfeldt und Neumann 2012).

weise makroskopische Eigenschaften zu (Pfundt 1981). Auf dem nächsten Verständnisniveau (Niveau 4) gelingt es Schülerinnen und Schülern bei der Erklärung von Phänome-nen auf ein differenziertes Teilchenmodell zurückzugreifen (Harrison und Treagust 1996; Stevens et al. 2009). Schließ-lich können makroskopische Eigenschaften durch ein syste-misches Wechselwirken der Teilchen erklärt und aufgrund eines sehr differenzierten Teilchenmodells vorhergesagt werden (Niveau 5, vgl. Taber 2005; Ayas et al. 2010).

Erfassung eines Verständnisses von Materie

Auch wenn der Stand der Forschung nahe legt, dass sich ein Verständnis von Materie sukzessiv entlang der obe-ren Verständnisniveaus entwickelt, ist ebenfalls bekannt, dass Schülerinnen und Schüler in unterschiedlichen Situ-ationen ein unterschiedliches Verständnis zum Ausdruck bringen (Johnson 2002; Nakhleh et al. 2005; Steedle und Shavelson 2009). Um ein möglichst differenziertes Bild des Verständnisses zu erhalten, müssen daher Instrumente entwickelt werden, in denen Schülerinnen und Schüler mit einer möglichst großen Zahl unterschiedlicher Situationen (unterschiedliche naturwissenschaftliche Phänomene oder ähnliche Phänomene in verschiedenen Kontexten) konfron-tiert werden. Bereits Novick und Nussbaum (1978, 1981) skizzieren in diesem Zusammenhang ein Spannungsfeld, in dem sich fachdidaktische Forschung bei dem Versuch, Verständnis zu erfassen, bewegt: Auf der einen Seite schei-nen effizient einzusetzende Paper-und-Bleistift-Tests nicht geeignet, Verständnis facettenreich zu erfassen (Novick und Nussbaum 1978). Möchte man auf der anderen Seite empi-risch belastbare Ergebnisse generieren, scheinen Methoden, denen dieser Nachteil nicht zugeschrieben wird (wie z. B. Interviews) kaum anwendbar (Novick und Nussbaum 1981). Bieten Interviews im Allgemeinen die Möglichkeit, durch verschiedene Befragungstechniken tiefere Einblicke in das Verständnis des Interviewten zu ermöglichen, können bei dieser Methode durch den Interviewer durch Interaktionsef-fekte Ergebnisse verzerrt werden (Lamnek 2005; Bortz und Döring 2006). Sollen insbesondere mehrere Schülerinnen und Schüler interviewt werden, können die Ergebnisse durch unterschiedliche Erfahrung und Schulung der Interviewer zu systematischen Fehlern führen (Schermelleh-Engel und Werner 2008). Selbst bei einer weitest gehenden Kontrolle dieser Fehlerquellen (z. B. durch leitfaden-basierte Inter-views) können Schülerinnen und Schüler im Rahmen eines aussagekräftigen Interviews nur mit wenigen, ausgewähl-ten Problemstellungen konfrontiert werden (vgl. Acher et al. 2007; Löfgren und Helldén 2009; Adadan et al. 2010). Kann die Anzahl an Problemstellungen durch den Einsatz offener Aufgaben erhöht werden, bleibt ein hoher Zeitauf-wand bei deren Auswertung. Zudem besteht eine Schwie-rigkeit bei der Konstruktion von offenen Aufgaben darin, Abb. 1 schematischer Aufbau einer OMC Aufgabe

4

1 3


lediglich untersucht inwieweit die mit unterschiedlichen Methoden erzielten Ergebnisse korrelieren (konvergente Validität) bzw. inwieweit Korrelationen zwischen dem zu erfassenden Konstrukt und anderen Konstrukten nicht zu hoch ausfallen (diskriminante Validität). Zwischen den ver-schiedenen Aspekten finden sich Überschneidungen. So ist die Kriteriumsvalidität nur schwer von der konvergenten Validität als Aspekt der Konstruktvalidität zu unterscheiden. Und letztendlich betrifft die Frage der Inhaltsvalidität auch Aspekte der Konstruktvalidität. Denn wenn die Aufgaben das zu messende Konstrukt nicht gut repräsentieren, misst der Test eben das Konstrukt nicht in angemessener Weise. In seiner umfassenden Arbeit zur Validität schlägt Messick (1989) deshalb eine Neukonzeption vor. In dieser Konzep-tion wird Validität ausschließlich als Konstruktvalidität verstanden und es werden sechs unterschiedliche Aspekte der Konstruktvalidität unterschieden: inhaltliche Validität, kognitive Validität, strukturelle Validität, kriteriumsorien-tierte Validität, Generalisierbarkeit und Konsequenzen (für Details siehe Messick 1995; oder Hadenfeldt und Neumann 2012). Dabei kommt der kognitiven Validität (bei Messick (1995) als „substantial validity“ bezeichnet – zur Über-setzung vgl. Ruiz-Primo et al. 2001) insbesondere bei der Erfassung komplexer Konstrukte wie z. B. dem Verständnis von Materie eine zentrale Rolle zu (Shavelson 2005). Denn komplexe Aufgaben erfordern komplexe Denkprozesse, wodurch insbesondere beim Einsatz geschlossener Aufga-benformate die Wahrscheinlichkeit, dass nicht intendierte Denkprozesse eine wesentliche Rolle spielen dramatisch erhöht wird. Zur Sicherung kognitiver Validität muss also untersucht werden, ob während der Bearbeitung des Tests tatsächlich intendierte kognitive Prozesse stattfinden.

Zur Erfassung der Denkprozesse von Probanden kann auf verschiedene Ansätzen zurückgegriffen werden, so können im Rahmen eines begleitenden oder nachträglichen Interviews die Probanden nach Gründen für ihr Antwort-verhalten gefragt werden, doch können Interaktionseffekte zwischen Interviewer und Interviewtem die Ergebnisse ver-fälschen (siehe Abschn. 2.2). Im Rahmen einer Eye-track-ing-Studie lassen sich diese Interaktionseffekte vermeiden, doch sind derartige Studien in der Regel sehr aufwändig und der Zusammenhang zwischen Augenbewegung und den im Rahmen des Tests intendierten kognitiven Prozessen noch nicht ausreichend erforscht (vgl. Lai et al. 2013). Eine weit verbreitete Methode zur Erfassung von Denkprozessen, ist aber die Methode des Lauten Denkens.

Knoblich und Öllinger (2006) definieren Lautes Denken als „das gleichzeitige laute Aussprechen von Gedanken bei der Bearbeitung einer Aufgabe“. Die Methode des Lauten Denkens geht zurück auf Arbeiten von Ericsson und Simon (1980), die den Einfluss des Verbalisierens von Denk-prozessen auf die Denkprozesse selbst untersucht haben. Ericsson und Simon (1993) sowie Deffner (1984) kommen

Durch den Einsatz von OMC Aufgaben können somit – neben der Information, ob eine Aufgabe richtig oder falsch beantwortet wurde – zusätzlich Informationen darüber gewonnen werden, über welches Verständnisniveau eine Schülerin bzw. ein Schüler verfügt. Bisher wurde jedoch nicht untersucht, ob sich auf OMC Aufgaben basierende Testergebnisse kognitiv valide interpretieren lassen, d. h. ob Schülerinnen und Schüler bei der Wahl von OMC Ant-wortoptionen überhaupt Strategien verwenden, die ihrem Verständnis von Materie entsprechen (inhaltsbezogene Strategien) und keine anderen Strategien (nicht-inhalts-bezogene Strategien, z. B. Raten, Vergleich der Satzlänge, Suchen nach Schlüsselwörtern), anwenden.

In der hier vorgestellten Studie sollen daher die folgen-den Fragestellungen untersucht werden:

1. Inwieweit nutzen Schülerinnen und Schüler bei der Bearbeitung von OMC Aufgaben inhaltsbezogene Strategien?

2. Inwieweit entspricht eine Einschätzung auf Basis dieser Strategien dem Verständnisniveau, welches den Schüle-rinnen und Schülern durch die Bearbeitung der entspre-chenden OMC Aufgabe zugewiesen wird?

Forschungsdesign und Methoden

Ein Ziel des dieser Studie übergeordneten Forschungsvor-habens ist die Entwicklung von Aufgaben, die reliable und valide Rückschlüsse auf das Verständnis von Schülerinnen und Schülern erlauben. Im Kontext der Erfassung kogni-tiver Konstrukte wie z. B. dem Verständnis von Materie wird die Reliabilität über Maße der internen Konsistenz bestimmt (z. B. mit Hilfe von Cronbach’s Alpha in der klassischen oder der EAP/PV- oder WLE-Reliabilität in der probabilistischen Testtheorie). Bei der Einschätzung der Validität müssen verschiedene Konzeptionen unterschie-den werden. In der „klassischen“ Konzeption der Validität nach Cronbach und Mehl (1955), werden drei Typen von Validität unterschieden: Inhaltsvalidität, Kriteriumsvalidi-tät und Konstruktvalidität (vgl. Cronbach und Meehl 1955). Zur Einschätzung der Inhaltsvalidität wird üblicherweise untersucht, inwieweit das zu messende Konstrukt durch Umfang und Formulierung der Aufgaben gut repräsentiert ist. Die Kriteriumsvalidität wird als Zusammenhang zwi-schen dem zu messenden Konstrukt und einem externen Kriterium für die Ausprägung des Konstrukts bestimmt. Im Kontext eines Tests zur Erfassung des Verständnisses von Materie könnte dies z. B. die Schulnote in Chemie sein. Zur Untersuchung der Konstruktvalidität sollte ein komplexes System von Annahmen über den Zusammenhang mit ande-ren Konstrukten theoretisch fundiert und empirisch durch Messung mit verschiedenen Methoden geprüft werden (Cronbach und Meehl 1955). Üblicherweise wird jedoch

5

1 3


Klassenstufe 9 bereits Erfahrungen im Umgang mit einem einfachen Teilchenkonzept gesammelt haben.

Auch wenn die Erhebung weiterer Daten von weiteren Probanden und weiteren OMC Aufgaben wünschenswert gewesen wäre, war eine Beschränkung auf zwölf Proban-den und acht Aufgaben wegen des hohen Aufwands bei der Auswertung der gewonnenen Daten notwendig. Diese Stichprobengröße entspricht der üblichen Stichprobengröße in ähnlich angelegten Studien (vgl. Nakhleh und Samara-pungavan 1999; Coll und Treagust 2001; Bouwma-Gearhart et al. 2009; Cheung 2009; Park und Light 2009). Durch die gezielte Auswahl der Probanden und Aufgaben sollte ein modus vivendi gefunden werden, um dennoch belastbare Ergebnisse zu generieren.

Durchführung der Untersuchung

Die Lautes-Denken-Studie wurde von zwei geschulten Test-leitern durchgeführt. Eine einzelne Untersuchung, an der die Probanden getrennt voneinander teilnahmen, dauerte 45 min und wurde mit einer Filmkamera videografiert. Die Einhaltung des im Folgenden vorgestellten, standardisierten Ablaufs (vgl. Ericson und Simon 1993), wurde durch einen Leitfaden sichergestellt.

Zunächst wurde die Methode des Lauten Denkens dem Probanden vorgestellt (vgl. Greatorex und Sütö 2008) und anhand einiger Beispiele (z. B. „lautes“ schriftliches Mul-tiplizieren) durchgeführt. Zu diesem Zeitpunkt konnte die Testleiter noch Hilfestellungen geben und Fragen zur Methode beantworten. Im Anschluss wurde der Proband aufgefordert eine OMC Aufgabe unter Verwendung der Methode des Lauten Denkens zu bearbeiten. Nach der Mög-lichkeit, erneut Fragen zur Methode zu klären, wurden dem Probanden ein Testheft mit den ausgewählten OMC Auf-gaben vorgelegt und dieser aufgefordert, das Testheft unter Verwendung der Methode des Lauten Denkens zu bearbei-ten. Während der Bearbeitung war es den Testleitern nur in bestimmten Situationen gestattet, mit dem Probanden zu kommunizieren. Für typische Situationen (z. B. lange Pau-sen, Rückfragen des Probanden) finden sich im Leitfaden standardisierte Reaktionen des Testleiters. Insbesondere wurde darauf geachtet, dass die Testleiter nur Formulierun-gen verwendet, die keine Antwort des Probanden erfordern (Ericson und Simon 1993, S. 256). Die Testleiter befand sich während der Bearbeitung der Aufgaben nicht im Blick-feld der Probanden, so dass diese aus dessen Mimik und Gestik keine Rückschlüsse auf die Qualität der Aussagen ziehen konnte.

Auswertung der Daten

Die im Verlauf der Lautes-Denken-Studie aufgezeichne-ten Videos wurden zunächst nach Dresing und Pehl (2011)

zum Schluss, dass durch das Verbalisieren von Denkpro-zessen, wie es beim Lauten Denken stattfindet, die Qualität der Denkprozesse an sich nicht verändert wird. Es lassen sich somit durch die Methode des Lauten Denkens detail-lierte und aufschlussreiche Informationen über die bei der Bearbeitung von Aufgaben angewendeten Strategien gene-rieren (Long und Bourg 1996; Terzer et al. zu Belzen 2012). Im Folgenden wird am Beispiel des Basiskonzepts Mate-rie vorgestellt, wie die Methode des Lauten Denkens zur Untersuchung von Strategien bei der Bearbeitung von OMC Aufgaben zur Erfassung des Verständnisses von Materie eingesetzt werden kann.

Anlage der Untersuchung

Im Rahmen der Untersuchung wurden elf Gymnasiasten jeweils ein Testheft bestehend aus acht OMC Aufgaben vorgelegt. Sechs OMC Aufgaben erforderten zur Auswahl der wissenschaftlich korrekten Antwortoption ein Verständ-nis auf Niveau 3 (siehe Abb. 3), bei den anderen beiden OMC Aufgaben war dazu ein Verständnis auf Niveau 4 erforderlich. Diese Aufgaben wurden aus einem Aufgaben-pool von N = 39 OMC Aufgaben ausgewählt, die insgesamt N = 1368 Schülerinnen und Schülern der Klassenstufe 6 bis 12 vorgelegt wurden. Dabei wurden zwei Auswahlkriterien angewendet: Zum einen lassen sich bei den in dieser Stu-die eingesetzten OMC Aufgaben die den Antwortoptionen zugewiesenen Verständnisniveaus statistisch unterscheiden, zum anderen decken sie das Materiekonzept in seiner inhalt-lichen Breite gut ab. Um zu untersuchen, wie Schülerinnen und Schüler, deren Verständnis von Materie unterschiedlich stark elaboriert ist, bei der Bearbeitung dieser OMC Aufga-ben vorgehen, wurden die Probanden aus unterschiedlichen Klassenstufen ausgewählt. Um dabei ein möglichst großes Leistungsspektrum abdecken zu können wurden innerhalb eines Jahrgangs Schülerinnen und Schüler mit unterschied-lichen Leistungsständen ausgewählt (sehr gute Leistungen, befriedigende Leistungen und mangelhaften Leistungen basierend auf den letzten Zeugnisnoten in den naturwissen-schaftlichen Fächern). Außerdem wurden unter Berücksich-tigung der Einschätzungen der Klassenlehrkraft Lehrkräfte nur Schülerinnen und Schüler ausgewählt, von denen zu erwarten war, dass sie in der Lage sind, ihre Gedanken zu verbalisieren. Insgesamt resultierte dadurch die folgende Verteilung der Probanden: Klassenstufe 12 (vier Proban-den), Klassenstufe 9 (vier Probanden) und Klassenstufe 6 (vier Probanden). An dem Gymnasium wird ab Klassen-stufe 6 das Fach Naturwissenschaften unterrichtet. Physik-unterricht wird ab Klassenstufen 7 und Chemieunterricht ab Klassenstufe 9 erteilt. Die Untersuchung wurde gegen Ende des Schuljahres durchgeführt, so dass die Probanden aus Klassenstufe 6 bereits über elementare naturwissen-schaftliche Vorkenntnisse verfügen und die Probanden aus

6

1 3


zunächst diejenigen Segmente, die inhaltsbezogene Stra-tegien darstellten, kodiert. Als Grundlage zur Kodierung der Segmente diente eine differenziertere Version des in Abschn. 2.1 vorgestellten Modells der Entwicklung des Ver-ständnisses von Materie. In diesem Modell sind für jedes Verständnisniveau neben einer allgemeinen Beschreibung des entsprechenden Verständnisses beispielhafte Äußerun-gen von Schülerinnen und Schülern aufgeführt. Jedem Seg-ment, das eine inhaltsbezogene Strategieaussage darstellte, wurde im Rahmen der Kodierung zunächst ein Verständ-nisniveau zugeordnet. Anschließend wurde aufgrund aller Segmente eines Probanden, die sich auf eine bestimmte OMC Aufgabe bezogen, ein endgültiges Verständnisniveau festgelegt. Die Zuordnung der Verständnisniveaus zu den Segmenten fand zum einen durch den Testleiter und zum anderen durch einen geschulte Kodierer statt, die alle Seg-mente unabhängig voneinander kodierten. Die prozentuale Übereinstimmung in den Zuordnungen lag bei 88 %. Als weiteres Übereinstimmungsmaß wurde Cohens Kappa zu κ = 0,75 bestimmt, welches ebenfalls für eine gute Überein-stimmung spricht. In neun Fällen, bei denen die Zuordnung der Kodierer nicht übereinstimmte, wurde die Zuordnungen diskutiert und anschließend eine Einigung erzielt.

Ergebnisse

Um Evidenz bezüglich der kognitiven Validität der einge-setzten OMC Aufgaben zu generieren, wurden in einem ers-ten Schritt für jede Aufgabe untersucht, welchen Anteil die Strategieaussagen, in denen die Probanden ihr Verständnis von Materie bei der Bearbeitung der Aufgaben anwenden, an der Gesamtheit aller Strategieaussagen einnehmen (For-schungsfrage 1). In einem zweiten Schritt wurde untersucht, inwieweit das Verständnis, welches die Probanden bei der Bearbeitung der Aufgaben äußerten, mit dem Verständnis-niveau, welches ihnen durch die Bearbeitung der entspre-chenden OMC Aufgabe zugewiesen wurde, übereinstimmt (Forschungsfrage 2).

Insgesamt konnten 614 der 2055 analysierten Segmente der Oberkategorie Strategieaussagen zugeordnet werden. Über alle Aufgaben hinweg entfielen dabei 359 Segmente (58 %) auf die Kategorie inhaltsbezogene Strategien und 255 Segmente (42 %) auf die Kategorie nicht-inhaltsbezo-gene Strategien (vgl. Abb. 2). Die zu dem mittleren Wert von 58 % bestimmte Standardabweichung beträgt 7 %. Eine entsprechende – auf die einzelne OMC Aufgabe bezogene – Analyse zeigt, dass mit Ausnahme von Aufgabe A4 der Anteil an inhaltsbezogenen Strategien bei jeder Aufgabe über 50 % liegt (vgl. Abb. 2).

Um weitere Informationen über die Aufgaben zu generie-ren, wurde darauf fokussiert, wie einzelne Schülerinnen und Schüler die einzelnen Aufgaben bearbeitet haben. Erwar-

transkribiert. Aufgrund eines technischen Defekts bei der Aufzeichnung konnten nur Videos von drei anstatt vier Probanden aus Klassenstufe 6 ausgewertet werden. Zur Transkription wurde das sogenannte „einfache“ Transkrip-tionssystem verwendet (vgl. Dresing und Pehl 2011, 18 ff.). Im Anschluss wurden die so gewonnenen schriftlichen Daten in zwei Schritten aufbereitet. In einem ersten Schritt wurden die Daten segmentiert. Dies geschah nach Ericson und Simon (1993) zunächst anhand von Satzenden. In einem zweiten Schritt wurde überprüft, ob durch diese Segmentie-rung Sinnabschnitte getrennt werden (z. B. das Vorlesen der Aufgabenstellung). Solche getrennte Sinnabschnitte wur-den zu neuen Segmenten zusammengefasst. Anschließend wurden die auf diese Weise segmentieren Daten (Sinnab-schnitte) kategorisiert (Deffner 1984; Ericsson und Simon 1993; vgl. Tab. 1). Insgesamt wurden 2055 Segmente den einzelnen Unterkategorien durch zwei geschulte Kodie-rer zugeordnet. Dabei wurden 10 % der Segmente doppelt kodiert. Bei diesen Zuordnungen lag die Übereinstimmung der Kodierer bei 91 %. Als weiteres Übereinstimmungsmaß wurde Cohens Kappa zu κ = 0,88 bestimmt, was einer sehr guten Übereinstimmung entspricht.

Um den Probanden auf Grundlage der bei der Bearbei-tung der OMC Aufgaben geäußerten inhaltsbezogenen Strategien ein Verständnisniveau zuzuschreiben, wurden

Tab. 1 Kategoriensystem zur Klassifizierung verbaler DatenOberkategorie Unterkate-

gorieBeschreibung

Strategieaus-sagen

Inhalts-bezogene Strategien

Schülerinnen und Schüler entschei-den sich aufgrund ihrer Vorstellun-gen von Materie für oder gegen eine Antwortoption

Nicht-in-haltsbezoge-ne Strategien

Schülerinnen und Schüler ent-scheiden sich nicht aufgrund ihrer Vorstellungen von Materie für oder gegen eine Antwortoption (stattdessen z. B. durch Raten oder Vergleich von Satzlängen der Antwortoptionen)

Aussagen mit Bezug zu Aufgaben-teilen

Bemerkungen Schülerinnen und Schüler äußern sich über Formulierungen (z. B. durch Äußern von Unverständnis einzelner Begriffe)

Reproduktion Schülerinnen und Schüler lesen die Aufgabenstellung oder die Antwort-optionen laut vor

Aussagen über Situation und Person

Methode Schülerinnen und Schüler äußern Anmerkungen zur Methode des Lauten Denkens (z. B. Angestrengt-heit durch das Verbalisieren ihrer Gedanken)

Person Schülerinnen und Schüler äußern sich zur eigenen aktuellen Be-findlichkeit (z. B. ein generelles Unwohlsein oder eine generelle Un-wissenheit bezogen auf die aktuelle Aufgabenstellung)

7

1 3


durch die Bearbeitung der entsprechenden OMC Aufgabe zugewiesen wird?“) sollen diese sowie die entsprechenden Auswertungen zunächst anhand einer Beispielaufgabe dar-gestellt werden. Da – wie oben gezeigt – Schülerinnen und Schüler der unterschiedlichen Klassenstufen sich stark in ihrem Vorgehen bei der Bearbeitung der OMC Aufgaben unterscheiden, werden die Ergebnisse im Folgenden stets auch auf die Klassenstufe bezogen berichtet.

Die untersuchten Schülerinnen und Schüler der 12. und 9. Klassenstufe verwendeten bei dieser OMC Aufgabe über-wiegend inhaltsbezogene Strategien, um sich für eine OMC Antwortoption zu entscheiden. Schülerinnen und Schüler der Klassenstufe 6 verwendeten hingegen überwiegend andere Strategien (vgl. Tab. 2). Zwei Probanden (S7– Klas-senstufe 9, S11– Klassenstufe 6) konnte kein Verständnis-niveau zugewiesen werden, da sie bei der Bearbeitung der ausschließlich nicht-inhaltsbezogene Strategien nutzten. Den weiteren Probanden konnte aufgrund ihrer Äußerun-gen ein Verständnis auf Niveau 2 oder Niveau 3 zugewiesen werden (vgl. Abb. 3).

Obwohl den Probanden S8, S9 und S10 bei dieser Aufgabe das Verständnisniveau 2 zugewiesen wurde, entschieden sie sich für eine Antwortoption, die dem Verständnisniveau 1 zugeordnet ist („Der Stuhl sähe unverändert aus, wäre aber leichter geworden.“). Die beiden Antwortoptionen, die dem Verständnisniveau 2 zugeordnet waren („Eine zähe Flüssig-keit würde übrig bleiben“ und „Ein wenig Staub würde übrig bleiben“) wurden nicht gewählt. Eine klärende Nachfrage des Interviewers an dieser Stelle verbietet sich aufgrund der Methodik des Lauten Denkens. In diesem Fall konnte jedoch die entsprechende Antwortoption B (vgl. Abb. 3) durch ein Expertengespräch dem Verständnisniveau 2 zuge-wiesen werden, so dass nach einer Rekodierung bei dieser Aufgabe eine Übereinstimmung der Verständnisniveaus in 8 von 11 Fällen vorliegt.

Insgesamt konnte in 74 von 88 möglichen Fällen (8 OMC Aufgaben x 11 Probanden) den Probanden durch das Verba-lisieren ihrer Gedanken bei der Bearbeitung der Aufgaben ein Verständnisniveau zugewiesen werden (zur Vorgehens-

tungsgemäß verhalten sich die Schülerinnen und Schüler bei der Bearbeitung der OMC Aufgaben unterschiedlich. Insbesondere unterscheiden sie sich in dem Anteil der bei der Bearbeitung verwendeten inhaltsbezogenen Strategien. Dabei zeigt sich, dass zwischen Schülerinnen und Schüler unterschiedlicher Klassenstufe bedeutsame Unterschiede vorliegen (vgl. Tab. 2).

Insgesamt kann somit bezogen auf die Fragestellung, inwieweit Schülerinnen und Schüler bei der Bearbeitung der OMC Aufgaben inhaltsbezogene Strategien nutzen, fest-gehalten werden, dass diese von Schülerinnen und Schüler der Klassenstufe 12 zu einem überwiegenden Teil genutzt werden. In Klassenstufe 9 wurden zu gleichen Teilen inhalts- und nicht-inhaltsbezogene Strategien angewendet. In Klassenstufe 6 wurden zum Großteil nicht-inhaltsbezo-gene Strategien angewendet.

Zur besseren Interpretierbarkeit der weiteren Ergeb-nisse hinsichtlich der 2. Forschungsfrage („Inwieweit ent-spricht eine Einschätzung auf Basis dieser Strategien dem Verständnisniveau welches den Schülerinnen und Schüler

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

OMCAufgaben

A1 A2 A3 A4 A5 A6 A7 A8

nicht−inhaltsbezogeneStrategien

inhaltsbezogeneStrategien

Abb. 2 Anteil unterschiedlicher Strategien bezogen auf einzelne OMC Aufgaben

Tab. 2 Analyse der Strategieaussagen (dunkelgrau: Materiekonzept ≥ 75 %; hellgrau: 75 % > Materiekonzept ≥ 50 %)Klassenstufe 12 Klassenstufe 9 Klassenstufe 6

Aufgabe Inhaltsbezogen Nicht-inhaltsbezogen Inhaltsbezogen Nicht-inhaltsbezogen Inhaltsbezogen Nicht-inhaltsbezogenA1 15 (88,2 %) 2 (11,8 %) 11 (68,8 %) 5 (31,3 %) 3 (21,4 %) 11 (78,6 %)A2 25 (86,2 %) 4 (13,8 %) 13 (50,0 %) 13 (50,0 %) 6 (50,0 %) 6 (50,0 %)A3 29 (87,9 %) 4 (12,1 %) 12 (46,2 %) 14 (53,8 %) 3 (23,1 %) 10 (76,9 %)A4 21 (77,8 %) 6 (22,2 %) 6 (21,4 %) 22 (78,6 %) 6 (37,5 %) 10 (62,5 %)A5 20 (71,4 %) 8 (28,6 %) 18 (58,1 %) 13 (41,9 %) 1 (7,7 %) 12 (92,3 %)A6 22 (84,6 %) 4 (15,4 %) 12 (57,1 %) 9 (42,9 %) 7 (43,8 %) 9 (56,2 %)A7 34 (87,2 %) 5 (12,8 %) 21 (44,7 %) 26 (55,3 %) 5 (26,3 %) 14 (73,7 %)A8 46 (85,2 %) 8 (14,8 %) 16 (55,2 %) 13 (44,8 %) 7 (29,2 %) 17 (70,8 %)MittelwertStand.-Abw.

83,6 %5,9 %

16,2 %5,9 %

50,2 %13,9 %

49,8 %13,9 %

29,9 %13,5 %

70,1 %13,5 %

8

1 3


senstufe 12 (32 Fälle) lag die prozentuale Übereinstimmung der Verständnisniveaus VNOMC und VNLD bei 75 %. In Klas-senstufe 9 (27 Fälle) lag die Übereinstimmung bei 66,7 % und in Klassenstufe 6 (15 Fälle) wurde eine Übereinstim-mung von 26,7 % (4 von 15 Fällen, in denen ein Verständnis auf Grundlage der verbalen Daten bestimmt werden konnte)

weise siehe Abschn. 3.3). Anschließend wurde das den Probanden zugeordnete Verständnisniveau (VNLD) mit dem Verständnisniveau verglichen, welches ihnen den verblei-benden 14 der 88 Fälle formulierten durch die schriftliche Bearbeitung der OMC Aufgabe zugewiesen wurde (VNOMC). In die Probanden bei der Bearbeitung der Aufgaben Aus-sagen, die der Unterkategorie nicht-inhaltsbezogene Stra-tegien zugeordnet wurden. Dabei handelte es sich in neun Fällen um unterschiedliche Probanden der Klassenstufe 6. In den verbleibenden fünf Fällen handelt es sich jeweils um denselben Probanden aus Klassenstufe 9 (S7). Äußerten die Probanden aus Klassenstufe 6 vornehmlich Schwierigkei-ten im Verständnis bestimmter Begriffe, hatte S7 allgemein Schwierigkeiten, Strategien bei der Lösung der Aufgaben zu verbalisieren.

Ausgehend von den 74 Fällen, in denen den Probanden aufgrund von inhaltsbezogenen Strategien ein Verständnis-niveau zugeschrieben stimmte VNLD in 47 Fällen (64 %) mit VNOMC überein. Eine detaillierte Analyse zeigt, dass insbe-sondere die Aufgabe A3 nur eine sehr geringe Übereinstim-mung vorliegt (vgl. Abb. 4). Bei dieser Aufgabe äußerten viele Probanden Schwierigkeiten, einzelne Antwortmög-lichkeiten inhaltlich unterscheiden zu können.

Bezogen auf die einzelnen Klassenstufen zeigt sich erneut ein unterschiedliches Bild (vgl. Abb. 4). In der Klas-

Klassen Aufgaben

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

6 9 12 A1 A3 A4 A5 A6 A7 A8A2

keineÜbereinstimmung

Übereinstimmung

Abb. 4 Übereinstimmung VNOMC und VNLD über alle Aufgaben in unterschiedlichen Klassenstufen (links); Übereinstimmung VNOMC und VNLD innerhalb einzelner Aufgaben über alle Probanden (rechts)

Abb. 3 Auswertung einer OMC Aufgabe A1 (Kreuz: Verständ-nisniveau durch schriftliche Bearbeitung, grüner Kreis: Ver-ständnisniveau durch Äußerungen während des Lauten Denkens, roter Kreis: keine Zuordnung eines Verständnisniveaus durch die Äußerungen während des Lauten Denkens möglich)

9

1 3


in 72 % der Fälle überein. In der Klassenstufe 9 betrug die-ser Anteil 71 % und in Klassenstufe 6 53 % (vgl. Abb. 5).

Abschließend wurde geprüft, welches Verständnisniveau diejenigen Probanden wählten, die bei der Bearbeitung der OMC Aufgaben keine auf das Materiekonzept bezogenen Strategien anwendeten. Dabei zeigte sich, dass in 79 % der Fälle (11 von 14) die Probanden solche Antwortoptio-nen wählten, die den unteren beiden Verständnisniveaus entsprachen.

Diskussion

Die Analyse der Strategieaussagen (Tab. 2) und der Ver-gleich der den Probanden zugewiesenen Verständnisniveaus (Tab. 3) legen nahe, die Frage der kognitiven Validität von OMC Aufgaben getrennt vor dem Hintergrund einzelner Jahrgänge zu behandeln.

Die Probanden der Klassenstufe 12 nutzten bei der Bearbeitung der vorgelegten OMC Aufgaben hauptsächlich ihr Verständnis von Materie (Tab. 2). Von insgesamt 253 kodierten Segmenten in der Kategorie Strategieaussagen konnten 212 (83,8 %) in die Unterkategorie inhaltsbezogene Strategien eingeordnet werden. Ein Vergleich der Verständ-nisniveaus, die den Probanden aufgrund ihrer Äußerun-gen während des Lauten Denkens und der Wahl der OMC Antwortoptionen zugewiesen wurde, zeigt eine zufrieden-stellende Übereinstimmung der beiden Niveaus (Tab. 3). Daher kann davon ausgegangen werden, dass die eingesetz-ten OMC Aufgaben das Verständnis der Probanden valide abbilden.

Die Probanden der Klassenstufe 9 nutzten bei der Bearbeitung der vorgelegten OMC Aufgaben zu gleichen Teilen ihr Verständnis von Materie sowie andere Strate-gien (Tab. 2). Von insgesamt 224 kodierten Segmenten in der Kategorie Strategieaussagen konnten 109 (48,7 %) in der Unterkategorie inhaltsbezogene Strategien eingeordnet werden. Insgesamt verbalisieren die Probanden der Klas-senstufe 9 zwar ein Verständnis von Materie, sie sind aber noch nicht in der Lage, dies konsequent im Entscheidungs-prozess für oder gegen eine OMC Antwortoption zu nutzen. Der Vergleich der Verständnisniveaus, die den Probanden aufgrund ihrer Äußerungen während des Lauten Denkens und der Wahl der OMC Antwortoptionen zugewiesen wurde, zeigt eine moderate Übereinstimmung der beiden Niveaus (Tab. 3). Diese Übereinstimmung ist nicht für alle Aufgaben gleich. So gibt es insbesondere bei den Aufga-ben A2, A3 und A4 Diskrepanzen zwischen den beiden Ver-ständnisniveaus. Bei diesen Aufgaben wurden größtenteils OMC Antwortoptionen gewählt, die einem elaborierteren Verständnis zugeordnet waren, als es die Probanden im Ver-lauf der Lautes-Denken-Studie äußerten. Diese Ergebnisse

ermittelt. Um zu bestimmen, inwieweit die zugewiesenen Verständnisniveaus voneinander abweichen, wurde außer-dem in jedem der 74 Fälle die Differenz der beiden Niveaus gebildet (VNOMC – VNLD). In Klassenstufe 12 ergab sich dabei eine mittlere Differenz von M = 0,1 mit einer mittleren Standardabweichung von SD = 0,6, in Klassenstufe 9 wur-den diese Werte zu M = 0,4 bzw. SD = 0,9 und in der Klas-senstufe 6 zu M = 0,2 bzw. SD = 0,8 bestimmt (vgl. Tab. 3). Das heißt, insbesondere den Probanden der Klassenstufe 9 wurde im Mittel ein leicht höheres Verständnisniveau durch die OMC Aufgaben zugewiesen. Weiterhin wurde für die einzelnen Klassenstufen das Mittel der Absolutwerte der Abweichungen bestimmt (vgl. Tab. 3). Analog zur mittleren Differenz der Verständnisniveaus ergibt sich dabei für die Absolutwerte der Differenzen dieselbe Tendenz.

Wie im ersten Abschnitt beschrieben, sollten OMC Auf-gaben auch dann in der Lage sein, Schülerinnen und Schü-lern ein Verständnisniveau zuzuschreiben, wenn diese sich für einen der Distraktoren entschieden haben. Daher wurde ebenfalls untersucht, wie hoch die Übereinstimmung zwi-schen VNLD und VNOMC ist, wenn nur die die Fälle berück-sichtigt werden, in denen ein Distraktor gewählt wurde. Für die Probanden aus Klassenstufe stimmten VNLD und VNOMC

Tab. 3 Vergleich OMC Aufgaben – Lautes Denken OMC AufgabenKlassenstufe 12 9 6Prozentuale Übereinstimmung des Ver-ständnisniveaus ermittelt durch OMC Aufgaben und Lautes Denken

75 66,7 26,7

Cohens Kappa 0,60 0,39 − 0,15Mittelwert VNOMC – VNLD 0,1 0,4 0,2Standardabweichung VNOMC – VNLD 0,6 0,9 0,8Mittelwert |VNOMC – VNLD| 0,28 0,52 0,73Standardabweichung |VNOMC – VNLD| 0,5 0,8 0,5

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

keineÜbereinstimmung

Übereinstimmung

1296

Abb. 5 Übereinstimmung VNOMC und VNLD über alle Aufgaben (er-mittelt durch Distraktoren)

10

1 3


fizieren und somit einzelne OMC Aufgaben zu verbessern, lassen sich diese Erkenntnisse nur schwer verallgemeinern. Tendenziell erzielten diejenigen OMC Aufgaben gute Über-einstimmungen im Vergleich der Verständnisniveaus (vgl. Abb. 4), bei denen die Antwortoptionen möglichst „natür-lich“ formuliert waren. Insbesondere solche Aufgaben, bei denen die Antwortoptionen durch bestimmte Schlüsselfor-mulierungen (wie z. B. dem Eingebettet-Sein von Teilchen in einen Stoff) zwar leicht einem Verständnisniveau zuzu-ordnen (in dem eben genannten Beispiel handelt es sich um Niveau 2), aber in ihrer „Natürlichkeit“ entfremdet worden sind, schnitten nicht so gut ab. Die deutlichen Unterschiede bei der kognitiv validen Erfassung von Verständnis durch die eingesetzten OMC Aufgaben – insbesondere zwischen den Klassenstufen 6 und 12– weisen darauf hin, dass bei einem Einsatz derselben OMC Aufgaben in weit auseinanderliegen-den Klassenstufen besondere Anforderungen an die Formu-lierung der Aufgaben gestellt werden müssen. So sind feine Unterschiede in den Formulierungen der Antwortoptionen für Schülerinnen und Schüler der Klassenstufe 6 schwerer zu erkennen, als für Schülerinnen und Schüler der Klassen-stufe 12. Eine durchweg „einfachere“ Sprache könnte aber auch dazu führen, dass die richtige Antwort bereits anhand der Formulierung zu erkennen ist. Eine weitere Möglichkeit ist die Entwicklung von OMC Aufgaben eigens für die unte-ren Klassenstufen, in denen verstärkt auf typische alterna-tive Vorstellungen eingegangen wird, die charakteristisch für Schülerinnen und Schüler dieser Klassenstufen sind. Weitere Untersuchungen (z. B. unter Verwendung von Interviews) sind nötig, um Merkmale „guter“ OMC Aufgaben für diese Klassenstufe zu identifizieren.

Zusammenfassung und Ausblick

In der hier vorgestellten Studie sollte die kognitive Validität von OMC Aufgaben zur Erfassung des Verständnisses von Materie untersucht werden. Unter Verwendung der Methode des Lauten Denkens konnte erste Evidenz generiert werden, dass die eingesetzten OMC Aufgaben das Verständnis der Probanden aus Klassenstufe 12 kognitiv valide erfassen. Mit Einschränkungen bezüglich der Art der Strategieaussa-gen (inhaltsbezogene vs. nicht-inhaltsbezogene Strategien) kann diese Aussage auch auf die Probanden der Klassen-stufe 9 übertragen werden. Auf die Probanden die Klassen-stufe 6 hingegen lässt sich diese Aussage nicht übertragen. Dennoch wählten diese Probanden bei der Bearbeitung der OMC Aufgaben zum Großteil Antworten, die dem Modell gemäß ihrem Verständnisniveau entsprechen sollten. Da es sich bei der Durchführung einer Lautes-Denken-Studie sowie der Auswertung der dabei gewonnenen Daten um ein sehr zeitaufwändiges Vorhaben handelt, musste sich in dieser Studie auf eine kleine Stichprobe beschränkt werden.

decken sich mit den Aussagen von Nakhleh et al. (2005), die die Inkonsistenz im Antwortverhalten der Schülerinnen und Schüler dieser Klassenstufe auf eine nicht ausreichende Vernetzung der Wissensbasis zurückführen. Insgesamt lässt sich für Klassenstufe 9 festhalten, dass fünf der acht OMC Aufgaben in der Lage waren, das Verständnis von Materie der Probanden valide zu erfassen. An dieser Stelle treten die Grenzen der Methode des Lauten Denkens zu Tage, die ein gezieltes Nachfragen zur möglichen Aufklärung dieses Befundes nicht gestattet.

Die Probanden der Klassenstufe 6 nutzten bei der Bearbeitung der vorgelegten OMC Aufgaben zum Groß-teil Strategien, bei denen sie nicht auf ein Verständnis von Materie zurückgriffen (Tab. 2). Im Vergleich zur Anzahl an Strategieaussagen der Probanden in den Klassenstufen 12 und 9 war die Anzahl an Strategieaussagen in Klassenstufe 6 eher gering. Betrachtet man den Anteil an Strategieaus-sagen zum Materiekonzept, kann festgestellt werden, dass die Probanden bei der Bearbeitung der OMC Aufgaben kaum ein Verständnis von Materie zum Ausdruck brachten. In den 15 von 24 möglichen Fällen (8 OMC Aufgaben – 3 Probanden aus Klassenstufe 6), in denen den Probanden ein Verständnisniveau zugeschrieben werden konnte, stimmte dieses Niveau nur in 4 Fällen mit dem Niveau der gewähl-ten OMC Antwortoption überein (vgl. auch Tab. 3). In den anderen elf Fällen wurde den Probanden zwar sowohl durch die OMC Aufgaben als auch durch die Analyse der inhalts-bezogenen Strategien zum größten Teil eines der beiden unteren Verständnisniveaus zugeordnet, doch handelte es sich dabei nicht um dasselbe Niveau (d. h. VNOMC = 1 und VNLD = 2 oder umgekehrt). Dies erklärt auch den großen Mittelwert der absoluten Abweichung beider Verständnis-niveaus (vgl. Tab. 3). Diese Ergebnisse legen nahe, dass die eingesetzten OMC Aufgaben das Verständnis der Pro-banden aus Klassenstufe 6 nicht valide abbilden. Weiter liefern die Ergebnisse Hinweise darauf, dass Probanden, die nicht in der Lage waren, bei der Bearbeitung der OMC Aufgaben auf ein Verständnis von Materie zurückzugreifen, ebenso vornehmlich Antwortoptionen wählten, die sich auf typische Alltagsvorstellungen oder Hybridvorstellungen beziehen. Für diese Probanden (vornehmlich aus Klassen-stufe 6) handelt es sich bei den OMC Antwortoptionen, die den unteren Verständnisniveaus zugeordnet sind, nicht um „offensichtlich“ falsche Antworten. Tatsächlich scheinen die Vorstellungen, die diesen beiden Verständnisniveaus zugeordnet sind, ihrem Verständnis von Materie am ehesten zu entsprechen, ohne dass sie in der Lage sind, dieses im Verlauf einer Lautes-Denken-Studie zu verbalisieren.

Basierend auf den vorliegenden Ergebnisse Kriterien für Gestaltung von kognitiv validen OMC Aufgaben zu formulie-ren, ist nur sehr eingeschränkt möglich. Konnte die Methode zwar im Einzelfall eingesetzt werden, um Schwierigkeiten oder Missverständnisse in den Antwortoptionen zu identi-

11

1 3


Wurden in dieser Studie daher Schülerinnen und Schüler aus Klassenstufen mit einem Drei-Jahres-Abstand gewählt, sollen an weiteren Studien Schülerinnen und Schüler der ausgelassenen Jahrgänge teilnehmen. Zusammen mit den Ergebnissen aus vorherigen Studien (Alonzo und Steedle 2009; Hadenfeldt und Neumann 2012) liefert diese Studie weitere Hinweise, dass ein Verständnis naturwissenschaftli-cher Konzepte durch OMC Aufgaben valide erfasst werden kann. Und obwohl die in dieser Studie dargestellten Aus-sagen über die kognitive Validität von OMC Aufgaben vor dem Hintergrund des Basiskonzepts Materie zu verstehen sind, ist das hier beschriebene methodische Vorgehen nicht von einem bestimmten Basiskonzept abhängig und kann daher auf vergleichbare Untersuchungen für andere Basis-konzepte übertragen werden.

Literatur

Acher, A., Arcà, M., & Sanmartí, N. (2007). Modeling as a teaching learning process for understanding materials: A case study in pri-mary education. Science Education, 91(3), 398–418.

Adadan, E., Trundle, K. C., & Irving, K. E. (2010). Exploring Grade 11 students’ conceptual pathways of the particulate nature of mat-ter in the context of multi-representational instruction. Journal of Research in Science Teaching, 47(8), 1004–1035.

Adbo, K., & Taber, K. S. (2009). Learners’ mental models of the par-ticle nature of matter: A study of 16-year-old Swedish science stu-dents. International Journal of Science Education, 31(6), 757–786.

Alonzo, A. C., & Steedle, J. T. (2009). Developing and assessing a force and motion learning progression. Science Education, 93(3), 389–421.

American Association for the Advancement of Science. (2001). Atlas of Science Literacy. New York: Oxford University.

Andersson, B. (1990). Pupils’ conceptions of matter and its transfor-mations (age 12–16). Studies in Science Education, 18, 53–85.

Ayas, A., Özmen, H., & Çalik, M. (2010). Students’ conceptions of the particulate nature of matter at secondary and tertiary level. Inter-national Journal of Science and Mathematics Education, 8(1), 165–184.

Bar, V., & Galili, I. (1994). Stages of children’s views about evapora-tion. International Journal of Science Education, 16(2), 157–174.

Bernholt, S., Commons, M. L., & Parchmann, I. (2009). Kompetenz-modellierung zwischen Forschung und Unterrichtspraxis. Zeit-schrift für Didaktik der Naturwissenschaften, 15, 219–245.

Bernholt, S., Neumann, K. & Nentwig, P. (2012). Learning outcomes in science education: Making it tangible. Münster: Waxmann.

Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozial-wissenschaftler (4. Aufl.). Heidelberg: Springer Medizin Verlag.

Bouwma-Gearhart, J., Stewart, J., & Brown, K. (2009). Student mi-sapplication of a gas-like model to explain particle movement in heated solids: Implications for curriculum and instruction towards students’ creation and revision of accurate explanatory models. International Journal of Science Education, 31(9), 1157–1174.

Briggs, D. C., Alonzo, A. C., Schwab, C., & Wilson, M. (2006). Dia-gnostic assessment with ordered multiple-choice items. Educatio-nal Assessment, 11(1), 33–63.

Cheung, D. (2009). Using think-aloud protocols to investigate secon-dary school chemistry teachers’ misconceptions about chemical equilibrium. Chemistry Education Research and Practise,10 (2), 97–108.

Coll, R. K., & Treagust, D. F. (2001). Learners’ use of analogy and alternative conceptions for chemical bonding. Australian Science Teachers Journal, 48(1), 24–32.

Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psycho-logical tests. Psychological Bulletin, 52, 281–302.

Deffner, G. (1984). Lautes Denken: Untersuchung zur Qualität eines Datenerhebungsverfahrens. Frankfurt a. M.: Lang.

Dresing, T., & Pehl, T. (2011). Praxisbuch Transkription. Regelsyste-me, Software und praktische Anleitungen für qualitative Forsche-rInnen. Marburg: Eigenverlag.

Duit, R. (2008). Students’ and teachers’ Conceptions and Science Edu-cation (STCSE) (Bibliographie). Retrieved 12.03.2010, from IPN.

Ericsson, K., & Simon, H. (1980). Verbal reports as data. Psychologi-cal Review, 87(3), 215–251.

Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis: Verbal re-ports as data (Rev. ed.). Cambridge: MIT.

Greatorex, J., & Sütő, W. (2008). What do GCSE examiners think of ‚thinking aloud‘? Findings from an exploratory study. Educational Research, 50(4), 319–331.

Hadenfeldt, J. C., & Neumann, K. (2011). Materie verstehen - aber wie? Die Entwicklung von Kompetenz im Umgang mit dem Materiekonzept. Naturwissenschaften im Unterricht – Chemie, 124/125, 87–91.

Hadenfeldt, J. C., & Neumann, K. (2012). Die Erfassung des Verständ-nisses von Materie durch Ordered Multiple Choice Aufgaben. Zeitschrift für Didaktik der Naturwissenschaften, 18, 317–338.

Harrison, A. G., & Treagust, D. F. (1996). Secondary students’ mental models of atoms and molecules: Implications for teaching chemis-try. Science Education, 80(5), 509–534.

Herrmann Abell, C. F., & DeBoer, G. E. (2011). Using distractor-dri-ven standards-based multiple-choice assessments and Rasch mo-deling to investigate hierarchies of chemistry misconceptions and detect structural problems with individual items. Chemical Educa-tion Research and Practice, 12, 184–192.

Hmelo-Silver, C. E., & Duncan, R. G. (2009). Learning progressions: Aligning curriculum, instruction, and assessment. Journal of Re-search in Science Teaching, 46(6), 606–609.

Johnson, P. (1998). Progression in children’s understanding of a basic particle theory: A longitudinal study. International Journal of Sci-ence Education, 20(4), 393–412.

Johnson, P. (2002). Children’s understanding of substances, Part 2: Ex-plaining chemical change. International Journal of Science Edu-cation, 24(10), 1037–1054.

Knoblich, G., & Öllinger, G. (2006). Die Methode des Lauten Den-kens. In J. Funke & P. Frensch (Hrsg.), Handbuch der Allgemeinen Psychologie – Kognition (S. 691–696). Göttingen: Hogrefe.

Krnel, D., & Glazar, S. (2003). The developement of the concept of „Matter“: A cross-age study of how children classify materials. Science Education, 87(5), 621–639.

Krnel, D., Watson, R., & Glazar, S. A. (1998). Survey of research re-lated to the development of the concept of ‚matter‘. International Journal of Science Education, 20(3), 257–289.

Lai, M. L., Tsai, M. J., Yang, F. Y., Hsu, C. Y., Liu, T. C., Lee, S. W. Y., … & Tsai, C. C. (2013). A review of using eye-tracking technolo-gy in exploring learning from 2000 to 2012. Educational Research Review, 10, 90–115.

Lamnek, S. (2005). Qualitatives interview. In S. Lamnek (Hrsg.), Qua-litative Sozialforschung (S. 329–402). Weinheim: Beltz PVU.

Löfgren, L., & Helldén, G. (2009). A longitudinal study showing how students use a molecule concept when explaining everyday situations. International Journal of Science Education, 31(12), 1631–1655.

Long, D., & Bourg, T. (1996). Thinking aloud: Telling a story about a story. Discourse Processes, 21(3), 329–339.

12

1 3


Steedle, J. T., & Shavelson, R. J. (2009). Supporting valid interpreta-tions of learning progression level diagnoses. Journal of Research in Science Teaching, 46(6), 699–715.

Stevens, S., Delgado, C., & Krajcik, J. S. (2009). Developing a hypo-thetical multi-dimensional learning progression for the nature of matter. Journal of Research in Science Teaching, 47(6), 687–715.

Taber, K. S. (2005). Learning quanta: Barriers to stimulating transiti-ons in student understanding of orbital ideas. Science Education, 89(1), 94–116.

Tan, K. C. D., Goh, N. K., Chia, L. S., & Treagust, D. F. (2002). De-velopment and application of a two-tier multiple choice diagnostic instrument to assess high school students’ understanding of inorga-nic chemistry qualitative analysis. Journal of Research in Science, 39(4), 283–301.

Terzer, E., Patzke, C., & Upmeier zu Belzen, A. (2012). Validie-rung von Multiple-Choice Items zur Modellkompetenz durch lautes Denken. In U. Harms & F. X. Bogner (Hrsg.), Lehr- und Lernforschung in der Biologiedidaktik (S. 45–62). Innsbruck: Studienverlag.

Treagust, D. F., & Chandrasegaran, A. L. (2007). The Taiwan natio-nal science concept learning study in an international perspective. International Journal of Science Education, 29(4), 391–403.

Jan Christoph Hadenfeldt ist seit 2008 Studienrat an der Kieler Gelehrtenschule. Er studierte Mathematik, Chemie und Informatik für das Lehramt an Gymnasien an der Universität zu Kiel und schloss das Studium 2006 mit dem 1. und 2008 mit dem 2. Staatsexamen ab. Seit 2009 ist er teilabgeordneter wissenschaftlicher Mitarbeiter in der Abteilung Didaktik der Physik am Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN).

Björn Repenning ist seit 2013 Referendar am städtischen Gymna-sium Bad Segeberg. Er studierte Mathematik und Physik für das Lehr-amt an Gymnasien an der Universität zu Kiel und schloss das Studium 2012 mit dem Master of Education ab. Von 2012 bis 2013 arbeitete er als wissenschaftlicher Mitarbeiter am Leibniz-Institut für die Pädago-gik der Naturwissenschaften und Mathematik (IPN).

Knut Neumann ist seit 2009 Professor für Didaktik der Physik an der Universität zu Kiel und ist stellvertretender Abteilungsleiter der Abteilung Didaktik der Physik am Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN). Nach dem Studium der Mathematik und Physik für das Lehramt an Gymnasien an der Heine-Universität Düsseldorf promovierte er 2004 an der Universität Heidelberg in Didaktik der Physik. Von 2004 bis 2008 war er Wis-senschaftlicher Mitarbeiter in der Forschergruppe Naturwissenschaft-licher Unterricht an der Universität Duisburg-Essen.

Marohn, A. (2008). ‚Choice2learn‘ – eine Konzeption zur Exploration und Veränderung von Lernervorstellungen im naturwissenschaftli-chen Unterricht. Zeitschrift für Didaktik der Naturwissenschaften, 14, 57–83.

Messick, S. (1989). Validity. In R. L. Linn (Hrsg.), Educational mea-surement (S. 13–103). New York: Macmillan.

Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scien-tific inquiry into score meaning. American Psychologist, 50(9), 741–749.

Mohan, L., Chen, J., & Anderson, C. W. (2009). Developing a multi-year learning progression for carbon cycling in socio-ecological systems. Journal of Research in Science Teaching, 46(6), 675–698.

Nakhleh, M. B., & Samarapungavan, A. (1999). Elementary school children’s beliefs about matter. Journal of Research in Science Teaching, 36(7), 777–805.

Nakhleh, M. B., Samarapungavan, A., & Saglam, Y. (2005). Middle school students’ beliefs about matter. Journal of Research in Sci-ence Teaching, 42(5), 581–612.

National Research Council. (1996). National science education stan-dards. Washington: National Academy Press.

Neumann, K., Viering, T., Boone, W. J., & Fischer, H. E. (2013). To-wards a learning progression of energy. Journal of Research in Science Teaching, 50, 162–188.

Novick, S., & Nussbaum, J. (1978). Junior high school pupils’ unders-tanding of the particulate nature of matter: An interview study. Sci-ence Education, 62(3), 273–281.

Novick, S., & Nussbaum, J. (1981). Pupils’ understanding of the par-ticulate nature of matter: A cross-age study. Science Education, 65(2), 187–196.

Park, E. J., & Light, G. (2009). Identifying atomic structure as a Thres-hold concept: Student mental models and troublesomeness. Inter-national Journal of Science Education, 31(2), 233–258.

Pfundt, H. (1981). Das Atom – letztes Teilungsstück oder erster Auf-baustein? Zu den Vorstellungen, die sich Schüler vom Aufbau der Stoffe machen. Chimica Didactica, 7, 75–94.

Renström, L., Andersson, B., & Marton, F. (1990). Students’ concepti-ons of matter. Journal of Educational Psychology, 82(3), 555–569.

Ruiz-Primo, M. A., Shavelson, R. J., Li, M., & Schultz, S. E. (2001). On the validity of cognitive interpretations of scores from alterna-tive concept-mapping techniques. Educational Assessment, 7(2), 99–141.

Schermelleh-Engel, K., & Werner, C. (2007). Methoden der Reliabili-tätsbestimmung. In H. Moosbrugger & A. Kelava (Hrsg.), Test-theorie und Fragebogenkonstruktion (S. 114–133). Heidelberg: Springer.

Sekretariat der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland. (2005). Bildungsstandards im Fach Physik für den Mittleren Schulabschluss. Beschluss vom 16.12.2004. München: Luchterhand.

Shavelson, R. J., Ruiz-Primo, M. A., & Wiley, E. W. (2005). Windows into the mind. Higher Education, 49(4), 413–430.

Documents

Die kognitive Validität von Ordered Multiple Choice Aufgaben zur Erfassung des Verständnisses von Materie; The Cognitive Validity of Ordered Multiple Choice Items to Assess Students’