Sauli TakalaUniversity of Jyväskylä12. CercleS-Konferenz

London 6.-8. September 2012

Überblick

•Die aktuelle Debatte zur Definition des Konstrukts beim Sprachenlernen •Handlungsorientiertes Sprachenlernen und -bewerten: Vernachlässigung einiger relevanter Quellen und Quellenkritik •Modelle der Sprachbewertung nach dem handlungsorientierten Ansatz •Das Für und Wider der Checklistenmethode•Bewerten mittels Checklisten •Abschließende Bemerkungen

Definitionsversuch des Konstrukts der Sprachperformanz:

•Kompetenzfokussierung (z.B. Bachman 2002, 2006)•Aufgabenfokussierung (z.B. Norris 2005)•Interaktionsfokussierung

•siehe nächste Folie für einen Überblick zum Definitionsversuch des Konstrukts nach Bachman (2007; What is the construct? The Dialectic of Abilities and Contexts in Defining Constructs in Language Assessment. In Fox et al. Language Testing Reconsidered. Ottawa: U of Ottawa Press, 41-71)

Approaches to defining the construct in language testing/assessment, Bachman, 2007Konstrukt Fertigkeit/Merkmal Aufgabe/Inhalt

Skills & elements; Lado, 1961; Carroll, 1961

Elemente / Aspekte / Niveaustufen / integrative Fertigkeiten

Separate Punkte, integrative Aufgaben, Taxonomie der Aufgaben

Direct testing, perform. assClark 72, Jones85, Wesche

Spra.fertigkt in Aufgaben, Performanz im real. Leben

reelle Aufgaben; authentische Übungen

Pragmatic LT; Oller 1979

Pragm. Gramm.erwartgen

Pragmatische Tests

Communicative LT; Canale & Swain 1980 etc.

Kommunikatives Konzept, allg. Sprachfertigkeit

Sinnvolle komm. Sit.; authentische Aufgaben

Interaction-ability: Bach-man 1990, Bach & Palm96

Komm. Sprachkompetenz, Sprachkompetenz

Facetten v.Testmethoden; Aufgabencharakteristika

Task.based perf. assessm1Brindley1994, MacNam96

Fähigkeit zum Sprachgebrauch

Simulation reeller Aufgaben

Task-based perf.assessm2Norris1998, Brown2002

Komp. zur Bewältigung konkr. Aufgaben /-typen

Performanz in konkreten Aufgaben/-typen

Minimalist interactionalist Kramsch1986, Chapelle98

Interaktionelle Kompetenz / Fähigkeiten

Kollaborative Aktivitäten, Interaktionscharakter

Strong interactionalistHe&Young 98, Young00

Interaktionelle Kompetenz

Diskursive Methoden

Moderate interact. Chalhoub-Deville03

Kompetenz des Individuums im Kontext

Gibt es grundlegende Unterschiede oder ist es nur eine Frage der Schwerpunktsetzung?

Sind wir faktisch daran interessiert, herauszufinden, inwiefern Kompetenz für die Anwendung von Sprache zur Aufgabenbewältigung verantwortlich ist?

Gibt es eine unvermeidliche Interaktion zwischen der Kompetenzstufe und der Aufgabenart?

Repräsentieren Aufgaben die Ziele /erforderlichen Kompetenzen?

Einige hilfreiche frühe Quellen – zu einem bestimmten Grad vernachlässigt

•Linguistische Philosophie (besonders im Spätwerk Wittgensteins, Philosophische Untersuchungen, 1953)•Soziologie und Sozialpsychologie (Kurt Lewin, Bales (1950), Festinger (1951), Watzlawick (1967) – Kommunikation und Interaktion in Kleingruppen•Linguistischer Pragmatismus – besonders die frühe Kritik Austins (1955/1962) und Searles (1969) durch deutsche Pragmalinguisten (Wunderlich, 1972; Ehlich & Rehbein, 1972 – Praxeogramme...)

ROLLE/SOZIALE ROLLE: auch vernachlässigt?In der Sozialpsychologie wird die Rolle folgendermaßen definiert: die Menge aus Verhaltensweisen, Rechten und Pflichten, die von den Akteuren in einer sozialen Situation festgelegt werden. Es handelt sich um ein erwartetes, freies oder sich stetig veränderndes Verhalten, das einen bestimmten individuellen sozialen Status oder eine soziale Position vorsieht.Funktionalistisches und interaktionistisches Verständnis der Gesellschaft und allen sozialen Verhaltens, samt des kommunikativen Verhaltens (siehe nächste Folie) •Arbeitsteilung – Interaktion zwischen heterogen spezialisierten Positionen/Rollen.•Rollen sind von Individuen/Akteuren belegt. •Soziale Rollen/soziales Verhalten sind durch soziale Normen bestimmt (Erwartungen, Grad der Konventionalität).•Legitime und konstruktive Rollen – Belohnungserwartung (vs. Bestrafung).•Veränderte soziale Bedingungen Veränderung der Rolle.

Kommunikative Aufgabe

Kommunikatives System

Situative Faktoren: Rollen/Aufgaben, Beziehungen zwischen Gesprächspartnern, Kontextgebrauch, Bekanntheitsgrad ...

Phasen und ihre Basisfunktionen: Beginn ... Fazit; Information, Kontakt, Argumentation

Kommunikationsart: Kanäle, Input - Output (Wiederholung, Modifikation, Kommentieren, Vertiefung ...Erfindung/Kreation)

Themen und Begriffe

- Themen (siehe UDK, UDC) - Metakommunikation

Code /Sprachgebrauch

- Allgemeinsprache - Sprache für bestimmte Zwecke - Verständnis - Ausdruck

Übernommene/notwendige Sprachgebrauchsnorm

Grad der Differenziertheit Grad der Fehlertoleranz

Aufgabenspezifischer Sprachgebrauch

Spezifizierung von Sprachressourcen

Spezifizierung von inhaltlichen Voraussetzungen

Aufgabenspezifische Definition der Bewertungskriterien

nach: Freihoff & S. Takala (1974). A Systematic Description of Language Teaching Objectives Based on the Specification of Language Use Situations. University of Jyväskylä.

Externe Situation

Interne Situation

Code: Verwendung Personen:

Ziele, Beziehungen

Zeit, Ort, Störgeräusche

Kanäle, Medien

Thema/ Aspekt

Verarbeitung: Input-Output

Dynamik der situierten Interaktion

nach: Fischer et al., Guidelines for task-based university language testing. Graz: ECML, 2011, S. 21.

Puren, C. ( 2008). Formes pratiques de combinaision entre perspective actionnelle et approche communicative: analyse comparative des trois manuels. Langues Modernes. Zitiert nach Fischer et al., 2011, S. 22. (Beachten Sie die Einbeziehung der Rollen!)

Sprachtesten/-bewerten – Kernpunkte und Probleme

•Sprachtesten/-bewerten ist bekanntermaßen anspruchsvoll/komplex•Sprachtesten/-bewerten sollte viele Kriterien erfüllen:

(a) Es gibt viele Dinge, die zu beachten sind. (b) Es gibt eventuell Dinge, die man nicht gut genug

kennt (unvermeidbarer Grad von Unwissenheit oder gar Untauglichkeit?).

(c) Es kann ernshafte Konsequenzen haben.

Kann man Sprachtesten/-bewerten weniger anspruchsvoll und komplex gestalten und vermeidbare Probleme/Fehler ausschließen?

Bewerten – Viele Dinge, die beachtet werden müssen

•Aspekte guten Sprachgebrauchs beobachten lernen, zuerst Beobachtung weniger guten Sprachgebrauchs zu vermeiden•Beispielsweise beim Bewerten lernen, Folgendes zu vermeiden:

• Halo-Effekt • Effekt der zentralen Tendenz• Effekt der Einschränkung des Messbereichs• Härte oder Nachsicht

What about using Checklists?

• Checklisten: Alltagsgebrauch – Einkaufszettel • Checklisten/Bestandsaufnahmen – haben lange

Tradition bspw. bei Persönlichkeitsfragebögen (Selbstevaluation, Vorlieben).

• Checklisten – häufiger Gebrauch im Gesundheitswesen/ bei der Pflege, im Flugverkehr/Piloten, im Bauwesen, …

• Gawande, A. (2010). The checklist manifesto. How to get things right. London: Profile Books.

• Western Michigan Checklist Project (www.xxx)• Scriven, M. (2000/2007). The Logic and

Methodology of Checklists. Western Michigan University.

Abneigung gegenüber Checklisten – Vorwände

”Es ist unter unserer Würde, Checklisten zu benutzen, eine Beschämung. Es ist wider unserer tiefen Überzeugung davon, wie die wahrhaft Großen unter uns – die, welche wir erstreben zu sein – riskante und komplexe Situationen bewältigen. Die wahrhaft Großen sind wagemutig. Sie improvisieren. Sie haben keine Protokolle und Checklisten. Vielleicht braucht unser Heldenbild ein Update.” (nach: Gawande, S. 173)Checklisten – langweilig Professionalität – Erwartungen: Selbstlosigkeit, Geschicklichkeit, Zuverlässigkeit, Disziplin. Wir sind nicht zur Disziplin geboren (Neuheit, Spannung). Wir müssen daran arbeiten. (S. 182-3).

Wie ist es mit der Bildung?

Checklisten sind ein wertvolles Evaluationsverfahren, wenn sie mit Bedacht entwickelt, überprüft und angewandt werden. Eine solide Evaluationscheckliste:

• definiert die Kriterien, die mindestens bei der Evalutaion eines bestimmten Bereichs in Betracht gezogen werden sollten.

• hilft dem Gutachter, die wichtigen Kriterien nicht zu vergessen

• erhöht die Objektiviät, Glaubwürdigkeit und Reproduzier-barkeit des Gutachtens

Außerdem ist eine solche Checkliste hilfreich, wenn es darum geht, Vorgänge zu planen, zu überwachen und anzuleiten und deren Ergebnisse zu bewerten. In der Evaluationsfachsprache sind Checklisten sowohl bei formativen als auch summativen Evaluationen hilfreich. (Nach: Scriven, M. The Logic and Methdology of Checklists. Western Michigan University. 2000, 2007)

Checklisten sind nicht gleich gemacht – mehr schlechte als gute Checklisten?

•schlechte Checklisten: ungenau, unpräzis, zu lang, schwer in der Benutzung, unpraktisch

•gute Checklisten: präzis, effizient, auf den Punkt, einfach in der Benutzung, enthalten Erinnerungen (nicht erschöpfende), praktisch. Normalerweise nicht mehr als 5-9 Punkte.

Arten von Checklisten•Listen (mnemonisch) – bspw. Einkaufszettel, Wäscheliste – Schwerpunkt Gruppierung•Sequenzielle Checklisten – Wichtigkeit der Reihenfolge:

• stark sequenziell, wenn die Reihenfolge (einiger oder aller zu prüfender Punkte) beachtet werden muss, um zulässige Ergebnisse zu erhalten.

• schwach sequenziell, wenn die Reihenfolge wichtig ist, aber eher aus psychologischen oder Effizienzgründen als aus logischer oder physischer Notwendigkeit.

Iterative Checklisten sind im Ganzen oder teilweise sequenziell, aber setzen mehrfache Durchgänge voraus bzw. können diese voraussetzen, um einen stabilen Messwert für jeden zu prüfenden Punkt zu erreichen.

Diagnostische Checklisten, wie sie beispielsweise von Systematikern, Mechanikern und Toxikologen verwendet werden, unterstützen typischerweise eine klassifikatorische Schlussfolgerung, welche deskriptiv oder wertend sein kann.

Die wahrscheinlich wichtigste Checkliste für Evaluationszwecke ist die Criteria of Merit Checkliste (COMlist). Diese benutzen Preisrichter, wenn sie Skate-, Grill- oder Agrarerzeugniswettbewerbe bewerten (und, natürlich bei der Beurteilung sprachlicher Performanz).

Zentrale Voraussetzungen für COMlists /Criteria of Merit

Die meisten sind selbsterklärend und beziehen sich auf die Kriterien oder Prüfpunkte, die eine COMlist ausmachen:1.Die Prüfpunkte sollten sich auf Kriterien und nicht bloße Indikatoren beziehen. 2.Die Listen sollten vollständig sein (keine wesentlichen Auslassungen). Die einzelnen Punkte sollten zusammenhängend sein, sich also nicht überschneiden (unerlässlich, wenn die Liste zur Punktebewertung benutzt wird). 3.Die Kriterien sollten messbar sein. 4.Die Kriterien sollten eindeutig sein (verständlich, anwendbar).5.Die Liste sollte prägnant sein (um die mnemonischen Funktionen zu unterstützen). Sie sollte bspw. keine überflüssigen Kriterien enthalten. 6.Die Kriterien sollten beweisbar sein (bspw. messbar oder zuverlässig ableitbar).

(Scriven, 200, 2007)

Positive Entwicklungen

•Wissenslücken bzw. Unwissenheit vermindernd: angemessene Richtlinien bewährter Verfahren•Mit der Transparenz geht es voran: auf dem Feld der Verknüpfung von Prüfungen mit dem GER wird geforscht und brauchbare Forschungsergebnisse werden zugänglich.•Schulungen zum Sprachtesten /-bewerten sind zunehmend verfügbar (EALTA, ALTE).•Folglich haben wir zunehmend bessere Chancen, die Dinge richtig zu machen.

Scriven, M. (2000/2007). The Logic and Methodology of Checklists. Western Michigan University.Gawande, A. (2010). The checklist manifesto. How to get things right. London: Profile Books.