BEURTEITERINNEN IN DEN KOPF GESCHAUT.

WIE DAS VERFAHREN DES TAUTEN DENKENS IM RAHMEN VON

BEURTEITUNGSSCHULUNGEN EINGESETZT WERDEN KANN.'Arras, Ulrike/Marks, D aniel a/Zimmermann, Sonj a, Tes tD aF -Ins titt tt, Hagen0 Problemaufriss und Begründungszusammenhang

Ulrike Anas. Daniela Marks und Sonja Zirnmennann sind Referenlinnen ftir Testeutwicklung arn TestDaF-lnstirut. das seir 2001 die standardisiertePrüfung Tesi Deutsch als ni.*Orpru.'ir" .istellt und weltweit administricrt. Ihr Arbeitsgebiet"umfasst neben Fragen der Testerstel I ung und LeistuLngs-

beurrciiung dic Durchfirhrung von Schulungcn und Fortbildungcn aufdent Gebiet der Lcisrungstncssung. Vorlicgcndcr Bcitrag wurde aul'dcr X.lV IDTin Jena in der Sektion I2 Qualitätsentwicklung uld Qualitätssicherung in institutionellen Zusammenhängen vorgetragen.

Die Beulteilung von Pnifungsleistungenstellt ein zentrales Problem bei der Quali-tätssicherung eines Tests dar. Zwar sindSclrulungcn und Kalibrierungen' der Be-urteilerlnnen gerade bei standardisiertenTests grundlegend,.ledoch wissen wirtrotz kriterienorientierten Vorgehens undder Operationalisierung von Beurlei-lungsmaßstäben wenig darüber, wie dieBeurleilerlnnen bei ihrer Arbeit verfah-ren, mit welchen Strategien sie die Be-urteilung einer Leistung bewerkstelligenund welche Faktoren die Wahrnehmungund damit das Urteil beeinl'lussen. Daherbesteht ohne diese Erkenntnisse die Ge-fahr mangelnder Validität derBeurteilung.

Um Einblicke in die Vorgehensweisenr"rnd Maßstäbe der Beurteiluns zu erhal-ten. wurden in eiuel empirischcn Srudiemittels introsoektiver Verfahren - wiesogenal-lnter Laut-Denken-Protokolle undretrospektiver Interviews - Daten imKontext der Prufung Test Deutsch alsFremdsprache (TestDaF) erhoben. BeimLaut-Denken-Verfahren waren die an derStudie teilnehmenden Beurteilerlnnengehalten, möglichst alie ihre Gedankenund Uberlegungen während ernerkonkreten Ar beit (hier die Beufteilungschriftlicher Leistungen) zu verbalisieren,um so Einblicke in die bei der Beultei-lung ablaufenden kognitiven Prozesse zugewrnnen.

Ein wesentlicher Befund bestand darin.dass die Beurteilerlnnen das Verlahrendes Lauten Denkens für sich selbst undfi.ir ihre Beurteilung als hillreich erachte-ten. Dies fllhrte zu der Frage, ob intro-spektive Verfahren bei der Schulung vonBeurteilerlnnen dienlich sein könnten,insbesondere weil sie dabei helfen. ver-zerende Faktoren wie individuell ge-prägte Beurteilungsstrategien, subjektrveTheorien', aber auch akute persönliche

Befi ndlichkeiten während der Beurtei-lungsarbeit bewusst zu machen. Die Be-wusslrnachung dieser Faktoren ist vonzentraler Bedeutung bei Beurleilungsschu-lungen, denn sie ermöglicht eine kritischeReflexion und darauf aufbauend einemögl iche Revision des Beurteilunlgsver-haltens, was wiedemm ausschlaggebendist für eine valide, an gemeinsamen Kri-terier.r orientierte Leistungsbeurleilung.

Um zu übencrüfen. ob das Laute Denkenals integraler Bestandteil von Beurtei-lungsschulungen eingesetzt werden kann,wurden in einer Pilotstudie das Verfahrenerprobt, und mittels Fragebogen Daten zurHandhabbarkeit und zurn Nurzen diesesaufwendigen Verfahrens erhoben.

Im Folgenden soll zunächst die genannteStudie zu Beuneilungsstrategicn kurzvorgestellt werden, um sodann Erkennt-nisse aus der erwähnten Pilotstudie zurEinsetzbarkeit des Lallten Denkens inBeurteih.rngsschulungen zu diskutierenund praktische Vorschläge zu unterbreiten.Zunächstjedoch soll kurz der Rahmen dergenannten Untersuchungen skizziertwerden, nämlich die Prüfung TestDaF undder Prüfungsteil Schriftlicher Ausdruck,auf dessen Gnrndlage die Daten erhobenwuroen.

I Der TestDaF

Die Prüfung TestDaF ist eine seit 2001eingesetzte Deutschprüfung für ausländi-sche Studierende, die in Deutschland einHochschulstudium aufnehmen wollen. Eshandelt sich um eine standardisierte Prü-fuirg auf den l(ompetenzstufen 82 und C1des Gemeinsamen europäischen Referenz-rahnrens flir Sprachen lGER). Getestetrverden die vier Kompetenzbereiche Lese-verstehen, Höwerstehen, SchriftlicherAusdruck und Mündlicher Ausdruck invier seoaraten Subtests.

Die zu testenden Komoetenzen umfassenSprachhandlungen, die für den akademi-schen Kontext relevant sind, so beispiels-weise beim Prüfungsteil SchriftlicherAusdruck das Abfassen eines längeren,diskursiven Textes anhand von Vorgabenwie statistische Daten und Statements o.l4^.Die Prüfung wird zentral im TestDaF-Institut in Deutschland erstellt. dezentralin lizenzierlen Testzentren in aller Weltdurchgefi.ihrt und unmittelbar danachzentral in Deutschland ausgewefiet. DieQualitätssicherung ruht dabei aufmehreren Säulen:

' Die Testerstellung liegt in der Handgeschulter Testautorlnnen, die dieTestaufgaben anhand vorgegebenerTestspezifi kationen konzipieren.

' Die Testaufgaben werden vor ihremEinsatz ini Rahmen einer TestDaF-Prüfung in einem umfassenden Eva-luationsprozess erprobt, testmetho-disch analysiert und ggf. revidtefi.

' Die Durchführr"rng erfolgt rveltweitanhand vorgeschriebener Durch-führungsmodalitäten.

' Die Beurreilung der Leistungengeschieht analog des fiirjeden Prü-fungstei I vorgesehenen Testformats:Im Falle seschlossener Items desLeseverstehens und in Teilen desHörverstehens werden die Punktscoresermittelt und das Ergebnis einer derdre i Kompetenzstufän zugeordner'.Die Teilnehmerantworten zu denoffenen Itemformaten der SubtestsSchriftlicher Ausdruck und Münd-licher Ausdruck werden von ge-schulten B eurteilerlnnen beurteilt.Hierzu führt das TestDaF-lnstitutverschiedene Maßnahmen durch, dieein größtmögliches Maß an Validität

DaF BrückeNr 1'1 Dez. 2009

ARRAS - MARKS . ZIMMERMANN

und Reliabilität der Urteile ermögli-chen, nämlich vorgegebene Beuftei-lungskriterien in Form skalierter Des-kriptoren, Schulungen und testsatz-spezifi sche Kalibrierungen, mit denendie Beurteilerlnnen zu jedem Test-satz emeut auf die Beur-teih"rngsarbeitvorbereitet werden.

' Herzstück der Beurteilungsarbeit inden produktiven Prufungsteilen sindskalierte Deskriotoren. die bei derBeufieilung anzülegen sind. Insge-samt werden im Schriitlicheu Aus-druck neun Einzelaspekte r,r,eitgehendunabhängig voneinander und gleich-gewichtet beurteilt", Die Ermittlungeines fairen Durchschnitts für diePrufungsteilnehmenden erfolgt dannim TestDaF-Instirut lxittels Multifa-cetten-Rasch-Analysen. Bei diesemVerfahren wird der Einfluss von un-terschiedlichen Variablen auf die Be-urteilung - beispielsweise die Strengeoder Milde der beurteilenden Person

- erfasst und ausgeglichen. Zudemennöglicht dieses Verfahren auch eineindividuelle Rückmeldung zur Beur-teilungsleistung an die Beurteilerln-nen (s. dazu für den Kontext TestDaF:Eckes (2004, 2005); fiir den KontextD SD : Eckes/Weiss-MotzÄVhelan-Mostofizadeh (2009\.

1. I Prül'ungsteil SchriftlicherAusdruck

Im Prüfungsteil Schriftlicher Ausdruckmtissen die Prüfungsteilnehmenden einekompiexe Aufgabe bearbeiten, die ver-schiedene kognitive Operatronen undSchreibhandlungen untfässt-. Die Prüf-linge schreiben einen diskursiven Textanhand von Vorgaben in Form von sta-tistischen Daten, die in einem Diagramrnaufbereitet sind, und Statements zueinem gesell schaftlich oder' (bildungs-)politisch relevanten und aktuellen The-ma. Die Daten sind zu beschreiben, dasThema bzw. Die Leitfrage ist zu disku-tieren. Ferner soll der Text einen klarenGedankengang und eine Textstnrkturaufweisen. die dem Rezipierenden dieOrientierung erleichterl'.-Für die Bear-beitung der Aufgabe stehen 60 Minuten-''. \/.'Gir,'-c

2 Untersuchung zu Beurteilungs-strategien

Die Studie zur Eruierung spezifischerBeurteilungsstrategien bei der Beurtei-lur.rg schriftlicher Leistungen im Kontextder Prüfung TestDaF basiert auf intro-snektiven Daten. die mittels Laut-

Denken-Protokollen erhoben wurden. Invier Fallstudien beurteilten Beurleilerln-nen dieselben acht ar.rthentischen schrift-lichen Leistungen aus dem PnifungsteilSchriftlicher Ausdruck unter den Bedin-gungen des Lauten Denkens". Es handeltsich um langjährige und mehrfach ge-schulte Beurteilerimen von TestDaF-Prüfungsleistungen, die somit sehr gr-rt

vefiraut sind mit dem Beurteilungsverfah-ren, den Beurteilungsmaßstäben sowieden Anforderungen des Pnifungsteils. Dievier Ber"rrteilerinnen wurden aufgefordert,die Beufieilung der Leistungen nach demgewohnten TestDaF-Beurteilungsverfah-ren vorzunehmen. Die Daten der Laut-Denken-Protokolle wurden aufgezeichnet,transkribiert und sodann segmentiert undkodiert, um sie einer A-nalyse zugänglichzu machen.

Zudem wurden am Tag nach den Laut-Denken-Sitzungen noch retrospektiveInterviews durcligefirhrt. Dies sollte zu-sätzliche Aufschlüsse etwa hinsichtlichoroblematischer Stellen in den Laut--Denken-Protokollen

erbringen. Außerdemgab es den Beurteilerinnen die Möglich-keit, Rückmeldung zurn Verfahren zugeben. Die retrospektiven Interviewswurden ebenfalls transkribiert und einerInhaltsanalyse unterzogen.

2.1 Erkenntnisse für zukünftigeBeurteilungsschulungen

Die Untersuchung zeigte, dass die Beur-teilerlnnen vielfültige Strategien bei derBeurteilung der schriftüchen Texte ein-setzten, die sich aus verschiedenen, sichergänzenden und aufeinander aufbauen-den Einzelhandlungen zusammensetzen"'.

Besonders zu erwähnen ist, dass dieHandlunsen sehr stark von den Be-urteilung-skriterien bestimmt sind - beieiner kriterienorientierlen B eurteilungnicht überraschend, da sie zu den institu-tionellen Faktoren gehören, die denBeurteilerlnnen vorgegeben werden. Siesind daher das zentrale Referenzwerk derBeurteilunq und erhöhen durch ihre An-rvendung die Reliabilität und Validität derBeurteilung.

Zudem zeigte sich, dass - wie einieitendbereits ancedeutet - alle vier an der Stu-dien beteiligten Beurleilerinnen in den re-trospektiven Interviews unabhängig von-einander vorbrachten, das introspektiveVerfahren als gewinnbringend für sichselbst wahrzunehmen, weil es sie dazubrachte, das eigene Verhaiten, die eigenenVorlieben und Befindlichkeiten bewusst

zu machen und zu reflektieren. Trotz allerGrenzen des Verfahrens (s. dazu 3.2)bietet Introspektion die Möglichkeit zurSelbstreflexion, zur Eruierung individuellgeprägter Strategien und nicht zuletztzurRekonstruktion subjektiver Theorien, dieder Beurteilungsarbeit zugrunde liegen,denn Beurteilungsstrategien sind bewusst-seinsftihig. Diese Fähigkeit ist ein wich-tiger Faktor bei der Professionahsierung.Dies hat zunächst vor allem die Hand-lungslorschung formuliert".

Eine Konsequenz der Untersuchung warsomit die Uberlegung, inwiefern dasUntersuchungsverfahren für Schulungennutzbar gernacht werden kann.

Im Folgenden nun sollen Erkenntnisse auseiner Pilotstudie berichtet werden, die dasLaute Denken als Trainingsmethode ent-wickelt und in Beurteilungsschulungen imKontext TestDaF implementierl hat.

3 Pilotstudie zur Integration desLauten Denkens in Beurteilungs-schulungen

3.1 Vorgehen

Beurteilerlnnen, die schriftliche undmündliche Leistungen von TestDaF-Prüfungsteilnehmenden beweft en, müsseneinmal im Jahr an einer sogenannten Ka-librierungssitzung teilnehmen. Im Rah-men dieser Schr-rlungen werden Teilneh-merleistungen beurleilt, die sich von densonst üblichen Texten unterscheiden undsomit z. T. Schwierigkeiten bereiten. Da-zu gehören u. a. heterogene Leistungen,also Leistungen, die beispielsweise in-haltlich gut, aber sprachlich fehlerhaftsind, aber auch solche Leistungen, diezunächst allein durch externe Faktoren(unleserliche Handschrift, Korrekturen imText, ungewohnte Stimmlage) Einflussaufdie Beurteilung haben können.

Durch die Diskussion in Kleingruppenerhalten die Beurteiierlnnen Rückmel-dung zu ihrem individuellen Bewertungs-verhalten und können sich so in derGruppe bezüglich ihrer unterschiedlichenBeurteilungsmaßstäbe verorten.

Daher war die erste ÜIberlegung, dasLaute Denken während einer solchenSchulung einzusetzen, indem z. B. dieBeur.teilerlnnen in Paaren arbeiten: einePerson beurleilt, eine andere notiert Auf-fülligkeiten und bespricht diese danachmit der Person, die die Beurteilung vor-senommen hat. Problematisch bei diesem

''.1:

'ql"DaF BrückeNr'1'1 0e2.2009

Vorgehen erschienen jedoch mehrereAspekte: Zum einen wäre flir diesesVeifahren ein enormer Zeitaufivandnotwendig gewesen, v. a. bei einer sogroßen Personengmppe - im Durchschnittnehmen etwa 40 Personen an einersolchen Schulung teil.

Zum anderen würde dadurch die Rück-meldung dann nicl-rt mehr zentral ge-steuert, sondern aufder Grundlage derBeobachtungen Einzelner erfolgen, wasggf. ein Validitätsproblem darstellenkönnte. Des Weitelen ist fraglich, ob sichdie Beurteilerlnnen dazu bereit erklärthätten. das Verfahren irn Beisein andererdurchzuführen.

Deshalb wurde alternativ ein anderesVerfahren gewählt, bei dem die Beurtei-lerlnnen im Vorfeld der Schulr.rng Leis-tungen zur Beurteilung erhalten und dasLaute Denken für sich alleine durchfüh-ren. Jede Person erhielt zwei zu beurlei-lende Leistungen, wovon eine analog zumVorgehen bei Arras (2007) als Ubung zumVefirautmachen mit dem Verfahren diente.

Zusätzlich wurde ein Begleitschreibenverschickt, in dem die Gründe für dasVerfahren dargelegt und den Beurlei-lerlmen ihre Aufgabe näher erläutertwurde. Die Beurteilerlnnen erhieltenaußerdem eine Leerkassette für die Auf-nahme sowie einen Fragebogen, der retro-spektiv - und nach Anhören des LautenDenkens _- ausgefiillt werden sollte. DerFragebogen erhob Daten zum Verfahrenselbst. zu den Problemen. die bei der Be-urteiiung auftraten sowie zum subjektivwahrgenommenen Nutzen des Verfahrensftir die eigene Beurteilungsarbeit.

Insgesamt wllrden an 111 geschulte Beur-teiler Unterlagen ftir das Laute Denkenversendet. Der Rückiauf lag mit 86 zu-rückgesendeten B e urteilungsunterlagenund Fragebogen bei knapp 80 %. Nurrund 70 % der beteiligten Personen nah-men sich aber selbst beim Lauten Denkenauf und werteten diese Aufirahme mithilfedes Fragebogens aus't, darunter waren 13

Beufteilerlnnen, die in der Regel nurLeistungen aus dem Mündlichen Aus-druck beurteilen. Diese Personen warenzwar in der Beurleilung schriftlioher Leis-tungen geschult, hatten aber teihveisejahrelang keine Beurteilungen für diesenPnifungsteil mehr vorgenornmen.

Die Fragebogen und Aufnahmen desLauten Denkens wurden anschließend imTestDaF-Institut aus gewertet.

3.2 Ergebnisse

Bei der Auswertung der Fragebogen stan-den folgende Aspekte im Vordergrund:Wie waren die einzelnen Beudeilerlnnenwährend des Lauten Derrkens dem für sieungewohnten Verfahren gegenüber ein-gestellt'? Was fiel ihnen schwer? Wo gabes Probleme bei der Anwendung der Kri-terien? Sowie die Frage danach, ob dasVerfahren als hilfreich und für Schulun-gen generell einsetzbar betrachtet werdenkann.

Dabei zeigte sich, dass die Beurteilerln-nen dem Verfahren zunächst skeptischgegenüberstanden, irn Laufe des Vor-gehens jedoch diese Vorbehalte ablegten.Dennoch betonten viele, dass sie sichdurch das Verfahrer.r verunsichefi fühlten.So beschrieb eine Beurteilerin ihre Ein-stelh"urg gegentiber dem Lar-rten Denkenwährend der Anwendung des Verfahrensfolger.rdern.raßen:,,vorher: Abwehr! Dannging es leichter als erwafiet, aber ichfuhlte rnrch die ganze Zeit beobachtet".

Die geäußer1e Verunsicherung mag auchdamit zusammenhängen, dass eine Be-urleilung unter den Bedingungen einerIntrospektion ein ungewohntes Verfahrenist, das sich stark von der Vorgehensweiseeiner Beurleilung unter normalen Bedin-gungen unterscheidet.

So ha1 das Verfahren Grenzen, zu denengehört, dass sich die Beurteilerlnnen aufmehrere Aspekte gieichzeitig konzen-trieren mussten - was vielen schwer fiel:den Text laut lesen, a1le Handlungen undGedanken verbalisieren, Notizen auf demBewedungsbogen machen und die Be-wertungskriterien heranziehen. Dadurchfühlten sich viele von der eigentlichenBeurteilung abgelenkt. Als weitere Ein-schränkung in Bezug auf die Validität desLaut-Denken-Verfahrens merkten eini geBeurteilerlnnen an, dass sie Schwierig-keiten hatten, alle Gedanken zLtver-balisieren. Aus diesen Gründen ist dasLaute Denken auch nur schwer fi.il dieBeurteilung mündlicher Leistungenanzuwenden, da Beurteilerlrrnen nichtgleichzeitig sprechen und die Außerungeir.res Kandidaten hör en und beurleilenkönnen.

Hinsichtlich der Anwendung der Be-urteilungskriterien wurde wiederholtgeäußert, dass einige Kriterien scirwervoneinander zu trennen seien. Dies bezogsich v. a. aufdie Kriterien Lesefluss undGedankengang,

ARRAS. MÄRKS - ZIMMERMANN

Diese holistischen Kriterien beziehen sichauf die Gesamtwirkung des Textes, ohnedabei einzelne Aspekte (2. B. wie häufigsyntaktische oder lexrkalische Fehlerauftreten) zu analysieren.

Da sich beide Kriterien auf das Verstehendes Textes beziehen, ist die Zuordntingeinzelner Textstellen, an denen das Ver-ständnis beeinträchtigt ist. zu einern derbeiden Kriterien erfahrungs gemä13schwierig.

Auch in Bezug auf die Fomulierung dereinzelnen Deskriptoren wurden Problemedeutlich: Wie lässt sich beisoielsweiserein quantitativ ein ,.breites Spektrurn" irnWortschatz von einem ..begrenztenSpektrum" abgrenzen'?'".

Insgesamt wertete ein Drittel der Beurtei-lerlnnen, die das Verfahren selbst dr.rrch-geluhrt hatten, das Laute Denken als.nichthilfreich ftir ihre Beufieilungsarbeit''.Gründe dafiir waren vor allem die bereitso. g. Konzentrationsprobleme sowie einerhöhter Zeitaufwand. Mehr als die Hälftebetrachtete die Introspektion jedoch alsnützliches Verfahren bei der Beurteilung.Dies wr.rrde v. a. damit begründet, dass dieBeurteiiung stärker reflektiert würde, wiefolgende Aussagen belegen:

,,Man reflektiert das eigene Verhaltenstärker.,Bauchentscheidungen'werden minimiert."

,,Man macht sich Gedanken, revidiertnochmals eine Einstufung, weil n.rangezwungen ist, die Begründung zuformulieren und man eeht nicht zusehr ,nach Geflihl'."

Die restlichen Beurteilerlnnen haben dieNützlichkeit des Verfahrens nicht einheit-lich bewefiet. So merkte eine Beudeilerinaufdie Fraee. ob das Verfahren für stehilfreich in Bezug auf ihre Beurteilungs-arDell gewesen sel, an:

,,Auswertung könnte hilfreich sein,wenn man mir z. B. sagt: ,an dieserStelle haben Sie ,,falsch" gedacht"'

Sicherlich ist eine solche individuelleRückmeldung zum Beurteilungsverhaltenwünschensweri und würde den persön-lichen Nutzen sowie die Akzeptanz desVertahrens zusätzlich erhöhen, bei einerZah\ von über hunderl Beurteilerlnnen istsie jedoch nur mit großem Aufwand zureallsreren.

DaF BrückeNr. 11 Dez. 2009

ARRAS. MARKS - ZIMMERMANN

Neben den Reflexionen der Beurteiler-Innen in den Fragebogen, wurden auchdie Laut-Denken-Aufnahmen imTestDaF-institut ausgewertet.

Diese Ausr.vertung emöglichte es, denWeg vorn Lesen des Textes zur Einstu-fung der Leistung nachvollziehbar zumachen. In der Regel stehen der Insti-tution lediglich die Beurteilungsbogenmit stichworlarlig festgehaltenen Begri.in-dungen für die Einstufungen zur Verfü-gr.rng. Welche Entscheidr.u]gen aber einerE,instufung vorausgingell, ist nicht er-kennbar. Die Aufnahmen ermöglichenalso - unter Berücksichtigung der obengenannten Grenzen des Verfahrens *einen Blick ,,in den Kopf ' der Beurtei-lerlnnen zu werfen und den Beurteilungs-weg transparent zu machen.

Bei der Auswertung der Aufnahmenwurde u. a. deutlich, dass sich eir.rige derBeurteilerlnnen nicht an das vorgeschrie-bene Verlahren zur Beurteilung hielten".So lautet die Vorgabe des TestDaF-Insti-futs, die schriftliche Leistung nach einemersten Lesen des Textes zunächst anhandder drei holistischen Kriterien einzustufen(Leseflttss, Gedankengang und Textau/-batt).Erst beim zweiten (und ggf. dritten)Lesen des Textes wrrd dre Leistung an-hand der sechs analytischen Kriterien zurinhaltlichen Umsetzung der Aufgabe-undsprachlichen Realisierung beurteilt. "

Außen-urgen wie die folgenden belegen,dass dieses Verfahren nicht konsequenteingehalten wurde:

,,[Der Gedankengang] Ist so 4 bis 5.

Ich muss das nachher beufieilen, wennich die Grafik beurteile."

,,[Textaufbau] Mit Fragezeichen 3.Also zwischen 3 und 4. Ich werde dasdann soäter noch mal ansehen. Sobeim nochmaligen Lesen wird dasdann vielleicht deutlicher."

In einem Fall wurde die Leisrung beimTextaufbau erst nach der Beurteilunganhand der anderen acht Kriterieneingestuft:

,,Ja, das letzte, u,o ich michentscheide, ist der Textaufbau. Obich den mit 3 oder unter 3 bewerte. 3

- ,Text weist Bruche auf , und unter3 - ,Text ist nicht kiar strukturiert'.Okay, dann erscheint mir das docheher eine 3 zu sein."

Wie schon bei der Ausweftung der Frage-bogen, so wurde auch in den Aufnahmendeutlich, bei welchen Kriterien Beutlei-lerlnnen vermehfi Anwendungsproblemehatten. Sei es durch die vagen Formulie-rungen der Deskriptoren oder durch un-klare Abgrenzungen zwischen denNiveaustufer-r:

Einstufung des KriteriumsArgumentation:,,[Zitat aus dem Teilnehmertext] Okaydas ist n j a in Ansätzen ein Argument,aber ähm fräuspem] es wrrd ja garnicht begründet. Ja doch es wird dannbegründet: fZitat aus dem Text] Aberich denke das ist insgesamt, ja, nee,rch denke dann also Argumentattonnicht unter 3 sondern 3. Also inAnsätzen ist ja da. Anm, 6a, ja das istJetzt hier sind natürlich wieder dieKriterien recht vage. Für 3 im argu-n.rentativen Teil werden Standpunlrte/übct'lagtrngert dcutlich uttd ggl, daskönnte hier dann genauso zutreffenIunverständlich] werden S tandpu nkt e

nicht oder nttr in Ansätzen verdeut-licht. Das ist dann 3a also: Sie werdendeutlich/sie werden in Ansätzen deut-lich. Wo ist da der Unterschied? Dasist die übliche Schwierigkeit mit denBewedungskriterien. S o Argumenta-tion also dann 3, rveil hier dochwenigstens eine persönliche Weftungdeutlich wird. Okay."

Des Weiteren fielen bei der Auswerlungder Aufnahmen Aussagen auf, die deutlichmachen. dass auch subiektive Theorienbei der Urteilsfindung äinbezogen undEinstufungen nicht ausschließlich mithilfeder Deskriptoren getroffen wurden - einBefund, der sich ebenfalls bei Anas(2007: 442ff .) frndet.

Die Hochschultauglichkeit wird oftmalsvor dem Hintergrund der beruflichenErfahlr.rng in wissenschaftspropädeuti-schen oder studienbegleitenden Krrseninterpretiert und nicht in Bezug auf dasTestkonstrukt, wobei diese antizipiertenAnforderungen auch über das zu erwar-tende Niveau hinausgehen können, wiefolgende Außerung eines Beurteilersbelegt:

,,Punkte der Aufgabenstellung :

Entsnricht nicht einem hochwissen-schaillichen Text, auf keinen Fal1."

über dem erwarteten Niveau und decktsich nicht rnit dem Deskriotor. Ztdemerlaubt die Aulgabenstellung und dieBearbeitungszeit von 60 Minuten keineUmsetzung, die diesen Ansprüchengenügen würde, da sie so konzipiert ist,dass Prüflinge aus ganz unterschiedlichenFachrichtungen ihre Kornpetenzen unterBeweis stellen können. An einer be-stimmten Disziplin ausgerichtete Kon-ventionen können hier nicht ansewendetwerden.

Diese Erkenntnisse aus den Aufnahmenliefem wichtige Hinweise flir die regel-mäßigen Schulungen der TestDaF-Beur-teilerlnnen. So wird bei kommendenErstschulungen und den jährllchen Kali-brierungsveranstaltungen verstärkt auf dieEinhaltung des Beurleilungsverfahrensgeachtet, um das Prozedere möglichsteinheitlich zu halten. Kriterien, bei denendeutlich wurde, dass Schwierigkeiten inder Anwendung auftreten, werden ein-gehender diskutiefi und anhand vonB eispielen veranschaulicht,

3.3 Weitere Auswertungen

Neben den Erkenntnissen zu den indivi-duellen und gerneinsamen Beurleilungs-stratesien. den Erkenntnissen zum Beur-teilurigsverfahren, zu den Schwierigkeitenbei der Beurteilung sowie zur Erwartungs-haltung der Beurteilerlnnen hinsichtlichder Leistungen, die im Zentrum des For-schungsinteresses standen, ermö glichendie Aufnahmen aber auch weitere Analy-sen. So lässt sich auswerten, wie viei Zeitverschiedene Beurteilerlnnen für die Be-wertung desselben Textes benötigen. DieZeitspanne der Beurteilungen variierte inder Studie enonn''. Eventuell lassen sichaus der benötieten Zeit Rückschlüsse aufdie Erfahrunsäls Beurteiler von TestDaF-Prüfungsleistungen ziehen. Zu vetmutenist, dass erfahrenere Beurteiler, d. h. die-jenigen, die gut mit dem Beweftungsver-fahren, den Kriterien und Deskriptorenvertraut sind, ihre Einstufungen schnellerund sicherer treffen. Eine weitere Hypo-these lautet, dass die langjährigen Beurtei-lerlnnen durch die jährlichen Kalibrier-ungen und die Vielzahl an vorgenom-menen Beufieilungen, treffsichere Ein-stufungen vomehmen und weniger stark^^

vom Mittel der Bewerlungen abweichen'".

4 Ausblick

Von keinem TestDaF-Prüfling wird aber Die Rückmeldungen der Beurleilerlnnen,für eine Einstufung auf TDN 5 ein Text die an dieser Studie teilgenommen haben,erwartet, der den kulturspezifischen wis- waren überwiegend positiv. Insbesonderesenschaftssprachlichen und fachlichen wurden die Erk"enntnisse her,rorgehoben,Kriterien im deutschen Hochschulkontext die durch die Bewusstmachung desgenügt. Diese Leistungsbeschreibung läge eigenen Beurteilungsverhaltens gewonnen

1:)a. . .:a .1.:. . : .:. . I , ..: i l:: :r

.,ll.l.l.l.l.,l.,.,, )1,'1:.,

oar gli.icke

ARRAS - MARKS ZIMMERMANN

wul'den. Auch der (getlihlte) Zwang-, seine Beurteilerlnnen anwenden: Eine Person

Einstuflrngen zu begränden'r*J auä.,r.t] ber.vedet laut denkend einen Text, zwei

,,Bauchentscheidungen" ;;;;;;ä;,- odei mehr Beufie ilerlnnen hören ztt und

wurclen als positiv be*e.tei']. notieren Aufftilligkeiten'

Danach wird gemeinsam ausgewertet,welche - vielGicht bereits autornatisiertenStratesien - unetwünscht sind und welche

effektiven Strategien weiter ausgebaut

werden so1lten. Äuch subjektil'e Theorienkönnen hierdurch bewusst gen-racht und

hinterfragt werden. Aus beiden Vor-sehensrväisen (Durchführung aliein oder

in cler Gruppe) resultiert die Fähigkeit'drs ciccne'Hrndcln zu re llckticren Diesfuhrt Är weiterett Prolessionalisicrungder Beufieilerlnnen und dient damit auch

der Qualitätssichemng innerhalb eitlerInstitutton.

Anmerkungen

lBcivorliegcndemBcilrsghandcltessichumdicaktrilisic(cFassungunsercsgemcint3mcil\uilraBsdufderlDT2009in

2 Unter Kalibrierungen veßteheD wir in diesen zusamnenhang fegelnäßige Beureileftainin.cs. die der Qurlitätssicherung

Ll ienc n

3 Zu subiektiven Theoricr im Kontexl lrcrndspraehenLcnren und -lchrcn. \ rrbbaendcrc Grotjahn (1998) Zu subjektivcn

il:;;;;;il;;;;;il'leiu"t'una"tt"n g"uirerlnng vuu Prüfungslerstuilsen.s ^nas

(2009)'

4 Uine genÄue Eleschrcibung der erliiug tidii .i"üf"irpi"r**i"! i" Arras-(2006) unct auf der lnlemel-ssite des TestDaF-ltrstituls

unr(r wwu le'tdal-di.5 Der TcsrDaF dillcrcnzicft drei LcistunSsstufan: TcsrDaF-Niveausmlc 3, 4 und 5. Unterhalb von TDN 3 cdblgt keinc weitw.

Diflerenzierilng. gin Ergetnis unreLlato vän i1lN'j l"*at r",figLi"lt.,l*s rlas.lür den Hochschulkonlexl erl'orderliche sPüchLiche

ri*"-..i""ri ""rr, "ic;chr wrdc. Die Vemung u,r ön,"iÄu,,,cn

"uropäischon Refcrcnzratune n (s- o ) zeigl' dass dic

'i",iDr;:'j,r.";.;;;;Äl "iii""i*p"l't*i

92-ö , rudccr.er. To\ 5 i"r iru oocrcn t l-Bercr.l Jlgcsrcdelr. TD"l .l hingegen

Jeckr <lcn rrnreren Bl'Befe -b rh l DN 4 lregr ^'

r'cl'en Jen belden KotrtpcLenzstrten IJ2 uttJ L I I s rrch KecL(l I:cLe\

(crscheifi).6EinedelailliefrcDarste]l!ügdcsBeurtellungsverl.alrrensbeischriftlichenLeistuoscninKontextTestDaFfindctsichinArras(20u?:681r.).t Arfdcr lntemetseire des ltstl)ats-hsütuß sintj ModclLsätze cinsehbar, die den Adbau sowie das Fonüat d€r einzelncn

Pruturlg,lcilc lcrgcn lcrDrl--Vurcrpriltirrgan ti 'a 'u-a"'n

rn Hand'l erlrälllich lHJcbcl-Vc- abl

8 lu.lir nn.urd*u'p.rr r' ru.tuhrhclr Arrc\ r200t: +llf l

9 iil.;;;;1,;i ;,.t ii" B"urt.ilung "in".ieires

3ls Übu;g, üm die vier Beu(eilerinnen rnil dern yeriahren des Lxuteu Dcnkens

vedraurzumache!undmOglicheHcmmnisezuüU"*itii.n.Oi.f,oti"dwirddasVertä1üe!u a bciArras(2007)'Grecn(1998)

und ilrsbesurdefe du.l. LLmley (2005)

iö;;;;;; s';;Gi;;;i o,i del.pi"ts*"ise a;" Konsriluicrung ejncr Erwartungshaltrüs aulsrund äußcrcr Faktoren (wie z B

I IJnd.rhr:ri. Kon ek.ur Jr ,," r .r r,. uo., uü., uu.l r drr rLard rgr Ä bglcrcl I dcr L(i 'Ms n] | I dcn D:1if]:l:11 ','; : :t-'.l;:',h'

"i"ä.",i*",, f.i.*"ra"r ,\l.Jere SLrJletslen br.ier(n aulrndrvlduellen Fdktoren.injhe'on,lele (berullrche ur'd RLllLrellel

i'iit",ig"".,fr*,,'r"'rrnnrenhin;enJ-"unrcktire t he-ricn s od/u And' r2oor: '']Tl--. "-.-.^.-^..^-.^ -",. "llS.!ü;ll(rrAlui.lrlcrPut.lrr av8rsu!ictürJtnrrrdcrarglopn"rrcrlWcll!rruLild(lcilEegrrllrclonrcseaKn

Aeason/giadbury (200:). Der gegntt des ,;eflektieflen praktik;rsi' weist darauf_hin, dass eine Person, eine Lehrkraft oder wie rm

;;;t;;,,;;; F;il ;t* d"un"iL"rä ol", .ii ij.uneile., ih. bz*'. "ein

Handeln rcflektien und besründet' esr' ruch begriindet

rer rdicn.iZ di".:oo. ^n

gron.n Tcil durch die tcchnischcr Schwierigkeiien \\ie z B die Beschalfung cines gccigoeten Milrolons zur

ÄLl1'nahmc nl dcm Kdsseltcnfckordcr oder !m PC bedingt

il;i; i;;;Gilg "u.h

uon ,i"htbor.n lluntllungen (üeispiclswe ise das Notiers von Ergebrissen auf dern Betuleilungsbogen

oder die Heranziehung ae. st ulienen oesllpü0.""i""i ""ti"""aig, aa nuf Tonaufnahnlcn gemaclrt wurden und keine vlreterin

a.i1.".iool.-fr"lut uii def ßeuneilung an;esend iru und sonrit kiine lleobachtungen bru' Autlälligkeilen notien Nerden

konnreril-6i.." wur,nt"rt*,uogcn stüucn Belunde dcr Studie vonAtras' irl dcr die Bcuneilerinnen cbenlalls auf

llewefiunrsschwiengkeLten hLnlvet5en. üie sicb aus <ler StnrklrLr sorvie der sprochlichen ond inhaltLichen Gestaltung der

;;;';.ril"";'k;' ;.;.re(b(n {tr". , r00": 400,1 ,

15 Von dcn insgcsant ll personen, dtc ausschlielllich mündlichc Lcistungcn beu(cilcn, wertctc cMsraugsgcnläß mcbj als dic

Hrhte dJj \erlll)ren rls ni.ltt otenl tn liir ellerre BeL'ilellungen

l6 Dieser Bcfund Neicrrt rr: -.o, acn nrg"on,'.s"" l.t in,d*'"* e*"r (200?). Dr( vier Betneilerinnen dort nahrnen die

Bcu(eilungcnweitgehunano"no"n uo,i.g.t"n"nvtitult'"n'*"guor'DiesLnnrlamitbegründcrwrrden'dass1'l:-:-t:loj'ot'J"öri"lrfür^ng j., f-uuLen Denkens airv-esend war ünd somit als Konlrollirslanz serlens der BeteiliSlen 1\ rlrgenornlnen

l? Vrl. Aila) t:00', S r0 n lii i ";i;;;;;r.i;;sion bii rnas (zooi: a2tr)i9 Dabei isr abe. ,u beachlen. dass vi€le Beurleil;r rückmcldeten, die Einstufungcn des Texl€s hä1te mehr Zeit in Arspruch

gcilonnncü als bcinr übticiren vcrtat rcu, öas Ä;di;rir tNämmorhär€en, drss-drc Bcuftciler ilrc ccdanken fcrbalisiercn und

struktuleren nlusslen un( slcD gezwun!<D sdben, Lhre tinschitzungeLr 2u begründen (s o')'

20 Dies lässr sich im.lestllF-lnstlut aocr alich inhanci <1er Verglerchsbeu(ejiung€n untersuchen, dlc Lleuncilerhlnen mlt.Jedcm

Kofrekrurpakor cj lralteu. gs handctt srcnäaici oni J,"i-r.ifu"rr,ri.n"*te, die allc in einem Tcstereignis Beteiligtoil beufieilcn

müssen und defen Iinsrufunger weseniliiüln iinftus aufdie gerecnr;ng der Strenge bz\t. Milde eines Bedeilers bzr. einer

LJe-rlcllcr In nrl.2lEirrsclrränkeudmussallerdi|gsderaufhingewicselwerrlcrr.dassderzrittichoAufwrDdfi]rdielntrospektlorrsowohlfiirclicge;(eiterlilren selbsr ols auch lür die ausu ertende Inslitulion groß ist'

Wünschenswerl wäre, das Verfahren nicht

wie im oben beschriebenen Sinne anzu-

wenden. wo ieder Beurteiler bzw jede

Beurleilerin flrr sich allein arbeitet und

Verbaldaten dabei aufnimrnt. Dertn diese

Vorgehensweise emöglicht zwar dic

Seldstreflexion, erschwert aber indivi-c'luel I e R ückrne ltlungen der Test inst itutionan die Beurleilerlnneu Rückmeldungenbeschränken sich daher im Wesentlichenauf allgemeir-re Erkenntt"tisse undProbleme.

Kleinere Institutionen könnten das Laut-Denken-Verfahren beispieIsweisc beigenreinsamen Kalibricrungssitztrngen der

Lil era tu rverzeich nis

Altrichter. H Posch, P r l9a8) Lehrer crt rschen

ihren Unlcnlchr. Eine Einlührung tn dre Mellloocn

J., Ät,iänti.".i u'rg 3 . drrchgisehene und.

eroeil(ne Aufldge Bad Heilbntrut: KlrnLhardl

,\tra5. U. (er'chclnl): .,What's on a ratcr's.ntindl. ..

Die trfurschung r ott BeLtrleilungsstrdteglen unc lnr

Bewussmachung durch Schulungsmaljnanmen als

i;;;;;;;i;;;;ff n iii" i",*ariäir:ir'rn, Üituiu"ni"tion acr AILA 2008 in Essen ZfAL'

Anas. U. (2009r: ,.Subjekrive Tltcur'en als Faktor bei

l;;ä;;i.''l;;e t ";

Pr:ütungslcistungen' ln: Brmdt'A.. Kleppin, K. lHrsg r: SprJchlchrlohchung: i heone

uDd Empine. Fe"tschritl liir Rüdiger Ur otjahrr'

Frankfun: Pcter Lang: 169-179.

Arras. U. (2009): .,Wie es zu einer Beurteilung kommt'

Ein Forschungs6ericht zu Strategien bei derg;i t1.il,,"* tilttiilticher Lcisnrngen im Kontoxt der

t'riituns Tc'srDrt . ln: Hunstigcr..\' Koreik Ui H;";.,: a i;;.. Deutsch: Sch-ulc - SruJiunt -Arbeitsrvelt. Beirräge dcr 34.

Jahre'taeung DaF tU06 i\lalcr'alien Delrsch als

Frcrndsp-racäc, tsand 78 Cötringcn:Unr\ ersilits\erlag: 179-196

Atra', U. (2007): wie beunLilen wir Letstung in dcr

FrcrnJsprachel Stratcgten und Prozesse bci dcr

tscurteiiune srhrifLlicher Leiitungen ilr der

Frenrdsoraihe am Beispiel der Prüfung Test Deulsch

als Frcrirdsprachc (T.'stDafl Cicsscncr Bcilräge zur

Frerrdspraihendidaktik. Tübingetr: Nan

Atras. L t200ö): Der TcsiDcF Konzept tndPrinTipicn d,'s stdndardtsiertcn fesls Dculsch all.Frerndsprache. ln; Förurn -Anuari de I AssocLaclo de

d.""otiit.t O. Cutalunya, No. 12. Akten des sechster

forici.ttes aet futalanischcn Dcutschlehrer- und

Geniranistenverbandes (A.G.C ) in Tanagona,Apr il 2005: 39-52.

[ckc<. T. Wciss-Moru. F /Whclan-Mostoflzadeh. S -

{200q) tnnitrlung faircr Lrgcbnis irn Pßlfungsterl'S.hrifi lrche KorntntmlkaLloil ües LJcut<cneru

Sprachdiploms. In: Deutsche Lehrer im Ausiand,/sÄ. l 5-2i.

Eckes, T. (2005): Examining rater elfects in TestDaF

uriting antl speaking per[ormance-asse)smenls:A rnan)-täcei Rarch dnalysis. ln: I dnguage

Asie'sntent Qurnerlv 2 l: lo?-221.

Eckcs. T. ( 2004): Bcuneilcrübercinstimmung und

Bcurtcilcrstrcngc. Eine Mullifacctrcn-Rasch-Allalvscurn L.i'tungtb'"un.iluugeil int..Test Deut5ch als -- ^-fr<mdsprrche (lestDaF) In: DiJgnostrca. )u l: b)-/ /

EuroodrdL/Ral rur kullurellc Zu5Jmmenarbeit {2001 }:

Gemiinsatner eutopäischer Referenzrahmen fijrSprachen: lemen, lahren, beurteilen. Berlin et al':Langcnschcidl.

CroLrahn. R.: Testen im FrentdsprrchellullletrichtAspÄkre der QualitätsenwicLJung tn PRAXISFrimdsprachenutetricht, Hcft 1i2009r 4-8.

Crecn.A J. K. ttgq8) Verbrl Protocol Analysis inLaneuaee Te'ting Research A Handbook Cambridge

Ca'ibridge Unrrersity Prcss

Crotichrr, R. (19q8): Subjeklive'l heorien irt der

Frcridsprachentorschung: MerhodologischeGrunolascn und Perspektivcn ln: FretndsprachenLehren u-nd Lerrrcn 2?: JJ-59

Kcckcr. U. Eckcs, T. (crschcint) Pulling thc Manual

lo rlrc rest: The IcstDaF{LFR linking projcct Tn

W Varryniuk (Ed.i. LinkinB tesls to the CEf R:

Case stuäies and reflections=on using the Council ofEuropc's oraft Manual for rclaling language.xamittr,,otrt to lh( L EFR Cambrldgc: CrnrbridgcUniversity Press.

Lum!ey, T. (2005): Assessing Sccond LanguageWritrna.'l hc Ratcr'sPerspeitive. Frurlfi'.n Main: Pe(er Ldng

DaF BiückeNr. 11 Dez. 2009