Prüfen mit Computer und Internet - Didaktik, Methodik und Organisation von E-Assessment

#assessment

#ver*efung#werkzeugmethode

Version vom 1. Februar 2011

Jetzt Pate werden! Für dieses Kapitel wird noch ein Pate gesucht,mehr Informa*onen unter: hFp://l3t.eu/patenschaI

Prüfen mit Computer und InternetDidaktik, Methodik und Organisation von E-Assessment

Susanne GruFmann und Claus A. Usener

Quelle: Comedynose, hFp://www.flickr.com/photos/comedynose/3571102858 [2011-‐01-‐02]

Während im Zuge der zunehmenden Verbreitung digitaler Lernmedien in der Vergangenheit vorwiegendFragen der computerunterstützten VermiFlung von Wissen disku*ert wurden, rücken zunehmend auchMöglichkeiten einer Computerunterstützung in Prüfungsprozessen in den Fokus. So genannte E-‐As-‐sessment-‐Systeme stellen auf vielfäl*ge Weise Funk*onalität für die elektronische Vorbereitung, Durch-‐führung und Nachbereitung von LernfortschriFskontrollen bereit. Sie entlasten dadurch nicht nur Leh-‐rende und Lernende, sondern machen einige Prüfungsformen überhaupt erst realisierbar. Im vorliegendenBeitrag wird der Einsatz von E-‐Assessment-‐Systemen in Prüfungen in Bezug auf didak*sche, methodische,organisatorische und technische Aspekte thema*siert. Den Lesern wird so ein Eins*eg in die Thema*kelektronisch unterstützter Prüfungen geboten, der zur eigenen Auseinandersetzung mit den Potenzialenund Fallstricken anregen soll.

2 — Lehrbuch für Lernen und Lehren mit Technologien (L3T)

1. Hintergrund

Eine Prüfung im Sinne einer Lernfortschrittskon-trolle ist die Abfrage, Messung und Bewertung desinternalisierten Wissens und der Methodenbeherr-schung eines Lernenden. Sie soll Informationen überseinen Lernstand liefern.

E-Assessments haben wie traditionelle papierba-sierte Prüfungen besondere Anforderungen in Bezugauf die Dimensionen Didaktik, Methodik und Orga-nisation zu erfüllen (Gruttmann, 2010). Hinzukommt die Dimension der technischen Unter-stützung, die das infrastrukturelle Fundament für dieVorbereitung, Durchführung und Nachbereitung derPrüfungen bildet (siehe Abbildung 1).

Die didaktische Dimension von E-Assessment-Systemen thematisiert, welchen Einfluss unterschied-liche Lehr- und Lernziele auf den Prozess der Wis-sensvermittlung und damit auch auf Formen derWissensüberprüfung in Lernfortschrittskontrollenhaben. Aus methodischer Sicht sind verschiedeneAufgabentypen und Prüfungsarten zu berücksich-tigen, die Gestaltungsanforderungen an den E-As-sessment-Einsatz stellen. Organisatorische Fragestel-lungen betreffen vor allem die Rahmenbedingungen,die für die Vorbereitung, Durchführung und Nachbe-reitung eines E-Assessments in einer konkreten Ver-anstaltung zu schaffen sind. Diese drei Dimensionensind unabhängig von dem Einsatz bestimmter Tech-nologien. Durch den Einsatz geeigneter technischer

Lösungen können die Potenziale einer Computerun-terstützung von Lernfortschrittskontrollen realisiertwerden.

Dabei ist jedoch zwingend zu beachten, dass derEinsatz digitaler Medien nicht zum Selbstzweck er-folgt und die Qualität der Prüfungen erhalten (oderbesser noch gesteigert) werden kann. Eine unreflek-tierte Übertragung traditioneller Verfahren zu Lern-fortschrittskontrollen auf digitale Medien ist nichtzielführend. Vielmehr sind die bestehenden Ansätzehinsichtlich ihrer didaktischen, methodischen und or-ganisatorischen Aspekte an die neuen technischenRahmenbedingungen anzupassen. Die klassischenqualitativen Gütekriterien für Prüfungsverfahren, alsodie Validität, Objektivität und Reliabilität, sollten injedem Fall erhalten bleiben (Gruttmann 2010; Wan-nemacher, 2007). In den folgenden Anschnittenwerden für die vier Dimensionen jeweils einzelne fürPrüfungsprozesse relevante Aspekte angeführt unddiskutiert. Den Lesern soll so eine erste Orientierungzum Thema E-Assessment gegeben werden undgleichzeitig ein Prozess der kritische Reflexion ange-stoßen werden. Denn nur wenn Prüfungen sorgfältigden Ansprüchen des Lehr-Lerngebiets angepasstwerden und sich ein tatsächlicher Mehrwert für Prüf-linge und Lehrende ergibt, kann ein E-Assessment-Prozess langfristig Akzeptanz finden.

2. Didak1k: Formen und Funk1onen von Prüfungen

Gemeinhin existieren verschiedene Formen von Prü-fungen, die Unterschiede in Bezug auf ihre didak-tische Ausrichtung und Zielstellung aufweisen. Aufihre Art stellen sie jeweils eine Strategie dar, zu evalu-ieren, inwiefern die Ziele eines Lehr-Lernprozesseserreicht wurden und übernehmen dabei unterschied-liche Aufgaben: Förderung und Selektion.

Für Lernfortschrittskontrollen (LFK) mit selek-tivem Charakter hat sich im englischsprachigen Raumdie Bezeichnung Assessment of Learning einge-bürgert. Im Deutschen verwendet man eher die Be-zeichnung summatives Assessment, da es sich oftum Prüfungen handelt, die eine Lernphase ab-schließen und das Erreichen des Lernziels über-prüfen (siehe Abbildung 2). Summative Assessmentsfokussieren somit auf den Output des Lernens undbelegt das Erreichen eines bestimmten Kompetenzni-veaus (Reinmann, 2007; Winther, 2006). Nur wenneine bestimmte Leistung abgeliefert wird, gilt dasLernziel als erreicht und die erbrachte Leistung wirdbescheinigt. Dabei kann die Abfrage des vermitteltenWissens und des Verständnisses mündlich oderschriftlich erfolgen.

Abbildung 1: Dimensionen des E-‐Assessments

E-‐Assessment bezeichnet eine LernfortschriFskon-‐trolle, die mit Hilfe elektronischer Medien vorbereitet,durchgeführt und nachbereitet wird. Eine besondereRolle spielt dabei die (teil-‐) automa*sche Durch-‐führung von Korrekturen im Rahmen des technischMöglichen (Eilers et al., 2008).

!

Prüfen mit Computer und Internet. Didak*k, Methodik und Organisa*on von E-‐Assessment — 3

Für Lernfortschrittskontrollen mit förderndemCharakter werden analog die Bezeichnungen As-sessment for Learning bzw. formatives Assessmentverwendet. Die Lernfortschrittskontrollen sind beimformativen Assessment in Form mehrerer kleinerPrüfungen in den Lernprozess integriert und könnendie Konstruktion und Verstetigung von vermitteltemWissen unterstützen. Das regelmäßige, selbständigeund oftmals freiwillige Bearbeiten von Arbeitsauf-trägen und das damit einhergehende Feedbackkönnen dem Lernenden helfen, eigene Fehler zu er-kennen und in Zusammenhang mit seinem Lernver-halten zu bringen. Sie dienen ferner dem Lehrendendazu, Lehr- und Lernprozesse zu überwachen und in-struktionale Maßnahmen zur besseren Kompetenz-entwicklung einzuleiten (Winther, 2006). Beim for-mativen Assessment gibt es demzufolge mehrere Ge-

legenheiten zur Evaluation unter realistischeren Be-dingungen, wodurch ein kontinuierlicher Überblicküber Lernfortschritte gewonnen werden kann.

Neben summativen und formativen Assessmentsfindet das diagnostische Assessment zunehmend Ver-breitung. Unter dem Begriff des diagnostischen As-sessments werden zwei unterschiedliche Formen zu-sammengefasst. Während bei der ersten Form desdiagnostischen Assessments durch lernbegleitende,freiwillige Lernfortschrittskontrollen auf eine För-derung der Lernenden abgezielt wird, besitzt diezweite Form einen eignungsdiagnostischen und damitggf. einen selektiven Charakter. Zum einen sprichtman also von diagnostischen Assessments, wennLernfortschrittskontrollen nicht zur (Fremd-) Beur-teilung des Erreichens von Lernzielen dienen. DieserForm des diagnostischen Assessments sind zum Bei-spiel die so genannten Self-Assessments zuzuordnen.Die Teilnahme an Self-Assessments erfolgt in derRegel freiwillig und sind im Allgemeinen nicht aneine Bewertung oder Begutachtung durch eine Lehr-person geknüpft. Zum anderen fallen eignungsdia-gnostische Tests in diese Kategorie des diagnosti-schen Assessments. Hier wird durch das Durch-führen von initialen, also dem Lehr-Lernprozess vor-angestellten Prüfungen beabsichtigt, ausgewogeneLerngruppen zu formen oder die Lehr-Lernprozessean die Kenntnisse und Fähigkeiten der Lernenden an-zupassen (Chalmers & McAusland, 2002). Die ver-schiedenen Formen von Lernfortschrittskontrollenwerden in Tabelle 1 zusammengefasst. Es wirdjedoch darauf verwiesen, dass Mischformen zwi-schen den genannten Kriterien auftreten können.

Abbildung 2: Formen von Lernfortschrittskontrollen

Summa1ves Assessment (Assessment of Learning)

Forma1ves Assessment (Assessment for Learning)

Diagnos1sches Assessment

Self-‐Assessment Eignungstest

Selek*ver Charakter Fördernder Charakter Fördernder Charakter Selek*ver Charakter

Formale Qualifika*on überdas Erreichen eines Kompe-‐tenzniveaus

Prak*sche Anwendung vonErlerntem; Evalua*on vonLernfortschriFen

Eigendiagnos*sche Lerneva-‐lua*on

Ini*ale Diagnose von Kompe-‐tenzniveaus

Prüfung am Ende eines Lehr-‐Lernprozesses

Aufgaben während des Lehr-‐Lernprozesses

Prüfungen fortwährend (insb.zu Beginn) möglich

Prüfung zu Beginn eines Lehr-‐Lernprozesses

Teilnahme verpflichtend Teilnahme i. d. R. freiwillig Teilnahme i. d. R. freiwillig Teilnahme i. d. R. verpflich-‐tend

Bewertung und Benotungdurch Lehrenden

Korrektur und Bewertungdurch Lehrenden, i. d. R.keine Benotung

i. d. R. keine Benotung undKorrektur

Bewertung durch Lehrenden

Tabelle 1: Formen von Lernfortschrittskontrollen


Es existieren viele verschiedene Ansätze undSysteme zur Computerunterstützung von Lern-fortschrittskontrollen. Im Regelfall basieren sie aufden traditionellen Formen des Assessments und sindihnen in Bezug auf Didaktik, Methodik und Organi-sation sehr ähnlich. Studien zufolge ist es auchsinnvoll, neue elektronische Lehr- und Lernformenzunächst äquivalent zu gängigen traditionellen Me-thoden zu gestalten (Dyckhoff et al., 2008; Kleimann& Wannemacher, 2005). Exemplarisch werden imnachfolgenden Abschnitt zur Organisation von E-Assessments klassische Prozesse einer computerun-terstützten Klausur beschrieben. Im Rahmen der zu-nehmenden Verwendung neuer Medien in Lernfort-schrittskontrollen wird jedoch vermehrt der Einsatzinnovativer Konzepte und die Implikation einerneuen Lernkultur gefordert (Meder, 2006).

So geht auch mit dem Aufkommen von E-As-sessment eine Diskussion einher, ob die neuenMedien als technologische Impulsgeber die Eta-b l i e r ung alternativer Prüfungsarten bewirkenkönnen (Bisovsky & Schaffert, 2009; Reinmann,2007). Web-Didaktiker entwickeln daher ständig neueFormen für die medial unterstützte Leistungser-bringung und -beurteilung. Exemplarisch kann hierdie Anfertigung von Facharbeiten in Form vononline recherchierten Kollagen weltweit verfügbarenWissens genannt werden oder online bereitgestellte

Arbeitsmappen, die Dateien mit produkt- oder aufga-benorientierten Leistungen des Lernenden auf einerE-Learning-Plattform zusammenfassen (Meder,2006). Das so genannte E-Portfolio, das derzeit vieldiskutiert wird, bezeichnet zum Beispiel netzbasierteSammelmappen, die verschiedene digitale Medienund Services integrieren (Bisovsky & Schaffert,2009). Lernende können ein E-Portfolio als digitalenSpeicher der Artefakte kreieren und pflegen, die sieim Verlauf eines Kurses oder auch während des ge-samten Lernprozesses erarbeiten. So kann die Kom-petenzentwicklung in einer bestimmten Zeitspanneund für bestimmte Zwecke dokumentiert und veran-schaulicht werden (Bisovsky & Schaffert, 2009).

Computerunterstützung in Prüfungsprozessen er-möglicht Lehrenden bzw. Prüfern folglich eine Fülleneuer Varianten zur Ermittlung von Lernfort-schritten. Doch unabhängig von Ausprägung undAusgestaltung des Computereinsatzes ist festzu-halten, dass sich die elektronische Kontrolle und Be-urteilung von Lernfortschritten langfristig nur dannals wirklich effektiv erweist, wenn sie für die spezi-ellen Einsatzzwecke in den jeweiligen Veranstal-tungen optimal konfiguriert ist und sich gut in die be-stehende Bildungspraxis einpassen lässt (Eilers et al.,2008). Lehrende und Prüflinge müssen sich an dieneuen Bedingungen gewöhnen, die Methoden undKonzepte müssen in angemessener Form auf elek-tronische Medien abgebildet werden und die notwen-digen studienorganisatorischen, infrastrukturellenoder prüfungsrechtlichen Rahmenbedingungenmüssen geschaffen werden.

In der Praxis : Assessments in der HochschuleIn der universitären Prüfungspraxis werden aktuell diverseArten von LernfortschriFskontrollen angewendet. Bei Prü-‐fungen mit Selek*onsfunk*on kann man von einer Art „uni-‐versitärem Dreikampf“ sprechen: Klausuren, Referate,Hausarbeiten (Reinmann, 2007). Hinzu kommen Prüfungs-‐arten mit dem Ziel der Förderung von Studierenden wie obli-‐gatorische oder freiwillige Übungen und Prak*ka.Zunehmend finden die verschiedenen Arten von Prüfungenauch computerunterstützt staF. Auch wenn noch lange nichtvon einem flächendeckenden Einsatz von E-‐Assessment-‐Sys-‐temen in der Hochschule gesprochen werden kann, so ist zubemerken, dass einige Formen von LernfortschriFskontrollenüberhaupt erst dank Computerunterstützung realisierbarsind. Die Kontrolle forma*ver oder diagnos*scher Assess-‐ments zur Lernförderung kann aufgrund beschränkter perso-‐neller Ressourcen in den Hochschulen oI nicht angebotenwerden. Die Studierenden erhalten damit in vielen Fällen

erst in der Abschlussprüfung ein Feedback zu ihrem persön-‐lichen Lernstand. (Teil-‐)automa*sche Korrekturen entlastenden Lehrenden und eröffnen so die Möglichkeit, regelmäßigeLernfortschriFskontrollen wie zum Beispiel wöchentlicheÜbungsaufgaben anzubieten. Neben diesen organisatori-‐schen Vorteilen eröffnet auch die Einbindung verschiedenar-‐*ger digitaler Medien wie Sound-‐ und Filmdateien oderSimula*onen Möglichkeiten für universitäre Prüfungen, diebei tradi*onellen Papierverfahren nicht realisierbar wären.

Sowohl die Freie Universität Berlin (hFp://www.e-‐examina*-‐ons.fu-‐berlin.de/) als auch die Universität Bremen(hFp://www.eassessment.uni-‐bremen.de/) sind im deutsch-‐sprachigem Raum Vorreiter im Bereich elektronischer Klau-‐suren und geben auf ihren Webseiten einen guten Überblicküber den aktuellen Stand der Technik in diesem Gebiet.

Zwar gilt es als förderlich, neue elektronische Prü-‐fungsformen zunächst in Anlehnung an tradi*onellenMethoden zu gestalten. Mit zunehmender Nutzungs-‐kompetenz ist jedoch zu prüfen, inwiefern auch inno-‐va*ve Prüfungskonzepte den Lehr-‐Lernbetrieb berei-‐chern können.

!


3.Methodik: Aufgabentypen in LernfortschriJkon-‐trollen

Lernfortschrittskontrollen, ob nun mit traditionellenVerfahren oder mit Computerunterstützung durchge-führt, bestehen im Allgemeinen aus einer oder meh-reren Prüfungsaufgaben. Prüfungsaufgaben werdenin der Literatur oft in konvergente und divergenteAufgabentypen unterteilt (McAlpine, 2002).

Konvergente Aufgaben haben eine genau defi-nierte Lösungsmenge, sind daher in der Regel ein-facher zu bewerten und ermöglichen ein exakteresFeedback. Multiple-Choice-Aufgaben sind vermutlichdie bekanntesten Vertreter konvergenter Aufgaben.Bei diesem Format wird eine Frage zusammen miteiner vordefinierten Menge an Antworten präsentiert,aus der der Prüfling die richtige Antwort bzw. dierichtigen Antworten wählen muss (siehe Ab-bildung 3).

Auch Wahr-Falsch-Aufgaben, Zuordnungsauf-gaben und einfache Lückentextaufgaben können denkonvergenten Aufgabentypen zugeordnet werden.Doch so einfach konvergente Aufgaben auszuwertensind, so schwierig und zeitaufwendig kann es sein,qualitativ hochwertige Aufgaben zu entwickeln. DieKonstruktion von konvergenten Aufgaben erfordertvom Lehrenden ein fundiertes Wissen im betref-fenden Sachgebiet und setzt viel Erfahrung in der an-gemessenen Formulierung von Aufgaben voraus. Dader Prüfling oftmals eine Auswahl aus vordefinierten

Antwortwortalternativen zu treffen hat, ist die Wahr-scheinlichkeit einer Lösung durch Erraten rechthoch. Werden die Antwortalternativen zudem unge-schickt gewählt (zum Beispiel offensichtlich unlo-gische Alternativen), erhöht dieses zusätzlich dieTrefferwahrscheinlichkeit. Obwohl das Ausmaß anAktivität und Kreativität der Prüflinge bei der Bear-beitung von Aufgaben dieses Typs verhältnismäßiggering ist, eignen sich qualitativ hochwertige konver-gente Aufgaben insbesondere für die einfache Ab-frage von Faktenwissen.

Durch divergente Aufgaben können Hinter-grundwissen, Lösungswege und Begründungenbesser erfasst werden. Zur Lösung divergenter Auf-gaben ist ein schöpferisches Einsetzen von Wissennötig. Die Lösung divergenter Aufgaben soll zugrundlegenden methodischen Überlegungen anregen,eine inhaltliche, qualitative Argumentation initiierenund damit die vertiefte Auseinandersetzung mit demLehrstoff bewirken. Divergente Aufgabenformatezielen darauf ab, Eigenständigkeit, Selbstvertrauen,Problembewusstsein, Kreativität und Flexibilität derPrüflinge zu fördern. Ein vorherrschendes diver-gentes Aufgabenformat ist die Freitextaufgabe. DieKorrektur durch den Lehrenden ist sehr aufwendigund erfolgt nur selten nach exakt definierten, objek-tiven Bewertungsschemen (McAlpine, 2002).

Konvergente wie divergente Aufgaben habenihren jeweiligen didaktischen Wert. Sie sind in derAufgabenkultur auf das Profil des Prüfungsgebiets,die Lerngruppe und die methodische Zielsetzung derPrüfung abzustimmen.

Insbesondere für konvergente Aufgabentypenbieten E-Assessment-Systeme heutzutage schonvielfältige Unterstützung. Durch innovative, compu-terunterstützte Aufgabentypen mit neuartigen Ant-wortverfahren kann die Präsentation, Durchführungund Auswertung erleichtert werden. Gleichzeitigkann ihre Gestaltung sehr flexibel erfolgen, wodurchihre Aussagekraft im Vergleich zu papierbasiertenPrüfungen sogar erhöht werden kann (Reepmeyer,

Abbildung 3: Einfache Wissensabfrage mit Multiple-‐Choice

Denken Sie an eine oder mehrere typische offene Prü-‐fungsaufgaben in Ihrem Lehr-‐Lerngebiet. ÜberlegenSie sich, wie diese Prüfungsaufgaben im Aufgaben-‐format Mul*ple-‐Choice abgebildet werden könnten.Überlegen Sie sich dafür jeweils einen geeigneten Auf-‐gabentext (auch Stamm genannt) sowie eine ange-‐messene Anzahl sinnvoller Antwortalterna*ven.Achten Sie dabei darauf, dass die Distraktoren, alsodie falschen Antworten, nicht zu offensichtlich sindund die rich*gen Antworten nicht zu leicht zu erratensind.

?

Man unterscheidet im Allgemeinen summa*ve, for-‐ma*ve und diagnos*sche Assessments. Sicherlichhaben Sie – ob klassisch oder computerunterstützt –an jeder dieser Assessment-‐Formen schon einmal teil-‐genommen. Überlegen Sie sich zu jeder Form ein kon-‐kretes Prüfungsszenario, in dem Sie eine computerun-‐terstützte LernfortschriFskontrolle für sinnvoll er-‐achten würden.

?


2008; Wannemacher, 2007). So können zum Beispielstatt eines die Aufgabe beschreibenden Textes Gra-fiken, Sound-Dateien oder sogar Filme eingesetztwerden. Bei grafischen Zuordnungsaufgaben löst derPrüfling die Aufgabe zum Beispiel durch geschicktesPlatzieren eines grafischen Objekts in einer grundle-genden Grafik. Befindet sich das Objekt in einer vor-definierten Zielposition, wird die Antwort als korrektgewertet. Im übertragenen Sinn handelt es sichhierbei um eine grafisch aufbereitete Form von Mul-tiple-Choice. Als Vorteile konvergenter Aufgaben-typen in computerunterstützten Lernfortschrittskon-trollen können allgemein die eindeutige Auswert-barkeit, die kurze Bearbeitungszeit, der geringe Ein-gabeaufwand und das Bereitstellen kontextsensitivenFeedbacks gesehen werden (McAlpine, 2002). Ein of-fensichtlicher Nachteil ist, wie auch bei traditionellenFormen dieser Aufgabenkategorie, im Erraten vonAntworten und der damit verbundenen Gefahr vonZufallslösungen zu sehen. Die Validität von konver-genten Aufgabentypen ist insofern nicht immer si-chergestellt.

Computerunterstützte Lernfortschrittskon-trollen mit divergenten Aufgabentypen befindensich derzeit nur selten im praktischen Einsatz. DieseAnsicht wird im Folgenden anhand des konkretenBeispiels der Freitextaufgabe als gängiger Aufga-bentyp in vielen Prüfungen begründet. Sollen Frei-textaufgaben mittels Computerunterstützung be-wertet werden, kommen bei vielen E-Assessment-Systemen nur Stichwortlisten zum Einsatz. Hierzuwird vom Lehrenden eine Liste obligatorischer Stich-worte und ihrer Synonyme vorgegeben, auf derenVorkommen der zu bewertende Text untersuchtwird. Die Wörter und nahe gelegene Negationenwerden optisch hervorgehoben und erlauben demKorrektor und der Korrektorin eine einfachereNachbearbeitung. Ferner unterstützen viele compu-terunterstützte Ansätze eine Überprüfung der Recht-schreibung sowie eine Plagiarismuskontrolle. In-sofern wird zwar eine hilfreiche Vorstrukturierungdes Freitexts vorgenommen, eine umfassende seman-tische Analyse ist jedoch mit derzeit verfügbaren E-Assessment-Methoden nicht möglich. Wie die Frei-textaufgabe sind auch andere divergente Aufgaben,die komplexe ausformulierte Antworten erwarten, inder Regel nicht oder nur schwer durch Computerauszuwerten. Es ist leicht ersichtlich, dass eine Dis-krepanz zwischen didaktischen und methodischenAnsprüchen an Aufgabentypen in Prüfungsverfahrenund den real vorherrschenden Methoden bzw. tech-nisch realisierten Aufgabentypen existiert. So formu-lieren viele Lehrende zwar qualitativ hochwertige

Lernziele und -inhalte, die sie methodisch an-spruchsvoll vermitteln, doch in den Prüfungen liegtder Fokus letztlich oft darauf, was leicht zu über-prüfen ist, statt sich am eigentlichen Lernziel zu ori-entieren (Reeves, 2006).

4. Organisa1on: Prozesse computerunterstützter Prü-‐fungen

Welche organisatorischen Maßnahmen zur Vorbe-reitung, Durchführung und Nachbereitung compu-terunterstützter Lernfortschrittskontrollen notwendigsind, wird im Folgenden am Beispiel einer computer-unterstützten Klausur demonstriert. Zentrale Frage-stellung ist hierbei, wie die Organisation von Lern-fortschrittskontrollen durch Computerunterstützungeffektiv, effizient und zuverlässig gestaltet werdenkann. Um E-Assessment im Bereich von Klausurenzu etablieren, ist die Schaffung von geeigneten orga-nisatorischen Strukturen und technologischen Kom-ponenten bzw. Verfahren notwendig, mit denen com-puterunterstützte Klausuren in zuverlässiger und jus-tiziabler Form durchgeführt werden können (Reep-meyer, 2008). So müssen etwa räumliche, zeitlicheund personelle Ressourcen koordiniert werden.Eine Voraussetzung für die Durchführung elektroni-scher Prüfungen mit größeren Teilnehmerzahlenstellen große Rechnerpools mit der entsprechendenHard- und Software dar. Bei mangelnden Rechnerka-pazitäten in Massenprüfungen können Prüfungen si-multan in mehreren Rechnerpools bzw. in mehrerenaufeinanderfolgenden Zeitscheiben durchgeführtwerden (Eilers et al., 2008; Reepmeyer, 2008; Wanne-macher, 2007) oder den Prüflingen wird die Nutzungeigener Laptops in der Prüfung gestattet. Diese Formder etwaigen Ungleichbehandlung sollte allerdingszuvor auf prüfungsrechtliche Zulässigkeit überprüftwerden. In jedem Fall ist eine Variation der Prüfungs-aufgaben für verschiedene Zeitscheiben notwendig.

Sammeln Sie Probleme, die bei der automa*schenKorrektur von Freitextaufgaben wie etwa dasSchreiben eines Aufsatzes auIreten können.

?

Die Entscheidung, ob konvergente oder divergenteAufgabentypen zum Einsatz kommen, sollte auf Basisdes Prüfungsgebiets, der Lerngruppe und der metho-‐dischen Zielsetzung der Prüfung getroffen werden -‐und nicht auf Basis der technologischen Unterstüt-‐zungsmöglichkeiten.

!


Die computerunterstützte Prüfungsorganisationbirgt ferner vielfältige technische Herausforderungen:Die technische Zuverlässigkeit von Prüfungssys-temen zählt zu den zentralen Bedingungen für dieAkzeptanz der neuen Prüfungsformen, weshalb dieEntwicklung spezieller Sicherheitskonzepte erfor-derlich ist (Wannemacher, 2007). Der Ausfall einesPrüfungsrechners oder des Gesamtsystems darf nichtdazu führen, dass ein Prüfungsteilnehmer und einePrüfungsteilnehmerin seine Prüfung nicht zu Endeführen kann (Reepmeyer, 2008). Dem Problem tech-nischer Ausfälle wird bei modernen Prüfungssys-temen durch Maßnahmen wie regelmäßige Backupsbzw. Replikationen der Aktionen eines Prüfungsteil-nehmers oder einer Prüfungsteilnehmerin und dieMöglichkeit zur Prüfungsfortsetzung an einer Ersatz-station entgegengewirkt. Um Manipulationen vorzu-beugen, sind eine Einschränkung der Netzwerkfunk-tionalität und die Abkopplung des Prüfungssystemsvom Internet ratsam. Der Zugriff auf (unerlaubte)Fremdanwendungen sollte gesperrt und ein Daten-austausch zwischen Rechnern verhindert werden(Reepmeyer, 2008; Wannemacher, 2007). Auch kanndurch individuelle Aufgaben bzw. eine variierendeAnordnung der Aufgaben einer Manipulation desPrüfungsergebnisses vorgebeugt werden.

Um die Lernenden an die neue, digitale Organisa-tionsform der Klausuren zu gewöhnen und Ängsteoder Vorbehalte abzubauen, bieten sich Trainings-

phasen im Vorfeld der eigentlichen Prüfungen an, indenen der Prüfungsablauf am Rechner mit Probemo-dulen bzw. Testklausuren erprobt werden kann (Wan-nemacher, 2007).

Der konkrete organisatorische Ablauf computer-unterstützter Prüfungen kann stark variieren. Ta-belle 2 zeigt mögliche organisatorische Prozessedieser Prüfungsform (Gruttmann, 2010).

Es wird deutlich, dass auch computerunterstützteKlausuren mit einem erheblichen organisatorischenAufwand verbunden sind. Sowohl im Vorfeld einerPrüfung als auch während und nach der Prüfung sinddiverse Arbeiten zu erledigen, um einen reibungs-losen Ablauf der Prüfungen unter rechtssicheren Be-dingungen zu gewährleisten. ComputerunterstützteKlausuren eignen sich aufgrund dieser Aufwände inbesonderem Maß zur Prüfung von Basis- bzw. Fak-

Beispielsysteme ▸ LPLUS: kommerzielles elektronisches Prüfungs-‐system für summa*ve Prüfungen in Hochschulen,Firmen und Handelskammern (LPLUS GmbH)▸ Ques*onmark Percep*on: ebenfalls ein kommer-‐zielles elektronisches Prüfungssystem für sum-‐ma*ve Prüfungen, welches in Universitäten und inder freien WirtschaIs eingesetzt wird. (Ques-‐*onmark Corpora*on) ▸ ILIAS: Lernmanagement-‐System, welches Prü-‐fungsfunk*onalität insbesondere für diagnos*scheund forma*ve Assessments bereitstellt (www.ili-‐as.de) ▸ Moodle – Quiz module: Prüfungsmodul des Lern-‐management-‐System Moodle vorwiegend diagnos-‐*sche und forma*ve Prüfungen (www.mood-‐le.org)

!

Vorbereitung Durchführung Nachbereitung

Fragenkataloge erstellen und auf Ser-‐ver bereitstellen

Teilnehmerlisten erzeugen

Raum-‐ und Zeitressourcen koordinie-‐renTeilnehmer-‐ und Organisa*onsdaten inPrüfungssystem impor*eren

Systembetrieb sicherstellen

Anwesenheit/Iden*tät derTeilnehmer/innen prüfen

Rechner-‐ und Prüfungszugang koordi-‐nieren

Organisatorische Fragen klären

Manipula*on und Täuschung verhin-‐dern

Automa*sche bzw. manuelle Korrektu-‐ren koordinieren und durchführen

Rückmeldung an Teilnehmer/innen ge-‐ben

Notenlisten generieren und an das Prü-‐fungsamt übermiFeln

Einsichtnahme koordinieren

Archivierung sichern

Tabelle 2: Organisatorische Prozesse in computerunterstützten Klausuren

Neben der Akzeptanz durch Prüfer und Prüflinge istdie Akzeptanz durch das Prüfungsamt maßgeblicherFaktor bei der Ini*alisierung eines E-‐Assessment-‐Systems.

!


tenwissen großer Prüflingsgruppen. Insbesondere beiregelmäßig wiederkehrenden Prüfungen rentiert sichdie aufwendige Ausarbeitung einer umfassenden Auf-gabendatenbank und die mitunter kostenintensiveEinrichtung einer geeigneten Infrastruktur.

5. Technik: Klassifizierung von E-‐Assessment-‐Systemen

Der Begriff E-Assessment an sich verlangt per Defi-nition zunächst nur, dass eine Lernfortschrittskon-trolle „mit Hilfe elektronischer Medien vorbereitet,durchgeführt und nachbereitet wird“ (Eilers et al.,2008). Das Ausmaß, mit dem Computer im As-sessment-Prozess eingesetzt werden, wird hierdurchnoch nicht determiniert. Hinsichtlich des Einsatzeslassen sich jedoch verschiedene Realisierungsformenunterscheiden. Sie lassen sich grob durch die zweifolgenden Dimensionen beschränken: den Grad derKorrekturunterstützung einerseits, das heißt welcheRolle nimmt der Computer bei der Korrektur ein,und der Grad der Anbindung des Internets ande-rerseits. Einen Überblick über die aus dieser Klassifi-zierung resultierenden E-Assessment-Formen gibtTabelle 3.

Da sich das E-Assessment nicht ausschließlich aufdie vollautomatische Auswertung von Aufgaben be-schränkt, wird in der Dimension Korrekturunter-stützung zusätzlich die manuelle Auswertung derAufgaben unterschieden. Unter der Kategorie „ma-nuelle Auswertung“ werden sowohl die teilautomati-sierte Korrekturunterstützung als auch die nicht com-putergestützte Auswertung von Aufgaben subsu-miert, da in beiden Fällen eine Benutzerinteraktionnotwendig ist. Die Differenzierung der Korrekturun-terstützung wird maßgeblich durch die Art der Prü-fungsaufgaben bestimmt. Geschlossene Aufgaben-

formate wie Multiple Choice oder das Abprüfen vonVokabeln erfordern in der Regel keinen manuellenEingriff. Offene Aufgabenformate, etwa Freitextauf-gaben, sind mit dem heutigen Stand der Technikhäufig nur manuell korrigierbar.

Hinsichtlich der Dimension Anbindung des In-ternets wird zwischen den Ausprägungen online undoffline bzw. stand-alone unterschieden. Online be-zeichnet hierbei die Anbindung an Web-Schnittstellenoder Internet-Plattformen, wohingegen Stand-alone-Anwendungen nur im lokalen Netzwerk oder sogarnur auf einzelnen Computern installiert sind undkeinen Internetzugriff benötigen. Bei der Ent-scheidung für oder wider Internetanbindung eineselektronischen Prüfungssystems spielen rechtliche,didaktische, technische und organisatorische Fak-toren eine maßgebliche Rolle. So wird bei summa-tiven elektronischen Lernfortschrittskontrollen häufigbereits aufgrund von Sicherheitsaspekten in Hinblickauf die Ausfallsicherheit des Systems und den Schutzvor Datenmanipulationen auf eine Internetan-bindung verzichtet. Ein großer Vorteil der Weban-bindung ist die Zeit- und Ortsunabhängigkeit. Ausdiesem Grund ist die Internetanbindung häufig beiSystemen für das formative und diagnostische As-sessment zu finden. Die Ortsunabhängigkeit und derZugriff rund um die Uhr ermöglichen Lernendenbeispielsweise die unkomplizierte Teilnahme an dia-gnostischen Tests einer virtuellen Lern- bzw. Studien-beratung.

6. Zusammenfassung

Potenziale, die E-Learning-Systeme für die Unter-stützung von Prozessen des Lehrens und Lernensbieten, können durch den Einsatz von E-As-sessment-Systemen auch in Prüfungsprozessen reali-siert werden. E-Assessment kann dabei eine Verbes-serung der Effektivität und Effizienz sowie eine Stei-gerung der Qualität der Assessment-Prozesse be-wirken. Eine sinnvolle Realisierung ist allerdings nurdann möglich, wenn diverse didaktische, methodischeund organisatorische Aspekte neben den technischenRahmenbedingungen berücksichtigt werden. Dervorliegende Beitrag greift eine Auswahl relevanterAspekte auf und macht auf die vielfältigen Potenzialeund Fallstricke aufmerksam, die mit der Computer-unterstützung von Lernfortschrittskontrollen ver-

Geben Sie jeweils Beispiele aus Ihrem Umfeld für dievier Kategorien, in die ein Assessment-‐System austechnischer Sicht eingeordnet werden kann.

?

TECHNISCHEKLASSIFI-‐ZIERUNG

Korrekturunterstützung

manuell automa1sch

Inter-‐netan-‐bin-‐dung

online

Web-‐Based Assisted

Assessment(WAA)

Web-‐BasedAssessment

(WBA)

stand-‐alone

Computer-‐Assisted

Assessment(CAA)

Computer-‐Based

Assessment (CBA)

Tabelle 3: Technische Klassifizierung der E-‐Assessment-‐Systeme


bunden sind. Obwohl digitale Medien in vielen Be-reichen des Lehrens und Lernens bereits umfangreicheingesetzt werden, hat sich die Computerunter-stützung in Lernfortschrittskontrollen trotz des ver-hältnismäßig großen Leidensdrucks aufgrund vonMassenprüfungen und Kapazitätsproblemen bislangkaum etabliert. Zu groß scheint die Sorge um tech-nische Komplikationen und Betrugsmöglichkeitenmit digitalen Medien zu sein. Möglichkeiten derZeitersparnis und des reduzierten Personaleinsatzesbei der Prüfungsabwicklung, die Aussichten auf Stan-dardisierung und Rationalisierung von Prüfungen, dievereinfachte Auswertung sowie das zunehmende Prü-fungsaufkommen im Zuge einer Leistungsorien-tierung in der Gesellschaft stellen jedoch hinrei-chende Anreize dar, sich zukünftig noch intensivermit dem Thema E-Assessment zu beschäftigen.

Literatur

▸ Bisovsky, G. & Schaffert, S. (2009). Learning and TeachingWith E-Portfolios: Experiences in and Challenges for AdultEducation. In: International Journal of Emerging Technologiesin Learning (iJET), 4 (1), 13-15.

▸ Chalmers, D. & McAusland, W. D. (2002). Computer-assistedAssessment. URL:http://www.economicsnetwork.ac.uk/handbook/caa [2010-09-29].

▸ Dyckhoff, A.; Rohde, P. & Stalljohann, P. (2008). An IntegratedWeb-based Exercise Module. In: V. Uskov (Hrsg.), Proceedingsof the 11th IASTED International Conference on Computersand Advanced Technologies in Education, Crete: Acta Press,244-249.

▸ Eilers, B.; Gruttmann, S. & Kuchen, H. (2008). Konzeptioneines integrierbaren Systems zur computergestützten Lernfort-schrittskontrolle. In: H. L. Grob; J. vom Brocke & C. Bud-dendick (Hrsg.), E-Learning-Management, München: VahlenVerlag, 213-232.

▸ Gruttmann, S. (2010). Formatives E-Assessment in der Hoch-schullehre-– Computerunterstützte Lernfortschrittskontrollenim Informatikstudium. Münster: Verlagshaus Monsenstein undVannerdat.

▸ Kleimann, B. & Wannemacher, K. (2005). E-Learning-Stra-tegien deutscher Universitäten: Fallbeispiele aus der Hoch-schulpraxis. Hannover.

▸ McAlpine, M. (2002). Principles of Assessment. In: CAA-Centre (Hrsg.), Bluepaper, Luton: University of Luton.

▸ Meder, N. (2006). Web-Didaktik: Eine neue Didaktik webba-sierten, vernetzten Lernens. Bielefeld: W. Bertelsmann.

▸ Reepmeyer, J.-A. (2008). Onlineklausuren. In: H. L. Grob; J.vom Brocke & C. Buddendick (Hrsg.), E-Learning-Mana-gement, München: Vahlen Verlag, 255-272.

▸ Reeves, T. C. (2006). How do you know they are learning? Theimportance of alignment in higher education. In: InternationalJournal of Learning Technology, 2 (4), 294-309.

▸ Reinmann, G. (2007). Bologna in Zeiten des Web 2.0 - As-sessment als Gestaltungsfaktor. Augsburg: UniversitätAugsburg: Institut für Medien und Bildungstechnologie.

▸ Wannemacher, K. (2007). Computergestützte Prüfungsver-fahren - Aspekte der Betriebswirtschaftslehre und Informatik.In: M. H. Breitner; B. Bruns & F. Lehner (Hrsg.), Trends im E-Learning, Heidelberg: Physica-Verlag, 427-440.

▸ Winther, E. (2006). Motivation in Lernprozessen. Wiesbaden:Deutscher Universitäts-Verlag.