Schaffert (2009). Grundlagen des E-Assessment - Teil 2

Schaffert, Sandra (2009): Grundlagen des E-Assessment

Grundlagen des E-AssessmentTeil 2: Online-Prüfungen (automatische Auswertung, „Tests“)

11: Grundlagen des E-AssessmentLehrgang eCompetence 2008/20095. März 2009, Universität Wien

Dr. Sandra Schaffert, Salzburg Research,Weblog E-Assessment – http://pruefung.net

Sandra Schaffert 2009http://creativecommons.org/licenses/by/3.0/de/


Online-Prüfungen


Definition Online-Prüfung

| Online-Prüfung ist die Bezeichnung für eine Prüfung, die über ein Computernetz zur Verfügung gestellt und automatisch ausgewertet wird (Schaffert 2004).


Beispiele

| Zunächst ein Beispiel aus der allgemeinen Bildung: Schon seit 1998 werden in Österreich die theoretischen Führerscheinprüfungen am Computer abgelegt.

| Bei den Schweizer Bundesbahnen werden die Lehrabschlussprüfungen seit 1972 mit Hilfe von spezielen Markierungskarten, die durch ein Computerprogramm ausgewertet wurden durchgeführt und werden inzwischen (natürlich) computergestützt durchgeführt.

| Auch der US-amerikanische Educational Testing Service (ETS) hat schon jahrelange Erfahrung in der Durchführung der vielen computergestützten Prüfungen, z.B. den Aufnahmetests der Universitäten.

| Die Firma Thomson Prometric hat sich auf die Verteilung sowie Administration von Prüfungen im Bildungsbereich spezialisiert, dort werden jährlich weltweit tausende Prüfungen, insbesondere im Bereich der Informationstechnologie computergestützt abgelegt.


Aufgabenarten von Online-Prüfungen

| Multiple Choice| Grafische Auswahl| Zuordnung (Drag & Drop)| Kurzantwort/Lückentext

| Und andere!


Multiple Choice (Mehrfachauswahl)

http://www.flickr.com/photos/stevekeys/2711191763/sizes/o/


Graphische Auswahl

Riedel (2003). Integration studentenzentrierter fallbasierter Lehr- undLernsysteme in reformierten Medizinstudiengängen, S. 105http://galaxy.mi.hs-heilbronn.de/medicase/common/pdf/dissertation_riedel.pdf


Graphische Auswahl

Screenshot aus einem ECDL-Test


Zuordnung (Drag & Drop)

Aus: http://www.questionwriterblog.com/archives/matchingdnd.jpg


Zuordnung (Drag & Drop)

Aus: http://www.knowledgepresenter.com/kpuniversity/v7/whitepapers/DragAndDropQuestions.pdf


Kurzantwort/ Lückentext

http://clp.arizona.edu/cls/por/images/cloze.png


Prüfungsformen von Online-Prüfungen

| Variation: Aufgaben und Antwortalternativen (-anordnung) variabel; Aufgaben aus Datenbanken

| Adaption (passt sich den Fähigkeiten des Kandidaten an)

| Simulation (Fülle von Handlungsoptionen, z. B. Flugzeugsimulator)


Bewertung der Prüfungsmethode

| Beurteilungsobjektivität ist hoch| Praxisnähe ist unterschiedlich hoch| Der Aufwand und die Kosten für die Entwicklung sind sehr stark

davon abhängig, wie die Prüfung gestaltet ist. Für aufwändigere Entwicklungen, die die Regel sein sollten, sind die Kosten vergleichsweise hoch.

| Der Aufwand für die Durchführung hängt von den Möglichkeiten der Einrichtung ab

| Der Aufwand für die Auswertung ist denkbar gering| Der Entwicklungsgrad von Online-Prüfungen ist insgesamt als

unterdurchschnittlich zu betrachten| In allen Mitteilungen zur Einführung von Online-Prüfungen wird auf

die hohe Akzeptanz der Kandidaten hingewiesen| Verglichen mit mündlichen Prüfungen ist die Dokumentation des

Prüfungsverlaufs und der Ergebnisse einfach zu realisieren.| Die Nachhaltigkeit von Online-Prüfungen ist ein Aspekt, der häufig

übersehen wird: Online-Prüfungen lassen sich vergleichsweise gut wieder verwenden

siehe Schaffert 2004, 76f


Gruppen-/Partnerarbeit:

Nehmen Sie sich ein Lernziel vor

und entwickeln Sie dazueine Aufgabe

für Online-Tests

(bitte keine klassischeMehrfachauswahlfrage!)

http://www.flickr.com/photos/dhammza/577671123/sizes/o/


Schlechte Fragen, gute Fragen


Gute Frage ...?

Mehr: http://pruefung.net/?p=153

Aus einem Test zur Basiskompetenz Lesen & Schreiben (Projekt „SkillSum“ der Open University UK)


Erstellung von einfachen Multiple-Choice-Aufgaben nach Gronlund (in Jacobs 2000)

Die folgenden Richtlinien zur Erstellung von einfachen MC-Aufgaben basieren überwiegend auf dem Kapitel "Writing Selection Items" von Norman

E. Gronlund aus: Gronlund, N.E. 1998. Assessment of Students

Achievement. 6th. edition: Allyn & Bacon. Boston und sind entnommen aus: Bernhard Jacobs (2000):

Übungsaufgaben stellen mit JavaScript. http://www.phil.uni-sb.de/FR/Medienzentrum/verwe

ise/psych/aufgaben/aufgaben.html


Multiple-Choice-Aufgabe

http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/mcguideline.html


Multiple-Choice-Aufgaben ...

| Zwei Möglichkeiten der Abgrenzung der korrekten Antwort von den Distraktoren a. Die zutreffende Antwort ist wahr. Alle Distraktoren sind falsch (true

answer form) [häufig bei Faktenwissen]b. Die zutreffende Antwort ist die beste Auswahl unter allen Alternativen.

(best answer form) [häufiger bei Verständniswissen, Handlungswissen]

| Anzahl der Antwortoptionen| Die Wahl guter Distraktoren ist das schwierigste Problem bei der

Konstruktion von MC-Aufgaben. 4 Antwortoptionen haben sich in der Praxis als recht brauchbar erwiesen. Es besteht aber keine Notwendigkeit, für jede Aufgabe 4 Antwortoptionen festzulegen. Es ist günstiger, nur 3 Alternativen zu verwenden, wenn man nicht mehr als 2 gute Distraktoren findet. Es mag sinnvoll sein, 5 Alternativen zu entwickeln, wenn man 4 brauchbare Distraktoren konstruieren kann.


Schlechte Distraktoren (Känguruh)

Von welchem Insekt wird die afrikanische Schlafkrankheit übertragen ?

1.) Moskito 2.) Termite 3.) Tsetsefliege 4.) Känguruh

(übernommen aus: Rütter 1973, S.166).


Schlechte Distraktoren

Schlechte Distraktoren sind problematisch, weil sie die Erfolgsquote für das Raten erhöhen und aus keinen diagnostischen Wert haben (=wenn es niemand ankreuzt, kein Fehlkonzept dahinter steht)

!


Gute Distraktoren

| Häufige Fehler könnten als plausible Distraktoren dienen. Der erfahrene Lehrer kennt typische Fehler seiner Studenten oder kann sie sich zumindest theoretisch vorstellen.

| Formuliere die Alternativen in der Sprache des Studenten| Verwende gut klingende Worte (genau, wichtig, bedeutsam)

in Distraktoren und korrekter Antwort.| Distraktoren und korrekte Antwort sollten sich nicht in

Komplexität und Satzlänge unterscheiden. Die Textlänge einer Alternative sollte keine Prognose auf ihre Richtigkeit zulassen.

| Verwende äußere Hinweise in den Distraktoren (z.B. ähnliche Worte wie im Aufgabenstamm, wissenschaftlich beeindruckende Aussagen, wohlklingende Passagen aus dem Lehrbuch usw. )


Regeln für gute Distraktoren…

| Präsentiere im Aufgabenstamm ein einziges klar formuliertes Problem !

| Formuliere den Aufgabenstamm in einer einfachen und klaren Sprache !

| Packe so viele Wörter wie möglich in den Aufgabenstamm, wenn dadurch Wörter in den Antwortoptionen eingespart werden können !

| Formuliere den Aufgabenstamm positiv ! | Wenn eine negative Formulierung des Aufgabenstamms

unvermeidlich ist, dann stelle die Negation unübersehbar heraus!| Sorge dafür, daß die als korrekt bezeichnete Antwort auch

tatsächlich die korrekte Antwort (=eindeutig richtige) ist ! | Vermeide eine Formulierung der korrekten Antwort "aus dem

Lehrbuch" oder in stereotyper Phraseologie!| Vermeide absolute Begriffe wie "immer, niemals, alle, kein, nur" in

den Distraktoren!| Vermeide die Beziehung der Antwortoptionen untereinander


Gruppen-/Partnerarbeit:

Entwickeln Sie Multiple-Choice-Fragenfür eine Prüfung zu diesem Workshop

Im Anspruch ggf. Kritik durchandere Gruppen

http://www.flickr.com/photos/dhammza/577671123/sizes/o/


Wir haben uns dazu entschieden, die vorhandenen Fragen des „Einstufungstests“ zu diskutieren …| Frage 1. Die E-Portfolio-Methode ist besonders geeignet um

| objektiv zu bewerten| schnell und effizient zu prüfen| als alternatives Assessmentkonzept eingesetzt zu werden| das Prüfen attraktiver zu machen

| Frage 2. Online-Prüfungen werden in der Regel verstanden als| eine Konsequenz aus dem Web-2.0-Hype| Prüfungen via Video-Konferenz| automatisch auswertbare, webbasierte Prüfungen| Softwareprüfungen im Internet

| Frage 3. Im Bezug auf Abschlussprüfungen darf man nicht unterschätzen, dass sie| nur schwer objektiv zu bewerten sind.| manipuliert werden können.| fehlerfrei sind.| als heimlichen Lehrplan das Lernen und Lehren beeinflussen


Ergebnis:

| Auffallend ist, dass die richtigen Antworten immer die längsten sind.

| Bei der 3. Aufgabe ist der Aufgabenstamm negativ formuliert

| Eine Antwortalternative bei der 3. Aufgabe ergibt sprachlich keinen Sinn (wohl ein „Känguruh“)

| Alle 3 Fragen erscheinen weniger als Wissenstest für die Einstufung geeignet, weil Teilnehmer keine Möglichkeit haben, einfach „ich weiss es nicht“ anzukreuzen.

| Kommentar: Alle 3 Fragen prüfen eher Faktenwissen, als z. B. Handlungswissen.


Die richtigen Fragen stellen … für das Lernen!

| http://www.sqasolar.org.uk/mini/files/Hot_Research_Questions.wmv


E-Klausuren an Hochschulen


Tücken von papierbasierten Prüfungen …

http://www.youtube.com/watch?gl=DE&hl=de&v=_CqgnZhb--Q


Probleme mit herkömmlichen Prüfungen an Universitäten

Aus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie4http://www.his.de/publikation/seminar/Workshop_E-Pruefung/TOP15.pdf


E-Assessment an Hochschulen: Spielwiesen

Aus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie10http://www.his.de/publikation/seminar/Workshop_E-Pruefung/TOP15.pdf


Rahmenbedingungen für E-Klausuren

| Vorbereitung | Anpassung der Prüfungsordnungen| Einbringung der Problematik in die zuständigen Gremien| zentrale Installation

| Vorbereitung für konkrete Prüfung| Online-Einschreibung und Erstellung von Prüflingsgruppen| Bereitstellung von Probetests| Erstellung und Verteilung eines Merkblatts| Reservierung von PC-Übungsräumen im ZDV| Testphase für jede Prüfung| Aufsicht und technische Hilfestellung| Auswertung mit Korrektur von Freitextaufgaben| Bearbeitung von Reklamationen| Prüfungsverwaltung

Nach Wolf Lustig (o.J.). Online-Prüfungen in der Fremdsprachenausbildung

http://www.e-learning.uni-mainz.de/Dateien/online-pruefung-fremdsprache.pdf


Rechtliches zu E-Klausuren

| Ziel: potentielle Angriffsflächen so klein wie möglich zu gestalten, das betrifft:

| Sicherstellung der Prüfungsvoraussetzung| Quittung für die Anmeldung| Anlegen der Nutzer im E-Klausur System| Authentifizierung und Unterschrift (Anmeldung,

Prüfungsantritt, Prüfungsverlauf)| Täuschung verhindern| Anfechtungsgründe ausschließen| Ähnlichkeit zu traditioneller Prüfung erhalten| Dokumentation der Klausur(siehe E-Klausur Wiki http://wiki.uni-giessen.de/eklausur/ )


Zukunft von Online-Prüfungen


Zukunft von (Online-) Prüfungen

Martin Ripley (2006). The four changing faces of e-assessment 2006-2016. http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/articles/e_assessment/eassessment2.htm


Trends bei Online-Prüfungen

Martin Ripley (2006). The four changing faces of e-assessment 2006-2016. http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/articles/e_assessment/eassessment2.htm


Online-Prüfungen in der beruflichen Weiterbildung

| Besonders hohe Zunahmen wurden im Jahr 2000 für das Jahr 2010 für folgendes vorhergesehen:| In Bereichen, in denen der Umgang mit Computern zum beruflichen

Alltag gehört| Zur Lernerfolgskontrolle| Als Ersatz für formalisierte Prüfungsteile| Als Ergänzung traditioneller Seminare zur Lernerfolgskontrolle,

Gruppenbildung, Optimierung des Unterrichts| Forschungsaktivitäten zu computergestützten Prüfungen und Online-

Prüfungen | Einsatz von computergestützten Prüfungen in der beruflichen

Weiterbildung allgemein

Schaffert (2004)


Kontakt

Dr. Sandra Schaffert Salzburg Research Jakob-Haringer-Str. 5/IIIA-5020 SalzburgPhone: +43-662-2288-429Fax: [email protected]://edumedia.salzburgresearch.at (Anwendungsfeld)http://sandra.schaffert.ws (Weblog mit allen Aktivitäten)http://pruefung.net (Weblog zu E-Assessment)