E-Assessments und Online Prüfungen

© Karsten D. Wolf 2007

E-Assessments und Online-Prüfungen: Quantitative Bewältigungsstrategie oder qualitatives Entwicklungspotenzial der Hochschullehre?

Karsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer Lernumgebungen

© Karsten D. Wolf 2007by: CarbonNYC

UmstellungBachelor-/Master-Struktur

verstärkter MassenbetriebBildungskanon ➙ Kompetenzen

© Karsten D. Wolf

Schätzung für Universität Bremen

• 12 Fachbereiche mit ca. 20.000 Studenten

• Mindestens 70K - 115K Prüfungen / Semester

• Tendenz steigend durch Umstieg auf BA/MA

• MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis)

• BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck)

• Eigene Auswahlverfahren für Studienanfänger

• Reduktion von 280 auf 230 Professor(inn)en

• ca. 500 Prüfungsleistungen pro Semester pro Professor

© Karsten D. Wolf

E-Selection, E-Recruitment & Self-Assessment

• Elektronisch unterstützte Auswahlverfahren für BA und MA

• Uni Bremen WiSe 2006: 2355 Studienanfänger

❖ wachsende Anzahl von Master-Studiengänge

Quelle: Bücking 2008 (ZMML Uni Bremen)

© Karsten D. Wolf

Der Weg zum Testcenter an der Uni Bremen

Quelle: Schwedes 2008 (ZMML Uni Bremen)

© Karsten D. Wolf 2007

L-Plus Demo (www.lplus.de)

© Karsten D. Wolf 2007

L-Plus Demo (www.lplus.de)

© Karsten D. Wolf 2007

L-Plus Demo (www.lplus.de)

© Karsten D. Wolf 2007

L-Plus Demo (www.lplus.de)

Quelle: Schwedes 2008 (ZMML Uni Bremen)

Quelle: Schwedes 2008 (ZMML Uni Bremen)

© Karsten D. Wolf 2007

© Karsten D. Wolf 2007

© Karsten D. Wolf 2007

© Karsten D. Wolf 2007

© Karsten D. Wolf 2007

© Karsten D. Wolf 2007

© Karsten D. Wolf 2007

© Karsten D. Wolf 2007

Quelle: Schwedes 2008 (ZMML Uni Bremen)

Quelle: Schwedes 2008 (ZMML Uni Bremen)

Quelle: Schwedes 2008 (ZMML Uni Bremen)

Quelle: Schwedes 2008 (ZMML Uni Bremen)

Quelle: Bücking 2008 (ZMML Uni Bremen)

© Karsten D. Wolf

Zusammenfassung: Wann ist das sinnvoll?

• Mehr als 300 Kandidaten pro Prüfung

• Mehr als 50 Rechner pro Raum

• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)

• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen

• Alternative offene Formate: Lesbarkeit + Vorkorrekturen

• Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung

• Alternativen: Kooperation von Autorinnen und Autoren

• Alternativen: (Vor-)Erstellung von Items durch Studierende

Quelle: Bücking 2008 (ZMML Uni Bremen)

Quelle: Bücking 2008 (ZMML Uni Bremen)

Quelle: Bücking 2008 (ZMML Uni Bremen)

© Karsten D. Wolf

Pro und contra: Studenten

• Sofortige Bereitstellung des Prüfungsergebnisses

• Objektive, transparente und fehlerfreie Klausurbewertung

• differenziertes Feedback

• vereinfachte Vorbereitung durch online-Training unter Verwendung der gleichen Fragenkataloge

• Benachteiligung von Personen mit geringerer Computerkompetenz (digital literacy, 10-Finger-Schreiben)

• Benachteiligung von Personen mit negativer Einstellung zu Computern

• Probleme bei der Konzentration (Computermonitor, Lüfterlärm, Tastaturgeklapper…) ➙ Stress?

• Datenschutz?

in Anlehnung an Bücking / Schwedes 2005

© Karsten D. Wolf

Pro und contra: Lehrende / Prüfungsautor(inn)en

• Enorme Arbeitsentlastung durch automatische Auswertungsverfahren & Verwaltung

• Effiziente Unterstützung bei Freitextfragen-Korrektur

• Wiederverwendbare und „kollaborative“ Fragenkataloge

• Qualitätssicherung und -verbesserung

• Hoher Initialaufwand zur Digitalisierung vorhandener Fragen und Aufbau eines hinreichend großen Fragenkataloges

• Prüfungsdesign wird durch Technik beschränkt

• technische Manipulationsmöglichkeiten (während und vor der Prüfung)

in Anlehnung an Bücking / Schwedes 2005

© Karsten D. Wolf

Pro und contra: Allgemein

• Kosteneinsparung

• Mögliche Erstellung komplexer und interaktiver Fragen durch Multimediaelemente

• Stabilität & Zuverlässigkeit

• Qualitätsverlust des Studiums durch reine Wissenstests

in Anlehnung an Bücking / Schwedes 2005

© Karsten D. Wolf 2007by: CarbonNYC

UmstellungBachelor-/Master-Struktur

Input ➙ OutputBildungskanon ➙ Kompetenzen

© Karsten D. Wolf 2008

Definition Kompetenzen (Weinert)

“Die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können” (Weinert 2002, S.27f)

© Karsten D. Wolf 2008

Prinzipielles Problem

• Operationalisierung

• Messung

• Bewertung

Je komplexer eine Kompetenz ist,

desto weniger validierte Instrumente

sind vorhanden!

© Karsten D. Wolf 2008

Gütekriterien für Tests: Heins Helmtest

Objektivität

Reliabilität

Validität

✔

✔

✘

© Karsten D. Wolf 2008

Gütekriterien für universitäre Prüfungen?

Objektivität

Reliabilität

Validität

?

??

???

100kg80kg60kg40kg

Wie „schwer“ ist eine Aufgabe?

100kg

80kg

60kg

40kg

Maximalkraft?

100kg

80kg

60kg

40kg

Maximalkraft?

Θ=40 Θ=60 Θ=80 Θ=100

© Karsten D. Wolf

Kurve der Itemcharakteristik (ICC)

Θ 40 60 80 100

0%

50%

100%60kg Gewicht

p(x)

© Karsten D. Wolf

Kurve der Itemcharakteristik (ICC)

Θ 40 60 80 100

0%

50%

100%60kg Gewicht

80kg Gewicht

p(x)

© Karsten D. Wolf

Kurve der Itemcharakteristik (ICC)

Θ 40 60 80 100

0%

50%

100%60kg Gewicht

80kg Gewicht

Aufgabe (Item)ist schwerer

p(x)

© Karsten D. Wolf

Kurve der Itemcharakteristik (ICC)

Θ 40 60 80 100

0%

50%

100%60kg Gewicht

80kg Gewicht

Aufgabe (Item)ist schwerer

p(x)

© Karsten D. Wolf

Raschmodell: „Kompetenzstufen“

Θ

0%

50%

100%

-2 -1 0 1 2

I II III IV

cc by Karsten D. Wolf 2008

Frage: Auf welchen Taxonomiestufen können E-Assessments messen?

Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy

Erinnern

Verstehen

Anwenden

Analysieren

Evaluieren

Erzeugen

© re

vcru

z @

flic

kr

© Karsten D. Wolf 2007

We want credit points!

© Karsten D. Wolf

Test Wiseness Test

In which pifflerock did zorkrans inkle?

(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk

http://www.kvhigh.com/learning/testtips.html

© Karsten D. Wolf

Test Wiseness Test: Wiederholung aus Wortstamm

In which pifflerock did zorkrans inkle?

(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk

http://www.kvhigh.com/learning/testtips.html

© Karsten D. Wolf

Test Wiseness Test

Wenn hier eine Frage stände,was wäre die richtige Antwort?

(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen

http://www.kvhigh.com/learning/testtips.html

© Karsten D. Wolf

Test Wiseness Test: odd one out

Wenn hier eine Frage stände,was wäre die richtige Antwort?

(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen

http://www.kvhigh.com/learning/testtips.html

© Karsten D. Wolf

Test Wiseness Test

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan

hippolslumg enslife yolent

http://www.kvhigh.com/learning/testtips.html

© Karsten D. Wolf

Test Wiseness Test: Längste Alternative

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent

http://www.kvhigh.com/learning/testtips.html

© Karsten D. Wolf 2007by: CarbonNYC

Umstellung KompetenzenBachelor-/Master-Struktur

Wissenverstärkter MassenbetriebBildungskanon ➙ Kompetenze

schlechtes Assessment n

© Karsten D. Wolf

Gegenmaßnahmen

• Schulung der Autoren / Autorinnen

• Bessere Distraktoren

• Höhere Taxonomiestufen

• Confidence-Based Marking (Gardner-Medwin 2006)

• Übersaturierte Antwortauswahl per Drop-Down

• Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten

© Karsten D. Wolf

Testformen (angelsächsisch)

Perceptions of Assessment (MacLellan 2002)

© Karsten D. Wolf

Testformen (angelsächsisch)

Perceptions of Assessment (MacLellan 2002)

AufsatzLernjournaleKlausuren mit kurzen FragenSeminarbeiträgePräsentationen

Testverfahren

standardisiert nicht-standardisiert

Psychometrisch(z.B. PISA)

Holistisch(z.B. CLA)

Traditionell(z.B. Klausuren)

Alternative Assessment

(z.B. Portfolio)

formativ

© Karsten D. Wolf 2008

Quelle: Johannes Hartig & Nina Jude 2007, S.30

© Karsten D. Wolf

Collegiate Learning Assessment(Klein / Benjamin / Shavelson / Bolus 2007)

http://www.cae.org/content/pro_collegiate.htm

© Karsten D. Wolf

Diagnostische Fragen: Eignungsdiagnostik

Eigenschaften

Verhalten Ergebnisse

Test

Simulation Biographie

Schuler & Höft 2001

Simulation

Simulation

© Karsten D. Wolf 2007

Simulation

Authentic Assessment

Präsenz

PräsenzELearning Word

Blackboard

Online

PS 2

PS 3

Blended Assessments

Formative Assessment

© Karsten D. Wolf 2008

„Neue“ Methoden / alternative assessment

• Portfolio

• Lernkontrakte

• Beobachtungen im Prozess

• Selbstbewertung, wechselseitige Bewertung & beauftragte Bewertung

© Prof. Dr. Karsten D. Wolf

T

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

2 2 2 2 2

2 2 2 2 2

2 2 2 2 2

2 2 2 2 2

1 1 1 1 1

2 2 2 2 2

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

ST ST

T

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

2 2 2 2 2

2 2 2 2 2

2 2 2 2 2

2 2 2 2 2

1 1 1 1 1

2 2 2 2 2

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

ST ST

T

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

1 1 1 1 1

2 2 2 2 2

2 2 2 2 2

2 2 2 2 2

2 2 2 2 2

1 1 1 1 1

2 2 2 2 2

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

3 3 3 3 3

ST ST

Phase 1 Phase 2 Phase 3

© Karsten D. Wolf 2008

„Neue“ Methoden / alternative assessment

• Lerntagebücher

• Leistungspräsentation

• Rückmeldebögen (Rubrics)

• Bewertungskonferenzen

• Zertifikate

Formative Assessment

© Karsten D. Wolf 2008

Portfolio

• Leistungen sowie Lern- und Arbeitsprozesse von Schülern / Studenten werden dokumentiert (inkl. Beschreibung und Reflexion der Schüler)

• Betrifft alle Dimensionen

• Auch “Leistungsmappe” (Vierlinger) in den 70ern

• USA: hohe Verbreitung, die Alternative

© Karsten D. Wolf 2008

Kurs-Portfolio

• Sammlung aller möglichen Kurzprodukte reicht nicht

Kurshefter, Arbeitsjournal, Arbeitsheft

• Es bedarf zusätzlich

• reflexiver Praxis

• Auswahl zur Dokumentation der Leistung bzw. Leistungsentwicklung

• Unterschiedliche Auswahl (Beste + schlechteste, besten, unterschiedlichsten etc.)

© Karsten D. Wolf 2008

Auswirkung auf Didaktik und Methodik

• Umgestaltung des Unterrichts

• offene, aktive Formen

• Lehrende als Lernbegleitende und Lernberatende

• differenzierte und individualisierte Arbeit

• Interessen der Schüler_innen können besser entsprochen werden

• angepasstes Arbeitstempo

© Karsten D. Wolf 2008

ePortfolio

• webbasiertes Portfolio

• Sammlung von Einlagen in digitalisierter Form

• Unterstützung bei Verwaltung der Einlagen

• Unterstützung bei der Reflektion (Vorlagen für Deckblätter etc.) und ggf. auch bei der Bewertung (Bewertungsbögen)

• Unterschiedliche Zugangsrechte

• Pädagogische Ziele entsprechen den klassischen Portfolios

© Karsten D. Wolf

Innovationsbereiche beim E-Assessment

• Simulation

• Realitätsnähe

• Feedbackkomponenten

• Explorationsmöglichkeiten

• Automatisierte Bewertung von Essays

• Verbesserung der Messmodelle (Rasch Skalierung)

• Verkürzte Prüfungen (adaptives Testen)

• Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen.

• Autorenwerkzeuge für fachspezifische Tests/Sims

© Karsten D. Wolf

Innovationsbereiche beim E-Assessment

• Summative Tests werden in den Lehr-Lern-Prozess integriert

• Einbindung in E-Portfolios

• Kompetenzmessung in Gruppen

• Transfer wird durch authentische Aufgaben erleichtert

• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden

• Keine speziellen Prüfungen mehr notwendig

• Durch Testbänke keine festen Prüfungstermine mehr

• Kombination in Form von Blended Assessment

cc by Karsten D. Wolf 2008

Ausgangsfrage: E-Assessments können auf allen Taxonomiestufen eingesetzt werden

Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy

Erinnern

Verstehen

Anwenden

Analysieren

Evaluieren

Erzeugen

• Formative Bewertungsverfahren

• Alternative Verfahren werden praktikabel

• Unterstützung auch bei offenen Formate

• Dialog über Prüfungsqualität

© Karsten D. Wolf 2007

FB 12 Erziehungs- und BildungswissenschaftenDidaktische Gestaltung

multimedialer Lernumgebungen

http://www.ifeb.uni-bremen.de/wolf

wolf@uni-bremen.de

http://www.ifeb.uni-bremen.de/assessment/