||Thomas Korner

10 Jahre Online-Prüfungen mit MoodleThomas Korner, Lehrentwicklung und –technologie (LET), ETH Zürich15. März 2018

20.03.18 1

||Thomas Korner

§ Rahmenbedingungen§ Online-Prüfungen – weshalb?§ Moodle als Prüfungssystem§ Projektentwicklung und Infrastruktur§ Ausblick

20.03.18 2

Inhalt

||Thomas Korner 3

Terminologie

E-Assessment

Summative Prüfungen

Formative Prüfungen

Internet Intranet

Prüfungen für Kreditpunkte an einem mit dem Internet verbundenen Computer. Alle Studierenden sitzen in einem Computerraum und werden überwacht.

Was wir machen:

DiagnostischePrüfungen

Offline-Prüfungen

20.03.18

||Thomas Korner 5

Prüfungen an der ETH

Semester Prüfungs-sessionSelbststudium

14 Wochen 4 / 8 Wochen

4 Wochen

Prüfung

20.03.18

4 Wochen

||Thomas Korner

Was ist die wichtigste Frage im Leben Studierender?

20.03.18 6

||Thomas Korner 7

„Wird dies Teil der Prüfung?“

20.03.18

||Thomas Korner

Wieso sind Prüfungen wichtig?

§ «Wird dies Teil der Prüfung?»§ Prüfungen haben grossen Einfluss darauf, was und wie

Studierende lernen.

§ «Werde ich die Prüfungen bestehen?»§ Prüfungen haben grossen Einfluss darauf,

wer den Lehrgang besteht.

8

Alignment

Selection

20.03.18

||Thomas Korner 20.03.18 9

Prüfungssituation heute

Lernsituation Prüfung Zielkompetenz

||Thomas Korner 20.03.18 10

Funktionen des Computers in Online-Prüfungen

Klassische Aufgabenformate

Computer als Werkzeug Simulation

||Thomas Korner 20.03.18 11

Angestrebte Prüfungssituation

Lernsituation Prüfung Zielkompetenz

||Thomas Korner

ePrüfungen: Grosses Potential

12

Qua

lität • Lesbarkeit

• Editierbarkeit• Softwarebasierte

Kompetenzen• Multimedia• Interaktivität• Feedback• Qualitätskontrolle

Effi

zien

z • Korrektur• automatisch• manuell

• Administration• Prozesse• Zusammenarbeit• Fragepool

20.03.18

||Thomas Korner 13

Infrastruktur für ePrüfungen

20.03.18

Moodle als Prüfungssystem

20.03.1814

||Thomas Korner 15

Basis-Setup

Safe Exam Browser (SEB)Standard LMS

Open-Source-Entwicklung mit Moodle-Integration

www.safeexambrowser.org

20.03.18

||Thomas Korner 16

SEB – HookAnbindung von SEB an Moodle

20.03.18

||Thomas Korner 20.03.18 17

Infrastruktur

LMS ServerInfrastruktur

Prüfungsclient

Prüfungsraum

NetzwerkMoodle

Quiz

ObserveIT

• Möglichkeiten von Moodle-Logfile begrenzt

• Datenschutz-konform(automatische Löschung)

||Thomas Korner 20.03.18 18

Infrastruktur

LMS ServerInfrastruktur

Prüfungsclient

Prüfungsraum

NetzwerkMoodle

Quiz

Virtuelle Desktop Infrastruktur

Software& Dateien

Virtual Desktop Infrastructure• Zusätzliche Software: Sicherheit• Open-Book-Prüfungen• Umkonfiguration

||Thomas Korner

§ Wartbarkeit§ Sicherheit§ Prüfungsspezifische Anpassungen§ Performance

20.03.18 19

Dediziertes Prüfungssystem

||Thomas Korner

§ Direkt – ohne Repository-Auswahl

20.03.18 20

Anpassungen & Fragetypen – File Upload

||Thomas Korner

§ Fragetyp K’ / KPrim§ Geeignet für Sachverhalte mit mehreren

Komponenten§ Kprim-Bewertung§ Eindeutige Optionen

20.03.18 21

Anpassungen & Fragetypen – Kprim

||Thomas Korner

§ Bessere MC§ Häkchen eindeutig§ True/False anpassbar§ Keine Negativpunkte

20.03.18 22

Anpassungen & Fragetypen – Multiple True False (MTF)

||Thomas Korner

§ Ausschluss Distraktoren§ Radiobutton abwählbar§ Graubereiche§ Keine Negativpunkte

20.03.18 23

Anpassungen & Fragetypen – Single Choice

||Thomas Korner

§ Lokale Speicherung beiNetzwerkunterbruch

§ Automatische Wiederaufnahme§ USB-Speicherung möglich§ Komplett im Hintergrund

20.03.18 24

Anpassungen & Fragetypen – WiFi-Resilience

||Thomas Korner

§ Fragenverwaltung§ Vielfältige Ansprüche§ Träge Weiterentwicklung des Quiz-Moduls§ Verschiedene Prozessoptimierungen

erwünscht (bspw. Dateidownload)

20.03.18 25

Herausforderungen für Moodle im Kontext von Online-Prüfungen

Projektentwicklung und Infrastruktur

20.03.1826

||Thomas Korner 27

Entwicklung des ePrüfungsservices

§ 2007 Erste Pilotversuche

§ 2010 regulärer Service

§ 2013 grosse Prüfungsräume

§ 2014 Dediziertes Prüfungssystem

§ 2017 Prüfung mit Mobilgeräten

§ 2018 neuer, grosser Prüfungsraum

20.03.18

||Thomas Korner 20.03.18 28

Durchgeführte Prüfungen bis 2018

Anzahl Einzelleistungen pro Semester seit 2012: Bis und mit 2017 HS:Ca. 600 Online-Prüfungen durchgeführtCa. 55’000 Einzelleistungen geprüft

(Bild: Alessandro della Bella)

||Thomas Korner 29

Prüfungen bis 500 Studierende (Standard-Setting bis HS 2017)

Einzelner RaumEine Gruppe

Mehrere RäumeMehrere Gruppen

Mehrere RäumeEine Gruppe

Einzelner RaumZwei Gruppen

Bis 150

Bis zu 250 Bis zu 500

Bis 300

20.03.18

||Thomas Korner

+ 240 Prüfungsplätze

20.03.18 30

Neuer Prüfungsraum 2018

(Bild: Alessandro della Bella)

||Thomas Korner

Im HS2017 wurde erstmalig das ONA E7 (240 Arbeitsplätze) in Betrieb genommen und die Warteliste abgebaut:

20.03.18 32

Neue Prüfungen im ONA E 7, Oerlikon

Direkter Vergleich 2017FS und 2017HS:

2017FS: 54 Prüfungen, ca. 4’900 Kandidaten

Steigerung Steigerungum 64% um 59%

2017HS: 89 Prüfungen, ca. 7’800 Kandidaten

||Thomas Korner

Prüfungen mit mobilen Geräten

20.03.18 33

Im HS2017 wurde ausserdem in Zusammenarbeit mit dem neuen Studiengang BSc Humanmedizin das Projekt mobile Prüfungen gestartet

Bisher:• 4 Prüfungen während des Semesters• 2 Prüfungen in der Session

Insgesamt bereits ca. 600 erfolgreiche Einzel-prüfungen

||Thomas Korner 20.03.18 34

Akzeptanz ePrüfungen

0.0%5.0%

10.0%15.0%20.0%25.0%30.0%35.0%40.0%45.0%

-2 -1 0 1 2 n.a.

Online (n=568) Paper (n=674)

||Thomas Korner 20.03.18 35

Akzeptanz ePrüfungen

-0.5

0

0.5

1

1.5

2

Closed-ended only Mixed: Closed - Open Authentic: 3rd partyapps

Acceptance: Online Scenarios

||Thomas Korner

§ Unterstützung durch die Schulleitung§ Service-Verantwortung ePrüfungen am LET

§ Zentrale Koordination§ Didaktik bestimmt Service-betrieb und -entwicklung

§ Examinator/innen bleiben verantwortlich§ Eigenständiges erfassen der Prüfungen in Moodle§ Schulung der Prüfungsaufsichten

§ Balance zwischen Spezialisierung und Redundanzen§ Getrennte Verantwortlichkeiten§ Enge Zusammenarbeit

20.03.18 36

Erfolgsfaktoren

||Thomas Korner 20.03.18 37

Ausblick

Fun fact: Bis und mit HS2017 haben wir insgesamt und seit 2007 gut 600 Online-Prüfungen mit ca. 55'000 Einzelleistungen durchgeführt – dies entspricht in der Grössenordnung der Anzahl Online-Prüfungen, welche wir bis ca. 2022 pro Jahr durchführen sollen – es gibt also noch viel zu tun.

www.moodle-dach.eu

BarCamp 18./19. JuniDevCamp 19./20. Juni

cu there!

20.03.1838