32
Einführung E-Assessment & Organisation von E-Assessment Cornelia Ruedel E-Learning Center, Universität Zürich http://www. elc . uzh . ch

09 GMW Workshop E Assessment

Embed Size (px)

DESCRIPTION

Vortrag am GMW-Workshop am 18./19. Juni 2009 an der Universität Zürich (http://www.elc.uzh.ch/veranstaltungen/GMW-Workshop2009.html)

Citation preview

Page 1: 09 GMW Workshop E Assessment

Einführung E-Assessment

&

Organisation von E-Assessment

Cornelia RuedelE-Learning Center, Universität Zürich

http://www.elc.uzh.ch

Page 2: 09 GMW Workshop E Assessment

Agenda

1. Teil: Einführung• Was ist E-Assessment?

• Begrifflichkeiten und Zusammenhänge

2. Teil: Vom Pilotversuch zum universitätsweiten Angebot• Bestandteile eines Pilotversuchs

• Verschiedene Modelle

• Schlüsselfaktoren

Page 3: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 3

Alltag an der Universität

Aktuelle Prüfungssituationan der Universität Zürich• vermehrtes Prüfungs-

aufkommen durchdie Bologna Reform

• Prüfungsdurchführungund -auswertung ist einegrosse Personalbelastung

• Problematik: Massenfächer(Z.B. UZH: Assessmentstufe Wirtschaftswissenschaften)

Universitärer Dreikampf: Prüfung, Hausarbeit, Referat

Page 4: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 4

Probleme mitkonventionellen Prüfungen

Schriftlich:

fragliche Validität und Reliabilität,

zeitaufwendige Korrektur

Problem: Lesbarkeit der Handschriften

Mündlich:fragliche Validität,Reliabilität

und Fairness,

jede/r Prüfling hat andere Bedingungen,

zeitaufwendige Durchführung

Page 5: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 5

Was ist E-Assessment?

Ruedel et al (2007a)

Page 6: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 6

Was ist E-Assessment?

DefinitionUnter E-Assessment versteht man die Benutzung von ICT bei den Arbeitschrittenzur Erstellung, Präsentation, Durchführung und der Auswertung vonLeistungsnachweisen.

oderDer Begriff E-Assessment beschreibt im Allgemeinen das Prüfen mit„e“-lektronischen Medien. Hierbei wird bei den Arbeitschritten Erstellung,Durchführung, Auswertung und Rückmeldung auf allen Ebenen (Dozenten,Prüflinge) der Computer verwendet.

kurz gesagt: ...E-Assessment = Erstellung/Durchführung/Auswertungvon Assessment mit Hilfe von Computer/Netzwerk

Page 7: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 7

Wie hat sich E-Assessmententwickelt? (Teil I)

Stand-alone

Closed

network/

Intranet

Internet

Software which has the capability

to run on a stand-alone computer

over a network/intranet or

through the Internet and to

combine the use of all three

technologies if appropriate.

For example: a test which is

posted to students on a CD-

ROM. Students take the test

and upon completion the

software accesses the Internet

to upload files to a database.

For example: an assessment

which is delivered question by

question from a closed network

server. When all results have

been stored, they are distributed

to tutors using the Internet.

For example: a test

completely downloaded

from a server onto a

computer, which is offline

during the test-taking and

reconnects to the network

to upload final results.

Bull, J. & McKenna, C. (2004): Overview over CAA Technologies

Bull & McKenna (2004)

Page 8: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 8

Wie hat sich E-Assessmententwickelt? (Teil 2)

CAA OMR

Port-

folios

CBA

Networked

Online Assessment stand-

alone

Warburton, B. & Conole, G. (2005)

Warburton, B. & Conole, G. (2005): Different Types of CAA

Page 9: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 9

Wie hat sich E-Assessmententwickelt? (Teil 3)

Technologiebasiertes Assessment

E-Assessment

Online Assessment

Internet basiertes

Assessment

Web basiertes

Assessment

Computerbasiertes

Assessment

Bloh, E. (2006): Differenzierung von E- / Online-Assessment

Bloh (2006)

Page 10: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 10

Selektion

diagnostisch formativ summativ

Lehrveranstaltung (en)

Modul

Lernlenkung Bewertung

Eingangs-test

Prüfung

Welche Einsatzbereiche gibt es?

Crisp (2007)

Page 11: 09 GMW Workshop E Assessment

E-ASSESSMENTS

E-Port-folios

ElectronicSubmission

OnlineDiskussions-

forumPeer-

Assess-ment

LEISTUNGSNACHWEISE

MündlichePrüfungen

Seminar-arbeiten

Poster-Präsentationen

Studien-tagebücher

Port-folios

Protokolle

Gruppen-prüfungen

Gruppenpuzzle

Blog

Wikis

Referate

Peer-Assess-ment

SchriftlichePrüfungen

E-Klausur

elektronischePrüfungen

offene Fragen

offene Fragen

geschlossene Fragen

geschlossene Fragen

Wissenschafts-praktische

Tätigkeiten

Simu-lationen

Digital Storytelling

MündlicheMitarbeit

- gibt Ähnlichkeiten

- gleich

Prüfungsformen

Apaptives Testing

OMR

Page 12: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 12

Teil 2:

Vom Pilotversuch

zum universitätsweiten Angebot

Page 13: 09 GMW Workshop E Assessment

Prüfungsformen

Was wird für ein Pilotversuchbenötigt?

Prüfungs-

ordnungen

RäumeComputer

Netzwerk

Software Hardware

Dozierende

Lehr-veranstaltung

Studierende

Prüfungs-fragen

Verwaltung

Universität

Idee: E-Assessment

Sicherheits-

aspekte

Page 14: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 14

Grundsätzliche Überlegungen: Wie entwickeln sich Pilotprojekte?

Ideal Institutional

Ideal tutor

Disastrous

Ad hoc

Lowstakes,smallscale

Lowstakes,largescale

Highstakes

Embedded End oflife

Planning

Warburton (2005): Typische CAA Entwicklungen

Piloting

Warburton (2005)

Page 15: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 15

JISC Forschungsprojekt

2005 - 2007:

JISC Project: Case Studies Project «Innovative andeffective Use of e-Assessment»• Good Practice

• Identifikation von Erfolgsfaktoren

• Hilfestellung für Universitäten im Anfangsstadium

Whitelock et al. (2006) / Ruedel et al. (2007)

Page 16: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 16

Ergebnisse:Maturity and Effectiveness

Page 17: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 17

Organisation-Klassifikation:3 verschiedene Typen

Page 18: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 18

Typ 1: Departmental Champion

• Wer: Dozent/in

• Motivation: Verbesserung der Lehre/Prüfung

• Software: sehr oft Eigenentwicklungen

• Durchführung: Computerarbeitsräume

• Dokumentation: vorhanden

• Einfluss auf die Gesamtuniversität: gering

• Kommunikation: Innerhalb der Fach-Community aber nichtinnerhalb der Universität

• Finanzierung: Meist aus Eigenmittel finanziert

• Vorteile: sehr individuelle und innovative Lösungen

Ruedel et al.(2007b)

Page 19: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 19

Typ 2: Faculty based Team

• Wer: Kreis von Dozierenden mit dem Support Team innerhalb

einer Fakultät

• Motivation: Meistens auf ein bestimmten Aspekt konzentriert,

z.B. rich feedback

• Software: Eigenentwicklung oder kommerzielle Software

• Durchführung: Computerarbeitsräume

• Dokumentation: langjährige Erfahrung mit vielen Publikationen

• Einfluss auf die Gesamtuniversität: mässig

• Kommunikation: innerhalb Fakultät & ausserhalb der Universität

• Finanzierung: Projektmittel

Ruedel et al.(2007b)

Page 20: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 20

Typ 3: Central Team

• Wer: Zentrales Team unterstützt und koordiniert die E-Assessment Aktivitäten

• Motivation: Kosten- und Zeitersparnis

• Software: Kommerzielle Software oder Eigenentwicklung mithohen Sicherheitsstandard

• Durchführung: Eigene Räumlichkeiten oderComputerarbeitsräume der Universität

• Dokumentation: sehr gut

• Einfluss auf die Gesamtuniversität: universitätsweite Angebot

• Kommunikation: transparent innerhalb und ausserhalb derHochschule

• Finanzierung: Direkte finanzielle Unterstützung von derUniversitätsleitung

Ruedel et al.(2007b)

Page 21: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 21

Was bringen die Forschungsergebnisse?

Page 22: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 22

Einteilung als Entwicklungspfad

Müssen alle Stadien durchlaufen werden oder kann E-

Assessment auch gleich in der 3. Stufe eingesetzt

werden?

DepartmentalChampion

Faculty basedTeam

CentralTeam

Zeit

Einführung vonE-Assessment

KommerzielleNutzung

Typ 1 Typ 2 Typ 3

Ruedel et al.(2007b)

Page 23: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 23

Schlüsselfaktoren für die effektive

Organisation von e-Assessment

• Unterstützung durch Universitätsleitung

• Zentrales Team mit klarer Rollenverteilung

• Effektive Kommunikation mit Dozierenden

• LMS als Katalysator für formatives e-Assessment

• Klare Richtlinien und Arbeitsabläufe

Ruedel et al.(2007b)

Page 24: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 24

Klare Richtlinien und Arbeitsabläufe

Page 25: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 25

1. Schritt: Identifikation allerBeteiligten

Dozierende

Studie-rende

Institute

Fakultäten

Uni-leitung

E-Assess-MentTeam

E-Learning

AufsichtID

Netzwerk

Rechen-zentrum

Hörsaal-Buchung

Bauten und

Räume

Rechts-dienst

Kanton

Wirtschaft

Curriculum

Eltern

Freunde

Mit-Studie-rende

Verwaltung

Bund

Medien

E-Assessment

Reinigung

Hörsaal-austattung

Autoren

Editoren

Stakeholder

3. Ebene

2. Ebene

1. Ebene

Senior Management

Erstellung

Finanzgeber

Meinungsmacher

Unterstützung

Bereitstellung

Page 26: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 26

2. Schritt: Entwicklungskreislauf(2006)

Whitelock, et al. (2006) / Ruedel et al. (2007a)

Page 27: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 27

3. Schritt: Definition der ArbeitsschritteMotivation

- Analyse der Lehre - Beratungen - Lernmaterialien - Mitarbeiterschulungen

Planung

- Festlegung der Prüfungsart und Beurteilungskriterien - Fragenherstellung nach Vorgaben der Prüfungsinhalte - Vorrevision der Fragen (sprachlich, inhaltlich)

Entwicklung

- Eingeben /Programmieren der Frage in den Frageneditor - Grafische Umsetzung (z.B. FLASH) - Revision der Fragen - Vortest der Fragen - Zusammenstellung des Fragenpools

Administration

- Prüfungsausschreibung - Informationen über Leistungsnachweis für Studierende - Anmeldung – Zugang zu Prüfungssystem - Erstellen der Kandidatenliste - Reservation des Prüfungsraum

Durchführung

- Test des Lesistungsnachweis - Probelauf für die Studierende - Bereitstellen des Leistungsnachweis - Durchführung - Prüfungsaufsicht - Datenübermittlung

Auswertung

- Erste elektronische Auswertung/Beurteilung - Manuelle Auswertung bei Essay-Prüfungen - Analyse - Entscheide zur definitiven Bewertung - Definitive elektronische Auswertung/Bewertung - Nachprüfen der Prüfungsresultate (manuelle Stichproben) - Feedback an die Kandidaten - Analyse/Bericht/Evaluation: Überprüfen der Gütekriterien

Rekurse - Bearbeitung von allfälligen Rekursen

Archivierung - Archivierung der Resultate - Elektronische Aufbewahrung der ganzen Prüfung

Evaluation

- Nachlese und Verbesserungsvorschläge

Ruedel et al (2007a)

Page 28: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 28

4. Schritte: Schnittstellenanalyse

D F U Z K ID H BUR RD S

Motivation x x x x X

Planung x x x

Entwicklung x

Administration x x x x X x

Durchführung x x x X

Auswertung x

Rekurse x X x

Archivierung x x x X

Evaluation x x x x

Ruedel et al (2007a)

Page 29: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 29

5. Schritt: Arbeitsmodell mit Risiken

Risikomanagement

• Pädagogische Risiken

• Operationale Risiken

• Technische Risiken

• Web-basierte Risiken

• Finanzielle Risiken

• Sicherheitsaspekte

Ruedel et al (2007a) / Zakrzewski & Steven, C. (2003)

Page 30: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 30

5. Schritt: Arbeitsmodell mit Risiken

Evaluation

Archivierung

Rekurse

Auswertung

Durchführung

Administration

Entwicklung

Planung

P1P1P1Motivation

SRDBURHIDKZUFD

ZürichArbeitsmodell

Page 31: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 31

Zusammenfassung:

Organisatorische Schlüsselfaktoren

• Unterstützung durch Universitätsleitung

• Zentrales Team mit klarer Rollenverteilung

• Effektive Kommunikation mit Dozierenden

• LMS als Katalysator für formatives e-Assessment

• Klare Richtlinien und Arbeitsabläufe

Weitere wichtige Faktoren

• Dozierende

• Prüfungsfragen

Page 32: 09 GMW Workshop E Assessment

FusszeileGMW-Workshop 03.09.2009 / 32

Literaturliste:

Bloh, E. (2006) Differenzierung von E-/Online-Assessment, Präsentation bei VCRP-Workshop –„Möglichkeiten und Probleme des Online Assessments“ in Kaiserslautern am 20.04.2006.

Bull, J. & McKenna, C. (2004) Blueprint for Computer-assisted Assessment London: RoutledgeFalmer

Ruedel, C.; Schiefner, M.; Noetzli, C.; Seiler Schiedt, E. (2007a).Risikomanagement für E-Assessment. In:Marianne Merkt, Kerstin Mayrberger, Rolf Schulmeister, Angela Sommer,Ivo van den Berk (Hrsg.).Studieren neu erfinden – Hochschule neu denken. Waxmann Verlag, siehe auch:http://pruefung.net/?p=439

Ruedel, C., Whitelock, D. and Mackenzie, D. (2007b) Key Factors for Effective Organisation of E-Assessment, IN: Proceedings of the 11th CAA Conference, Loughborough: Loughborough University, UK

Warburton, B. und Conole, G. (2005) A review of computer-assisted assessment. ALT-J, Research inLearning Technology Vol. 13, No. 1, March 2005, pp. 17-31

Warburton, W. (2005) Towards a theory of computer-assisted asessment uptake in UK higher education.Unpublished PhD Thesis, University of Southampton.

Zakrzewski, S. and Steven, C. (2000) A Model for Computer-based Assessment: the catherine wheelprinciple, Assessment & Evaluation in Higher Education, 25, 201-215

Zakrzewski, S. & Steven, C. (2003) Computer-based Assessment: quality assurance issues, the hub of thewheel. Assessment and Evaluation in Higher Education, 30, 603-620