Schaffert (2009). Grundlagen des E-Assessment - Teil 1

Schaffert, Sandra (2009): Grundlagen des E-Assessment

Grundlagen des E-AssessmentTeil 1: E-Assessment und Prüfungen – Formen, Funktionen im Überblick

Kurs 11: Grundlagen des E-AssessmentLehrgang eCompetence 2008/20095. März 2009, Universität Wien

Dr. Sandra Schaffert, Salzburg Research,Weblog E-Assessment – http://pruefung.net

Sandra Schaffert 2009http://creativecommons.org/licenses/by/3.0/de/


Formen, Funktionen und Wirkungen von Prüfungen & Überprüfung von Lernzielen


Prüfen …

| Prüfen bedeutet… „Aufgabe stellen und bewerten“ (nach Jeangros 1959)

| Vier Varianten| Prüfen des Lernens| Prüfen für das Lernen| Lernen durch Prüfungen

(Tests)| Diagnostische Prüfungen

http://www.flickr.com/photos/lshave/3007393174/


Prüfen des Lernens

| Beurteilung des Lernens charakterisiert sich wie folgt:

| "an einen vorgeschriebenen Zweck gebunden;

| vorgeschriebene Artefakte - punkten für externe Verwendung;

| vom Lehrer organisiert;| zusammenfassend (Vergangenheit bis zur

Gegenwart);| auf die Einrichtung zentriert;| erfordert Motivation von außen."

Assessment Reform Group (2002); siehe www.mosep.org

http://www.flickr.com/photos/fauzan145/2681134498/


Prüfen für das Lernen

| Beurteilung für das Lernen dagegen zeichnet sich aus durch:

| "einem vereinbarten Zweck dienlich;

| selbstgewählte Artefakte - Feedback für den Lernenden;

| vom Lernenden organisiert;| formend (Gegenwart in die

Zukunft);| auf den Schüler zentriert;| schafft Motivation von innen.“

Assessment Reform Group (2002); siehe www.mosep.org

http://www.flickr.com/photos/judybaxter/7340100/


Weitere Varianten

| Prüfen als Lernen| Drill & Practice, aber auch Simulationen| sind Prüfungsvarianten, mit denen auch gelernt

werden kann| Prüfen für diagnostische Zwecke| Z. B. Ermittlung des Vorwissens zur Einteilung in

Gruppen


Weitere Unterscheidungsmöglichkeiten von Prüfungsverfahren

| Nach Prüfer:| Selbstbeurteilung, | Peer-Beurteilung,| Gruppenbeurteilung, | Lehrer(innen) beurteilung;

| Nach Methode:| quantitative (testen oder zählen) | und qualitative Beurteilung;

| Nach Rückmeldung/Feedback| Noten, | Kommentare


Zwecke und Funktionen von Prüfungen (I)

| Pädagogisch-psychologische Funktionen| Aufklärende Rückwirkung auf Lernende und Lehrende zur

Verbesserung des Lehr- und Lernverhaltens| Motivation für Prüflinge| Disziplinierung des Arbeitsverhalten| Abschlussprüfungen als „heimliche Lehrpläne“


Zwecke und Funktionen von Prüfungen (II)

| Gesellschaftliche Funktionen| Z. B. Lehrabschlussprüfungen, Staatsexamen: Zugänge zu

Arbeits- und Bildungsbereichen| Garantie von Leistungsfähigkeit, die Gesellschaft vor

Laienhaftigkeit bewahren (Ärzte)| Gesellschaftskonstituierende Bedeutung, löst Privilegien

durch Geburt und Herkunft ab| Sanktion, Struktur und Herrschaft

| sonstige| Lernerfolgsmessung auch Teil von

Qualitätsmanagementsverfahren (Ökonomie) (Schaffert 2000, 25f)


Prüfungsverfahren I (Auswahl) ... und wie prüfen Sie?

| Kommunikative Prüfungsverfahren| Standardisierte mündliche Prüfung| Halbstandardisierte mündliche

Befragung| Unstrukturierte mündliche Befragung| Mündliche Gruppenprüfung| Gruppendiskussion| Präsentation| Rollengespräch/Rollenspiel

| Schriftliche Prüfungsverfahren| Gebundene schriftliche

Mehrfachauswahl-Aufgabe| Umordnungs-Aufgabe| Halboffene schriftliche Aufgabe| Offene schriftliche Aufgabe (Aufsatz)| Schriftliche Hausarbeit

http://www.flickr.com/photos/jose_kevo/3244479676/


Prüfungsverfahren II (Auswahl)... und wie prüfen Sie?

| Praktische Prüfung| Arbeitsprobe| Prüfungsstück

| Ganzheitliche Prüfungsverfahren| Praktische Übungen| Projektaufgabe| Assessment Center| Computersimuliertes Szenario| Planspiel

(nach Ebbinghaus & Schmidt 1999) http://www.flickr.com/photos/7883787@N05/2608190547/

http://www.flickr.com/photos/feuerwehrwiesbaden/2062258553/


Ihre letzte Prüfung (als Prüfer) – Teil I

• Was war der Zweck Ihrer letzten Prüfung?• Wie prüften Sie?• Was wurde gemessen und beurteilt?

http://www.flickr.com/photos/cristic/359572656/sizes/l/


Beispiele der Teilnehmer/innen

| Beispiel 1: Vorlesungsprüfung im ersten Studienabschnitt (Sprachstudium); es wird schriftlich mit unterschiedlichen Aufgabentypen (Lückentext, Terminierklärung, offene Fragen) geprüft; geprüft/gemessen wurde dabei das Wissen/Kennen der wichtigsten Fachtermini, deren Anwendung sowie die Fähigkeit zum Vernetzen der Gelernten Inhalte durch Analyse/Verknüpfungsaufgaben

| Beispiel 2: Abschlussteilleistung; mit e-Test: 50 single choice Aufgaben, geprüft wurde Wissen/Überblickswissen (?)


Unterschiedliche Vorstellungen von Lehre & LernenAus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie5

http://www.his.de/publikation/seminar/Workshop_E-Pruefung/TOP15.pdf


Prüfungen sind „heimliche Lehrpläne“!

Quelle: http://2.bp.blogspot.com/_a37U1ksbpdk/SDStYuXdpsI/AAAAAAAAAEc/mRYOdlOpJ9w/s400/nclb-cartoon.gif


Ihre letzte Prüfung (als Prüfer) – Teil II

• Wie beeinflussten Form und Inhalt der Beurteilung die Lerngewohnheiten Ihrer Student(inn)en?• Wie passt Ihre Beurteilung zu den Lernzielen/dem Lehrplan?

http://www.flickr.com/photos/cristic/359572656/sizes/l/


Beispiele der Teilnehmer/innen

| Fortsetzung Beispiel 1: Das Lernen wird sicherlich sehr beeinflusst – die Prüfung/Vorlesung dient als Mittel zum Zweck, es ist eine Pflichtveranstaltung, auf Seiten der Studierenden existieren sicher schon Fragesammlungen, es wird auch viel „zum Text“ hin gelernt; die Beurteilung passt in diesem Fall recht gut zu den Lernzielen, die drei Teile der Prüfung entsprechen grob den Lernzielen der Veranstaltung

| Fortsetzung Beispiel 2: Mein Eindruck: Es wurde weniger „konsequent“ gelernt, einzelne Wörter beeinflussen ob es wahr/falsch ist, die Wichtigkeit kann nicht eingeschätzt werden


Operationalisierung von Lernzielen

| Operationalisierung: Messbar-, Sichtbar-, Nachweisbarmachung von Lernen


Checkliste zur Lernzielformulierung

| Um als (formales) Lernziel akzeptabel zu sein, muss eine Zielformulierung vier Anforderungen erfüllen:

| Die Bedingungen, unter denen das Zielverhalten gezeigt werden soll, müssen erwähnt sein;

| Das Zielverhalten selbst muss beschrieben sein; | Es müssen die Standards erwähnt werden, denen

das Zielverhalten genügen soll (z.B. Zeitbedarf); | Es sollte spezifiziert sein, anhand welcher

Indikatoren man das Zielverhalten erfassen kann.

(aus: Stangl-Taller, Arbeitsblätter, http://arbeitsblaetter.stangl-taller.at/LERNZIELE/Operationalisierung.shtml )


Gruppenarbeit:

1. Formulieren Sie ein oder mehrereformal akzeptable Lernziele für diese

Lehrveranstaltung.

2. Wie würden Sie prüfen, ob das Lernziel erreicht wurde?

http://www.flickr.com/photos/dhammza/577671123/sizes/o/


Übung: Ziele dieser Veranstaltung (laut Ausschreibung)

| Kritische Auseinandersetzung der TeilnehmerInnen mit Leistungsbeurteilungskriterien ermöglichen

| Möglichkeiten des E-Assessment zur Lernziel- & Leistungsüberprüfung kennen lernen

| Zusammenhänge zwischen Assessment-Möglichkeiten, Medienwahl, Kommunikationsformen, Verlauf und Ergebnissen erkennen können

| Verständnis für die Zusammenhänge von Lern- und Studienzielen, Fragestellungen und Lernzielüberprüfung entwickeln


Ergebnisse der Gruppenarbeit

| Lernziel: Formen und Funktionen von Prüfungen erkennen und kontextsensitiv kommunizieren können (Kontext: in der eigenen Lehrveranstaltung) z. B. in Form eines Memos.

| Evt. Überprüfung/Aufgabenstellung: Die Anfertigung eines Memos für die Kollegen

| Kommentar: Bei Reflexionen ist es schwierig, Verhaltensweisen zu überprüfen

| Es geht nicht darum, es auswendig zu können, sondern zu wissen, wo man nachschauen kann.


Geschichten und Formen des E-Assessment im Überblick


E-Assessment

| E-Assessment ist die allgemeine Bezeichnung für den Vorgang des Prüfens mit Hilfe der Informationstechnologie, sprich “e”lektronischen Medien wie dem Computer.

| Hier und heute: Assessment des/für das Lernen


Cornelia Rüdel hat die Bezeichnungen für E-Assessment und auch deren Anzahl an Nennungen über drei Monate hinweg im Jahr 2007 erhoben und versucht, alle wissenschaftlichen Veröffentlichungen, Präsentationen und Papers im deutschsprachigen Raum zu erfassen. Siehe auch: Ruedel, C.; Schiefner, M.; Noetzli, C.; Seiler Schiedt, E. (2007). Risikomanagement für E-Assessment. In: Marianne Merkt, Kerstin Mayrberger, Rolf Schulmeister, Angela Sommer, Ivo van den Berk (Hrsg.). Studieren neu erfinden – Hochschule neu denken. Waxmann Verlag, siehe auch:http://pruefung.net/?p=439

Alternative Ausdrücke …


Computer als Hilfsmittel bei Prüfungen

| ab 1972 werden die Lehrabschlussprüfungen der Schweizer Bundesbahnen mit speziellen Markierungskarten und Leser über ein Computerprogramm ausgewertet (Bühler 1999)

| 1986 wird in einem Artikel zu „Computers in the Classroom“ empfohlen, die Vorbereitung und Verwaltung von Tests und Übungsaufgaben am Computer zu erledigen (Sigg 1986)

| 1995 ist die Speicherung und Verwaltung von Aufgabendatenbanken in der beruflichen Bildung als „unabdingbar“ anerkannt (Schmidt 1995)

| Seit 1998 werden die österreichischen theoretischen Führerscheinprüfungen am PC abgelegt (Test auf CD Rom)


E-Assessment

| Quantifizierende Ansätze| Online-Tests, Klausuren, standardisierte Verfahren

| Ganzheitliche, qualitative Ansätze| Gruppen-, Peer-Feedback, Lernunterstützung, E-Portfolio

| Beide Ansätze sind prinzipiell für formatives und summatives Prüfen geeignet …


21th Century Assessment

Church 2008, siehe Cornelia Rüdel inhttp://pruefung.net/?p=228


Kontakt

Dr. Sandra Schaffert Salzburg Research Jakob-Haringer-Str. 5/IIIA-5020 SalzburgPhone: +43-662-2288-429Fax: [email protected]://edumedia.salzburgresearch.at (Anwendungsfeld)http://sandra.schaffert.ws (Weblog mit allen Aktivitäten)http://pruefung.net (Weblog zu E-Assessment)

Education

Schaffert (2009). Grundlagen des E-Assessment - Teil 1