Lernerfolg und Lernmotivation fördern mit E-Assessment

cc Karsten D. Wolf

Lernerfolg und Lernmotivation fördern mit E-Assessment?

Karsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer LernumgebungenUniversität Bremen

Assessment drives learning • ELT TU Wien 8.04.2011

Mittwoch, 20. April 2011

cc Karsten D. Wolf

Agenda

Washback Effekt von EAssessment +wie kann man Studierende durch gute EAssessments zum Lernen motivieren?

Kompetenzmodelle und ihre Umsetzung per EAssessment

Fehler bei EAssessments vermeiden

Good Practice bei EAssessment Items Erstellung

Akzeptanz von EAssessments

Implementation an der Uni Bremen - Kosten und Benefits

cc Karsten D. Wolf

Washback Effekt:Prüfungen bestimmen das Lernverhalten!

cc Karsten D. Wolf

Washback Effekt:

Schwierigkeit einer Klausur über Menge an Wissenzu regulieren führt zu flachem Bulemie Lernen… Ebbinghaus

Reine Wissenstests können die eigene Lehrver-anstaltung unterminieren

…positive Washback Effekte sind ebenfalls möglich

Verständnisorientiertes Lernen belohnen

cc by Karsten D. Wolf

Ausgangsfrage: Ist es möglich, auch höhere Taxonomiestufenmit geschlossenen Aufgabenformaten zu testen?

Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy

Erinnern

Verstehen

Anwenden

Analysieren

Evaluieren

Erzeugen

cc Karsten D. Wolf

1. Erinnern

• Wiedererkennen / Identifizieren

• Abrufen / Wiederfinden

Überarbeitete Bloom‘sche Taxonomie der Lernziele

Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching and assessing:

A revision of Bloom's Taxonomy of educational objectives: Abridged edition, New York : Longman.

cc Karsten D. Wolf

2. Verstehen

• Interpretieren / Klären / Darstellen• Exemplifizieren / Beispiele geben• Klassifizieren / Kategorisieren• Zusammenfassen / Generalisieren• Ableiten / Folgern / Prognostizieren• Vergleichen / Zuordnen / Kontrastieren• Erklären / Modelle konstruieren

Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren

Erinnern

Verstehen

Anwenden

Erinnern

Verstehen

Anwendenselten gebrauchtes Wissen

Erinnern

Verstehen

äußerst selten gebrauchtes Wissen

Erinnern

Verstehen

äußerst selten gebrauchtes, irrelevantes Wissen

Erinnern

Verstehen

äußerst selten gebrauchtes, irrelevantes Wissen

obskures Wissen

Konkret: Geschlossen auf hohen Taxonomiestufen prüfen?

Erinnern

Verstehen

Anwenden

Analysieren

Evaluieren

Erzeugen

cc Karsten D. Wolf

3. Anwenden

• Ausführen / Durchführen

• Anwendung / Gebrauch

cc Karsten D. Wolf

4. Analysieren

• Differenzieren / Unterscheiden

• Organisieren / Strukturieren

• Zuordnen / Zerlegen

cc Karsten D. Wolf

5. Evaluieren

• Überprüfen / Kontrollieren

• Kritisieren / Urteilen

cc Karsten D. Wolf

6. Erzeugen

• Generieren / Hypothesen bilden

• Planen / Entwerfen

• Produzieren / Konstruieren

cc Karsten D. Wolf

Dimensionen des Wissens

• Faktenwissen

• Konzeptuelles Wissen

• Prozedurales Wissen

• Meta-Kognitives Wissen

Konkret: Geschlossen auf hohen Taxonomiestufen prüfen?

• Analyse der realen Tätigkeitsfelder in Wissenschaft und Praxis

• authentische Materialsammlung• Einsatz von Softwareumgebungen (z.B. R, Mathcad)

• ggf. teilautomatisierte Auswertung von Kurztexten

Erinnern

3. Semester Bachelor

Produktionstechnik + WiIng

2 SWS (keine Übung) 2CP

Modul mit Fertigungstechnik und Arbeits- und Betriebswissenschaft

WS 2010/2011: 350 Studierende

Konzeptwissen A (Organisatorisch) reproduzieren

Hofmeister 2005: Klassifikationsmatrix zumUlme* Kompetenzstufenmodell

* Untersuchung der Leistungen, Motivation, Einstellungen

Prof. Dr. Lutz Mädler | Uni Bremen

Konzeptwissen A (Organisatorisch) anwenden/verstehen

Hofmeister 2005: Klassifikationsmatrix zumUlme Kompetenzstufenmodell

Konzeptwissen B (Verallgemeinern) anwenden/verstehen

Prof. Dr. Lutz Mädler | Uni BremenMittwoch, 20. April 2011

Prozedurwissen (Techniken und Methoden) anwenden und verstehen

Fazit Prof. Dr. Lutz Mädler

✓ Abstimmen der Lernziele mit den Prüfungsfragen

✓ Frage nach dem „wie“ und nicht dem „was“

✓ nicht „was ist korrekt?“ sondern „warum ist dieAntwort richtig?“

✓ Abbildungen nicht aus den Vorlesungen

Vorteile E-Assessment (Prof. Dr. Lutz Mädler)

Nachteile E-Assessment (Prof. Dr. Lutz Mädler)

cc Karsten D. Wolf

Motivierend prüfen:Verständnisorientiertes Lernen belohnen• Höhere Taxonomiestufen• Authentische Aufgaben• Confidence Based Marking

cc Karsten D. Wolf

Fehler vermeiden:nicht die Test Wiseness messen!

Test Wiseness Test

The answer of this one refers to an

(a) overture(b) mountain(c) building(d) misnomer

http://www.kvhigh.com/learning/testtips.html

Test Wiseness Test: Grammatikalische Hinweise

The answer of this one refers to an

(a) an overture(b) a mountain(c) a building(d) a misnomer

Test Wiseness Test

In which pifflerock did zorkrans inkle?

(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk

Test Wiseness Test: Wiederholung aus Wortstamm

In which pifflerock did zorkrans inkle?

(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk

Test Wiseness Test

If there where a question here, which could be the correct answer?

(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen

Test Wiseness Test: sinngleiche Antworten falsch

Wenn hier eine Frage stände,was wäre die richtige Antwort?

(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen

Test Wiseness Test

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent

Test Wiseness Test: Längste Alternative

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent

Test Wiseness Test

Dome ukerland dimmel?

(a) Nepal(b) Canada(c) Britain(d) United States

Test Wiseness Test: Odd one out

Dome ukerland dimmel?

(a) Nepal(b) Canada(c) Britain(d) United States

Test Wiseness Test

Die richtige Antwort ist?

(a) Parrallele(b) Absisse(c) Koordinate(d) Tangennte

Test Wiseness Test: Rechtschreibung

Die richtige Antwort ist?

(a) Parrallele(b) Absisse(c) Koordinate(d) Tangennte

Test Wiseness Test

Zarfarkle, en Ko day?

(a) Henkledorf(b) Ricktoffen(c) Ifetain(d) Krator

Test Wiseness Test: Alternative 3

Zarfarkle, en Ko day?

(a) Henkledorf(b) Ricktoffen(3) Ifetain(d) Krator

Test WisenessCheat Sheet• Kategorische Formulierungen (immer, nie,

…) -> Falsch

• Phrase-Repeat -> Richtig

• Absurde / unlogische Antwort -> Falsch

• Präzision / Spezifizierung -> Richtig

• Länge einer Antwort -> länger = Richtig

• Grammatik -> Fehler = Falsch

• Hinweis -> Hinweis auf die richtige Antwort in der Fragestellung

• Reihenfolge der Antworten -> keine Muster

• Krumme Finger raus -> bei vielen ähnlichen Antworten ist die vollkommen andere Lösung die richtige

• Rechtschreibung / Grammatik -> Fehler häufiger in den Distraktoren

• …

❖ Übersaturierte Multiple Choice Auswahl

❖ „Gute“ Distraktoren

❖ Distraktoren aus Fehlern in offenen Durchläufen

❖ Confidence Based Marking

Gegenmaßnahmen

• Schulung der Autoren / Autorinnen

• Bessere Distraktoren

• Höhere Taxonomiestufen

• Confidence-Based Marking (Gardner-Medwin 2006)

• Übersaturierte Antwortauswahl per Drop-Down

• Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten

Prof. Dr. Kathleen Scalise (University Oregon)http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.html

cc Karsten D. Wolf

Motivierend prüfen:Authentisch und abwechslungsreich prüfen

http://mitworld.mit.edu/video/419/

John Seely BrownXerox Parc

Cognitive Apprenticeship

learning about ➙ learning to be

cc Karsten D. Wolf

Motivierend mit MC prüfen

1. Offenheit des Antwortformats: geschlossen bis moderat geöffnet

2.Auswertungsalgorithmus: automatisch

3. Authentizität

4.Medienanreicherung

5. Interaktivität [aufwendig/teuer]

Gestaltungsdimensionen von Rich E-Assessment:Wolf/Koppel/Schwedes 2011

Simulation

Authentic Assessment

Collegiate Learning Assessment(Klein / Benjamin / Shavelson / Bolus 2007)

http://www.cae.org/content/pro_collegiate.htm

http://www.ifeb.uni-bremen.de/thetawelle/http://www.elearning2null.de/

Weitere Beispiele

• Analyse / Debuggen von Sourcecode

• Bewertung von Schülerlösungen

• Analyse von Unternehmenskennzahlen

• Bewertung von Unterrichtsentwürfen

• Schreiben eines Analyseskriptes zur Auswertung von Daten

• Interpretation von Laborwerten

• Komplexe Fallstudien mit linearer Fragenabfolge

• …

Schätzung für Universität Bremen

• 12 Fachbereiche mit ca. 20.000 Studenten

• Mindestens 70K - 115K Prüfungen / Semester

• Tendenz steigend durch Umstieg auf BA/MA

• MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis)

• BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck)

• Eigene Auswahlverfahren für Studienanfänger

• Reduktion von 280 auf 230 Professor(inn)en

• ca. 500 Prüfungsleistungen pro Semester pro Professor

Quelle: Bücking 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011

Aktuell mögliche Itemformate

Statistiken Testcenter Universität Bremen

Quelle: Schwedes 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011

Zusammenfassung: Wann ist das sinnvoll?

• Mehr als 300 Kandidaten pro Prüfung

• Mehr als 50 Rechner pro Raum

• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)

• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen

• Alternative offene Formate: Lesbarkeit + Vorkorrekturen

• Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung

• Alternativen: Kooperation von Autorinnen und Autoren

• Alternativen: (Vor-)Erstellung von Items durch Studierende

cc Karsten D. Wolf

E-Assessment - Was nun?

Schritt 0: Prüfer/innen unterstützen

Schritt 1: Fehler vermeiden

Schritt 2: Anspruchsvoll prüfen

Schritt 3: Motivierend prüfen

Schritt 4: Verstetigen

FB 12 Erziehungs- und BildungswissenschaftenDidaktische Gestaltung

multimedialer Lernumgebungen

http://www.ifeb.uni-bremen.de/wolf

wolf@uni-bremen.de

http://www.fb12.uni-bremen.de/de/Medienpaedagogik.html

Lernerfolg und Lernmotivation fördern mit E-Assessment

Education

Deutsch 1 · Fördern

Fördern am EGB Beratung Individualsierung Selbstorganisation Fördern am Erich-Gutenberg-Berufskolleg Bochum, 20.06.12

Allgemeinwissen fördern GEOGRAPHIE

Hochbegabung erkennen und fördern

Intrinsische Lernmotivation (ILM) und Lernen: Ein Überblick zu Ergebnissen der Forschung Ulrich Schiefele, Inge Schreyer

Lernklima und Lernerfolg in Fahrschulen - OPUS 4 · 2018. 11. 15. · lern und 4430 von Prüflingen. ... Als Hinweis auf den Lernerfolg in der Fahrschule wurden die Variablen "Erfolg

Langfristige Lernmotivation Durch Selbstbestimmtes Lernen

Die Arbeitswelt im Fokus: Berufsfeldorientierte ... · Die Arbeitswelt im Fokus: Berufsfeldorientierte Kompetenzentwicklung und Lernmotivation im ... die hochschulweit eingesetzte

Vorlesung Pädagogische Psychologie Lernmotivation

Lesen fördern mit Smartphones?

1 PPP und Rechnungshöfe PPP – Die Bewertung des Hessischen Rechnungshofes 1 Mehr Wert durch höhere Lernmotivation Praxisdialog – PPP im öffentlichen Hochbau

22.4.2004Goldberg-Gymnasium Sindelfingen1 Bildungsreform 2004 Verantwortung fördern – Verantwortung fördern – Qualität entwickeln – Bildung und Erziehung

Unter den Motto: rascher Lernerfolg, Spaß und gute Laune!

Individuelle Strategien zur Erhöhung der Lernmotivation am Beispiel zentral gesteuerter Lernumgebungen_CCDS GmbH

Diagnostizieren und Fördern

Lernerfolg durch offenen Geschichtsunterricht? Analyse ... · PDF file1 Lernerfolg durch offenen Geschichtsunterricht? Analyse einer Unterrichtsreihe zum Thema „Das Römische Reich“

Ein Projekt mit der Zielstellung Schüler durch schnellen Lernerfolg für das Skifahren und das Snowboarden zu begeistern. Unter den Motto: rascher Lernerfolg,

Lernmotivation aus zieltheoretischer Sicht Opelt Marlene & Michelic Manuela SE Vertiefung Allgemeine Psychologie: Wissenspsychologie27.04.2010

Vorlesung Pädagogische Psychologie Lernmotivation Sommersemester 2011 Mo 16-18 Uhr Alexander Renkl

Kann SAP Personalentwicklung fördern?