Simulations- und spielbasierte Kompetenzmessung

© Karsten D. Wolf 2008

Workshop A1Simulations- und spielbasierte Kompetenzmessung?Karsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer Lernumgebungen

6. Fernausbildungskongress8.10.2009 Helmut-Schmidt Universität der Bundeswehr, HamburgA1 Simulations- und spielbasiertes Lernen

rickydiver78 on flickr

Montag, 21. September 2009

cc by Karsten D. Wolf 2007rickydiver78 on flickrVideostill (Smash Court Tennis 3 on Playstation 3)Montag, 21. September 2009



Es muss nicht immer ein Computer sein



Is Simulation Worth the Effort?Johnson 2006

• Hohe Entwicklungskosten müssen sich lohnen

• Identifikation hochkompetenter Personen besonders wertvoll

• Identifikation schlechter Performanz besonders wichtig

• Echte Arbeitsleistungen liegen zur Bewertung nicht vor

• Zu gefährlich

• Zu selten

• Gelegenheit zum Testen nicht vorhanden oder schwierig zu beobachten

• Zulassungsprüfung, um „echt“ zu arbeiten

• Kombination mehrerer Fertigkeiten miteinander, Messung einzelner Konstrukte greift zu kurz



Weitere Punkte, die bedacht werden müssen

• Realistische Simulation überhaupt möglich?

• Interaktionspartner Menschen oder physikalische Strukturen bzw. künstliche Algorithmen?

• Frage der (insbesondere äußere Kriteriums-) Validität

• Finanzierbarkeit ab 1000+ Personen

• Gibt es nicht einfachere bzw. bereits vorliegende Kennzahlen?


Nandu Chitnis on flickr



• gefahrene Kilometer/Monat• Spritverbrauch• Termintreue• Unfälle• Reparaturkosten• etc.

Nandu Chitnis on flickr


hugovk on flickr



hugovk on flickr

• Umsatz / Monat• Beschwerden / Verkaufsfälle• Umtauschfälle / Verkaufsfälle• Kundenzufriedenheit• etc.


Entertaining Games with Non-Entertainment Goals

Goal orientated ‘play’, often in real world scenarios, intended to ‘improve’ the player/s knowledge, awareness or skills (Gary Hayes)

Datenbank mit 500+ Serious Games


Neuer Trend:Productivity Games

Beim Spielen Arbeit erledigen…


Social Reality Game




„…we learned that the transparent environments created in online games made leadership easier to assume. And that leadership in online games is more temporary and flexible than it is in the business world. And finally, online games give leaders the freedom to fail, and experiment with different approaches and techniques, something that any Fortune 500 company that hopes to innovate needs to understand.“


Learn from mistakes of self and others

Follows through on commitments / words = actions


Arbeit findet zunehmend Computer mediiert statt!

Johan Larsson on flickrMontag, 21. September 2009

Aber nicht alles!



Kompetenzen als Lern-Lehr-Ziele

Nach Weinert (2001, S.27 f.) versteht man Kompetenzen als

„die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“.

Nach Straka & Macke (2009) beinhalten Kompetenzen

Dispositionen (motorische, kognitive, emotionale, motivationale), deklaratives und prozedurales Wissen, Fähigkeiten und Fertigkeiten sowie moralische Urteilsfähigkeit


Gewicht?Größe?Schnelligkeit?


Kompetenzen?Persönlichkeit?Einstellungen?Interesse &Motivation?



„Ein Test ist ein wissenschaftliches Routineverfahrenzur Untersuchung eines oder mehrerer empirischabgrenzbarer Persönlichkeitsmerkmale mit dem

Ziel einer möglichst quantitativen Aussage über denrelativen Grad der individuellen Merkmalsaus-

prägung“ (Lienert 1969, S. 7)


© Karsten D. Wolf

Anforderungen an Testverfahren

• Sparsames Modell mit theoretischer Fundierung

• Integration wesentlicher Aspekte der Kompetenz

• Gütekriterien

• Objektivität (online nur im Testcenter möglich)

• Reliabilität

• Validität (Inhalts-, Kriteriums-, Konstrukt-)

• Relevanz

• Akzeptanz

• Veränderbarkeit

• Leichte Anwendbarkeit



Eine einfache Theorie

AB>



Eine einfaches Testmodell

Test-aufgabe 17

21

35

42




Test-aufgabe 17

21

35

42

P

U

V


V = P x U



Test-aufga


V = P x U



Test-aufga

Richtig = Hohe Kompetenz x Schwere Aufgabe



Das Testmodell in der Anwendung

A: Richtig = Hohe Kompetenz x Schwere Aufgabe

B: Falsch = Niedrige Kompetenz x Schwere Aufgabe

A > B


100kg80kg60kg40kg

Wie „schwer“ ist eine Aufgabe?


100kg

80kg

60kg

40kg

Maximalkraft?


100kg

80kg

60kg

40kg

Maximalkraft?

Θ=40 Θ=60 Θ=80 Θ=100Montag, 21. September 2009


Kurve der Itemcharakteristik (ICC)

Θ 40 60 80 100

0%

50%

100%60kg Gewicht

p(x)




Θ 40 60 80 100

0%

50%

100%60kg Gewicht

80kg Gewicht

p(x)




Θ 40 60 80 100

0%

50%

100%60kg Gewicht

80kg Gewicht

Aufgabe (Item)ist schwerer

p(x)



Wie bestimmt man Kompetenzstufen?

Experten/-innen

Theoretisches KompetenzmodellI

IIIII

IV




Theoretisches KompetenzmodellI

IIIII

IV

A B C D E F G H I J K




Theoretisches Kompetenzmodell

A B C D E F G H I J K




Empirisches Kompetenzmodell

A BC DE F GH I J K

I II III IV




Empirisches Kompetenzmodell

A BC DE F GH I J K

I II III IV



Kurve der Itemcharakteristik (vereinfacht)

Θ -2 -1 0 1 2

50%

100%

0%



Kurve der Itemcharakteristik (stark vereinfacht)

Θ

0%

50%

100%

-2 -1 0 1 2



Trennschärfe: 0 kann es nicht, 2 schon

Θ

0%

50%

100%

-2 -1 0 1 2



Itemschwierigkeit: schwerer!

Θ

0%

50%

100%

-2 -1 0 1 2



Raschmodell: Schwierigkeitsparameter

Θ

0%

50%

100%

-2 -1 0 1 2

I II III IV


© Karsten D. Wolf

Test Wiseness – Probleme von MC-Tests

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent

http://www.kvhigh.com/learning/testtips.html




© Karsten D. Wolf

Test Wiseness: Längste Alternative ist richtig!

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent






Performance Based AssessmentShavelson

• Die Leistung messen, die gelernt werden soll

• Performance: Bewegen im Raumanzug

• Systematische Variation der Anforderungen

• Was macht etwas schwieriger?

• Adäquanz zwischen z.B. allgemeiner Fitnessund kontextualer Anforderung?

• Inwieweit führt die Kombination von Faktorenzur Notwendigkeit der authentischen Prüfung?



Chirurgische SimulationenHeinrichs/Lukoff/Youngblood/Dev/Shavelson 2007




SAT-Score und Collegiate Learning AssessmentShavelson 2006



Shute/Ventura/Bauer/Zapata-Rivera

Evidence Centered Design

Competency <=> Proficiency









Warum Serious Games und nicht Simulationen?

• Motivation (Relevanz und Bedeutsamkeit)

• Emotion (Immersion und Betroffenheit)

• Volition beweisen

• Flow erleben

• Beobachtung des Verhaltens über längere Zeit

• Arbeiten in Gruppen - Gruppenperformanz messen

• Kurt Squire: From Content to Context – Videogames as Designed Experience



Forschungsfelder

• Kompetenzmodelle entwickeln

• Testmodelle empirisch validieren

• Integration in Simulationen und Serious Games

• Diagnostik

• Förderdiagnostik

• Intensives und adaptives Üben



Rich E-Assessment: Workforce Literacy


FB 12 Erziehungs- und BildungswissenschaftenDidaktische Gestaltung

multimedialer Lernumgebungen

http://www.ifeb.uni-bremen.de/wolf

[email protected]

http://www.ifeb.uni-bremen.de/assessment/


http://www.ifeb.uni-bremen.de/wolf/












Education

Simulations- und spielbasierte Kompetenzmessung