Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 1/15

Evaluation eines adaptiven Hilfesystemsfür Bedienprobleme mit d3web.Train

Alexander Hörnlein, Frank Puppe

Lehrstuhl für Künstliche Intelligenz und Angewandte Informatik der Universität Würzburg {hoernlein, puppe}@informatik.uni-wuerzburg.de

Gliederung:1. Motivation2. Methoden3. Evaluation4. Ergebnisse5. Diskussion und Ausblick

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 2/15

Motivation

• Simulative Trainingssysteme haben eine komplexe Oberfläche

• Studierende wollen die Inhalte lernen und NICHT die Bedienung

• Niemand liest Anleitungen

• Schwer bis unmöglich GUI-Bedienung im Frontalunterricht bei verteilten Gruppen zu lehren

• Hilfe muss sich nach der Kompetenz des Lerners richten

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 3/15

Verwendete Hilfe

• Umfassende System-Metapher

• Statische Online-Kurse

• (Dynamische & kontext-sensitive) Eingebaute Hilfe

Neu:• Aktives Hilfesystem

– Lerner-Overlay-Modell– Verhinderung von falschen

Benutzeraktionen– Hilfetexte für aktuelle Fehler

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 4/15

Overlay-Modell für Konzepte der Bedienung

• Strukturelle Konzepte= Welche Tasks (Aufgaben) gibt es= Aus welche Subtasks ist ein Task aufgebaut

(zum „Diagnosen stellen“ muss in den Diagnosemodus gewechselt, eine Diagnose aus dem Diagnosebaum ausgewählt und diese eingestuft werden“)

• Ordnungskonzepte= Wann soll ein Task durchgeführt werden

(zuerst Untersuchungen anfordern, dann befunden, dann Diagnosen)

• Konzepte zu Benutzeraktionen= Welche Aktionen müssen für einen Task durchgeführt werden

(zum „Wechseln in den Diagnosemodus“ muss man auf den Button „Diagnosen stellen“ klicken)

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 5/15

Overlay-Modell: Regeln

Zwei Regelsätze, die das Overlay-Modell ändern

• Zustandsregeln

FALLS „erwartete Diagnosen haben sich geändert“UND NICHT „im Diagnosemodus“UND NICHT Aktion = „Klick auf ‚Diagnosen‘“DANN VERRINGERE WERT VON „falls sich die erwarteten Diagnosen ändern, dann sollte man Diagnosen eingeben “ UM {bestimmten Wert}

• Abhängigkeitsregeln

FALLS WERT VON „auf ‚+‘ klicken um Diagnose-Teilbaum zu öffnen“ UNTER {Schwellwert}DANN VERRINGERE WERT VON „ auf ‚+‘ klicken um Therapie-Teilbaum zu öffnen“ UM {bestimmten Wert}

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 6/15

Interventions-System: Anforderungen

Interventions-System muss

• den Lerner von falschen Aktionen abhalten– andernfalls muss der Lerner seine Aktion manuell rückgängig machen,

was manchmal unmöglich ist

• Hilfe anbieten, wenn der Lerner anscheinend festhängt

• unaufdringlich sein– andernfalls kann sich der Lerner nicht auf den Lerninhalt konzentrieren

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 7/15

Interventions-System: Ablauf (II)

d3web.Train

Hilfemodul

Zustandsregeln

Abhängigkeitsregeln

InterventionModell Regeln

Lernermodell

Aktion(shistorie) Systemzustand

Benutzeraktion Ausgabe

Interventionsfabrik

ModellIntervention Regeln

InterventionsBibliothek

Interventionsfilter

f Interventions Historie

Inter vention

Inter vention

Vor der Verarbeitung jeder Benutzeraktion:Aktion(shistorie) und Systemzustand wird ermitteltZustandsregeln werden ausgewertetAbhängigkeitsregeln werden ausgewertetSind Konzepte gefährlich schlecht bewertet, dann werden passende vorbereitete Interventionen gewichtet weitergegeben

Interventionen werden bewertet aufgrund:• ihres Gewichts• Typ und Anzahl von Interventionen, die nach den zurückliegenden Benutzeraktionen ausgegeben wurden• …, die kürzlich ausgegeben wurden

Alle Interventionen mit zu geringer Bewertung werden zurückgehalten, von den übrigen wird nur die beste weitergegeben

Bewertung der im Interventionstext beschriebenen Konzepte wird verbessert (InterventionModell Regeln)

Aktion des Lerners wird abgebrochen, stattdessen der Interventionstext (vom Feedback-Agenten) ausgegeben

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 8/15

Evaluation

• WS 2004/05

• 62 Studierende, überwiegend im 6. Semester

• Studiengruppe mit Aktiver Hilfe, Kontrollgruppe ohne

• 30 Trainingsfälle (6 Allergologie, 4 Immundefektsyndrome, 20 Rheumatologie)

• Klausurvoraussetzung: 20 erfolgreich bearbeitete Fälle

• Tasks: Bilder befunden und Diagnosen stellen, Untersuchungen abschnittsweise

• Objektive Daten: Ergebnisse, Clickstreams, Start von Bedienkursen

• Subjektive Daten:– Fragebögen zu Beginn und zu Ende des Kurses– Diskussion zu Ende des Kurses

• 2991 Fallbearbeitungen (207 abgebrochen)

• 1383 erstmalige Fallbearbeitungen (1401 Wiederholungen)

• 76% Rücklaufquote 1. Fragebogen, 100% 2. Fragebogen

• 4091 Bedienfehler (Untersuchungsergebnisse nicht beachtet 3433, Bilder nicht befundet 360, Diagnosen nicht gestellt 298)

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 9/15

Ergebnisse

Durchschnittswerte:

Studiengruppe (weiss): 1,6 (Standardabweichung: 1,2) entspricht 14min.Kontrollgruppe (schwarz): 2,0 (Standardabweichung: 1,0) entspricht 20min.

„Wie lange haben Sie für die Einarbeitung in d3web.Train gebraucht?“

1 = <10min2 = 10-30min3 = 30min-1h4 = 1-2h5 = 2-3h6 = 3-6h7 = >6h

0%

25%

50%

75%

100%

1 2 3 4 5 6 7

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 10/15

0

5

10

15

20

25

30

35

1 200

1

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526272829

Fehlerzahl

Durchschnittswerte:

Studiengruppe (weiss): 0,60 (Standardabweichung: 0,39) Kontrollgruppe (schwarz): 3,00 (Standardabweichung: 2,30).

Durchschnittliche Fehlerzahl bei der ersten Fallbearbeitung jeden Falles

für die Klausurzulassungnicht mehr notwendig

X: # bearbeiteter FälleY: # Studierende

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 11/15

Bewertung der Aktiven Hilfe

„Wie empfanden Sie die Meldungen des Hilfesystems?“

Durchschnittswerte:

Studiengruppe (weiss): 8,0 (Standardabweichung: 5,0)Kontrollgruppe (schwarz): 5,8 (Standardabweichung: 4,4)

hilfreich störend

0%

5%

10%

15%

20%

25%

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 12/15

0%10%20%30%40%50%60%70%80%90%

100%

1 2 3 4 5

Aussagen zur Aktiven Hilfe

„Das Hilfesystem …“

sollte seine Meldungen immer anzeigen

sollte die Meldungen einmal anzeigen dann lange nicht

sollte nie Meldungen anzeigen

hat Aktionen unpassend verhindert

sollte abschaltbar sein

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 13/15

Zusammenfassung - Ergebnisse

• Studiengruppe fühlte sich schneller eingearbeitet(ca. 6 min)

• Studiengruppe machte 80% weniger Fehler• Studiengruppe bearbeitete freiwillig mehr Fälle• 60% der Studiengruppe bewerteten das Hilfesystem positiv

• 23% wollen die Hilfe genauso wie sie ist• 27% wünschen sich die Hilfe weniger aufdringlich• nur 3% hätten sie lieber deaktiviert

• 57% wollen die Aktive Hilfe abschaltbar• 47% stuften Interventionen als unpassend ein

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 14/15

Zusammenfassung & Ausblick

• Aktives Hilfesystem ist erfolgreich

Aber:• Integration in d3web.Train noch nicht flexibel genug, Studierende

bearbeiten Fälle auch, um:– an das Hintergrundwissen zu gelangen– bestimmte Fallsituationen durchzugehen (Bilder befunden)– den Abschlusskommentar zu lesen– den Fall vor der Klausur schnell zu wiederholen

Neue Funktionalität: Abschalten von Fehlern TODO: Schnellzugriff auf Hintergrundwissen und Abschlusskommentar TODO: Persistentes Abschalten & selbstständiges Wiederanschalten

von Fehlern

Neue Evaluation wurde im SS 2005 durchgeführtErgebnisse in einem Workshop near you

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train CBT-2005 15/15

Fragen?