View
104
Download
1
Category
Preview:
Citation preview
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 1
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle
Alexander Hörnlein1, Stanislaus Reimer2, Christian Kneitz2,Christian Betz1, Frank Puppe1
1Universität Würzburg, Lehrstuhl für Künstliche Intelligenz und Angewandte Informatik2Poliklinik der Universitätsklinik Würzburg
Gliederung:1. Motivation: Verbindung von Klinik und Lehre2. Arztbriefe und fallbasierte Trainingssysteme3. Beispiel4. Evaluation5. Zusammenfassung und Ausblick
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 2
Motivation: Verbindung von Klinik & Lehre• Tradition in vielen medizinischen Vorlesungen und Praktika
– Vorstellung von aktuellen Patienten– Diskussion der Interpretation und Entscheidungsfindung– Aktuell: Aufwertung durch Problembasiertes Lernen
• Trend: ePatientenakte (EPA) & eLearning
• Idee: Nutzung der EPA für fallbasierte Trainingssysteme (FTS)– Automatischer Transfer von Daten aus EPA in FTS– Didaktische Nachbearbeitung des FTS– Beibehaltung der Tradition mit neuen Medien
• Aufgaben eines FTS:– Patientenpräsentation– Stellen von Aufgaben: Wahl von Untersuchungen, Diagnosen,
Therapien; (Bild)Befundung
• Daten in EPA– Arztbrief: Untersuchungen mit Patientendaten, Diagnosen, Therapien– Bilder
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 3
Erstellung von fallbasierten Trainingssystemen
Bisher: beträchtlicher Aufwand zur Erstellung eines Falles
• Seitenbasierter Ansatz: – Aufbereitung des Basismaterials– Erstellen der Verknüpfungen– Stellen von Aufgaben
• Wissensbasiertes Ansatz:– Erstellen einer Wissensbasis (aufwändig)– Eingabe des Falles (einfach)– automatische Generierung der Ablaufoberfläche
Kombination: – Basismaterial aus Arztbrief (semistrukturiert) in wissens-basierten
Ansatz übernehmen, ggf. nachbearbeiten
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 4
Anatomie eines Arztbriefes• Typische Struktur:
– "Vorspann": Absender, Adresse, Anrede, … – Diagnosen– Untersuchungen
• Untersuchungsname• Untersuchungsergebnisse
– Beurteilung (einschl. Therapien)– "Nachspann": Grüsse, Unterschrift
• Automatische Extraktion von Informationen:– Diagnosen– Untersuchungsnamen– Untersuchungsergebnisse
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 5
Optionale Nachbearbeitung des Arztbriefes• Vorgabe einer Standardterminologie
– Diagnosen– Untersuchungen– Therapien
• Redaktionelle Textänderungen – Anonymisieren (automatisch mit Heuristiken)– ggf. Vereinfachung der Untersuchungsergebnisse– ggf. Übernahme der Standardterminologie durch Kopieren und
Ersetzen– Einleitungs- und Fallabschlusskommentar markieren
• Bewertungswissen präzisieren:– Diagnosen gewichten– Zwischendiagnosen hinzufügen, bewerten und gewichten– Therapien hinzufügen und gewichten
• Bilder zu Untersuchungen hinzufügen
Umsetzung: – Standardtextsystem (Microsoft Word) mit automatischem Import in
d3web.Train– Bewertungen & Gewichte durch Markierungen (z.B. fett, kursiv)
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 6
Beispiel – Hierarchien
therapien.txt diagnosen.txt
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 7
Beispiel – Briefvorbereitung
Original-Fall
Nachbearbeitete Version
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 8
Beispiel – Briefvorbereitung
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 9
Beispiel – d3web.Train
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 10
Beispiel – d3web.Train
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 11
Beispiel – d3web.Train
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 12
Beispiel – d3web.Train
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 13
Evaluation• Vorlesungsbegleitender Kurs der Rheumatologie an der Medizinischen
Poliklinik in Würzburg– 12 Fälle– 200 Studenten– Fallbearbeitung optional– Klausur optional – „Papierform von d3web.Train“
• Vorlesungsbegleitender Kurs der Hämatoonkologie an der Medizinischen Poliklinik in Würzburg
– 17 Fälle– 250 Studenten– Fallbearbeitung optional– Klausur mit konventionellen MC-Fragen (IMPP)
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 14
Ergebnisse - Rheumatologie
Teilnahme39 aktive Teilnehmer / 187 Fallbearbeitungen
0123456789
10
1 2 3 4 5 6 7 8 9 10 11 12
number of processed cases
nu
mb
er o
f st
ud
ents
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 15
Ergebnisse - Rheumatologie
Bewertung des Systems (16 Angaben)
2,00
1,501,60
1,271,20
1,87
2,50
1,561,81
0
1
2
3
4
5
Einarb
eitun
g
Gesta
ltung
Bedien
ung
neue
Ken
ntnis
se
weiter
hin a
rbeit
en
nuet
zlich
e Erg
aenz
ung
Schuln
ote
für P
rogr
amm
Schuln
ote
für E
insat
z
weiter
er E
insat
z sinn
voll (
2=ja)
1=+
+, 5
=--
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 16
Ergebnisse - Rheumatologie
Bewertung der Fälle (41 Angaben)
Lehrreich Schwierigkeit Feedback
0%
25%
50%
75%
100%
ange
mes
sen
zu sc
hwer
zu le
icht
0%
25%
50%
75%
100%
fair
zu g
ut
zu s
chle
cht
gänz
lich
unpa
ssen0
1
2
3
4
5
1=+
+,
5=--
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 17
Ergebnisse - Rheumatologie
Ergebnis der Klausur(Teilnahme freiwillig, Angabe auf der Klausur optional)
0,87
0,810,850,84
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
keine Fälle (12Teilnehmer)
1 - 4 Fälle (12Teilnehmer)
5 - 8 Fälle (7Teilnehmer)
9 - 12 Fälle (5Teilnehmer)
Kla
usu
rerg
ebn
is
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 18
Ergebnisse - Hämatoonkologie
Teilnahme47 aktive Teilnehmer / 435 Fallbearbeitungen
0
1
2
3
45
6
7
8
9
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Number of processed cases
stu
den
ts
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 19
Ergebnisse - Hämatoonkologie
Bewertung des Systems (18 Angaben)
1,281,441,171,22
22
1,33
2
0
1
2
3
4
5Orie
ntat
ion
Desig
nUsa
bility
New kn
owle
dge
gaine
d
Inte
nded
futu
re u
se
usef
ul co
mple
men
t
Tota
l gra
de fo
r pro
gram
(1-6
)
Grade
for s
cena
rio (1
-6)
Gra
des
(1=
++;
5 =
--)
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 20
Ergebnisse - Hämatoonkologie
0%
25%
50%
75%
100%
ange
mes
sen
zu le
icht
zu sc
hwer
Bewertung der Fälle (67 Angaben)
Lehrreich Schwierigkeit Feedback
1,50
1
2
3
4
5
1 =
++;
5 =
--
0%
25%
50%
75%
100%
fair
zu g
ut
zu sc
hlec
ht
gänz
lich
unpa
ssen
d
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 21
Ergebnisse - Hämatoonkologie
Ergebnis der Klausur(Angabe auf der Klausur optional)
8,8 8,8 7,4 8,0
0
1
2
3
4
5
6
7
8
9
10
11 studentsprocessing 11-17
cases
5 studentsprocessing 6-10
cases
8 studentsprocessing 1-5
cases
26 studentsprocessing no
cases
Kla
usu
rerg
ebn
is (
max
. 10)
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 22
Evaluation - Zusammenfassung
• Teilnahme: ca. 20%, ca. 5/10 Fälle pro Student
• Bewertung des Systems: gut bis sehr gut– Ausnahme: „nur“ genügende Bedienung
• Einsatz des Systems im Kurs: gut bis sehr gut
• Fälle sind lehrreich und angemessen schwer
• Feedback größtenteils fair– Aber: „zu schlecht“ für 15%, 40%(!)
• Umgesetzte Fälle wurden kaum getestet
• Klausurergebnisse– Kein Ergebnis bei optionaler Klausur– Vorgeschriebene Klausur: Studenten, die das System intensiver
nutzten, waren bei MC-Klausur signifikant besser!
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 23
Zusammenfassung und Ausblick
• Implementierung fertig in d3web.Train– Effiziente Fallerstellung– optionale und inkrementelle Nachbearbeitung
• Erfolgreicher Einsatz mit> 30 nachbearbeiteten Arztbriefeneinigen Musterfälle
• Weitere Evaluationen– Einsatz im WS 04/05– Neu hinzugekommene Features evaluieren:
• Bildfragen• Folgesitzungen (Therapiesteuerung)
• Beziehungswissen durch Markierung von relevanten Textabschnitten
• Weitere Nachbearbeitung durch schrittweise Wissensformalisierung– Angabe von Kosten zu Untersuchungen und Therapien– Bereitstellung von relationalem Wissen über Beziehungen von
Diagnosen zu Untersuchungen und zu Therapien
• Besseres Feedback durch zusätzliche Erläuterungen
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle DELFI-2004 24
Fragen?
Kontakt: http://www.d3webtrain.de
Recommended