Upload
tranliem
View
214
Download
0
Embed Size (px)
Citation preview
1 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Userorientierte Bewertungmedizinischer Web Sites
Rainer Schalnus, Karla Mandanici,Rodrigo Romero, Peter Pinger
Universität Frankfurt am Main - Zentrum für AugenheilkundeNetSiteChecker ® , Langen
2 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Aufgabenstellung:„quantitative“ Einschätzung von Inhalt, Services und Usability &AccessibilityMethoden:gewichtete Kriteriencheckliste, SQL-DatenbankBekannte (alternative) Ansätze:URAC, AMA, HON, DISCERN, OMNI, ISODurchführung:[vorhersehb. & unvorhersehb. Probleme bei der Projektdurchf.?Wo waren spezif. Anpassungen der Meth. erforderlich?]Ergebnis: Individualanalyse, webbasierte Ranking-DatenbankDiskussion / Probleme
Userorientierte Bewertung medizinischer Web Sites
Agenda
3 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Userorientierte quantitative Einschätzung von Inhalt,Services und Usability & Accessibility webbasiertermedizinischer Informationsangebote(„Gesundheitsportale“) mit dem Ziel einer
Individualanalyse ⇒ gezielte Analyse einzelnerEigenschaften einer Web Site
Ranking-Dantenbank ⇒ Vergleich identischer Eigenschaften verschiedener Sites
Aufgabenstellung
4 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Bekannte (alternative) Ansätze
• HON, DISCERN, OMNI, URAC, AMA
• ISO (9000, 13407, 9241 Serie)
5 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Design / Layout
Kostenpflichtig ?
Werbung erkennbar
Sponsorennennung
Ableitung von Kriterien zur Qualitätsevaluation
Therapieverfahren•Wirkung•Nutzen•Risiken•Nichtbehandlung ?
Autorenidentiät
Belegbarkeit
Quellenangabe
Vertraulichkeit
Komplementarität
Qualitätsevaluation von medizinischen Web Sites
Authorität
DISCERN (Therapienutzen) OMNI (Peer-Review)HON (ethische Aspekte)
Vertauenswürdigkeit•Ziele•Bedeutung•Quellenangabe•Aktualität•Objektivität•externeBegutachtung?
Verfügbarkeit
Originalität
Aktualität
Objektivität
Authorität
Adressat ?
Bekannte (alternative) Ansätze
6 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
eindeutige Definition von Bewertungskriterien in einem Kriterienkatalogeindeutige überschneidungsfreie Einordnung der Kriterien in Kategoriendie Kriterien bilden die Korrektheit und den Umfang des Inhaltes abdie Kriterien bilden grundsätzliche Userbedürfnisse abdie Kriterien bilden zielgruppenorientierte Userbedürfnisse abdie Kriterien bilden Anbieterbedürfnisse abdie Kriterien bilden die o.g. Eigenschaften flächendeckend abskalierte Bewertung der EinzelkriterienGewichtung der Kriterien nach Bedeutungheuristische Evaluationrechnerbasierte Evaluation möglich
Input
Methoden Anforderungen an die Bewertung Web basierter
Gesundheitsinformationen
7 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
eindeutige Definitionbilden die Korrektheit und den Umfang desInhaltes abbilden zielgruppenorientierte Userbedürfnisse abbilden die o.g. Eigenschaften flächendeckend abquantitative BewertungGewichtung nach Bedeutung
Methoden Anforderungen an Bewertungskriterien webbasierter
Gesundheitsinformationen sind u.a.
8 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Vergleichbarkeit unterschiedlicher Informationsangebote innerhalbeiner AnbieterklasseVergleichbarkeit unterschiedlicher Informationsangebote innerhalbeiner EigenschaftenklasseGewichtete quantitative Bewertung des Informationsangebotesintra- und interindividuell (Bewerter) reproduzierbare Bewertungindividuelle Analyse eines InformationsangebotesBenchmarking / Ranking unterschiedlicher Informationsangebote
Output
Methodik Anforderungen an die Bewertung Web basierter
Gesundheitsinformationen
9 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Vergleichbarkeit ähnlicher Informationsangebote innerhalbeiner Anbieterklasse (Ranking)Vergleichbarkeit unterschiedlicher Informationsangeboteinnerhalb einer EigenschaftenklasseGewichtete quantitative Bewertung desInformationsangebotesintra- und interindividuell (Bewerter) reproduzierbareBewertungindividuelle Analyse eines Informationsangebotes
Methodik die Bewertung webbasierter Gesundheitsinformationen soll
ermöglichen:
10 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
orientiert sich an: Befragungen, LiteraturPrinzip der Ist/Soll-Analyseüberschneidungsfreie Bewertungskriterien
Methoden Entwicklung einer Kriteriencheckliste
11 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Methoden Entwicklung einer Kriteriencheckliste
auf der Basis von:
HON, DICERN, OMNI, AMA, URACISO (9000, 13407, 9241 Serie)Multimedia QMWeb Style Guides, W3C,...Usability-Labeigene Erhebungen
12 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
3,223,2
2,93,17
1,712,642,642,72,76
3,263,23
3,343,413,413,44
0 0,5 1 1,5 2 2,5 3 3,5 4
MedikamenteninformationInformationen über Erkrankungen
Liste der besten ÄrzteListe der besten Kliniken
Informationen über Behandlungen und OperationenNHV/Homöo/Aku/Altern
KrebserkrankungenKosten/Erstatungen im Gesundheitsweaen
Herz-Kreislauf-ErkrankungenAllergien
Krankheiten des Altersindividuelle ärztliche Beratung
Fitnes/WellnessHilfe zur Selbstdiagnose
Schönheits-Chirurgie
1 = gar nicht wichtig2 = weniger wichtig3 = wichtig4 = sehr wichitg
Antwortoptionen:
Ergebnisse einer Befragung von 1304 Personen
Methoden
13 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Methoden > Kriterienkatalog
97 Kriterien97 Kriterien
-1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt
-1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt
Bewertung der KriterienBewertung der Kriterien
unterschiedliche Gewichtung der Kriterien je nachZielgruppe durch Multiplikation mit Faktoren
unterschiedliche Gewichtung der Kriterien je nachZielgruppe durch Multiplikation mit Faktoren
Gewichtung der KriterienGewichtung der Kriterien
14 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Content
Service
Usability &Accessibility
WebSite
WebSite
Informationsqualität
Sprachen
Performance
55 Kriterien55 Kriterien
24 Kriterien24 Kriterien
18 Kriterien18 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
Methoden > Zuordnung der Kriterien
15 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien55 Kriterien
24 Kriterien
18 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
WebSite
WebSite
Methoden > Kriterien für Content
16 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien55 Kriterien
24 Kriterien
18 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
WebSite
WebSite
BeispieleBeispiele
Methoden > Kriterien für Content
17 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Content
Service
Usability &Accessibili
ty
Informationsqualität
Sprachen
Performance
55 Kriterien
24 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik-Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
BeispieleBeispiele
InformationstiefeInformationstiefe
InformationsbreiteInformationsbreite
DidaktikDidaktik
AutorenkompetenzAutorenkompetenz
TherapieverfahrenTherapieverfahren
Online-Beratung im Forum, QualitätOnline-Beratung im Forum, Qualität
Online-Beratung im Forum, BeantwortungszeitOnline-Beratung im Forum, Beantwortungszeit
WebSite
WebSite
Online-Beratung im Forum, BeraterkompetenzOnline-Beratung im Forum, Beraterkompetenz
KomplementaritätKomplementarität
AutorenidentitätAutorenidentität
Updating (Aktualität)Updating (Aktualität)
Methoden > Kriterien für Content
18 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien
24 Kriterien
18 Kriterien18 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
WebSite
WebSite
Methoden > Kriterien für Usability
19 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien
24 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
BeispieleBeispiele
WebSite
WebSite
Methoden > Kriterien für Usability
20 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Content
ServiceUsability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien
24 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- DesignInteraktivität
Online Services
fachspezifische ServicesSuchfunktionen
BeispieleBeispiele
Plattformübergreifende FunktionalitätPlattformübergreifende Funktionalität
Suche/SuchfunktionSuche/Suchfunktion
NavigationNavigation
LinkingLinking
Site-, Page- & Grafik-DesignSite-, Page- & Grafik-Design
WebSite
WebSite
behindertengerechte Codierungbehindertengerechte Codierung
Feed back durch NutzerFeed back durch Nutzer
Methoden > Kriterien für Usability
21 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
IntractivitätAktualität
Seriosität
Beratungsqualität
Site- & Page Design
Linking
Accessibility /Interface Design
Suchfunktionen
FachspezifischeServices
Online-Servics
Benchmarking / Ranking
Schwerpunktthemen
gewichteter Kriterienkatalog / Checkliste
Qualität derInformation
Service Accessibility/UsabilityContent
Sprachen / WAP Perfomance
Individual-Analyse
SQL Datenbank
Durchführung
22 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
3 Bewerter je SiteProbleme (?): Bewertung der Kritrien
Informationstiefe Aktualitiät Didaktik
Anpassung der Methode erforderlich: Informationsqualität ⇐ Informationstiefe / Informattionsbreite
Durchführung Probleme & Anpssung der Methode
23 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse (2 Beispiele)
Ranking Datenbank
Ergebnisse
24 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Ergebnisse Gewichtung der Bewertung
9%
55%
36%
Content
Usability & Accessibility
Service
25 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Ergebnisse Individualanalyse, Beispiel
Content > Informationsqualität
Usability & Accessibility > InterfaceDesign
26 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Content, Service, Usability & Accessibility
81
46
52
0 20 40 60 80 100
Content
Service
Usability &Accessibility
Qualität in %
Ergebnisse
27 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Content, Service, Usability & Accessibility
81
46
52
0 20 40 60 80 100
Content
Service
Usability &Accessibility
Qualität in %
Ergebnisse
28 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Content
Service
Usability &Accessibility
WebSite
InformationsqualitätInformationsqualität
SprachenSprachen
PerformancePerformance
55 Kriterien55 Kriterien
24 Kriterien24 Kriterien
18 Kriterien18 Kriterien
ContentSchwerpunkteSchwerpunkte
BeratungsqualitätBeratungsqualität
SeriositätSeriosität
AktualitätAktualität
Interface DesignInterface Design
LinkingLinking
Site-/ Page-/ Grafik- DesignSite-/ Page-/ Grafik- Design
InteraktivitätInteraktivität
Online ServicesOnline Services
fachspezifische Servicesfachspezifische Services
SuchfunktionenSuchfunktionen
Ergebnisse
29 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Content
78
70
60
92
100
0 20 40 60 80 100 120
Informationsqualität
Schwerpunktthemen
Beratungsqualität
Seriosität
Aktualität
Qualität in %
Ergebnisse
30 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Content
78
70
60
92
100
0 20 40 60 80 100 120
Informationsqualität
Schwerpunktthemen
Beratungsqualität
Seriosität
Aktualität
Qualität in %
Ergebnisse
31 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Content > Informationsqualität
100
50
100
100
0
0
100
100
67
67
100
0 20 40 60 80 100 120
Informationstiefe
Informationsbreite
Didaktik
Werbung
Diagnosehilfe, inhaltliche Qualität
Diagnosehilfe, Beraterkompetenz
Thearpieverfahren, inhaltliche Qualität, EBM
Therapieverfahren, Beraterkompetenz
Erläuterungen zu diagnost. Eingriffen
Erläuterungen zu Operationen
Wirkung/Wechselwkg. Von Medikamenten
Qualität in %
Ergebnisse
32 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
ContentContent
ServiceService
Usability &Accessibility
WebSiteWebSite
InformationsqualitätInformationsqualität
SprachenSprachen
PerformancePerformance
55 Kriterien55 Kriterien
24 Kriterien24 Kriterien
18 Kriterien18 Kriterien
UsabilitySchwerpunkteSchwerpunkte
BeratungsqualitätBeratungsqualität
SeriositätSeriosität
AktualitätAktualität
Interface DesignInterface Design
LinkingLinking
Site-/ Page-/ Grafik- DesignSite-/ Page-/ Grafik- Design
InteraktivitätInteraktivität
Online ServicesOnline Services
fachspezifische Servicesfachspezifische Services
SuchfunktionenSuchfunktionen
Ergebnisse
33 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Content, Service, Usability & Accessibility
81
46
52
0 20 40 60 80 100
Content
Service
Usability &Accessibility
Qualität in %
Ergebnisse
34 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Content, Service, Usability & Accessibility
81
46
52
0 20 40 60 80 100
Content
Service
Usability &Accessibility
Qualität in %
Ergebnisse
35 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Usability & Accessibility
100
5
75
71
12
0 20 40 60 80 100 120
Performance
Interface Design
Linking
Site-/Page- &Graphik-Design
Interaktivität
Qualität in %
Ergebnisse
36 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Individualanalyse: Usability & Accessibility
100
5
75
71
12
0 20 40 60 80 100 120
Performance
Interface Design
Linking
Site-/Page- &Graphik-Design
Interaktivität
Qualität in %
Ergebnisse
37 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Ergebnisse Individualanalyse: Usability & Accessibility > Interface Design
50
-25
-25
19
-40 0 40 80
Übersichtlichkeit der Startseite
direkter Informationszugriff (nicht überSuchfunktion)
Suchfunktion über Site
Navigation
Qualität in %
38 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Ergebnisse Ranking-Datenbank
ContentServicesUsability & Accessibility
39 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Ergebnisse webbasierte SQL-Datenbank
StartseiteRanking: GesamtRanking: ContentRanking: Usability & AccessibilityEinzelbeispiel
40 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Ergebnisse Gesamtbewertung und Bewertung der Einzelkategorien in %
0
5
10
15
20
25
30
35
40
Proz
ent
0 10 20 30 40 50 60 70 80 90 1000
5
10
15
20
25
30
35
40
Proz
ent
0 10 20 30 40 50 60 70 80 90 100
0
5
10
15
20
25
30
Proz
ent
0 10 20 30 40 50 60 70 80 90 1000
5
10
15
20
25
30
Proz
ent
0 10 20 30 40 50 60 70 80 90 100
% der Gesamtbewertung % des Content
% der Usability & Accessibility % der Services
41 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Keine Autorennennunginhaltliche Tiefe oft geringVerstösse gegen TDDGverdeckte WerbungDatenbanken für User nicht erkennbarunvollständigspezielle Inhalte oft schlecht aufzufindenSuchfunktionen nicht nutzerfreundlichAngebote nicht behindertengerecht
Diskussion webbasierte Gesundheitsinformationen (Gesundheitsportale)
42 / 15
© 2001 Schalnus, Heinemann, Romero, Pinger
Die Methode erlaubt sowohl die Individualanalyseals auch ein Ranking der Informationsangebotein gewissen Grenzen reproduzierbare ErgebnisseEvaluation der medizinischen Informationen sehraufwendigVergleichbarkeit nur für identische Kriteriengruppenoder Anbieterklassenweitere Nutzerbefragungen / Usability LaberforderlichMethodik übertragbar (webbasierte Informationen,Call Centers)
Diskussion Methode