View
213
Download
0
Category
Preview:
Citation preview
1 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Userorientierte Bewertungmedizinischer Web-Sites
Bonn - Frankfurt am Main
Rainer Schalnus, Peter Pinger
2 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
AgendaIndividuelle Qualitätsevaluation medizinischer Web-Sites ?
systematische individuelle Analyse & Optimierungübergreifende Maßnahmen zur Service-OptimierungNutzer- / Patientenorientiert
Benchmarking von webbasierten GesundheitsinformationenGesundheitsportale / RankingCheckliste für Gesundheits-Web SitesDefinition quantitativer Meßgrößen für die Ergebnisqualität
individuelle Analyse & Optimierungindividuelle Optimierung bei Relaunch /Qualitätsmanagement
3 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Qualitäts-EvaluationQualitätssystem: „Messung“ der Ergebnisqualität
Kennzahlen, MeßgrößenKriterien definierenquantitativ
Nutzer- / Patienten-orientiertContentServiceUsability & Accessibility
Berücksichtigung bekannter Kriterien, z.B.HON, DISCERNAMA, URACAFGIS
QualitätQualität
Benchmarking
AnalyseAnalyse
4 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Ergebnisqualität
ist das Maß derÜbereinstimmungvon Anforderungenund Beschaffenheiteines Produktes bzw.einer (Dienst-)leistung.
QualitätAnforderungenAnforderungen
QualitätQualität
0 % 100 %
Qualität > Ergebnisqualität
QualitätQualität
Benchmarking
AnalyseAnalyseBeschaffenheitBeschaffenheit
5 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Welches Qualitäts-System ?
LeitlinienLeitlinien
Präzision von QM Systemen (individuelle Analyse)
Verg
leic
hbar
keit
(Ben
chm
arki
ng) Standards
(ISO, EN)Standards(ISO, EN)
individuellentwickelteChecklisten
individuellentwickelteChecklisten
??
Zeit
Qualitätssysteme
QualitätQualität
Benchmarking
AnalyseAnalyse
6 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Prozessdefinition / Prozessanalyse
Identifikation Qualitätsrelevanter Prozesse & Kennzahlen
ProzessVerantwortung
Ressourcen Dokumente(Qualitäts-forderung,Qualitäts-nachweis)
Kennzahl
Messgrösse
Prozess-DefinitionProzess-Definition
Standard -Quantitative
Prozessanalyse
Standard -Quantitative
Prozessanalyse
7 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Anforderungen an Qualitätskriterien
eindeutige Definition in einem Kriterienkatalogüberschneidungsfreie Einordnung in Kategorienbilden die Korrektheit und den Umfang des Inhaltes abbilden grundsätzliche Userbedürfnisse abbilden zielgruppenorientierte Userbedürfnisse abbilden Anbieterbedürfnisse abbilden die o.g. Eigenschaften flächendeckend abskalierte Bewertung der EinzelkriterienGewichtung der Kriterien nach Bedeutungheuristische Evaluationrechnerbasierte Evaluation möglich
QualitätQualität
Benchmarking
AnalyseAnalyse
8 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Vergleichbarkeit unterschiedlicher Informationsangeboteinnerhalb einer Anbieterklasse
Vergleichbarkeit unterschiedlicher Informationsangeboteinnerhalb einer Eigenschaftenklasse
Gewichtete quantitative Bewertung des Informationsangebotes
intra- und interindividuell (Bewerter) reproduzierbareBewertung
individuelle Analyse eines Informationsangebotes
Benchmarking / Ranking unterschiedlicherInformationsangebote
Was müssen die Kriterien ermöglichen?
QualitätQualität
Benchmarking
AnalyseAnalyse
9 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Bekannte (alternative) Ansätze
• HON, DISCERN, OMNI, URAC, AMA• ISO (9000, 13407, 9241 Serie)
10 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Entwicklung einer Kriteriencheckliste
HON, DICERN, OMNI, AMA, URACISO (9000, 13407, 9241 Serie)Multimedia QMWeb Style Guides, W3C,...Usability-Labeigene ErhebungenIst - Soll Analyse
QualitätQualität
Benchmarking
AnalyseAnalyse
11 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Kriterienkatalog
97 Kriterien97 Kriterien
-1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt
-1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt
Bewertung der KriterienBewertung der Kriterien
unterschiedliche Gewichtung der Kriterien je nachZielgruppe durch Multiplikation mit Faktoren
unterschiedliche Gewichtung der Kriterien je nachZielgruppe durch Multiplikation mit Faktoren
Gewichtung der KriterienGewichtung der Kriterien
12 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
ContentContent
ServiceService
Usability &AccessibilityUsability &
Accessibility
WebSiteWebSite
InformationsqualitätInformationsqualität
SprachenSprachen
PerformancePerformance
55 Kriterien55 Kriterien
24 Kriterien24 Kriterien
18 Kriterien18 Kriterien
SchwerpunkteSchwerpunkte
BeratungsqualitätBeratungsqualität
SeriositätSeriosität
AktualitätAktualität
Interface DesignInterface Design
LinkingLinking
Site-/ Page-/ Grafik- DesignSite-/ Page-/ Grafik- Design
InteraktivitätInteraktivität
Online ServicesOnline Services
fachspezifische Servicesfachspezifische Services
SuchfunktionenSuchfunktionen
Zuordnung der Kriterien
13 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien55 Kriterien
24 Kriterien
18 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
WebSiteWebSite
Zuordnung der Kriterien für Content
14 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien55 Kriterien
24 Kriterien
18 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
WebSite
WebSite
BeispieleBeispiele
Zuordnung der Kriterien für „Content“
15 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Content
Service
Usability &Accessibili
ty
Informationsqualität
Sprachen
Performance
55 Kriterien
24 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik-Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
BeispieleBeispiele
InformationstiefeInformationstiefe
InformationsbreiteInformationsbreite
DidaktikDidaktik
AutorenkompetenzAutorenkompetenz
TherapieverfahrenTherapieverfahren
Online-Beratung im Forum, QualitätOnline-Beratung im Forum, Qualität
Online-Beratung im Forum, BeantwortungszeitOnline-Beratung im Forum, Beantwortungszeit
WebSite
WebSite
Online-Beratung im Forum, BeraterkompetenzOnline-Beratung im Forum, Beraterkompetenz
KomplementaritätKomplementarität
AutorenidentitätAutorenidentität
Updating (Aktualität)Updating (Aktualität)
Zuordnung der Kriterien für „Content“
16 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien
24 Kriterien
18 Kriterien18 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
WebSite
WebSite
Zuordnung der Kriterien für „Usabiblity“
17 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien
24 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
BeispieleBeispiele
WebSite
WebSite
Zuordnung der Kriterien für „Usabiblity“
18 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Content
Service
Usability &Accessibility
Informationsqualität
Sprachen
Performance
55 Kriterien
24 Kriterien
Schwerpunkte
Beratungsqualität
Seriosität
Aktualität
Interface Design
Linking
Site-/ Page-/ Grafik- Design
Interaktivität
Online Services
fachspezifische Services
Suchfunktionen
BeispieleBeispiele
Plattformübergreifende Funktionalität (Performance)Plattformübergreifende Funktionalität (Performance)
Suche/Suchfunktion (Interface Design)Suche/Suchfunktion (Interface Design)
Navigation (Interface Design)Navigation (Interface Design)
Homepagetyp (Site-, Page- & Grafik-Design)Homepagetyp (Site-, Page- & Grafik-Design)
Linking (Linking)Linking (Linking)
Site-Design (Site-, Page- & Grafik-Design)Site-Design (Site-, Page- & Grafik-Design)
Page-Design (Site-, Page- & Grafik-Design)Page-Design (Site-, Page- & Grafik-Design)
WebSite
WebSite
Grafik-Design (Site-, Page- & Grafik-Design)Grafik-Design (Site-, Page- & Grafik-Design)
behindertengerechte Codierung / Gestaltung / Typobehindertengerechte Codierung / Gestaltung / Typo
Feed back durch User / ZielgruppeFeed back durch User / Zielgruppe
Interaktivität mit User / ZielgruppeInteraktivität mit User / Zielgruppe
Zuordnung der Kriterien für „Usabiblity“
19 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
9%
55%
36%
Content
Usability & Accessibility
Service
Kategorie - Gewichtung
QualitätQualität
Benchmarking
AnalyseAnalyse
20 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Studie: 19 „Gesundheitsportale“ (3/2001) Gesamtbewertung und Bewertung der Einzelkategorien in %
0
5
10
15
20
25
30
35
40
Proz
ent
0 10 20 30 40 50 60 70 80 90 1000
5
10
15
20
25
30
35
40
Proz
ent
0 10 20 30 40 50 60 70 80 90 100
0
5
10
15
20
25
30
Proz
ent
0 10 20 30 40 50 60 70 80 90 1000
5
10
15
20
25
30
Proz
ent
0 10 20 30 40 50 60 70 80 90 100
% der Gesamtbewertung % des Content
% der Usability & Accessibility % der Services
21 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Benchmarking / Ranking
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
Gesundheitsinformationen im WebStudie: 19 deutschsprachige GesundheitsportaleKlinikenPharma / Medizintechnik / Krankenversicherer
quantitative Mesgrösssen für ErgebnisqualitätContent (55 Kriterien)Service (24 Kriterien)Usability & Accessibility (18 Kriterien)
webbasierte DatenbankKategorie-spezifisches Ranking / BenchmarkingPasswort
22 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Benchmarking / Ranking
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
23 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Individuelle Analyse &Optimierung - Qualitätssiegel
Individuelle Analysegezielte Stärken-Schwächen AnalyseOptimierung bei Relaunch
Grundlage für Entwicklung von Kriterien für„Gütesiegel“ o.ä.
AMIDI e.V.3-stufiges Bewertungssystem in Erprobung
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
24 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Individuelle Ist-Analyse, Beispiel
Soll-Wert = 100 %
Content > Informationsqualität
Usability & Accessibility > Interface Design
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
25 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Individualanalyse: Content, Service, Usability & Accessibility
81
46
52
0 20 40 60 80 100
Content
Service
Usability &Accessibility
Qualität in %
Individuelle Ist-Analyse, Beispiel
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
26 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Individualanalyse: Content, Service, Usability & Accessibility
81
46
52
0 20 40 60 80 100
Content
Service
Usability &Accessibility
Qualität in %
Individuelle Ist-Analyse, Beispiel
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
27 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Content
Service
Usability &Accessibility
WebSite
InformationsqualitätInformationsqualität
SprachenSprachen
PerformancePerformance
55 Kriterien55 Kriterien
24 Kriterien24 Kriterien
18 Kriterien18 Kriterien
SchwerpunkteSchwerpunkte
BeratungsqualitätBeratungsqualität
SeriositätSeriosität
AktualitätAktualität
Interface DesignInterface Design
LinkingLinking
Site-/ Page-/ Grafik- DesignSite-/ Page-/ Grafik- Design
InteraktivitätInteraktivität
Online ServicesOnline Services
fachspezifische Servicesfachspezifische Services
SuchfunktionenSuchfunktionen
Individuelle Ist-Analyse > Content
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
28 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Soll-Wert 100 %
78
70
60
92
100
0 20 40 60 80 100 120
Informationsqualität
Schwerpunktthemen
Beratungsqualität
Seriosität
Aktualität
Qualität in %
Individualanlyse > Content
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
29 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Soll-Wert = 100 %
78
70
60
92
100
0 20 40 60 80 100 120
Informationsqualität
Schwerpunktthemen
Beratungsqualität
Seriosität
Aktualität
Qualität in %
Individualanlyse > Content
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
30 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
100
50
100
100
0
0
100
100
67
67
100
0 20 40 60 80 100 120
Informationstiefe
Informationsbreite
Didaktik
Werbung
Diagnosehilfe, inhaltliche Qualität
Diagnosehilfe, Beraterkompetenz
Thearpieverfahren, inhaltliche Qualität, EBM
Therapieverfahren, Beraterkompetenz
Erläuterungen zu diagnost. Eingriffen
Erläuterungen zu Operationen
Wirkung/Wechselwkg. Von Medikamenten
Qualität in %
Individualanlyse > Content > Info.Qualität Soll-Wert = 100 %
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
31 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
ContentContent
ServiceService
Usability &Accessibility
WebSiteWebSite
InformationsqualitätInformationsqualität
SprachenSprachen
PerformancePerformance
55 Kriterien55 Kriterien
24 Kriterien24 Kriterien
18 Kriterien18 Kriterien
SchwerpunkteSchwerpunkte
BeratungsqualitätBeratungsqualität
SeriositätSeriosität
AktualitätAktualität
Interface DesignInterface Design
LinkingLinking
Site-/ Page-/ Grafik- DesignSite-/ Page-/ Grafik- Design
InteraktivitätInteraktivität
Online ServicesOnline Services
fachspezifische Servicesfachspezifische Services
SuchfunktionenSuchfunktionen
Individualanlyse > Usability & Accessibility
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
32 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Soll-Wert = 100 %
81
46
52
0 20 40 60 80 100
Content
Service
Usability &Accessibility
Qualität in %
Individualanlyse > Usability & Accessibility
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
33 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Soll-Wert = 100 %
81
46
52
0 20 40 60 80 100
Content
Service
Usability &Accessibility
Qualität in %
Individualanlyse > Usability & Accessibility
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
34 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Soll-Wert = 100 %
100
5
75
71
12
0 20 40 60 80 100 120
Performance
Interface Design
Linking
Site-/Page- &Graphik-Design
Interaktivität
Qualität in %
Individualanlyse > Usability & Accessibility
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
35 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Soll-Wert = 100 %
100
5
75
71
12
0 20 40 60 80 100 120
Performance
Interface Design
Linking
Site-/Page- &Graphik-Design
Interaktivität
Qualität in %
Individualanlyse > Usability & Accessibility
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
36 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Soll-Wert = 100 %
50
-25
-25
19
-40 0 40 80
Übersichtlichkeit der Startseite
direkter Informationszugriff (nicht überSuchfunktion)
Suchfunktion über Site
Navigation
Qualität in %
Individualanlyse > Usability & Accessibility> Interface Design
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
37 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Mindestanforderungen✔ Anbieter ausgewiesen / Impressum✔ Ziele ausgewiesen✔ ausgewiesene Themen mit Informationen belegt✔ Inhalte in der Regel verständlich✔ Feedbackmöglichkeit für den User✔ Legal Disclaimer o.ä.✔ Inhalte komplementär✔ Quellen für Inhalte angegeben und seriös✔ Autorenidentität eindeutig✔ Sponsoring & Werbung als solche erkennbar✔ Update auf Startseite✔ Wenn News, dann „aktuell“ (nicht älter als 1 Woche)✔ Hinweis auf Datensicherheit (Transparenz)✔ „Backtracking“ möglich✔ kein „Frame in Frame
QualitätQualität
BenchmarkingBenchmarking
AnalyseAnalyse
38 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Keine Autorennennungkeine Deklaration der Zieleinhaltliche Tiefe oft geringVerstösse gegen TDDGverdeckte WerbungDatenbanken für User nicht erkennbarunvollständigspezielle Inhalte oft schlecht aufzufindenSuchfunktionen nicht nutzerfreundlichAngebote nicht behindertengerecht
Diskussion: Informationsangebote
39 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
Die Methode erlaubt sowohl die Individualanalyseals auch ein Ranking der Informationsangebotein gewissen Grenzen reproduzierbare ErgebnisseEvaluation der medizinischen Inhalte sehraufwendigVergleichbarkeit nur für identische Kriteriengruppenoder Anbieterklassenweitere Nutzerbefragungen / Usability LaberforderlichMethodik übertragbar (webbasierte Informationen,Call Centers, Messung der Ergebnisqualität imGesundheitwesen)
Diskussion: Methodik
40 / 44
© 2001 Dr. Schalnus® Beratung - Projektbegleitung - Qualitätssicherung www.schalnus.com
ZusammenfassungEvaluation der Qualität medizinischer Web-Sites
ErgebnisqualitätNutzer- / Patienten-orientiertskalierte KriterienCheckliste: bekannten Kriterien, .....
Benchmarking von webbasierten GesundheitsinformationenGesundheitsportale (Patientenbelange, Beratung)Modifizierung der Checkliste für Gesundheits-Web SitesDefinition quantitativer Meßgrößen für die Ergebnisqualität
Optimierung & „Qualitätssiegel“individuelle Optimierung bei RelaunchQualitätsmanagement
Recommended