Embed Size (px)
Citation preview
Z. Evid. Fortbild. Qual. Gesundh. wesen (ZEFQ) (2014) 108, 299—312
Online verfügbar unter www.sciencedirect.com
ScienceDirect
journa l homepage: ht tp : / / journa ls .e lsev ier .de /ze fq
IM BLICKPUNKT
Entwicklung einer praktikablenMini-Checkliste zur Bewertung dermethodischen LeitlinienqualitätDevelopment of a workable mini checklist to assess guidelinequality
Thomas Semlitsch1,∗, Klaus Jeitler1,2, Ina B. Kopp3,Andrea Siebenhofer4
1 Evidence Based Medicine Review Center, Universitätsklinik für Innere Medizin, Medizinische UniversitätGraz, Österreich, Deutschland2 Institut für Medizinische Informatik, Statistik und Dokumentation, Medizinische Universität Graz,Österreich, Deutschland3 AWMF-Institut für Medizinisches Wissensmanagement, FB Medizin der Philipps-Universität, Marburg,Deutschland4 Institut für Allgemeinmedizin, Goethe-Universität Frankfurt am Main, Deutschland
Eingegangen/submitted 30. Januar 2014; überarbeitet/revised 6. Juni 2014; akzeptiert/accepted 6. Juni 2014
SCHLÜSSELWÖRTERLeitlinienqualität;Bewertungsinstrument;Entwicklungsprozess;zeitsparend;Schlüsselfragen
ZusammenfassungHintergrund: Eine detaillierte Bewertung der Leitlinienqualität mittels komplexer Bewer-tungsinstrumente wie AGREE und DELBI ist aus Zeitgründen oft nicht möglich. Ziel war daherdie Entwicklung eines Bewertungsinstruments in Form einer ,,Mini-Checkliste‘‘, das eine rascheEinschätzung der Leitlinienqualität ermöglicht.Methode: 1. Systematische Literaturrecherche in MEDLINE, EMBASE und internationalenLeitlinien-Portalen nach bereits vorhandenen Leitlinien-Bewertungsinstrumenten (Cut-off fürRelevanz > 50%ige Nennung) 2. Bewertung aller identifizierten Bewertungskriterien in einerOnline-Befragung von Mitgliedern der DELBI 2.0 Expertengruppe (Cut-off für Relevanz > 75%ige
Nennung) 3. Internes Delphi-Verfahren und Konsentierung.Ergebnisse: Aus 24 identifizierten Bewertungsinstrumenten wurden insgesamt 489 Forderun-gen zur methodischen Leitlinienqualität extrahiert. Diese konnten zu 49 unterschiedlichenBewertungskriterien zusammengefasst werden, welche von 12 (Rücklaufquote 43%) von∗ Korrespondenzadresse: Mag. Thomas Semlitsch, EBM Review Center, Medizinische Universität Graz, Auenbruggerplatz 15, 8036 Graz.Tel.: +43(0)316-385-17708. Homepage: http://www.medunigraz.at/ebmE-Mail: [email protected] (T. Semlitsch).
http://dx.doi.org/10.1016/j.zefq.2014.06.0111865-9217/
300 T. Semlitsch et al.
28 angefragten Experten bewertet wurden. Initial wurden 8 Bewertungskriterien identifi-ziert, die in beiden Verfahren den notwendigen Cut-off-Wert erreichten. Sieben zusätzlicheBewertungskriterien wurden im Konsensverfahren als relevant erachtet. Die insgesamt 15Bewertungskriterien wurden anschließend an Hand ihrer inhaltlichen Ausrichtung gruppiert,wodurch am Ende 8 Bewertungskriterien in die Mini-Checkliste einflossen.Schlussfolgerungen: Eine Fokussierung der Bewertung der Leitlinienqualität auf wenige sehrwichtige Schlüsselfragen ist möglich und erscheint für einen Einsatz im Rahmen der täglichenArbeit klinisch tätiger Ärzte sinnvoll. Dies könnte einen Beitrag sein, um die Leitlinien-Akzeptanzin Hausarztpraxen und in Kliniken zu verstärken.
KEYWORDSGuideline quality;appraisal tool;development process;time-saving;key questions
SummaryBackground: Due to lack of time, a detailed appraisal of guideline quality with complexassessment instruments such as AGREE and DELBI is not always feasible. Therefore, our aimwas to develop an assessment tool in the form of a ’mini checklist’ that would make it possibleto quickly gauge guideline quality.Method: 1. A systematic literature search in MEDLINE, EMBASE and international guidelineportals for available assessment tools (cut-off value for relevance: mentioned in > 50% of cases).2. Assessment of all identified appraisal criteria in an online survey among members of the DELBI2.0 group of experts (cut-off value for relevance: mentioned in > 75% of cases). 3. Internal Delphitechnique and consensus.Results: 489 requirements for the methodological quality of guidelines were extracted from24 identified assessment instruments. These could be merged to create 49 appraisal criteriathat were then evaluated by 28 of the experts approached (response rate: 43 %). Initially, 8appraisal criteria reached both cut-off values. Seven additional appraisal criteria were adoptedby consensus. According to the orientation of their content, the 15 appraisal criteria were thengrouped together to form the 8 appraisal criteria that were finally included in the mini checklist.Conclusions: An assessment of guideline quality can be based on a few very important key ques-tions, and it would be reasonable for clinicians to do so. This could promote wider acceptance
ctice
E
VhgzujZ[
CsIdefwclü[dKegjlg
vQ[
addLffksQefd(AddLzuzQi
of guidelines in general pra
inleitung
or dem Hintergrund eines komplexer werdenden Gesund-eitssystems und einer zunehmenden Informationsflutewinnen Leitlinien eine immer größere Bedeutung im medi-inischen Alltag. Die Umsetzung von Leitlinien in der Praxisnd ihre Wirksamkeit zum Nutzen der Patienten hängenedoch stark von der Akzeptanz durch die Anwender und deruverlässigkeit der in ihnen formulierten Empfehlungen ab1,2].
Eine Befragung von Primärärzten im Jahr 2006 durch denommonwealth Fund zeigte, dass deutsche Ärzte signifikanteltener zu Leitlinien griffen als ihre Kollegen aus weiterenndustrienationen wie Australien, Kanada, den Niederlan-en, Neuseeland, Großbritannien und USA (49% vs. jeweilstwa 90%). 23% der deutschen Ärzte gaben dabei an, dassür häufige Krankheiten keine Leitlinien vorhanden seien,obei in allen anderen Ländern nur 1% aller Ärzte eine sol-he Aussage tätigten [3]. Eine aktuellere Studie ergab, dassediglich 40% von 1.152 befragten Hausärzten in Deutschlandber adäquates kardiovaskuläres Leitlinienwissen verfügen4]. Als Barrieren gegen die Akzeptanz von Leitlinien wur-en Zeitmangel, widersprüchliche Aussagen in Leitlinien,ostenaspekte, Inflexibilität [5], und auch der fehlendeinfache und schnelle Zugang zu einer guten Leitlinie [6]enannt. Erste Voraussetzung für den Erfolg von Leitlinien ist
edoch eine hohe methodische und fachlich-inhaltliche Qua-ität, beziehungsweise die erwartete Validität der in ihnenetroffenen Empfehlungen. Hierfür existiert eine VielzahlsB
and hospitals.
on Handbüchern und Instrumenten, die zur Erstellung undualitätsbeurteilung von Leitlinien herangezogen werden
7—9].Prinzipiell bieten sich das Appraisal of Guidelines, Rese-
rch and Evaluation (AGREE) Instrument [10,11] und dasaraus weiterentwickelte Deutsche Instrument zur metho-ischen Leitlinien-Bewertung (DELBI) zur Beurteilung dereitlinien-Qualität an [12]. Dem medizinischen Personalehlt allerdings meist die Zeit und auch die Geduldür eine detaillierte Qualitätsbewertung mittels solcheromplexer Bewertungsinstrumente. Als zeitsparende Unter-tützung bei der Suche nach einer qualitativ hochwertigenuelle kann daher die Nutzung von Leitlinien-Datenbankenmpfohlen werden, die über eine Qualitätssicherung ver-ügen wie das Leitlinien-Register der Arbeitsgemeinschafter Wissenschaftlichen Medizinischen FachgesellschaftenAWMF) (http://www.awmf.org/leitlinien.html) oder dierztbibliothek des Ärztlichen Zentrums für Qualität iner Medizin (ÄZQ) (http://www.arztbibliothek.de). Nach-em dieses Angebot aber nur einen Teil der vorhandeneneitlinien abdeckt und eine wichtige Barriere für die Nut-ung einer Leitlinie der Zeitfaktor darstellt, ergab sich fürns die Notwendigkeit zur Entwicklung eines Instrumentsur raschen und zuverlässigen Einschätzung der Leitlinien-ualität, welches ressourcenschonend ist und das Vertrauen
n die Leitlinien-Empfehlungen erhöht.
Ziel dieser Publikation ist die Beschreibung des Ent-tehungsprozesses einer praktikablen Mini-Checkliste zurewertung der methodischen Leitlinienqualität, basierend
ng de
••••
tuwdtuaigeet(cSgwtBtvCg
M
1
2
3
E
E
D
Entwicklung einer praktikablen Mini-Checkliste zur Bewertu
auf einem dreistufigen Verfahren - der systematischen Lite-raturrecherche nach vorhandenen Bewertungsinstrumentenund Identifikation von darin enthaltenen relevanten Kri-terien, - der Expertenbefragung und der abschließendenSynthese relevanter Items zu neu formulierten Bewertungs-kriterien, welche in einem 2-stündigen Trainingskurs erprobtwurde.
Methode
Informationsbeschaffung
Zur Identifikation von Kernkriterien zur Beurteilung dermethodischen Leitlinienqualität, die in Publikationen zuManualen für die Entwicklung oder Instrumenten zur Bewer-tung von Leitlinien abgebildet sein können, wurde einesystematische Literaturrecherche in den bibliografischenDatenbanken MEDLINE, PubMed und EMBASE durchgeführt.Dazu wurden unterschiedliche Suchterme (MeSH und Frei-text) für Leitlinien (clinical guideline*, practice guideline*)mit solchen für Qualität, Instrument bzw. Manual (check-list*, manual*, instrument*, valid*, reliab*, quali*, develop*,assess*) verknüpft. Die Suche wurde auf Publikationen indeutscher und englischer Sprache eingeschränkt. Zusätzlicherfolgte eine Recherche auf den Internetseiten von AWMF,Guidelines International Network (GIN), National Institutefor Clinical Excellence (NICE), Scottish Intercollegiate Gui-delines Network (SIGN) und der AGREE Working Group sowieeine Sichtung der Referenzlisten relevanter Arbeiten. Poten-ziell relevante Arbeiten wurden von einem Reviewer (TS)zuerst anhand ihrer Titel und Abstracts und in weitererFolge im Volltext gesichtet. Dabei wurden jene Arbeiten alsrelevant erachtet, die nachfolgend angeführte Einschlusskri-terien erfüllten:
• Thema der Publikation sind klinische Leitlinien• Methodische Aspekte zur Leitlinienentwicklung,
-bewertung oder zur Qualität oder Validität von Leitlinienwerden behandelt.
• Publikationssprache ist Englisch oder Deutsch• Behandelt allgemein gültige methodische Aspekte (nicht
spezielle Aspekte zu einem einzelnen klinischen Thema)• Keine Doppelpublikation ohne relevante Zusatzinforma-
tion
Datenextraktion und Auswahl derBewertungskriterien
Alle in den identifizierten Leitlinien-Manualen und Bewer-tungsinstrumenten enthaltenen Kriterien wurden extrahiertund einander gegenübergestellt. Um eine strukturierte Dar-stellung der Bewertungskriterien zu ermöglichen, wurdenvorab Themenfelder auf Basis der 8 Domänen des DELBIerstellt, denen die einzelnen Bewertungskriterien zugeord-net wurden.
• Ziele/Anwender• Entwicklergruppe• Methode der Entwicklung• Klarheit der Darstellung
iDbv
r methodischen Leitlinienqualität 301
AnwendbarkeitUnabhängigkeitÜbertragbarkeitEntwicklung auf Basis von bereits existierenden Leitlinien(Adaptation)
In weiterer Folge erfolgte eine Auswahl jener Bewer-ungskriterien, die für eine Zeit- und Ressourcen schonendend zuverlässige Einschätzung der Leitlinienqualität not-endig und sinnvoll erschienen. Dazu wurde zum Erstenie Häufigkeit des Vorkommens der einzelnen Bewer-ungskriterien in den identifizierten, relevanten Manualennd Instrumenten herangezogen, wobei der Cut—off-Wertuf 50% festgelegt wurde, d.h. Bewertungskriterien, dien mindestens der Hälfte der Manuale und Instrumenteenannt waren, wurden berücksichtigt. Zum Zweiten wurdein Online-Fragebogen hinsichtlich der Gewichtung derinzelnen Bewertungskriterien in Instrumenten zur Beur-eilung der methodischen Leitlinienqualität eingerichtetwww.onlineumfrage.com) und 28 Experten aus den Berei-hen Leitlinienentwicklung und -bewertung im deutschenprachraum - primär Mitglieder der DELBI 2.0 Experten-ruppe - eingeladen, diesen zu beantworten. Die Teilnehmerurden gebeten anhand von dichotomen Fragen (sehr wich-
ig — weniger wichtig) eine Gewichtung der einzelnenewertungskriterien vorzunehmen. Zur Auswahl eines Kri-eriums für die Mini-Checkliste wurde, analog der Definitionon Konsens [13] bei der Auswertung der Fragebögen einut-off-Wert einer 75% Zustimmung in den rückläufigen Fra-ebögen prädefiniert.
Die Auswahl der einzelnen Bewertungskriterien für dieini-Checkliste erfolgte nach folgendem Schlüssel:
) Primäre Voraussetzung für die Berücksichtigung einesItems war, dass dieser in beiden Bewertungsverfahren(Quelle Bewertungsinstrument + Quelle Experten) denjeweiligen Cut-off-Wert erreichen oder überschreitenmusste.
) Jene Kriterien, die nur in einem der beiden Verfah-ren den jeweiligen Cut-off-Wert erreichten, wurdennochmals gesichtet und einem internen, schriftlichenBewertungsverfahren durch die Autoren (TS, AS, KJ),welche primär Leitlinien-Experten sind, mit anschließen-der Konsentierung in Anlehnung an die Delphi-Methode[14], unterzogen. Alle im Konsens als wichtig erachtetenItems wurden als zusätzliche relevante Kriterien für dieMini-Checkliste ausgewählt.
) Relevante Items, welche auf ähnliche Inhalte abzielten,wurden zusammengefasst und dienten abschließend alsGrundlage für die Formulierung der endgültigen Bewer-tungskriterien für die Mini-Checkliste.
rgebnisse
rgebnisse der Informationsbeschaffung
ie Recherche in den elektronischen Datenbanken erfolgte
m Januar 2010 und erbrachte nach dem Ausschluss deruplikate 3162 Treffer. Davon konnten 3118 Referenzenereits im Titel- und Abstract-Screening als nicht rele-ant ausgeschlossen werden. Bei 26 weiteren Publikationen
3
ebAdLv
ldtmewnbL
M
BiolshtkfD1w
zQnvgBfislam,wsB
iIfin
E
Eo
v
LwcIsMdBmdevBtafBdD
AM
IupzddrsddAwsI
dtz,zfflIdBlGHKeA
02
rfolgte ein Ausschluss auf Volltextebene. Das Ergebnis deribliographischen Recherche umfasste somit 18 relevanterbeiten. Weitere 20 relevante Publikationen konnten überie Suche auf den Internetseiten von den 5 genannteneitlinien-Portalen/Anbietern bzw. aus Referenzlisten rele-anter Arbeiten identifiziert werden.
Aus diesen insgesamt 38 Publikationen ergab sich letzt-ich eine Gesamtzahl von 24 unterschiedlichen Manualen fürie Erstellung von Leitlinien oder Instrumenten zur Bewer-ung von Leitlinien (Tabelle 1), in denen Kernkriterien derethodischen Qualität abgebildet wurden (Abb. 1). Obwohl
s sich nicht ausschließlich um voneinander unabhängig ent-ickelte Manuale/Instrumente handelt, wurden dennochachfolgend alle bei der Entwicklung der Mini-Checklisteerücksichtigt, da sie oftmals unterschiedliche Aspekte dereitlinienqualität beleuchteten.
anuale und Bewertungsinstrumente
ei 16 der 24 relevanten Manuale bzw. Bewertungs-nstrumente1 handelt es sich um tatsächliche Werkzeugeder Checklisten zur Bewertung der methodischen Leit-inienqualität. Sechs weitere sind Leitlinienmanuale undollen Autoren als Hilfsmittel bei der Erstellung qualitativochwertiger Leitlinien dienen, während die beiden letz-en Arbeiten Kriterien zur Umsetzung von Leitlinien in dielinische Praxis bzw. Kriterien zur Erstellung von Zusammen-assungen von Leitlinien in Fachzeitschriften beschreiben.er Publikationszeitraum der 24 Instrumente liegt zwischen992 und 2008. Etwa die Hälfte stammt aus Nordamerika,ährend 2 Instrumente in Deutschland entwickelt wurden.
Insgesamt umfassten die 24 Instrumente 489 Fragenu beziehungsweise Anforderungen an die methodischeualität von Leitlinien, wobei die Anzahl in den einzel-en Publikationen zwischen 5 und 36 lag. Mittels einerergleichenden Gegenüberstellung dieser einzelnen Fra-en/Anforderungen konnten letztlich 49 unterschiedlichenewertungskriterien ermittelt werden, welche den vorde-nierten Themenfeldern zugeordnet wurden. Dabei zeigteich, dass die drei Themenfelder ,,Methode der Entwick-ung‘‘, ,,Ziele/Anwender‘‘ und ,,Entwicklergruppe‘‘ in mehrls 90% der Bewertungsinstrumente erfasst wurden. The-enfelder wie ,,Unabhängigkeit‘‘, ,,Übertragbarkeit‘‘ oder
,Entwicklung auf Basis von Leitlinien‘‘ fanden hingegen ineniger als der Hälfte der Bewertungsinstrumente Berück-
ichtigung. Details dazu sowie zu den Charakteristika derewertungsinstrumente zeigt Tabelle 1.
Insgesamt konnten aus den 49 Bewertungskriterien 17dentifiziert werden, die in mindestens der Hälfte dernstrumente eingesetzt wurden und damit über dem präde-nierten Cut-Off-Wert für eine potenzielle Relevanz für dieeu entwickelte Mini-Checkliste lagen (Abb. 2).
xpertenbefragung
in Zugang zu einem Online-Fragebogen (www.nlineumfrage.com) wurde im Juni 2011 an 28
1 Im weiteren Verlauf wird nur noch der Begriff ,,Instrumente‘‘erwendet, dieser bezieht jedoch auch Manuale mit ein.
dz
Z
Dz
T. Semlitsch et al.
eitlinienexperten in Deutschland verschickt. Dabeiurde den Experten die Gesamtzahl der 49 unterschiedli-hen Bewertungskriterien, die aus den 24 eingeschlossenennstrumenten identifiziert wurden, zur Beurteilung hin-ichtlich ihrer Relevanz vorgelegt. Im Zeitraum von 2onaten wurde der Fragebogen von 12 Befragten vollstän-ig beantwortet (43% Rücklaufquote). Die Auswertung derefragungsergebnisse zeigte, dass insgesamt 23 Kriterienehrheitlich (>50% Zustimmung) als wichtig bewertet wur-en, während die übrigen 26 Kriterien als weniger wichtigingestuft wurden. Den vorab festgelegten Grenzwerton 75% erreichten bzw. überschritten letztlich 16 der 49ewertungskriterien, wobei lediglich ein Kriterium (Iden-ifikation von Schlüsselempfehlungen) von allen Expertenls wichtig erachtet wurde. Weitere häufig als sehr wichtigür eine Einschätzung der Leitlinienqualität genannteewertungskriterien waren unter anderen die Eindeutigkeiter Empfehlungen, Nennung der Patientenzielgruppe undarstellung der finanziellen Un-/Abhängigkeit (Abb. 3).
uswahl der relevanten Kriterien für dieini-Checkliste
nsgesamt standen aus den beiden Auswahlverfahren 25 derrsprünglich 49 unterschiedlichen Bewertungskriterien alsotenziell relevant für die Aufnahme in die Mini-Checklisteur Verfügung. Durch eine vergleichende Gegenüberstellunger Ergebnisse konnten daraus in einem ersten Schritt 8ieser 25 Items identifiziert werden, die in beiden Verfah-en den notwendigen Cut-off-Wert erreichten und somit alsehr wichtige und notwendige Kriterien für die Bewertunger methodischen Leitlinienqualität definiert wurden. Ausen verbliebenen 17 Items, welche nur in einem der beidenuswahlverfahren den geforderten Cut-off-Wert erreichten,urden im Rahmen des internen Delphi-Verfahrens, nach
chriftlicher Abstimmung und Konsentierung, 7 zusätzlichetems als relevant erachtet (Tabelle 2).
Somit ergaben sich insgesamt 15 relevanten Items,ie anschließend hinsichtlich ihrer inhaltlichen Ausrich-ung überprüft wurden. Thematisch ähnliche Items wie.B. ,,Interessenskonflikte der Leitlinien-Ersteller‘‘ und,Finanzielle Un-/Abhängigkeit‘‘ wurden dabei gruppiert undusammengefasst, wodurch am Ende 8 Bewertungskriterienormuliert werden konnten, die in die Mini-Checkliste ein-ossen (Abb. 2). Um, anders als bei DELBI oder AGREE
, den Anwendern die Möglichkeit einer zusammenfassen-en Endbewertung zu geben, erfolgte die Gestaltung desewertungsinstruments in Anlehnung an die validierte Qua-itätsbewertung für systematische Reviews von Oxman unduyatt [15]. Dabei erfolgt die Bewertung der Leitlinien anand einer 3-teiligen Skala (Ja/Teilweise/Nein) für jedesriterium. Auf Basis der Ergebnisse dieser 8 Kriterien,rfolgt abschließend, in Anlehnung an das Overall Guidelinessessment von AGREE II [16], eine Bewertung hinsichtlicher Qualität der Leitlinie insgesamt sowie einer Empfehlungur Verwendung der Leitlinie (Abb. 4).
usammenfassung und Diskussion
urch das Einbeziehen von unterschiedlichen Auswahlpro-essen entstand eine übersichtliche, aus 8 Items bestehende
Entwicklung
einerpraktikablen
Mini-Checkliste
zurBew
ertungder
methodischen
Leitlinienqualität303
Tabelle 1 Instrumente zur Erstellung/Bewertung von Leitlinien: Charakteristika und Überblick der enthaltenen Kriterien bzw. Zuordnung zu Themenfelder.Instrumente Publikation Charakteristika der Instrumente Themenfelder
Land Entwicklergruppe Anzahl derFragen
Ziele/Anwender
Entwicklergruppe Methode derEntwicklung
Klarheit derDarstellung
Anwendbarkeit Unabhängigkeit Übertragbarkeit Entwicklungauf Basis vonLeitlinien
AGREE, 2003 The AGREE Collaboration:Development andvalidation of aninternational appraisalinstrument for assessingthe quality of clinicalpractice guidelines: theAGREE project. Qual SafHealth Care 2003Feb;12(1):18-23.
Multinational Leitlinienentwickler 25 x x x x x x
APA, 2002 Reed GM, McLaughlin CJ,Newman R: AmericanPsychological Associationpolicy in context. Thedevelopment andevaluation of guidelinesfor professional practice.Am Psychol 2002Dec;57(12):1041-7.
USA Fachgesellschaft 12 o o o o
Calder, 1997 Calder L, Hébert P, CarterA, Graham I: Review ofpublishedrecommendations andguidelines for thetransfusion of allogeneicred blood cells andplasma. CMAJ1997;156:S1-S8.
Kanada Forschungsgruppe 20 o o o o o
Cluzeau,1999
Cluzeau FA, Littlejohns P,Grimshaw JM, Feder G,Moran SE: Developmentand application of ageneric methodology toassess the quality ofclinical guidelines.International Journal forQuality in Health Care1999 Feb;11(1):21-8.
UK Gesundheitsorganisation 31 x o o o o x o
COGS, 2003 Shiffman RN, Shekelle P,Overhage JM, Slutsky J,Grimshaw J, DeshpandeAM: StandardizedReporting of ClinicalPractice Guidelines: AProposal from theConference on GuidelineStandardization. Annals ofInternal Medicine 200316;139(6):493-8.
USA Leitlinienentwickler 21 x o o o o x
304T.
Semlitsch
etal.
Tabelle 1 (Fortsetzung)Instrumente Publikation Charakteristika der Instrumente Themenfelder
Land Entwicklergruppe Anzahl derFragen
Ziele/Anwender
Entwicklergruppe Methode derEntwicklung
Klarheit derDarstellung
Anwendbarkeit Unabhängigkeit Übertragbarkeit Entwicklungauf Basis vonLeitlinien
DELBI, 2008 Ärztliches Zentrum fürQualität in der Medizin(ÄZQ),Arbeitsgemeinschaft derWissenschaftlichenMedizinischenFachgesellschaften(AWMF): DeutschesInstrument zurmethodischenLeitlinien-Bewertung(DELBI).. Fassung2005/2006. Mit Addendum2008 http://www.leitlinien.de/mdb/edocs/pdf/literatur/delbi-fassung-2005-2006-domaene-8-2008.pdf(last accessed on03.07.2013)
Deutschland Leitlinienentwickler 31 x x x x x x x x
Grilli, 2000 Grilli R, Magrini N, PennaA, Mura G, Liberati A:Practice guidelinesdeveloped by specialtysocieties: the need for acritical appraisal. Lancet2000 Jan8;355(9198):103-6.
Italien Forschungsgruppe 5 o o
Hayward,1993
Hayward RS, Wilson MC,Tunis SR, Bass EB, RubinHR, Haynes RB: Moreinformative abstracts ofarticles describing clinicalpractice guidelines. AnnIntern Med 1993 May1;118(9):731-7.
USA Forschungsgruppe 23 x x o o o o
Hayward,1995
Hayward RS, Wilson MC,Tunis SR, Bass EB, GuyattG: Users’ guides to themedical literature. VIII.How to use clinicalpractice guidelines. A. Arethe recommendationsvalid? The Evidence-BasedMedicine Working Group.JAMA 1995 Aug16;274(7):570-4.
USA Forschungsgruppe 11 o o o o
Helou, 1998 Helou A, Ollenschlager G:[Goals, possibilities andlimits of qualityevaluation of guidelines. Abackground report on theuser manual of the‘‘Methodological Quality ofGuidelines’’ check list]. ZArztl Fortbild Qualitatssich1998 Jun;92(5):361-5.
Deutschland Forschungsgruppe 36 x x x x o x o
Entwicklung
einerpraktikablen
Mini-Checkliste
zurBew
ertungder
methodischen
Leitlinienqualität305
Tabelle 1 (Fortsetzung)Instrumente Publikation Charakteristika der Instrumente Themenfelder
Land Entwicklergruppe Anzahl derFragen
Ziele/Anwender
Entwicklergruppe Methode derEntwicklung
Klarheit derDarstellung
Anwendbarkeit Unabhängigkeit Übertragbarkeit Entwicklungauf Basis vonLeitlinien
Hutchinson,2003
Hutchinson A, McIntosh A,Anderson J, Gilbert C,Field R: Developingprimary care reviewcriteria fromevidence-basedguidelines: coronary heartdisease as a model. Br JGen Pract 2003Sep;53(494):690-6.
UK Fachgesellschaft 6 o o
IOM, 1992 Lohr KN, Field MJ: AProvisional Instrument forAssessing Clinical PracticeGuidelines. In: Institute ofMedicine, Field MJ, LohrKN (eds.): Guidelines forClinical Practice: FromDevelopment to Use.Washington, DC: NationalAcademy Press 1992;346-410.
USA Forschungsgruppe 26 x o o o o o o
Marshall,2000
Marshall JK: A criticalapproach to clinicalpractice guidelines. Can JGastroenterol 2000Jun;14(6):505-9.
Kanada Forschungsgruppe 9 o o o o
Mendelson,1995
Mendelson EB: Thedevelopment and meaningof appropriatenessguidelines. Radiol ClinNorth Am 1995Nov;33(6):1081-4.
USA Forschungsgruppe 11 o o o o
MERGE, 1996 Liddle J, Williamson M,Irwig L: Method forevaluating research andguideline evidence. 1996.http://www0.health.nsw.gov.au/pubs/1996/pdf/mergetot.pdf (lastaccessed on 03.07.2013)
Australien Gesundheitsorganisation 11 o o o o o
NHMRC, 1998 National Health andMedical Research Council(NHMRC): A guide to thedevelopment,implementation andevaluation of clinicalpractice guidelines. 1998.http://www.nhmrc.gov.au/guidelines/publications/cp30 (last accessed on03.07.2013)
Australien Gesundheitsorganisation 21 x x o x o
NICE, 2009 National Institute forHealth and ClinicalExcellence (NICE): Theguidelines manual. 2009.http://www.nice.org.uk/media/615/64/Theguidelines manual 2009.pdf (last accessed on03.07.2013)
UK Leitlinienentwickler 36 x x x x o x o x
306T.
Semlitsch
etal.
Tabelle 1 (Fortsetzung)Instrumente Publikation Charakteristika der Instrumente Themenfelder
Land Entwicklergruppe Anzahl derFragen
Ziele/Anwender
Entwicklergruppe Methode derEntwicklung
Klarheit derDarstellung
Anwendbarkeit Unabhängigkeit Übertragbarkeit Entwicklungauf Basis vonLeitlinien
Sanders,2000
Sanders G, Nease R,Owens D: Design and PilotEvaluation of a System toDevelop Computer-basedSite-specific PracticeGuidelines from DecisionModels. Med Decis Making2000;20:145-59.
USA Forschungsgruppe 17 o o o o o o
Selker, 1993 Selker HP: Criteria foradoption in practice ofmedical practiceguidelines. Am J Cardiol1993 Feb 1;71(4):339-41.
USA Forschungsgruppe 8 o o o
Shaneyfelt,1999
Shaneyfelt TM,Mayo-Smith MF, RothwanglJ: Are guidelines followingguidelines?. Themethodological quality ofclinical practice guidelinesin the peer-reviewedmedical literature.Journal of the AmericanMedical Association 199926;281(20):1900-5.
USA Forschungsgruppe 19 x o o o o
SIGN, 2008 Scottish IntercollegiateGuidelines Network(SIGN): SIGN 50: Aguideline developer’shandbook. 2008.http://www.sign.ac.uk/pdf/sign50.pdf (lastaccessed on 03.07.2013)
UK Leitlinienentwickler 23 x x x x o x
Ward, 1996 Ward JE, Grieco V: Whywe need guidelines forguidelines: a study of thequality of clinical practiceguidelines in Australia.Med J Aust 1996 Nov18;165(10):574-6.
Australien Forschungsgruppe 20 x o o o o o
WHO, 2003 World Health Organisation(WHO): Guideline forGuidelines. 2003.http://apps.who.int/iris/bitstream/10665/68925/1/EIP GPE EQC 2003 1.pdf(last accessed on03.07.2013)
Multinational Gesundheitsorganisation 22 x o x o o x o
Woolf, 1995 Woolf SH: Practiceguidelines: what thefamily physician shouldknow. Am Fam Physician1995 May 1;51(6):1455-63.
USA Forschungsgruppe 20 o o o o o
(x)..zur Gänze erfasst; (o)..teilweise erfasst; ()..nicht erfasstAGREE. . .Appraisal of Guidelines for Research and Evaluation; APA. . .American Psychological Association; COGS. . .Conference on Guideline Standardization; DELBI. . .Deutsches Leitli-nien Bewertungsinstrument; IOM. . .Institute of Medicine; MERGE. . .Method for Evaluating Research and Guideline Evidence; NHMRC. . .National Health and Medical Research Council;NICE. . .National Institute for Clinical Excellence; SIGN. . .Scottish Intercollegiate Guidelines Network; WHO. . .World Health Organization.
Entwicklung einer praktikablen Mini-Checkliste zur Bewertung der methodischen Leitlinienqualität 307
herc
RodrdeasztDEewkssd
Abbildung 1 Literaturrec
Mini-Checkliste, welche durch ein einfaches Bewertungs-schema einen ersten Eindruck über die Qualität einerLeitlinie bzw. der Zuverlässigkeit der darin enthaltenenEmpfehlungen ermöglicht. Diese Checkliste wurde initialfür eine 2-stündige Schulung für Klinikärzte entwickelt,die direkt vor Ort in Krankenhäusern durchgeführt wurde.Aufgrund der großen Akzeptanz und der positiven Rückmel-dungen der Teilnehmer wurde dieses Schulungsmodul auchbei Hausärzten vorgestellt.
Übereinstimmend wurden von den Leitlinien-Expertendie Wichtigkeit der Nennung der Schlüsselempfehlungenund auch die wissenschaftliche Transparenz gewertet.Leitlinien-Empfehlungen wird dann eher Folge geleistet,wenn sie wissenschaftlich fundiert sind, diese in der Ziel-gruppe pilotiert wurden und klare Schlüsselempfehlungenvorliegen [17]. Mit dem Bewertungskriterium 4, Nennungder Leitlinien-Entwicklergruppe, ihrer Interessenkonflikteund Dokumentation der finanziellen Unabhängigkeit, wirdauf den Umstand eingegangen, dass eine große Sensibili-
tät bei Leitliniennutzern besteht hinsichtlich des Risikos,dass ein Leitlinien-Prozess nicht unabhängig ist, sonderndurch Interessenskonflikt gesteuert oder beeinflusst wird.In Deutschland ist daher seit 2011 für alle Leitlinien imÄP(F
he und Selektionsprozess.
egister der AWMF die Offenlegung der Interessenkonfliktebligat [18]. Interessant fanden wir auch, dass es vonen deutschsprachigen Leitlinien-Experten nicht als prio-itär erachtet wurde, dass eine Pilotierung der Leitlinienurchgeführt werden sollte, obwohl dies in DELBI als Teiliner Domäne bewertet wird. AGREE hingegen verzichtetuf dieses Kriterium einer Pilotierung vollständig, obwohleit Jahren vom Institute of Medicine propagiert wird, dassu wenig Anstrengungen unternommen werden, eine Vor-estung bei Patienten und Anwendern durchzuführen [19].ies könnte Ausdruck einer Aufwand-Nutzen-Abwägung sein.inerseits verzögert eine Pilotierungsphase die Publikationiner Leitlinie, die jedoch gleichzeitig möglichst aktuelleissenschaftliche Erkenntnisse abbilden soll, andererseitsönnte konstatiert werden, dass publizierte Leitlinien einemtändigen Überprüfungsprozess unterliegen, indem sie offenind für Kommentare und regelmäßig fortgeschrieben wer-en.
Der deutschsprachige Raum bietet für praktisch tätige
rzte einen Leitlinien-Fundus der häufigsten in derraxis vorkommenden Krankheiten und Symptombilderz.B. AWMF, deutsche Gesellschaft für Allgemein- undamilien-medizin (DEGAM), Nationale Versorgungsleitlinien
308 T. Semlitsch et al.
ahre
vKsaAldÜldDdaImsk
fwzkkdwufss[Iz
Abbildung 2 Auswahlverf
on Bundesärztekammer, Leitlinienprogramm Onkologie,assenärztlicher Bundesvereinigung) für eine Zeit und Res-ourcen sparende Leitlinien gerechte Therapie der Patientenn [20]. Durch die Nomenklatur und Strukturierung derWMF, inklusive des Programms für Nationale Versorgungs-eitlinien und dem onkologischen Leitlinienprogramm, sowieem Leitlinienprogramm der DEGAM ist hierbei eine gutebersichtlichkeit erreicht, die es den Anwendern oft ermög-
icht sich einen Überblick über die Qualität der im Rahmenieser Programme veröffentlichten Leitlinien zu machen.arüber hinaus gibt es jedoch international wie auch imeutschsprachigen Raum eine Vielzahl von Leitlinien, dieußerhalb entsprechender Programme entwickelt wurden.n diesen Fällen ist die Nutzung eines Bewertungsinstru-
ents sinnvoll und wichtig, damit sich der Behandlerelbst ein Bild über die Qualität einer Leitlinie machenann. Die vorliegende Mini-Checkliste wurde daher primär
dsb
n der Bewertungskriterien.
ür praktisch tätige Ärzte als Leitlinien-Anwender ent-ickelt, um ihnen diese Beurteilung von Leitlinien möglichsteit- und ressourcenschonend zu ermöglichen. Es ist unslar, dass die Erstellung dieser Mini-Checkliste nur einleines Puzzlesteinchen in einem großen Prozess ist, umie Anwendung von Leitlinien attraktiver zu gestalten. Sourde auch in der gemeinsamen Arbeitstagung von AWMFnd dem deutschen Netzwerk Versorgungsforschung 2012estgehalten, dass für eine erfolgreiche Implementierungtrategische Partnerschaften der für die Gesundheitsver-orgung verantwortlicher Organisationen notwendig ist21]. Das Anbieten einer leitlinienkonformen Fortbildung,mplementierungsstrategien wie z.B. das Erstellen von Kurz-usammenfassungen, das Abhalten von Qualitätszirkeln oder
as Einbinden von Leitlinien in die Praxissoftware [22]owie eine Entwicklung und Implementierung leitlinien-asierter Qualitätsindikatoren führen zu einer weiteren
Entwicklung einer praktikablen Mini-Checkliste zur Bewertung der methodischen Leitlinienqualität 309
Abbildung 3 Ergebnis der Experten-Befragung: Einschätzung der Wichtigkeit der 49 aus den relevanten Instrumenten ermittelten
Bewertungskriterien.Optimierung hinsichtlich einer Nutzung von Leitlinien[23].
Zu erwähnen ist, dass das Projekt 2010 begonnenwurde, zu einem Zeitpunkt, wo es noch keine alternativen,
eakR
infachen Bewertungskriterien gab. Zwischenzeitlich hatuch das Guidelines International Network G-I-N Minimal-riterien veröffentlicht und die AWMF einen Kernsatz vonegeln für die Qualitätssicherung ihres Leitlinienregisters
310 T. Semlitsch et al.
Tabelle 2 Relevanten Items für die Mini-Checkliste aus den Auswahlverfahren und Zuordnung zu den Bewertungskriterien derMini-Checkliste.
Item Manuale undBewertungs-Instrumente
Experten-Befragung
Mini-Checkliste
Cut-off-Wert in beiden Auswahlverfahren erreichtAktualisierung x x Frage 8Anwenderzielgruppe und -bereich definiert x x Frage 2Berücksichtigung von Nutzen, Nebenwirkungen und Risiken x x Frage 7Empfehlung sind spezifisch und eindeutig x x Frage 6Hintergrund und Gesamtziele beschrieben x x Frage 3Patienten beschrieben x x Frage 3Systematische Suche x x Frage 5Verschiedene Handlungsoptionen sind dargestellt x x Frage 7Cut-off-Wert in einem der beiden Auswahlverfahren erreicht und relevant nach internem Delphi-VerfahrenAllgemein gut verständlichen Form x Frage 1Auswahlkriterien adäquat beschrieben x Frage 5Entwicklergruppe vollständig (multi-disziplinär) und genannt x Frage 4Finanzielle Un-/Abhängigkeit x Frage 4Identifikation von Schlüsselempfehlungen x Frage 1Interessenskonflikte der Leitlinien-Ersteller x Frage 4Verbindung zwischen Evidenz und Empfehlung x Frage 6Cut-off-Wert in einem der beiden Auswahlverfahren erreicht und nicht-relevant nach internem Delphi-VerfahrenAbgrenzung zwischen Leitlinie und Standards/Gesetzen xBegutachtung durch unabhängige Experten xBerücksichtigung von Patientenpräferenzen xEmpfehlungsgrade xFinanzielle Auswirkungen xFragen differenziert beschrieben xMethode zur Empfehlungsformulierung xMethoden zur Klassifizierung der Evidenz xPatientenvertreter x
zkadg
ntBkDenuuMEeKszenVo
Aczbvvide
dtLx
AI
D
Überflüssige Maßnahmen bzw. Ausnahmen von Empfehlungen
usammengefasst [9,24]. Diese stehen keinesfalls in Kon-urrenz mit den Ergebnissen unseres Projekts sondern sindls komplementär anzusehen, denn sie verfolgen allesamtas Ziel den Hausärzten eine rasche erste Einschätzung zuewähren.
Eine Limitation der Mini-Checkliste ist, dass sie bislangicht validiert wurde. Jedoch wurde sie primär aus prak-ischen Gründen entwickelt, weil der Einsatz des DELBIewertungsinstrumentes in unseren Schulungskursen als zuompliziert und zeitaufwendig abgelehnt wurde. SowohlELBI als auch AGREE ermöglichen als komplexe Instrumenteine detaillierte Ermittlung von Unterschieden verschiede-er Aspekte im Bereich der methodischen Leitlinienqualitätnd stellen somit primär Arbeits-Werkzeuge für Methodikernd Leitlinien-Entwickler dar. Im Unterschied dazu soll dieini-Checkliste Leitlinien-Anwendern eine rasche und ersteinschätzung der Leitlinienqualität ermöglichen. Die darinnthaltenen 8 Items resultieren zu einem guten Teil aus denriterien in DELBI oder AGREE, ohne jedoch die methodi-che Tiefe und Genauigkeit dieser Bewertungsinstrumenteu erreichen. Auch haben wir uns im Unterschied zu DELBI
rlaubt, die Leitlinien-Qualität gesamt als adäquat bzw.icht adäquat zusammenzufassen, was die Validierung imergleich zu DELBI verhindert, da in diesem kein Summati-nsscore eingesetzt wird [12]. In einem 2012 publiziertenmvud
x
rtikel wurde das Bewertungsinstrument AGREE II, wel-hes auch eine zusammenfassende Bewertung von absolutustimmend (Score 1) bis vollkommen ablehnend (Score 7)einhaltet, mit einem vier Items Global Rating Score (GRS)erglichen [25]. Wenn auch die Sensitivität der Detektionon Leitlinien-Qualitätsunterschieden mit dem GRS geringerst, kann er dennoch für eine Leitlinien-Evaluation verwen-et werden. Dies spricht grundsätzlich für die Verwendungins Summationsscores.
Zusammenfassend wurde die Mini-Checkliste erstellt, umen praktisch tätigen Ärzten ein einfaches Bewertungsins-rument für Leitlinien in die Hand zu geben mit dem Ziel dieeitlinien-Akzeptanz und Implementierung in Hausarztpra-en und in Kliniken zu fördern.
ngaben zu potenziellennteressenskonflikten
ie Entwicklung der Mini-Checkliste zur Bewertung der
ethodischen Leitlinienqualität war Teil der Dissertationon Thomas Semlitsch an der Medizinischen Universität Graznd wurde vom Zukunftsfond der Wissenschaftsabteilunges Landes Steiermark finanziell unterstützt.
Entwicklung einer praktikablen Mini-Checkliste zur Bewertung der methodischen Leitlinienqualität 311
Abbildung 4 Entwickelte Mini-Checkliste zur Bewertung der methodischen Leitlinienqualität.
3
L
[
[
[
[
[
[
[
[
[
[
[
[
[
[
[
12
iteratur
[1] Cabana MD, Rand CS, Powe NR, et al. Why don’t physicians fol-low clinical practice guidelines? A framework for improvement.JAMA 1999 Oct 20;282(15):1458—65.
[2] Grimshaw JM, Thomas RE, MacLennan G, et al. Effectivenessand efficiency of guideline dissemination and implementationstrategies. Health Technol Assess 2004 Feb;8(6):1—72, iii-iv.
[3] Koch K, Gehmann U, Sawicki P. Primärärztliche Versorgungin Deutschland im internationalen Vergleich. Dtsch Arztebl2007;104(38). A 2584-91.
[4] Karbach U, Schubert I, Hagemeister J, et al. Physicians’knowledge of and compliance with guidelines: an explora-tory study in cardiovascular diseases. Dtsch Arztebl Int 2011Feb;108(5):61—9.
[5] Behrens T, Keil U, Heidrich J. Barriers to guideline implementa-tion. Dtsch Arztebl Int 2011 Jul;108(28—29):491, author reply3.
[6] Kunz AU. Leitlinien in der Medizin: Anwendung, Einstellungenund Barrieren - Eine Befragung Berliner Hausärzte. ÄZQ Schrif-tenreihe. 2007; Band 27:.
[7] Ansari S, Rashidian A. Guidelines for guidelines: are they up tothe task? A comparative assessment of clinical practice guide-line development handbooks. PLoS One 2012;7(11):e49864.
[8] Burgers J, Grol R, Klazinga N, et al. [International comparisonof 19 clinical guideline programs–a survey of the AGREE Colla-boration]. Z Arztl Fortbild Qualitatssich 2003 Feb;97(1):81—8.
[9] Qaseem A, Forland F, Macbeth F, et al. Guidelines InternationalNetwork: toward international standards for clinical practiceguidelines. Ann Intern Med 2012 Apr 3;156(7):525—31.
10] Brouwers MC, Kho ME, Browman GP, et al. AGREE II: advan-cing guideline development, reporting and evaluation in healthcare. CMAJ 2010 Dec 14;182(18):E839—42.
11] The AGREE Collaboration. Development and validation of aninternational appraisal instrument for assessing the quality ofclinical practice guidelines: the AGREE project. Qual Saf HealthCare 2003 Feb;12(1):18—23.
12] Ärztliches Zentrum für Qualität in der Medizin (ÄZQ),Arbeitsgemeinschaft der Wissenschaftlichen MedizinischenFachgesellschaften (AWMF). Deutsches Instrument zur metho-
dischen Leitlinien-Bewertung (DELBI). Fassung 2005/2006.Mit Addendum 2008 [online]. Available from: http://www.leitlinien.de/mdb/edocs/pdf/literatur/delbi-fassung-2005-2006-domaene-8-2008.pdf [Accessed 03.07.2013].[
T. Semlitsch et al.
13] Hoffmann JC, Fischer I, Hohne W, et al. [Methodological basisfor the development of consensus recommendations]. Z Gastro-enterol 2004 Sep;42(9):984—6.
14] Murphy MK, Black NA, Lamping DL, et al. Consensus develop-ment methods, and their use in clinical guideline development.Health Technol Assess 1998;2(3):1—88, i-iv.
15] Oxman AD, Guyatt GH. Validation of an index of the quality ofreview articles. J Clin Epidemiol 1991;44(11):1271—8.
16] The AGREE Collaboration. Appraisal of Guidelines for Research& Evaluation II (AGREE II) Instrument. 2009 [online]. Availablefrom: http://www.agreetrust.org/wp-content/uploads/2013/03/1397 AGREE+II+Users+Manual+and+23-item+Instrument-+ENGLISH1.pdf [Accessed 30.10.2013].
17] Grol R, Dalhuijsen J, Thomas S, et al. Attributes of clinicalguidelines that influence use of guidelines in general practice:observational study. BMJ 1998 Sep 26;317(7162):858—61.
18] Langer T, Conrad S, Fishman L, et al. Conflicts of interest amongauthors of medical guidelines: an analysis of guidelines pro-duced by German specialist societies. Dtsch Arztebl Int 2012Nov;109(48):836—42.
19] Chatterjee A, Bhattacharyya O, Persaud N. How can Cana-dian guideline recommendations be tested? CMAJ 2013 Apr2;185(6):465—7.
20] Blank WA. Man muss nicht alles haben. Evidenz in der taglichenPraxis. Z Evid Fortbild Qual Gesundhwes 2013;107(2):153—5.
21] Nothacker M, Muche-Borowski C, Kopp I, et al. Leitlinien -Attraktivitat, Implementierung und Evaluation. Z Evid FortbildQual Gesundhwes 2013;107(2):164—9.
22] Vollmar H, Oemler M, Schmiemann G, et al. Einschätzung vonHausärzten zu Leitlinien, Fortbildung und Delegation. Z AllgMed 2013;89(1):23—30.
23] Follmann M, Schadendorf D, Kochs C, Buchberger B, WinterA, Wesselmann S. Quality assurance for care of melanomapatients based on guideline-derived quality indicators and cer-tification. J Dtsch Dermatol Ges 2014;12(2):139—47.
24] Arbeitsgemeinschaft der Wissenschaftlichen MedizinischenFachgesellschaften (AWMF). Richtlinien der AWMF für dieLL-Publikation. 2012 [online]. Available from: http://www.awmf.org/leitlinien/awmf-regelwerk/ll-entwicklung/awmf-regelwerk-07-publikation/richtlinien-der-awmf-fuer-die-ll-
publikation.html [Accessed 25.09.2013].25] Brouwers MC, Kho ME, Browman GP, et al. The Global RatingScale complements the AGREE II in advancing the quality ofpractice guidelines. J Clin Epidemiol 2012 May;65(5):526—34.
