Public Reporting Welche Wirkungen können wir erwarten?veranstaltungen.aqua-institut.de/2011/...Public-Reporting_18-05-2011… · Public Reporting Basis: Review von Fung et al., Ann

© Institut für Gesundheitssystemforschung - Fakultät für Gesundheit - Universität Witten/Herdecke 1

Public Reporting – Welche

Wirkungen können wir erwarten?

Max Geraedts

Lehrstuhl und Institut für Gesundheitssystemforschung

der Universität Witten/Herdecke


Quality Improvement Saves Lives!

MEASURE LIVES SAVED* SINCE

Beta Blocker Treatment 24,000 – 30,000 1996

Cholesterol Management 23,000 – 39,000 2000

Blood Pressure Control 76,000 – 132,000 2000

Diabetes – HbA1c Control 2,000 – 3,500 1999

TOTAL 125,000 – 205,000 * Gross estimate of lives saved; does not take comorbities or

expected mortality over time into account.

The State of Health Care Quality 2008


Qualitätsberichterstattung: Ziele

Motivation zur Qualitätsverbesserung auf Seiten

der Leistungserbringer

Auswahl geeigneter Krankenhäuser / Ärzte /

anderer medizinischer Leistungserbringer durch

Patienten, Angehörige, Einweiser,

Beratungsorganisationen, Kostenträger

Rechenschaftspflicht der Leistungserbringer


Modell der Qualitätsberichterstattung (Marshall et al., 2000)

Informations-bedarf

Nutzung durch Gruppen von

Leistungs-erbringern

Einstellungen Ressourcen

Nutzung durch einzelne Ärzte

Nutzung durch Verbraucher

Nutzung durch Kostenträger

Öffentliche Qualitätsberichte: Inhalt Präsentationsform Wissenschaftlichkeit Art der Publikation

Effekte auf die Qualität der Versorgung


Modell der Qualitätsberichterstattung (Berwick et al. 2003)


Public Reporting: Potenzielle

Nebenwirkungen (Smith 1995)

Tunnelblick: Fokussierung der bewerteten

Versorgungsaspekte auf Kosten anderer wichtiger Aspekte

Suboptimierung: Verfolgung zu enger, anstatt

organisationsweiter Ziele

Kurzsichtigkeit: Verfolgung nur kurzfristig erreichbarer Ziele

Messgrößenfixierung: Versuch, die Messgrößenaus-

prägung zu optimieren statt der dahinter liegenden Ziele

Falschangaben: entweder in Form verzerrt positiver

Interpretationen oder offenen Betrugs


Public Reporting: Potenzielle

Nebenwirkungen (Smith 1995)

Missdeutung: fehlerhafte Interpretation von Daten z.B.

aufgrund der Nicht-Beachtung unterschiedlicher

Umgebungsfaktoren (z.B. Versorgungsstrukturen)

Gaming: formal korrektes, aber gegen die Absichten

verstoßendes, geschicktes Ausnutzen von Vorgaben,

Strukturen und Regeln (z. B. Risikoselektion oder –

vermeidung)

Verknöcherung: Erstarrung des Systems durch

Konzentration auf extrem rigide Performanzmessungen


Analyse zeitlicher Trends der

Indikatorausprägungen mit QB-Daten

Verpflichtend laut G-BA: 2006 = 30 QI; 2008 = 29 QI

aus 2006 3 QI gestrichen, 2 neue QI 2008

-> 27 (oberflächlich) gemeinsame QI

Veränderung bei Ein-Ausschlusskriterien, Definitionen,

Rechenregeln bei 8 QI im Vergleich von 2006 / 2008

->19 QI vergleichbar in 2006 und 2008

Datenschutzspezifikation in 2006 falsch, 2008 verändert:

Ausschluss Zähler in 2006 N = 0-5, in 2008 N = 1-5]

Beschränkung auf QI, bei denen hoher Anteil = gute Qualität

10 QI vergleichbar


85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

Indik-

CEA

Histo-

Chol

ABio-

Hyst

Throm-

bo-Hyst

Cort-

Früh

Päd-

Früh

Indik-

Koro

Indik-

PCI

Out-

PCI

HSM-

Impl

Abb.: Veränderung der Indikatorausprägungen 2006 / 2008 (nur Krankenhäuser mit Daten aus beiden

Jahren) (2006 2008 ) (*= unadjustiert signifikant; **= signifikant nach Korrektur für multiples Testen)

% * * ** ** ** ** ** ** *

Public Reporting-bedingte Veränderung

von Indikator-Ausprägungen ?


[AQUA-Qualitätsreport 2009 vom 19.08.2010]

(Public) Reporting ohne Einfluss auf

Indikator-Ausprägungen ?


Wirkung von Public Reporting

+ P4P im NHS

[Campbell et al. NEJM 2009]

Verbesserung klinischer QI

bis Plateau

P4P beschleunigt z. T. den

Trend ohne P4P

QI ohne P4P fallen

schlechter aus

Kontinuität verschlechtert


Evidenz zu Effekten strukturierter

Leistungsrückmeldung

Audit and feedback can be effective in

improving professional practice.

When it is effective, the effects are

generally small to moderate.

The relative effectiveness of audit and

feedback is likely to be greater when

baseline adherence to recommended

practice is low and when feedback is

delivered more intensively.

The results of this review do not support

mandatory or unevaluated use of audit

and feedback as an intervention to

change.


Evidenz zu den Effekten des Public Reporting

Basis: Review von Fung et al., Ann Intern Med 2008 (berücksichtigt Reviews von Marshall et al., JAMA 2000 und

Schauffler & Modarvsky, Ann Rev Public Health 2001)

Methode: Systematische Literaturanalyse (1986-)1999-2006

Ergebnis: 45 (englischsprachige, peer-reviewed) Artikel zum

Einfluss von Public Reporting auf

Auswahl von Leistungserbringern

Qualitätsverbesserungsaktivitäten

klinische Ergebnisse (Effektivität, Patientensicherheit, Patientenorientierung)

unbeabsichtigte Konsequenzen


Evidenz zu den Effekten des Public Reporting (Fung et al.)

Geringer Einfluss auf Auswahl von Health Plans (8 Studien)

Inkonsistenter Einfluss auf die Auswahl von Krankenhäusern (9

Studien) und individuellen Leistungserbringern (7 Studien)

Konsistente Stimulierung von Qualitätsverbesserungsaktivitäten

in Krankenhäusern (11 Studien)

Inkonsistente Assoziation zu Effektivitätsverbesserungen (11

Studien, fast nur bezogen auf Krankenhäuser)

Ungenügende Evidenz zum Einfluss auf Patientensicherheit und

Patientenorientierung


Evidenz zu den Effekten des Public Reporting

Perzeption und Nutzung von qualitätsvergleichenden

Informationen durch Versicherte

(Quelle: Robinson & Brodie.

Jt Com J Qual Impr. 1997. 5:239.)

MCOs Krankenhäuser Ärzte

Information

gesehen

Keine Information

gesehen 87% 86%

83%

34% 35%

30%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100% Information wäre nützlich Information selber genutzt

39% 61%


G-BA Auftrag - Evaluation der gesetzlichen Qualitäts-

berichte – Zusammenfassung der Ergebnisse (I)

Patienten (48) kannten im Allgemeinen die QB nicht,

verstanden sie nicht und hielten die Berichtsinhalte nur in

geringem Umfang für hilfreich.

Die Krankenhauswahl erfolgt auf der Basis von Vertrauen in die

fachliche und menschliche Kompetenz der Behandler.

Die Mehrzahl der Ärzte (300) kannte die QB nicht und nur

wenige nutzten diese für die Patientenberatung zu

Einweisungsentscheidungen.

Ärzte nutzen zum Teil Informationen, die sie in QB finden

könnten, mehr jedoch eigene und die Erfahrungen ihrer

Patienten mit Krankenhäusern.

[www.g-ba.de/downloads/17-98-2939/1Geraedts_geschützt.pdf]


G-BA Auftrag - Evaluation der gesetzlichen Qualitäts-

berichte – Zusammenfassung der Ergebnisse (II)

Krankenhäuser (333) hielten die QB mehrheitlich für

geeignet, die Art und Anzahl ihrer Leistungen

darzustellen, aber eher ungeeignet, die Qualität der

erbrachten Leistungen abzubilden.

Die vorliegenden QB werden für andere externe oder

interne Zwecke genutzt.

Das Verhältnis von Nutzen zu Aufwand wird

überwiegend als nicht angemessen angesehen.

Krankenhäuser sehen Verbesserungsbedarf im

Hinblick auf die Darstellungsweise, Ausführlichkeit,

Laienverständlichkeit und Gestaltungsfreiheit.


Methodische Probleme der vergleichenden

Darstellung von Versorgungsergebnissen

• Zumeist seltene Ereignisse

• Langzeitergebnisse oft besonders relevant

• Beeinflussung durch vielfältige externe Faktoren

• Zur Adjustierung notwendige sowie Langzeit-Daten oft nicht

vorhanden

• Assoziation zur medizinischen Versorgung unsicher

• Ergebnisdarstellungen in Form von Wahrscheinlichkeiten

werden selten verstanden

• Allein aufgrund statistischer Überlegungen kaum sichere

Aussagen möglich


Präzision adjustierter Letalitätsraten als

Qualitätsmessgröße: Verteilung richtig und falsch

positiver sowie falsch negativer Krankenhäuser

(Thomas JW & Hofer TP, Med Care 1999)

Thomas/Hofer: “Reports that measure quality using risk-adjusted mortality rates misinform the public about hospital performance.”


Fazit zum Public Reporting (I)

Patienten / Öffentlichkeit wünschen Informationen zur

Qualität in der Medizin

Bislang genutzte öffentliche Qualitätsberichterstattung

zeigt nur geringe Effekte, wobei die Studienlage

unzureichend ist

Intensivierte Rückmeldung, bessere Studien !

Effekte einer Q-Berichterstattung zeigen sich vor allem bei

Kliniken/Ärzten

Verstärkung dieser Effekte durch Benchmarking ?


Fazit zum Public Reporting (II)

Interpretation von Qualitätsvergleichen methodisch

schwierig

Breite öffentliche Qualitätsberichterstattung zu

seltenen Ereignissen mit geringer Zuschreibbarkeit

könnte kontraproduktiv sein

Konzentration auf häufige, zuschreibbare Ereignisse

(z. B. "optimale Behandlung gewährleistet ?")

Documents

Public Reporting Welche Wirkungen können wir erwarten?veranstaltungen.aqua-institut.de/2011/...Public-Reporting_18-05-2011… · Public Reporting Basis: Review von Fung et al., Ann