Einführung in die Metaanalyse. cochrane training Steps of a Cochrane review 1.Fragestellung...

Einführung in dieMetaanalyse

cochrane training

Steps of a Cochrane review

1. Fragestellung festlegen2. Auswahlkriterien definieren3. Methoden definieren4. Studien suchen5. Auswahlkriterien anwenden6. Daten extrahieren7. Bias-Risiko der Studien bewerten8. Ergebnisse analysieren und darstellen9. Ergebnisse interpretieren und Schlussfolgerungen ziehen10. Review optimieren und aktualisieren

cochrane training

Überblick

• Prinzipien der Metaanalyse• Schritte einer Metaanalyse• Ergebnisse berichten

Siehe Kapitel 9 im Handbuch

cochrane training

Reviewebene↓

Effektmaß

Studie A EffektmaßErgebnisse

EffektmaßErgebnisseStudie B

EffektmaßErgebnisseStudie C

EffektmaßErgebnisseStudie D

Studienebene↓

Quelle: Jo McKenzie & Miranda Cumpston

cochrane training

Was ist eine Metaanalyse?

• Kombiniert die Ergebnisse von 2 oder mehreren Studien• Schätzt einen ‘mittleren’ oder ‘gemeinsamen’ Effekt• Optionaler Teil eines systematischen Reviews

Quelle: Julian Higgins

cochrane training

Warum wird eine Metaanalyse gemacht?• Quantifizieren der Wirksamkeit einer Behandlung und

der Unsicherheit• Power erhöhen• Präzision verbessern• Unterschiede zwischen Studien untersuchen• Widerspruch zwischen Studienergebnissen auflösen• Neue Hypothesen generieren

Quelle: Julian Higgins

cochrane training

Wann sollte keine Metaanalyse gemacht werden

• Äpfel mit Birnen vergleichen• Jede Studie muss die gleiche Frage haben

• Vergleich und Endpunkte betrachten• Erfordert subjektive Einschätzung

• Wenn eine breitgefächerte Auswahl von Studien kombiniert wird, kann auch nur eine weitgefasste Frage beantwortet werden

• Wenn Studien zu unterschiedlich, ist Antwort möglicherweise nicht aussagekräftig oder tatsächliche Studieneffekte werden nicht sichtbar

Quelle: Julian Higgins

cochrane training

• “garbage in – garbage out”• Metaanalyse ist nur so gut wie die eingeschlossenen

Studien• Falls Ergebnisse eingeschlossener Studien verzerrt sind:

• ist Ergebnis der Metaanalyse ebenfalls nicht korrekt• führt zu höherer Glaubwürdigkeit und engerem

Konfidenzintervall des Ergebnisses• Bei erheblichem Reporting-Bias führt eine nicht

repräsentative Studienauswahl zu irreführenden Ergebnissen

Quelle: Julian Higgins

Wann sollte keine Metaanalyse gemacht werden

cochrane training

Wann kann eine Metaanalyse durchgeführt werden?

• Mehr als eine Studie hat den gleichen Endpunkt gemessen

• Studien sind hinreichend ähnlich, um in der Metaanalyse (MA) ein aussagekräftiges und nützliches Ergebnis zu erzielen

• Endpunkte wurden mit ähnlichen Methoden erhoben

• Daten sind in einem nutzbaren Format vorhanden

cochrane training

Überblick

• Prinzipien der Metaanalyse• Schritte einer Metaanalyse• Ergebnisse berichten

cochrane training

Schritte einer Metaanalyse

• Festlegen, welche Vergleiche betrachtet werden sollen • z.B. Aktiv versus Placebo

• Festlegen, welche Endpunkte und stat. Kenngrößen benutzt werden sollen

• Daten aus jeder relevanten Studie extrahieren• Ergebnisdaten kombinieren, um einen zusammengefassten

(‘gepoolten’) Effektschätzer zu erhalten • Unterschiede zwischen den Studien untersuchen• Ergebnisse interpretieren

cochrane training

Vergleiche auswählen

• Thema in paarweise Vergleiche unterteilen• Review kann einen oder mehrere Vergleiche enthalten• Abwägen was in einem Vergleich zusammengefasst werden

kann bzw. besser als separater Vergleich behandelt wird

Hypothetischer Review: Koffein bei Schläfrigkeit am Tag

vsNormaler Kaffee Dekoffeinierten Kaffee

cochrane training

Endpunkte & Effektmaße festlegen

• Für jeden Vergleich Endpunkte festlegen• Für jeden Endpunkt ein Effektmaß festlegen• Hängt davon ab, welche Daten aus den eingeschlossenen

Studien extrahiert werden können

• Wachzustand ja/nein (RR) • Reizbarkeit (MD/SMD)• Kopfschmerz ja/nein (RR)

Hypothetischer Review: Koffein bei Schläfrigkeit am Tag

vsNormaler Kaffee Dekoffeinierten Kaffee

cochrane training

‘Gepoolten’ Schätzer berechnen• Aus jeder Studie, die Ergebnisdaten beiträgt, die

aggregierten Effektmaße extrahieren • Wie können diese Daten zusammengefasst werden?• Als eine große Studien betrachten, d.h. Daten der

Interventions- & Kontrollgruppen zusammenzählen?• Falsch, da Randomisierung durchbrochen würde

• Einfacher Mittelwert?• Falsch, da alle Studien würden gleich gewichtet, aber einige

Studien schätzen den ‘wahren Effekt’ besser als andere• Gewichteter Mittelwert (weighted average)

cochrane training

Studien gewichten

• Studien, die mehr Information beitragen, erhalten mehr Gewicht• Mehr TeilnehmerInnen, mehr Ereignisse, mehr Präzision

(engeres Konfidenzintervall)• Berechnung mittels Effektschätzer und Varianz

• Methode der inversen Varianz:

Gewicht 1

Varianz des Schätzers

1

SE 2

Gepoolter Schätzer Summe(Schätzer*Gewicht)

Summe(Gewichte)

cochrane training

Kopfschmerz Koffein Koffeinfrei Gewicht

Amore-Coffea 2000 2/31 10/34

Deliciozza 2004 10/40 9/40

Mama-Kaffa 1999 12/53 9/61

Morrocona 1998 3/15 1/17

Norscafe 1998 19/68 9/64

Oohlahlazza 1998 4/35 2/37

Piazza-Allerta 2003 8/35 6/37

Beispiel

cochrane training

Kopfschmerz Koffein Koffeinfrei Gewicht

Amore-Coffea 2000 2/31 10/34 6.6%

Deliciozza 2004 10/40 9/40 21.9%

Mama-Kaffa 1999 12/53 9/61 22.2%

Morrocona 1998 3/15 1/17 2.9%

Norscafe 1998 19/68 9/64 26.4%

Oohlahlazza 1998 4/35 2/37 5.1%

Piazza-Allerta 2003 8/35 6/37 14.9%

Beispiel

cochrane training

• Für dichotome oder kontinuierliche Daten• inverse Varianz

• Generell anwendbare Methode

• Nur für dichotome Daten• Mantel-Haenszel (Standard)

• Gut wenn wenige Ereignisse vorliegen (häufig in Cochrane Reviews)

• Methode der Gewichtung hängt vom Effektmaß ab• Peto

• Nur für Odds Ratios• Gut wenn wenige Ereignisse vorliegen und Effekte klein sind

(OR ≈ 1)

Verschiedene Berechnungsmethoden für Metaanalyse

cochrane training

Metaanalyse: Berechnungsmethoden

cochrane training

Überblick

• Prinzipien der Metaanalyse• Schritte einer Metaanalyse• Ergebnisse berichten

cochrane training

Ein Wald (forest) aus Linien

Trees Joyce Kilmer Forest by charlescleonard http://www.flickr.com/photos/charlescleonard/3754931947/

cochrane training

Forest plot

Kopfschmerz nach 24 Stunden

• Definition des Vergleiches in Überschrift

cochrane training

Forest plot

Kopfschmerz nach 24 Stunden

• Liste eingeschlossener Studien

cochrane training

Kopfschmerz nach 24 Stunden

• Rohdaten aus jeder Studie

Forest plot

cochrane training

Forest plot

Kopfschmerz nach 24 Stunden

• Gesamtzahl der PatientInnen und Ereignisse in allen Studien

cochrane training

Kopfschmerz nach 24 Stunden

• Gewicht, das jeder Studie gegeben wird

Forest plot

cochrane training

Kopfschmerz nach 24 Stunden

• Zahlenangaben: Effektschätzer für jede Studie mit 95% CI

Forest plot

cochrane training

Kopfschmerz nach 24 Stunden

Forest plot

• Forest plot: Effektschätzer für jede Studie mit 95% CI

cochrane training

Kopfschmerz nach 24 Stunden

• Skalierung und Richtung des Effekts

Forest plot

cochrane training

Kopfschmerz nach 24 Stunden

• Gepoolter Effektschätzer aus allen Studien, mit 95% CI

Forest plot

cochrane training

Konfidenzintervalle interpretieren• Schätzer sollte immer mit Konfidenzintervall angegeben werden• Präzision

• Punktschätzer (point estimate) kann als plausibelster Wert betrachtet werden

• CI drückt Unsicherheit aus• Wertebereich, in dem der wahre Effekt mit aller Wahrscheinlichkeit

enthalten ist

• Signifikanz• Falls CI Nullwert einschliesst

• heißt dies nur in wenigen Fällen, dass Unwirksamkeit (no effect) nachgewiesen ist

• kann Effekt möglicherweise nicht mit vorhandenen Daten bewiesen oder widerlegt werden

• Ab welcher Größe ist Veränderung klinisch relevant?

cochrane training

Klinische Relevanz einschätzen

Based on Sanders S, Glasziou PP, Del Mar C, Rovers MM. Antibiotics for acute otitis media in children. Cochrane Database of Systematic Reviews 2004, Issue 1. Art. No.: CD000219. DOI: 10.1002/14651858.CD000219.pub2.

cochrane training

Ergebnisteil eines Reviews• Systematische, narrative Zusammenfassung der Ergebnisse• Forest plots

• Wichtige Forest plots werden als Grafik verlinkt• in der Regel für primäre Endpunkte

• Alle Forest plots werden im Anhang publiziert• Forest plots mit nur einer Studie sind zu vermeiden

• Weitere Tabellen können sinnvoll sein für• Ergebnisse einzelner Studien

• Mittelwerte in jeder Gruppe, Effektschätzer, Konfidenzintervalle• Studiendaten, die nicht in MA eingeschlossen werden konnten

• Es ist nicht sinnvoll, triviale oder offensichtlich verzerrte Ergebnisse zu berichten

cochrane training

Was sollte im Protokoll enthalten sein?

• Kriterien, anhand derer Sie entscheiden wollen, ob eine Metaanalyse angemessen ist

• Welche Berechnungsmethode für Metaanalyse verwendet werden soll

cochrane training

cochrane training

Fazit

• Durchführung einer Metaanalyse hat Vorteile ist jedoch nicht immer möglich (oder angemessen)

• Metaanalyse muss gut geplant werden, inklusive Vergleiche, Endpunkte und Berechnungsmethode

• Forest plots stellen die Ergebnisse einer Metaanalyse grafisch dar

• Ergebnisse müssen mit Vorsicht interpretiert werden

cochrane training

Quellen• Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and undertaking

Metaanalyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

• Schünemann HJ, Oxman AD, Higgins JPT, Vist GE, Glasziou P, Guyatt GH. Chapter 11: Presenting results and ‘Summary of findings' tables. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

Danksagung• Zusammengestellt von Miranda Cumpston• Basierend auf Unterlagen des Australasian Cochrane Zentrums, des UK Cochrane Zentrums

und der Cochrane Statistical Methods Group.• Englische Version freigegeben vomCochrane Methods Board• Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (Jörg

Meerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (Barbara Nußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) und Cochrane Schweiz (Erik von Elm, Theresa Bengough)