43
Experiment vs. Beobachtungsstudie Randomisiertes, kontrolliertes Experiment

Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

  • Upload
    others

  • View
    8

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Experiment vs. Beobachtungsstudie

Randomisiertes, kontrolliertes Experiment

Page 2: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Ursache und Wirkung

2Markus Kalisch, ETH Zurich

Opfer durch Ertrinken

Page 3: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Ursache und Wirkung

3Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Page 4: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Ursache und Wirkung

4Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Page 5: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Ursache und Wirkung

5Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Page 6: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Ursache und Wirkung

6Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

?

Page 7: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Ursache und Wirkung

7Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Page 8: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Ursache und Wirkung

8Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Page 9: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Ursache und Wirkung

9Markus Kalisch, ETH Zurich

Opfer durch Ertrinken Eisverkauf

Page 10: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

10Markus Kalisch, ETH Zurich

Kausaler Zusammenhang≠

Assoziation

Page 11: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Wie findet man Kausalzusammenhaenge?

11Markus Kalisch, ETH Zurich

Page 12: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Wie findet man Kausalzusammenhaenge?

12Markus Kalisch, ETH Zurich

Randomisiertes, kontrolliertes Experiment

Page 13: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

13Markus Kalisch, ETH Zurich

Experiment

?

Page 14: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

14Markus Kalisch, ETH Zurich

Experiment

Page 15: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

15Markus Kalisch, ETH Zurich

Experiment

Page 16: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

16Markus Kalisch, ETH Zurich

Experiment

Page 17: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

17Markus Kalisch, ETH Zurich

Duenger besser als kein Duenger?

Keine Ahnung!

Wie viele rote Blumen haette es ohne Duenger gegeben?

Brauchen eine Kontrollgruppe

Experiment

Page 18: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

18Markus Kalisch, ETH Zurich

Experiment

Behandlungsgruppe Kontrollgruppe

Page 19: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

19Markus Kalisch, ETH Zurich

Zwei Gruppen von Feldern in allem gleich(Bodenqualitaet, Wasser, Sonnenlicht, …)

Experiment

Page 20: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

20Markus Kalisch, ETH Zurich

Experiment

Zwei Gruppen von Feldern in allem gleich: (Bodenqualitaet, Wasser, Sonnenlicht, …)Praxis: Zufaellige Zuordnung der Felder

Page 21: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

21Markus Kalisch, ETH Zurich

Experiment

Page 22: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Kausaleffekt finden

22Markus Kalisch, ETH Zurich

Ergebnis ist wegen Duenger,weil alles andere gleich war

Experiment

Page 23: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Manchmal sind randomisierte, kontrollierteExperimente nicht machbar zu teuer, zu zeitaufwaendig (Genexpressionsdaten) unethisch, nicht machbar (HIV Behandlung, Rauchen)

23Markus Kalisch, ETH Zurich

Page 24: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Falls Experiment nicht machbar…

24Markus Kalisch, ETH Zurich

Beobachtungsstudie

Page 25: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

… mache Beobachtungen.

25Markus Kalisch, ETH Zurich

Beobachtungsstudie

Page 26: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

… mache Beobachtungen.

26Markus Kalisch, ETH Zurich

Es ist nicht garantiert, dass beide Gruppenin allen Aspekten gleich sind

Beobachtungsstudie

Page 27: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

… mache Beobachtungen.

27Markus Kalisch, ETH Zurich

Beobachtungsstudie

Page 28: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

… mache Beobachtungen.

28Markus Kalisch, ETH Zurich

Ist das Ergebnis wegen Duenger?Keine Ahnung!

Beobachtungsstudie

Page 29: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

… mache Beobachtungen.

29Markus Kalisch, ETH Zurich

Beobachtungsstudie

Page 30: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

… mache Beobachtungen.

30Markus Kalisch, ETH Zurich

Beobachtungsstudie

Page 31: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Besser: Vergleiche Bauern, die in moeglichst vielenPunkten uebereinstimmen.

31Markus Kalisch, ETH Zurich

Beobachtungsstudie

Page 32: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Aber: Wir koennen nie sicher sein, dass es nicht dochnoch irgendwelche relevanten Unterschiede zwischenden Gruppen gibt.

32Markus Kalisch, ETH Zurich

Beobachtungsstudie

Page 33: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Zusammenfassung

Randomisierte, kontrollierte Experiment: BesteMoeglichkeit, Daten zu sammeln (“Goldstandard”)

Beobachtungsstudie: Man muss skeptisch sein – kamder Effekt (viele schoene Blumen) durch die Behandlung(Duenger), oder durch einen Umstand, der in beidenGruppen unterschiedlich war (Luftqualitaet)?

33Markus Kalisch, ETH Zurich

Page 34: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

1954: Potenzieller Impfstoff gegen Polio Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse[http://www.stat.luc.edu/StatisticsfortheSciences/MeierPolio.htm]

Beispiel: Das groesste medizinische Experiment aller Zeiten

34Markus Kalisch, ETH Zurich

Anzahl Kinder Polio bekommenBehandlung 200.000 56Kontrolle 200.000 142Verweigert 350.000 92

Page 35: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Beispiel: Polio Impfstoff

1954: Potenzieller Impfstoff gegen Polio Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse

35Markus Kalisch, ETH Zurich

Anzahl Kinder Polio bekommenBehandlung 200.000 56Kontrolle 200.000 142Verweigert 350.000 92

Kontrollgruppe hatte mehr Polio-Faelle: Koennte das Zufall sein?

Page 36: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Beispiel: Polio Impfstoff

1954: Potenzieller Impfstoff gegen Polio Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse

36Markus Kalisch, ETH Zurich

Anzahl Kinder Polio bekommenBehandlung 200.000 56Kontrolle 200.000 142Verweigert 350.000 92

Kontrollgruppe hatte mehr Polio-Faelle: Koennte das Zufall sein?

KAUM: p-Wert = 0.000000001 (diesen Test haben wir nicht besprochen)

Page 37: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Beispiel: Leberzirrhose – Shunt (Blutumleitung)

Bringt die riskante Operation einen Vorteil? 51 klinische Studien untersucht: “Bringt die Operation

einen Vorteil?”

37Markus Kalisch, ETH Zurich

Ja, sehr Etwas NeinKeine Kontrollgruppe 24 7 1Kontrollgruppe, nicht randomisiert

10 3 3

Kontrollgruppe,randomisiert

0 1 3

Page 38: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Problem: Gesuendere Patienten werden eher operiert

38Markus Kalisch, ETH Zurich

Page 39: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Problem: Gesuendere Patienten werden eher operiert

39Markus Kalisch, ETH Zurich

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Page 40: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Problem: Gesuendere Patienten werden eher operiert

40Markus Kalisch, ETH Zurich

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten

Geeignet Ungeeignet

OP-Gruppe Kontroll-Gruppe

Page 41: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Problem: Gesuendere Patienten werden eher operiert

41Markus Kalisch, ETH Zurich

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten Alle Patienten

Geeignet UngeeignetGesuender Kraenker

OP-Gruppe Kontroll-Gruppe OP-Gruppe Kontroll-Gruppe

Page 42: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Problem: Gesuendere Patienten werden eher operiert

42Markus Kalisch, ETH Zurich

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten Alle Patienten

Geeignet UngeeignetGesuender Kraenker

OP-Gruppe Kontroll-Gruppe OP-Gruppe Kontroll-Gruppe

Gesuendere Patienten in der OP-Gruppe !

Page 43: Experiment vs. Beobachtungsstudie - Homepage - SfS · Markus Kalisch, ETH Zurich 43 • Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt! (J.A. Turner

Goldstandard in der Medizin:

Randomisiertes, kontrolliertes, doppelblindes Experiment mitPlacebo

43Markus Kalisch, ETH Zurich

• Placebo: Medikamentenattrappe ohne WirkstoffPlacebo hat einen starken Effekt!

(J.A. Turner et.al., “The importance of placebo effects in pain treatment and research”,Journal of the American Medical Association, Vol. 271 (1994), pp. 1609 – 14)

• Doppelblind: Weder Patient noch Arzt weiss, ob er das Placebo oder das

wirkliche Medikament erhaelt / verabreicht.(Nur Leiter der Studie weiss das.)