Upload
annikin-schmutz
View
106
Download
0
Embed Size (px)
Citation preview
Untersuchungsdesigns und
statistische Methoden in der
Evaluationsforschung
Markus Wirtz
Evaluationsforschung:Bewertung der Konzeption, der Implementierung und des Nutzens von Angeboten und Programmen
Zwei wesentliche Grundfragen der Evaluation
1. Welche Systemkomponenten haben Einfluss auf outcome-relevante Merkmalsausprägungen? (hypothesengerierend, deskriptive Analyse; Qualitätssicherung)
2. Verändern sich durch ein Programm Merkmalsausprägungen im gewünschten Sinne? (hypothesenbestätigend, Programmevaluation, kausale Interpretation angestrebt)
Forschungsdesigns: Erhebungszeitpunkte und eingesetzte Erhebungsverfahren
Wann muss was wie erhoben werden, damit z.B. die Wirksamkeit eines Programms nachgewiesen werden kann?
Statistische Methoden: Frage der Signifikanz und der empirischen Relevanz
Ausschluss von Zufallals Ursache der gefundenen
Veränderungen
Vergleich empirischeEffektstärke und
geforderte Effektstärke
Die Interpretation eines statistischen Analyseergebnisses wird wesentlich durch das Erhebungsdesign mitbestimmt
Ergebnis: Die Befindlichkeit nach einer Chemotherapie korreliert negativ mit der Gesamtbehandlungsdauer.
Schlussfolgerung: Je kürzer die Therapie, desto besser!
Korrekte Schlussfolgerung:
Befindlichkeit
Entlassung
16. B
8. B
t0
Entlassung
4. B
2. B
t0
Interindividuelle Vergleiche lassen keinen direkten Schlussauf intraindividuelle Verläufe zu!!!!!!
Befindlichkeit zu Beginn
Befindlichkeit nach der Therapie
Behandlungsdauer
r(Behandlungsdauer, Befindlichkeit) = 0
r(Behandlungsdauer, Befindlichkeitsbesserung) >> 0
Wissenschaftliche Forschungsdesigns werden eingesetzt,
• um eindeutig angeben zu können, welche Schlussfolgerungen zulässig sind und welche nicht.
• um Fehler bei der Interpretation zu vermeiden.
Statistische Methoden werden eingesetzt,um Zufallseinflüsse abschätzen und als Ursache von Effekten ausschließen zu können.
Zentrale Determinanten des Studiendesigns
1.) Beschreibung des status quo (deskriptiver Ansatz) vs. Vergleich von Alternativen (Treatment/Subpopulationen)
2.) Fragestellung:
Zusammenhang: Korreliert die Motivation des Patienten mit dem TherapieerfolgUnterschied: Haben zwei Interventionen unterschiedliche Postwert zur FolgeVeränderung: Verändert sich die Belastung im Verlauf der Intervention
3.) Ausmaß interner und externer Validität
Intern: Sind die Effekte in der AV eindeutig auf das Treatment zurückzuführenExtern: Sind ähnliche Effekte in natürlichem Setting zu erwarten?
Auf welche Anwendungssituationen können Ergebnisse übertragen werden?
4.) Grenzen der Realisierbarkeit
mangelnde Ressourcen Erhöhung der Gefahr von drop-outs durch Anforderungen an die Teilnehmer
u.U. ist eine Randomisierung a) nicht möglich und b) inhaltlich nicht sinnvoll
Die drei wichtigsten Forschungsansätze
1. Deskriptiver Ansatz
2. Experimenteller Ansatz
3. Quasi-Experimenteller Ansatz
1. Deskriptiver Ansatz
• Charakterisierung des Forschungsgegenstandes/ Ist-Zustand
• Liefert keine Informationen über kausale Beziehungen, interne Validität ist nicht gefordert
• Ziel: Informationen über Phänomene, Populationen etc., externe Validität ist gefordert
Spezialfälle der Deskriptiven Analyse
Exploratorische Analyse
• Ziele: Generierung von Ideen auf einem bisher nicht beforschten Gebiet
• Wenige Vorgaben: Sammlung von möglichst viel deskriptiver Information
• Wird meist zu Beginn einer Studiensequenz eingesetzt
Prozeßevaluation
• Ziel: Identifizierung des Implementationsgrades eines Programms, Beschreibung der Barrieren etc..
• IST-SOLL-Vergleiche: Gegenüberstellung des geplanten mit dem implementierten Programm
• Controlling / Entwicklung eines neuen Programms
Spezialfälle der Deskriptiven Analyse
Vorteile des Deskriptiven Ansatzes:
• Generell geringere Kosten (i. A. von N, Anzahl der Meßebenen/Datenquellen, Komplexität der Datenerhebung)
• Einfache Implementation/Durchführung
• Kurze Zeitspannen bei der Ergebnisrückmeldung
• Einfache Datenanalysen
• Ergebnisse sind leicht zu kommunizieren
Grenzen des Deskriptiven Ansatzes
• Keine Aussagen bzgl. kausaler Verknüpfungen möglich
• Es wird nicht klar, welche Variationen die Ausprägungen der Zielgrößen verändern
würden
2. Experimenteller Ansatz
• Empirische Überprüfung einer kausalen Verknüpfung von zwei oder mehr Variablen
• Systematische Variation der unabhängigen Variablen (UV)
nur die unabhängige(n) Variable(n) erklärt die Unterschiede in den UV-Bedingungen
• Randomisierte Zuweisung der Beobachtungseinheiten zu den Versuchsbedingungen
• Kontrolle von systematischen Verzerrungen zum Zeitpunkt der Zuweisung
Kerlinger (1973) MAX-MIN-KON Prinzip
• MAXimiere die systematische Varianz (Variation der experimentellen Bedingungen)
• MINimiere die Fehlervarianz (accuracy of assessment)
• KONtrolliere externe (systematische) Varianzquellen (Homogenität der Bedingungen)
Beispiel: Es soll die Wirksamkeit eines Treatments nachgewiesen werden (Prä-Post-Design)
R
Prä PostE-Gruppe Treatment
Prä PostK-Gruppe XXXXXX
Hypothese bestätigt, wenn
• eine signifikante Interaktion vorliegt und• die Mittelwertsunterschiede hypothesenkonform sind (geringe Unterschiede prä, deutlicher Unterschied post) Überprüfung mittels Kontrasten (Tukey, Scheffe)
*
Interaktionseffekt: Der Effekt einer UV ist abhängigvon der Ausprägung der anderen UV
nur zum Postzeitpunkt soll es günstig sein, der Experimtalgruppe anzugehören.
R
PostE-Gruppe Treatment
PostK-Gruppe XXXXXX
*
Post-Design (ohne Baseline)
R
PostE-Gruppe 2 Treatment B
PostK-Gruppe XXXXXX
PostE-Gruppe 1 Treatment A
Mehrgruppen-Prä-Post-Design
Prä
Prä
Prä
R
PostE-Gruppe 3 Tr. A + Tr. B
PostE-Gruppe 2 Tr. A
Mehrfaktorielles-Prä-Post-Design
Prä
Prä
PostE-Gruppe 1 Tr. B
PostK-Gruppe
Prä
Prä XXXXXXX
Besonders interessant, wenn Interaktionseffekte auftreten können
Eigenschaften des experimentellen Ansatzes:
• Maximierung der internen Validität durch Kontrolle konfundierter Variablen
• Strenge Kontrolle der Versuchsbedingungen kann sich negativ auf die externe Validität auswirken
Multiple Experimental- und Kontrollgruppen (Solomon Vier-Gruppen-Plan)
R
PostE-Gruppe 2 Treatment
PostK-Gruppe 2 XXXXXX
PostE-Gruppe 1 Treatment
Mehrgruppen-Prä-Post-Design
Prä
Prä
PostK-Gruppe 1 XXXXXX
Single Consent Design (nach Zelen)
Patienten
Treatment A
Treatment B
TreatmentA
Treatment B
Treatment B
Präferenz für A oder keine
Präferenzfür B
R = Randomisierung
R
Double Consent Design (nach Zelen)
TreatmentB
Präferenz A oder keine
Patienten
TreatmentA
R
Präferenz B
Präferenz A
Präferenz B oder keine
TreatmentA
TreatmentB
TreatmentA
TreatmentBR = Randomisierung
Patienten
Präferenz zu-gunsten von A
keine Präferenz
Präferenz zu-gunsten von B
Treatment A
Treatment A
Treatment B
Treatment B
R = Randomisierung
Comprehensive Cohort Design
R
Quasiexperiment
• Gruppenvergleich ohne randomisierte Gruppenzuweisung• u.U. Vergleich natürlicher Gruppen
R
Prä PostE-Gruppe Treatment
Prä PostK-Gruppe XXXXXX
Zentrale Probleme des Quasiexperiments: 1.) Relevante Störvariablen können mit Gruppenzugehörigkeit und AV korreliert sein
Beispiel ‚Freiwilligkeit als Störvariable‘:Für einer stärker psychologisch orientierte Schmerzbehandlung entscheiden sich Patienten mit geringerer Belastung.
2.) Relevante Störvariablen können direkt mit der Wirksamkeit des Treatments konfundiert sein
Beispiel ‚Freiwilligkeit‘ als Störvariable:
negative Einstellung Reaktanz geringere Wirksamkeit
Nachgewiesen Wirksamkeit nicht auf Kontrollgruppe übertragbar
Wichtige Designelemente zur Erhöhung der internen Validität
• Einsatz mehrerer AV: Bestätigend und Alternativen ausschließend
• Wiederholte Treatmentphasen
• Parallelisierung; matched pairs
• Kovariaten erheben, die Aufschluss über systematische Gruppenunterschiede geben können Analyse der Gruppenselektion
• Prämessung beim Quasi-Experiment noch wichtiger als bei randomisierter Zuweisung
E K E K
Paralellisierung ist auch bei Experimenten immer günstig
R
R
R
ParallelisierungGruppenebene
Matched-pairsEinzelebene
Paar 1
Paar 2
Paar N
G1
G2
G3
Parallelisierung wenige überprüfte Einflussvariable werden bei Gruppenbildung berücksichtigt
Es sollten aber immer möglichst umfassend Variablen erhoben werden, die potentiell mit der UV und AV korreliert sind
statistische Kontrolle (partielle Korrelationen, Kovarianzanalyse)
statistische ‚Homogenisierung‘ der Vergleichgruppen
Vorteile des Quasiexperiments
• Annäherung an das experimentelle Design
• Interne Validität durch statistische Kontrolle erhöht (keine experimentelle Kontrolle)
• Anwendung: Wenn experimentelle Designs nicht durchgeführt werden können
Grenzen des Quasiexperiments
• Unsicherheiten bezüglich des Vergleichs von Exp.- und Kontroll-Gruppe (Verzerrungen??)
• Statistische Kontrolle nur bei bekannten Störgrößen möglich
Regressionseffekte - Regression zur Mitte Bei Prä-Post-Messungen liegen die Werte einer Gruppe mit extremen Merkmalsausprägungen in der Prä-Messung tendenziell näher am Mittelwert bei der Postmessung Werte im Bereich des Mittelwerts (Prä) liegen aber tendenziell extremer in der Postmessung
Maximum
Minimum
MW
Prä Post
Prä Post
Kontroll
Treatment
Grundforderungen für Studien zur Therapieevaluation (Metzler & Krause, 1997)
1. Kontrollgruppendesign: Kontrolle eine oder mehrere Behandlungsstandards2. Genaue Populationsdefiniton (externe Validität)
3. Studie muss prospektiv angelegt sein
4. Es ist unzulässig, dass die Therapeuten über die Zugehörigkeit zu Kontroll- bzw. Experimentalgruppe entscheiden ( Randomisierung)
5. Dem Patienten ist die Alternativbehandlung nicht bekannt; Erfolgsbeurteilung durch unabhängige Dritte6. Compliance zentrale Kovariate; drop-out entscheidendes Akzeptanzkriterium
7. Zielkriterien müssen Relevanz für Patienten besitzen; deutliche Abgrenzung von Surrogatkriterien8. Konfirmatorische Überprüfung der Studienergebnisse
Grundforderungen für Studien zur Therapieevaluation (Metzler & Krause, 1997)
Methodik I
Design Welche Studienform wurde mit welchem Ziel gewählt? Gibt es mehrere Ziele der Studie?
Population Über was soll eine Aussage gemacht werden? (Teilnehmer, Bedingungen oder Studien?)
Stichprobe Wie wurde die Stichprobe gewählt? Fand eine Stratifizierung nach bestimmten Merkmalen
statt? Sampling-Techniken; Repräsentativität der
Datenquellen
Zuordnung Wenn möglich, eine randomisierte Zuordnung wählen. Bei nicht-randomisiertem Vorgehen
sollte confounder (Kovariaten) erhoben werden.
Checkliste für die Planung und Darstellungempirischer Studien
nach Wilkinson (1999)
Methodik II
Variablen Beschreiben Sie genau die gemessenen Variablen! Was für einen Zusammenhang gibt es mit den Zielen der Studie?
Instrumente Welche Instrumente (Fragebögen, psychophysiolog. Messungen, etc.) wurden verwendet? Wie valide und reliabel sind diese?
missing Wie kam es zu fehlende Werten? Ablehnung, Tod, Datenverlust? Drop-out-Analyse
Stichproben- Ist die Stichprobe groß genug? größe & Ausreichende Teststärke/Power?
Teststärke
Notwendiger Stichprobenumfang
N groß N klein
klein Tatsächlicher Wirkungsunterschied groß
klein nachzuweisende Mindestdifferenz groß
Skalenniveau des Zielmerkmalsnominal ordinal metrisch
grob Skalierung des Zielmerkmals fein
multivariat Anzahl der Zielmerkmale univariat
heterogen Patientenpopulation homogen
unkontrolliert unerwünschte Einflussgrößen kontrolliert
Resultate I
Probleme Berichten Sie zuerst die Probleme bei der Daten-erhebung.
Sichtung Look at your data!
Grafiken Immer eine grafische Kontrolle der Ergebnisse durchführen. Möglicherweise können
hierbei falsche Eingaben, geringe Varianzen etc. erkannt werden
Test Die Komplexität des statistischen Testverfahrens sollte ausreichend aber möglichst gering sein.
Programme Berichten Sie keine Ausgabe eines Statistik-programmes, welche Sie nicht verstehen.
Resultate II
Voraus- Überprüfen Sie immer die Voraussetzungen der setzungen jeweiligen Verfahren.
Hypothesen Berichten Sie den genauen p-Wert und nicht nur,ob Ihr Ergebnis signifikant wird.
Effekt- Geben Sie für die primären Outcome-Werte immer größen Effektstärken an.
Konfidenz- Für Schätzungen sollten immer Konfidenzintervalle intervalle angegeben werden.
Korrekturen Bei einer Vielzahl von Ergebnisparametern sollte immer eine Korrektur nach Bonferoni
angewendet werden.
Grafische Zentrale Ergebnisse sollten in aussagekräftigen Grafiken Darstellung veranschaulicht werden
Resultate III
KausalitätenBei nicht-randomisierten Studien möglichst nicht kausal Schließen.
Tabellen & Nie komplexe Darstellungen verwenden, wenn es Grafiken auch einfacher geht.
Diskussion
Interpre- Überlegen Sie sich immer, in wie weit Ihre tation Ergebnisse generalisierbar sind.
Spekula- Spekulationen sind erlaubt, sollten aber tionen möglichst sparsam verwendet werden und als solche gekennzeichnet sein.