1

Was kann wieevaluiertwerden?

Holger Schmid, Dr. phil., Vize-Direktor

Schweizerische Fachstelle für Alkohol-und andere Drogenprobleme,

Lausanne

www.sfa-ispa.ch

2

Erwartungen an den Workshop

• Antwort auf die Frage: Was kann wie evaluiert werden?

• Austausch von Erfahrungen• Diskussion rund um die Evaluation• Informationen zur Evaluation

3

Antwort

• Alles kann irgendwie evaluiert werden

• Nicht alles muss evaluiert werden• Präventions- und

Gesundheitsförderungsprogramme sollten nach den höchst möglichen wissenschaftlichen Standards evaluiert werden

4

Nicht alles muss evaluiert werden

Heute wollen wir die Wirkung des Fallschirms testen:

Sie als Versuchsperson wissen nicht, ob sie einen Fallschirm im Rucksack haben, oder einen Stoffballen (Placebo). Auch wir Versuchsleiter wissen nicht welche Bedingung vorliegt (Doppelblindversuch). Sie wurden per Zufall auf die beiden Bedingungen verteilt (Randomisierung).

Nur durch diese Anlage ist die Wirkung des Fallschirms nachzuweisen. Dies ist auch der Standard in den medizinischen Wirkungsforschung.

5

Definition• Evaluation [lat.-engl.], sachgerechte Bewertung. • Evaluation

– Bewertung– irgendeines Beurteilungsgegenstandes– durch irgend jemanden– in irgendeiner Weise– nach irgendwelchen Kriterien

• Evaluationsforschung– Bewertung von– Produkten, Projekten, Programmen, Politiken ...

(auch Institutionen)– durch besonders befähigte Personen– unter Verwendung wissenschaftlicher Methoden

und Verfahren– nach explizit auf Evaluationsobjekt bezogenen

Kriterien / Standards

6

Ziele• Evaluationsforschung zielt auf

– das Konzept (insbesondere Zielsetzungen), – die Struktur (gesetzliche Bestimmungen,

Ausstattung uvm.), – den Prozess (z.B. Ablauf des pädagogischen

Geschehens, Reaktionen der Teilnehmenden darauf) und

– das Ergebnis (kognitive/affektive Effekte bei den Zielgruppen bzw. Änderungen ihres Verhaltens).

7

Evaluationsobjekte• Behandlungen „Treatments“

– Projekte (einzelne Angebote, Hilfen, Interventionen, Aktionen)

– Programme (mehrere Maßnahmen / Projekte)– Politiken (z.B. kommunale Jugendhilfepolitik)

• Organisationen / Systeme (z.B. Jugendzentrum, Rehabilitationseinrichtung)

• Personen / Personal (z.B. Lehr-, Pflegepersonal)• Produkte (z.B. Spielgeräte, Medikamente)• Forschungsergebnisse / Evaluationsstudien zur

methodischen / fachlichen Güteprüfung

8

Unterricht und Training

9

Rollen in der Evaluationsforschung

• Auftraggeber der Evaluation• Programm-

– theoretiker– entwickler– gestalter

• Aus- und Durchführende des Programms• Betroffene (Klient/-innen, Patient/-innen

oder Verbraucher/-innen)• Evaluationsforscher/-innen Beispielbox

Interne vs. externe Evaluation (SFA)

10

Fragen, die vor der Evaluation zu klären sind

• Für wen wird evaluiert? (siehe Rollen oben)

• Warum wird evaluiert? (z.B. Schutz der Betroffenen, Förderung der Gesundheit, politische Profilierung)

• Was wird evaluiert? (Planung, Durchführung, Ergebnisse eines Programms)

• Nach welchen Modellen/Methoden wird evaluiert?

11

Auswahl und Entscheidung über MethodenVertraut werden mit Dienstleistungsprogrammen im Gesundheitssektor

Vertraut werden mit dem zu evaluierenden Programm

Suche ein anderesProjekt

Ist eine Programm-evaluation möglich?

Nein

JaWie können die interessierenden Variablen gemessen werden?

Bestimme den Typ der benötigten Evaluation

12

Messung der Variablen• Vier Variablenbereiche sind mit

empirischen Daten abzubilden1. Programm (Maßnahmen) (uV), 2. Programmziele, 3. Programm-Umwelt (Störvariablen), 4. beabsichtigte und nicht-

beabsichtigte Wirkungen/Effekte (= Kriterien der Zielerreichung) (aV)

13

DatenerhebungsmethodenMethode: Charakteristik der

Methode:Varianten der Methode:

Interview Interpersonelle Rollensituation mit Befrager/-in und Befragtem

- standardisiert- halb-standardisiert- unstandardisiert

Fragebogenerhebung Papier- und Bleistiftverfahren mit Einleitung (was wird untersucht?), demographischen Fragen und den inhaltlichen Fragen

- Fragen mit festgelegten Antwortalternativen

- offene Fragen

objektive Tests und Skalen Verfahren, das nach wissenschaftlichen Kriterien konstruiert wurde

- Intelligenz- & Fähigkeitstests- Tests zur Prüfung von Kenntnissen und Fertigkeiten

- Persönlichkeitstests- Einstellungs- und Wertskalen

Verhaltensbeobachtung Menschliches Verhalten steht im Blickpunkt

- Selbstbeobachtung- Fremdbeobachtung

Projektive Verfahren Verfahren zur Untersuchung der Reaktionen auf unstrukturiertes Reizmaterial

- Assoziationstechniken- Konstruktionsverfahren- Ergänzungsverfahren- Expressive Verfahren

14

DatenerhebungsmethodenMethode: Charakteristik der

Methode:Varianten der Methode:

Inhaltsanalyse Systematische, objektive und quantitative Analyse von sprachlichem oder geschriebenem Material, um Merkmale zu erfassen

- sprachliches Material- geschriebenes Material

Soziometrie Messung zwischenmenschlicher Präferenzen

- Soziomatrizen- Soziogramme- soziometrische Indizes

Semantisches Differential Erfassung der psychologischen Bedeutung von Begriffen

Q-Methodologie Sortieren von Reizobjekten nach einer vorgegebenen Verteilung (Normalverteilung)

Bei allen Methoden stellt sich die Frage nach Objektivität (Unabhängigkeit vom Tester/-in), Reliabilität (Zuverlässigkeit) und Validität (Gültigkeit)

15

Auswahl und Entscheidung über Methoden

Möchte der Auftraggeber Hilfebei der Programmplanung?

Planungsmethode: Bedarfsanalyse; Delphi etc.

Nein

Ja

Möchte der Auftraggeber wissen,ob das Programm nach Plan läuft?

Programmsteuerungs-methode: Prozessevaluation

Nein

Ja

Möchte der Auftraggeber wissen,ob das Programm wirkt?

Programmbewertungs-methode: Ergebnisevaluation

Ja

16

Auswahl und Entscheidung über Methoden

Interessieren die Ergebnisse von Individuen oder Gruppen?

Verlaufskontrolle;Goal-attainment scaling etc.

Gruppen

Individuen

Reicht es, eine Verbesserungzu zeigen?

NichtexperimentelleEvaluationsmethode

Nein

Ja

Sollen nur die offensichtlichsten Gründefür Verbesserung ausserhalb des Programms ausgeschlossen werden?

QuasiexperimentelleEvaluationsmethode

Ja

Nein

Sollen alle möglichen Gründefür Verbesserung ausserhalb des Programms ausgeschlossen werden?

Echte experimentelleMethode

Ja

17

Auswahl und Entscheidung über Methoden

Müssen die Programmkostenberücksichtigt werden?

Ja

Methoden der Kosten-Nutzen-Analyse

Evaluation wie geplant durchführen

Nein

Evaluationsbericht

Anwendung und Umsetzung der Ergebnisse

18

Definieren der Ziele eines Projekts

Beispielbox

BAG: Wirkungsnachweis der Alkoholpolitiken in den Gemeinden

RADIX: Wirkungsnachweis des Projektes „Die Gemeinden handeln!“

Evaluation: Untersuchungsplan ungeeignet für Wirkungsaussagen

• Sammeln, klären, ordnen, schriftlich fixieren. • SMART: Specific – Measurable – Achievable - Relevant – Timely• Ziele der Prozessevaluation

– Ablauf des Projekts– Die Organisation des Projekts– Die Einschätzung der eingesetzten personellen und materiellen Mittel– Den Bekanntheitsgrad, die Akzeptanz, die Inanspruchnahme des Projekts

• Ziele der Ergebnisevaluation– Die Effekte (Wirkung eines Projekts)– Die Effektivität (Grad der Zielerreichung) – Die Veränderung in der Zielgruppe bzgl.

Kenntnissen, Einstellungen und Verhaltensweisen

• Ziele der Kosten-Nutzen-Analyse– Effizienz (Wirtschaftlichkeit)

• Hilfe: http://www.quint-essenz.ch

19

Evaluation in der Prävention• Kriterien zur Aufnahme in Metaanalysen

– Intervention (uV)• Ätiologie- und Interventionstheorie• Inhalt, Setting, Intensität, Dauer und Integrität der

Intervention– Planung und Verlauf

• Populationsgrösse, Verweigerungsraten, AttritionAnalysis

• Randomisierter Kontrollgruppenplan mit Vor- und Nachmessung und Follow-up

– Messung (aV)• Datenquellen, Erhebungsmethoden,

Kriterienvariablen– Ergebnisse

• Resultate inklusive statistischer Effektstärke

20

Randomisierung• Nur durch vergleichbare

Gruppen können die Ergebnisse verallgemeinert werden.

• Grundfrage: Wie können die zwei Gruppen gebildet werden, damit sie vergleichbar sind?

• Goldene Regel: Auswahl nach dem Zufallsprinzip (wie in der Lotterie) schafft vergleichbare Gruppen (Randomisierung)

• Standard in der medizinischen Wirkungsforschung (Therapien, Medikamente usw.)

Beispielbox

ESSKI: 78 Klassen werden zufällig in Kontrollgruppe, Schulintervention, Elternintervention und Schul+Elternintervention zugeteilt

Experiment Nichtrauchen: 180 Lehrpersonen finden sich zur Zuteilung in Experimentalgruppe und Kontrollgruppe bereit

Feelok „Cannabis“: Experimentalgruppe hat mehr Kiffer als Kontrollgruppe => Randomisierung gescheitert

21

Kausalität Bradford Hill* (1965)

1. Stärke der Beziehung2. Wiederholung des Ergebnisses3. Spezifität: Spezifische Ursache hat spezifische

Wirkung4. Zeitliche Beziehung Ursache – Wirkung5. Dosis-Wirkungsbeziehung6. Plausibilität7. Kohärenz mit anderen Forschungsansätzen8. Experimentelle Bestätigung9. Analogie mit ähnlichen kausalen Beziehungen

* Pionier der randomisierten klinischen Studie und zusammen mit Richard Doll der erste, der einen Zusammenhang zwischen Rauchen und Lungenkrebs bewies

22

Literatur• Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation für

Sozialwissenschaftler. Berlin: Springer.• Hager, W. (2000): Evaluation psychologischer Interventionsmaßnahmen.

Verlag Hans Huber: Bern.• Meier, C. (1997): Leitfaden für die Selbstevaluation in der Projektarbeit mit

einem Beispiel aus der Suchtprävention. Lausanne: Schweizerische Fachstelle für Alkohol- und andere Drogenprobleme (SFA).

• Mittag, W. & Jerusalem, M. (1997). Evaluation von Präventionsprogrammen. In R. Schwarzer (Hrsg.), Gesundheitspsychologie: ein Lehrbuch. (S. 575-612). Göttingen: Hogrefe.

• Oakley, A., Fullerton, D. & Holland, J., et al. (1995). Sexual health education interventions for young people: a methodological review. British MedicalJournal, 310, 158-162.

• Rossi, P. (1988): Programm-Evaluation. Enke: Stuttgart.• White, D. & Pitts, M. (1998). Education young people about drugs: a

systematic review. Addiction, 93 (10), 1475-1487.• Wittmann, W. (1988): Evaluationsforschung. Springer Verlag: Berlin.• Wottawa, H. (1998): Lehrbuch Evaluation. Verlag Hans Huber: Bern.

23

Internet

• Kompetenzzentrum für Evaluation CCE des BAG: http://www.bag.admin.ch/evaluation/01771/index.html?lang=de

• Schweizerische Evaluationsgesellschaft SEVAL: http://www.seval.ch/de/index.cfm