14/15 01 2010 UPH / Modul E Neuhold Christine Grundlagen der Evaluation Evaluierung in der Gesundheitsförderung UPH, Modul E Christine Neuhold Graz, 14./15

14/15 01 2010 UPH / Modul E Neuhold Christine

Grundlagen der Evaluation

Evaluierung in der GesundheitsförderungUPH, Modul E

Christine NeuholdGraz, 14./15. Jänner 2010


Problem-definition

Strategie-formulierung

Implementation/ Umestzung

EvaluationBewertung

Verortung der Begriffe Evaluation, Evidenzbasierungund QM im Public Health Action Cycle

auf Basis wiss. Evidenz

Qualitätsmanagement

Kolip, 2006


Was bedeutet Evaluation?

... die Bewertung einer aktuellen, realen Intervention hinsichtlich verschiedener Dimensionen oder Kriterien im Vergleich zu einem erwarteten, angestrebten Ziel. (vgl. Pelikan et al.)


Dimensionen/Kriterien (I)• Akzeptabilität

Anschlussfähigkeit für Betroffene und beteiligte Stakeholder

• MachbarkeitSind Interventionen unter best. lokalen Bedingungen, technisch und praktisch implementierbar und kontinuierlich realisierbar?

• EffektivitätInwieweit kann einen Intervention die erwarteten Wirkungen auch tatsächlich bewirken?


Dimensionen/Kriterien (II)• Nachhaltigkeit

Bei nachhaltigen Interventionen müssen die erwünschten Effekte auch längerfristig möglich sein, unerwünschte dürfen nicht überwiegen.

• Effizienzbedeutet ein günstiges Kosten-Nutzen-Verhältnis einer Intervention.

= besonders schwierig!a) kein wiss. Konsens über die Messung von Gesundheitsgewinnb) kein Konsens über die Kostenäquivalenz von Gesundheit


Evaluationsforschung

während einer Maßnahme

vor einer Maßnahme

nach einer Maßnahme

Evaluation der Programm-

konzeption

Evaluation der Programm-durchführung

Evaluation der Programm-

wirkung

Antizipatorische oder prospektive

Evaluation

Prozessevaluationoder

Begleitforschung

Ergebnis- oder

Output-Evaluation


Evaluationstypen (I)• Ergebnis- versus Prozessevaluation

PROZESSEVALUATIONbeobachtet und rekonstruiert den Prozess der InterventionZiel: festzustellen, ob die geplante Intervention verwirklicht werden konnteMethoden: Dokumentation, Beobachtungen, BefragungenVoraussetzung: detaillierte Planung von Zielen, Schritten

und Phasen


• Ergebnis- versus ProzessevaluationERGEBNISEVALUATIONkonzentriert sich auf die Feststellung der Effekte des ProgrammsZiel: Entscheidungsgrundlage für Beibehalten, Modifizieren oder Beenden der Intervention

Methoden: Befragungen

Voraussetzung: ein Set von Zielen/Kriterien und Indikatoren

Evaluationstypen (II)

Konnten die vorab definierten

Ziele der Intervention erreicht werden?


Evaluationstypen (III)• Summative versus formative EvaluationFORMATIVE EVALUATION= Evaluationsforschung, die während der Programm-entwicklung durchgeführt wird, eine Form der Qualitätssicherung

Ziel: Programme umzuformen und zu verbessernMethoden: eher qualitativ, Beobachtungen, Austausch


Evaluationstypen (IV)• Summative versus formative EvaluationSUMMATIVE EVALUATION= zusammenfassende Beurteilung einer Intervention, nach Abschluss eines Programms

Ziel: Bewertung der Programmwirkung


Evaluationstypen (V)• Selbst- versus Fremdevaluation SELBSTEVALUATIONwird von AkteurInnen durchgeführt, die auch die Intervntion durchführen+kennen das Projekt sehr gut+wissen welche Informationen sie brauchen- „zu nahe“ an der Intervention- Ergebnisse sind nur bedingt „objektiv“- Qualifikation der AkteurInnen –methodisch korrekte Durchführung


Evaluationstypen (VI)• Selbst- versus Fremdevaluation FREMDEVALUATIONwird von externen Personen durchgeführt+meist sehr gute Qualifikation- ist meist teurer- besteht das Risiko, dass Daten erhoben werden, die von

AkteurInnen und Stakeholdern nicht gebraucht werden.


Evaluationsdesigns in der Epidemiologie und im Setting-AnsatzDimensionen Epidemiologie Setting-AnsatzForschungsdesign Kontrollgruppen-

designsFallstudien Benchmarking

Art der Evaluation experimentelle Forschung

Aktionsforschung

Rolle der EvaluatorrInnen

extern intern und/oder extern

Indikatoren für Veränderungen

Auftreten best. Krankheitsmerkmale bei Personen

Gesundheits-/krankheitsspezifische Faktoren und Potentiale des Settings

Evaluierte Aspekte der Intervention

Ergebnisse Prozess und Ergebnisse


Aktionsforschungsprozess• Forschungsausgangspunkt• Sammeln von Daten (Beobachtung, Interview,

Gespräch,Fragebogen)

• Analyse von Daten• Entwicklung und Erprobung von Handlungsstrategien• Reflexion• Medium sind Tagebücher

Zyklus von Aktion und Reflexion

AktionAktion

Aktion


Evaluationsdesigns in der Epidemiologie und im Setting-AnsatzDimensionen Epidemiologie Setting-AnsatzRelevante Dimensionen

Effektivität, Effizienz

Akzeptabilität, Machbarkeit, Effektivität/Effizienz, Nachhaltigkeit

Forschungsmethoden

quantitativ qualitativ und quantitativ

Stakeholder ExpertInnen der Profession, Scientific Community

lokale Stakeholder, ExpertInnen der Profession, Scientific Community

Method. Entwicklungen

Klinische Studien regionale Entwicklungen, Organisationsent-wicklung, Ansätze der Qualitätssicherung und Entwicklung


Elemente der Evaluation • Evaluationsfragen

Zielerreichung, Lernen, Legitimation, Kontrolle• Planen

Was müssen wir wissen, um Fragen zu beantworten?• Daten sammeln

Protokolle, Fotos, Zahlen & Fakten, Interviews...• Daten auswerten

intern, extern; Prozess, Ergebnis • Berichten

schriftlicher Bericht, Rückmeldung an Setting/Auftraggeber, Tagungen, Publikationen

• LernenWas lernen wir und andere daraus, was würden wir anders machen?


Evaluation bevölkerungsbezogener Maßnahmen


Merkmale der Maßnahmen

allgemeinkomplexpartizipativ langlebigflexibel und anpassungsfähig


Kernprobleme der Evaluation

(A) Ermittlung der Fragestellung (B) Festlegung des Evaluationsdesigns (C) Auswahl und Festlegung der

Ergebnisvariablen (D) Analyse der Daten (E) Wahl der Evaluatorenrolle


(A) Ermittlung der Fragestellung (I)

? Evaluationsfrage = Effekt der Maßnahme ?

Black-Box-Evaluation

Input

Output?


(A) Ermittlung der Fragestellung (II)

? Evaluationsfrage = kausale Mechanismen der Maßnahme aufdecken ?

Wie bringt die Maßnahme die erwartete Wirkung hervor?

?

? Gibt es ein Interventionsmodell ?Prozessevaluati

on

Ergebnisevaluation

realistische Evaluation


realistische Evaluation

… liegt der Schwerpunkt auf einer Verbindung der Wirkmechanismen der Maßnahmen mit den kontextuellen Elementen. (vgl. Pawson et al. 2005)Was bewirkt die Maßnahme für wen und unter welchen Umständen?

Ziel: Informationen über die Interaktion zwischen …

Maßnahmen- verlauf Ergebnissen

kontextuellen

Merkmalen

(A) Ermittlung der Fragestellung (III)


(A) Ermittlung der Fragestellung (IV)

Eingrenzung der Evaluationsfragen:Grundsätzlich sollten alle an der Maßnahme Beteiligten auch an der Formulierung der relevanten Forschungsfragen beteiligt sein.

= „Partizipative Forschung“

Cargo & Mercer (2008)


(B) Festlegung des Evaluationsdesigns (I)Zwei Hauptprobleme:1. Zuweisung der Gemeinden entweder zur Kontroll-

oder zur Interventionsgruppe

2. Sicherstellung, dass in der Kontrollgruppe keine Intervention stattfindet.

!Übliche wiss. Kriterien die sich auf standardisierte, wiederholbare und formalisierbare Verfahren stützen sind hier nicht anwendbar!


(C) Auswahl und Festlegung der Ergebnisvariablen (I)

Was soll gemessen werden und auf welchem Niveau?

Zwei Fragen:1. Entwicklung und Gültigkeit von angemessenen

Indikatoren auf Populationsebene

2. Art der Bestimmung der Studienpopulation und auf welcher Ebene der Gesamtbevölkerung das Verfahren und die Ergebnisse beurteilt werden.


(C) Auswahl und Festlegung der Ergebnisvariablen (II)

Was soll gemessen werden und auf welchem Niveau?

Gute Voraussetzung:Definieren von Wirkmechanismen im Interventionsmodell (z.B. Schweizer Ergebnismodell), um unterschiedliche Indikatoren einzuschließen. Z.B. Systembezogene Indikatoren, Umweltbezogene Ind., Individuelle Ind. etc.


3 Kategorien bevölkerungsbezogener Indikatoren (I) (Cheadle et al., 1992)

(1) Individuell disaggregiertDaten aus Beobachtung von Individuen innerhalb best. geografischer Grenzen.Indikatoren, die den sozioökonomischen Status dieses Gebiets kennzeichnen. Z.B. mittleres EK, Zahl alleinerziehender Mütter etc.


3 Kategorien bevölkerungsbezogener Indikatoren (II) (Cheadle et al., 1992)

(2) Individuell aggregiertpersonenbezogene Daten werden zu komplexen Indizes aggregiert.Z.B. Deprivationsindex umfasst 6 Indikatoren:- Personen ohne Abitur- Verhältnis der beschäftigten zur Wohnbevölkerung- durchschnittliches EK- Anteil der getrennt lebenden, geschiedenen, verwitweten Personen- Anteil von Familien mit einem Elternteil- Anteil der Allein Lebenden


3 Kategorien bevölkerungsbezogener Indikatoren (III) (Cheadle et al., 1992)

(3) umfeldbezogenBeobachtung des Umfeldes und die Entwicklungen in einer Gemeinde, die keine personenbezogenen Merkmale sind.Systembezogene Indikatorenz.B. Indikator des Fettverzehrs, der sich auf die Erhebung von Regalmetern im Supermarkt bezieht.Indikator der Verankerung: GemeinderatsbeschlussIndikator für Verankerung und Leadership: Steuergruppe etc.


Auswahl der Indikatoren

• Indikatoren sollten wichtigen Elementen im Interventionsmodell entsprechen

• Indikatoren zur Erfassung der Umfeldprozesse sollten einbezogen werden.

• Z.B. Geko (Generationenübergreifende Kooperation)


Das Ergebnismodell am Beispiel Geko

C 1-3 Vision 2: Es entstehen auch Produkte der Initiativgruppen

C 2-1 Vision 4: Netzwerkstruktur zur Planung und Implementierung von Beteiligungsprojekten

B 2-2 Ziel 4: Die Gemeinden unterzeichnen Kooperationsabkommen.

B 2-4 Ziel 5: Jede Gemeinde nominiert 2 Zuständige für die Großgruppe

B 2-1 Ziel 6: Jede Gemeinde zahlt in einen regionalen Projektfonds

B 3-1 Ziel 7: Es entstehen viele Initiativgruppen

B 3-3 Ziel 8: Über Geko wird in den regionalen Medien regelmäßig berichtet.

B 4-3 Ziel 9: Die GG TN wenden partizipative Methoden an.

B 2-1 Ziel 10: Der Genderaspekt wird bei der Planung von Initiativen berücksichtigt.

DGesundheit

C1 Materielle Umwelt

C2 Soziale/gesellschaftliche Umwelt

C3 Personale Ressourcen/ Verhalten

C 1-3 Vision 3: Jugendliche und Erwachsene gestalten gemeinsam eine gesundheitsfördernde Lebenswelt

C 1-3 Vision 1: Nachhaltige Verankerung von Geko in der RegionB 1-4 Ziel 3: Projektträger Styria vitalis &

Landentwicklung Stmk.

B 1-3 Ziel 1: Die GG-TN haben an WS /Infoveranstaltungen teilgenommen.

B 1-4 Ziel 2: Ein regionaler Auftraggeber wird gefunden.

C3-1 Vision 5 GG TN leben die Grund-prinzipien der Gesundheitsförderung


(D) Die Analyse der Daten

1. Datenanalyse richtet sich an Populationen oder Communities

- individuelle Variablen- bevölkerungsbezogene Variablen

2. Art der Bestimmung der Studienpopulation und auf welcher Ebene der Gesamtbevölkerung das Verfahren und die Ergebnisse beurteilt werden.


(E) Die Beziehung zwischen Evaluator und Maßnahme (I)

Trend:paritizipativer Forschung Evaluator = Begleiter

„Empowerment Evaluation“Ein Prozess, der auf Zusammenarbeit, auf Interaktion und auf Wiederholung zielt.


4 Gründe für den beteiligungsorientierten Ansatz:

1. um den Prozess der Wissensfortschritte zu entmystifizieren und zu demokratisieren

2. um die Evaluation als einen unverzichtbaren Bestandteil der Maßnahme zu etablieren

3. um das Selbstverständnis der Gemeinde, das Engagement der beteiligten Stellen und die Nutzung der Ergebnisse zu erweitern

4. um die Evaluatoren mit dem kontextuellen Wissen der Teilnehmer auszustatten und so die Bedeutsamkeit der Ergebnisse zu steigern.

(E) Die Beziehung zwischen Evaluator und Maßnahme (II)


4 Empfehlungen für qualitative hochwertige Evalutaionen1. Evaluation ist Teil der Maßnahme, lokales Wissen

(=empirisches Wissen) gewinnt durch den Prozess der Wiederholbarkeit wiss. Anerkennung.

2. Experimentelle und quasi experimentelle Evaluationen von bevölkerungsbezogenen Maßnahmen sind kaum in der Lage positive Effekte nachzuweisen. Die Anwendung alternativer Methoden sollte gefördert werden.

3. Verwendung von Indikatoren auf Sozialer-, Umfeld- und Bevölkerungsebene. Es herrscht dringender Bedarf bessere Indikatoren zu entwickeln.

4. Rolle und Einfluss der Partizipation der Bevölkerung für die Evaluation. Partizipation ist notwendig um die Validität der Ergebnisse sicher zu stellen? (wie ist noch unklar, zu wenig empirische Daten)


Literatur

- Dür, W. & Pelikan, J.M.: Qualität in der Gesundheitsförderung. Ansätze und Beispiele zur Qualitätsentwicklung und Evaluation. Facultas Verlag 1998.- Potvin, L., Richard, L., Mercille, G.: Die evaluation von bevölkerungsbezogenen Maßnahmen der Gesundheitsförderung. In: Kolip, P. & Müller, V. E. (Hrsg.): Qualität von Gesundheitsförderung und Prävention. Bern: Huber 2009, S. 241 – 277.

Documents

14/15 01 2010 UPH / Modul E Neuhold Christine Grundlagen der Evaluation Evaluierung in der Gesundheitsförderung UPH, Modul E Christine Neuhold Graz, 14./15