Schwerpunkt

132 | Prävention und Gesundheitsförderung 3 · 2013

Einleitung

Unter Evaluation wird die systematische Untersuchung des Nutzens eines Gegen-stands, also beispielsweise eines Pro-gramms oder Projekts, verstanden (DegE-val 2008). Evaluationen umfassen ein sehr breites Spektrum verschiedener Ansätze und können unterschiedliche Ziele haben. Eine Differenzierung ist u. a. danach mög-lich, wie umfangreich und komplex die Evaluation angelegt ist, auf welche Projekt- bzw. Programmphase sie sich bezieht (z. B. Evaluation der Planungs-, Struktur-, Pro-zess und Ergebnisqualität) und ob sie von Personen aus dem Kreis der für den Eva-luationsgegenstand Verantwortlichen oder extern durchgeführt wird. Unbenommen dieses breiten Spektrums ist Evaluation dadurch gekennzeichnet, dass die erziel-ten Ergebnisse systematisch und datenge-stützt erworben werden und die verwen-deten Methoden, ihre Auswertung und Datenbasis nachvollziehbar sind [4]. Mit einer partizipativen Arbeitsweise in der Evaluation wird Evaluation mit partizipa-tiven Forschungsansätzen verknüpft [11].

Grundzüge partizipativer Evaluation

Partizipative Forschungsmethoden erfor-schen und beeinflussen soziale Wirklich-

keit, indem die Perspektive der Wissen-schaft mit der Perspektive der Praxis ver-bunden wird [12]. Sie sind auf die Planung und Durchführung eines Forschungspro-zesses gemeinsam mit jenen Menschen ausgerichtet, deren soziale Welt und sinn-haftes Handeln als lebensweltlich situier-te Lebens- und Arbeitspraxis untersucht wird [1]. Die Wurzeln partizipativer For-schungsstrategien liegen in der Aktions-forschung [11]. Im Vergleich zu traditio-nellen Forschungsansätzen, die in der Regel stärker auf verallgemeinerbare Er-kenntnisse größerer Reichweite ausge-richtet sind, ist partizipative Forschung stark anwendungs- und praxisorientiert.

Ebenso wie partizipative Forschung setzt auch partizipative Evaluation (PE) den Fokus auf die systematischen Ent-wicklung lokalen Wissens aus dem Praxis-kontext sowie die Kompetenzentwicklung der Beteiligten [14]. Insofern haben parti-zipative Forschung und PE eine gemein-same Zielsetzung, unterscheiden sich je-doch darin, dass einerseits PE den spezifi-schen Aspekt der Bewertung von Sachver-halten, Programmen, Maßnahmen oder Organisationen beinhaltet und anderer-seits partizipative Forschung häufig über eine ideologische Form und Funktion ver-fügt, welche der PE weitestgehend fehlt [5]. In der Praxis verlaufen die Grenzen jedoch oft fließend. So konstatiert Sprin-gett, dass die Unterscheidung häufig auf subtilen und semantischen Ebenen statt-finde [11].

Cousins u. Earl [3] definieren PE als: „(…) applied social research that invol-

ves a partnership between trained evalua-tion personnel and practice-based decisi-on makers, organization members with program responsibility, or people with a vital interest in the program — in Al-kin’s terms, ‚primary users‘ “. Demnach ist PE gekennzeichnet durch einen partner-schaftlichen Forschungsprozess zwischen den Evaluierenden und denjenigen Ak-teurinnen und Akteuren, welche die Er-gebnisse in die Praxis umsetzen, den ‚pri-mären Nutzerinnen und Nutzern‘, sowie Entscheidungsträgern und weiteren Be-troffenen.

Grundlegende Merkmale einer PE sind:

4 die systematische Beteiligung der pri-mären Nutzerinnen und Nutzern so-wie der Entscheidungsträger und ggf. weiterer Betroffener, deren Ausmaß sich aus der Situation und dem Kon-text bestimmt und die im Idealfall al-le Akteurinnen und Akteure anspricht sowie

4 eine gleichberechtigte Zusammen-arbeit der einbezogenen Perspektiven, die auf einem Dialog basiert [11].

In Abgrenzung zur Evaluation will eine PE nicht nur den Nutzen beispielswei-se eines Projekts ermitteln, sondern auch Entwicklungen anstoßen und Lernen er-möglichen.

Der Ansatz weist deutliche Über-schneidungen zu einer Vielzahl von weite-ren beteiligungsorientierten Evaluations-formen auf, wie z. B. der „colloberative evaluation“, der „empowerment evalua-

Sven Brandes1 · Ina Schaefer2

1 Landesvereinigung für Gesundheit und Akademie für Sozialmedizin Niedersachsen e.V.,

Hannover, Deutschland2Fakultät für Gesundheitswissenschaften, Universität Bielefeld, Deutschland

Partizipative Evaluation in Praxisprojekten

Chancen und Herausforderungen

Präv Gesundheitsf 2013 · 8:132–137DOI 10.1007/s11553-013-0390-5Online publiziert: 15. Juni 2013© Springer-Verlag Berlin Heidelberg 2013

Der Autor und die Autorin waren zu gleichen Anteilen an der Erarbeitung des Beitrags beteiligt und werden in alphabetischer Reihenfolge genannt.

133| Prävention und Gesundheitsförderung 3 · 2013

tion“ und der „inclusive evaluation“. Die-se Begrifflichkeiten sind zwar keineswegs trennscharf, aber zumindest geeignet die hervorstechenden Funktionen und Ele-mente der PE-Praxis herauszustellen [7].

Ungeachtet dessen, wie ein auf syste-matische Beteiligung basierender Evalua-tionsprozess letztlich genannt wird, soll-te er einige wesentliche Kriterien erfüllen, um als „Partizipative Evaluation“ gelten zu können:1. eine PE bezieht verschiedene Akteurs-

gruppen, insbesondere aber die pri-mären Nutzerinnen und Nutzer des evaluierten Projekts oder Programms mit ein, welche ursprünglich nicht über das technische Wissen verfügen, selbstständig eine Evaluation durch-zuführen.

2. Diese Nutzerinnen und Nutzer werden befähigt, die Evaluation zu steuern und durchzuführen.

3. In diesem Rahmen kommt es bei den primären Nutzerinnen und Nutzern zu einem Kompetenzzuwachs und zu einer Entwicklung der evaluierten Maßnahme [7].

PE weisen, in Abhängigkeit vom jeweili-gen Evaluationsgegenstand und je nach-dem wer und in welchem Umfang aktiv beteiligt wird, ein breites Spektrum unter-schiedlicher Formen auf. Diese lassen sich u. a. nach der Qualität der zu Anwendung gelangenden Partizipation in drei Grup-pen unterscheiden:1. Evaluatorgesteuert: Die Evaluierenden

treffen die relevanten Entscheidungen zur Evaluationsstudie.

2. Kollaborativ: Die Evaluierenden und die primären Akteurinnen und Ak-teure treffen gemeinsam die Entschei-dungen.

3. Akteursgesteuert: Die Evaluierenden fungieren in einer Rolle als Dienstleis-ter, die die Akteurinnen und Akteure in der Durchführung des Evaluations-prozesses befähigen und technische Unterstützung und Qualitätssicherung anbieten [7].

Die Auswahl der zur Anwendung gelan-genden Methoden richtet sich in einer PE nach dem zu evaluierenden Gegenstand und den zu beantwortenden Fragestel-lungen. Es kommen Standardmethoden

aus dem qualitativen wie auch quantita-tiven Methodenspektrum in Frage. Aller-dings ist ggf. eine Adaption im Hinblick auf die personen- und situationsbezoge-ne Praktikabilität und Nutzbarkeit erfor-derlich. Weiterhin sind grafische Metho-den wie Mapping oder interaktionsorien-tierte Methoden wie Gruppendiskussio-nen stark mit PE verbunden [5].

Vor- und Nachteile partizipativer Evaluation

In einem aktuellen Literaturreview unter-suchen Jagosh et al. [6] den Nutzen par-tizipativer Verfahren in der (communi-ty-basierten) Gesundheitsforschung und kommen zu dem Schluss, dass die Zu-sammenarbeit verschiedener Akteurin-nen und Akteure zu Synergieeffekten für den Forschungsprozess führt, die sich auf künftige Aktivitäten positiv auswir-ken. Im Rahmen dieses Reviews konn-ten u. a. Effekte partizipativer Arbeitswei-sen auf die Bandbreite der Forschungsfra-gen, die Entwicklung der Forschungsstra-tegien, die Akzeptanz und Beteiligung der für die Forschung zu gewinnenden Per-sonengruppe(n) sowie die Interpretation und Verbreitung der Ergebnisse gezeigt werden.

Zwar fokussieren Jagosh et al. [6] das Review auf die Frage positiver Wirkun-gen, sprechen aber dennoch als mögliche negative Folge die im partizipativen Pro-zess nicht zu vermeidenden Meinungsver-schiedenheiten an. Diese können zwar das Ergebnis verbessern, aber auch zu einer Verschlechterung bis hin zum Abbruch der Forschung führen. Darüber hinaus weist Springett [11] als Nachteile einer PE einerseits auf den erhöhten Ressourcen-bedarf, andererseits auf die Schwierigkeit hin, Akzeptanz für einen sich evtl. stark verändernden Prozessverlauf mit ggf. un-definiertem Outcome zu finden.

Die PE trägt dazu bei, die Qualität der Interventionen systematisch zu entwi-ckeln und so eine Form lokaler Evidenz zu schaffen [14]. Für eine Legitimierung des Nutzens von Gesundheitsförderung und Prävention vergleichbar einer Evidenzba-sierung durch randomisierte kontrollier-te Interventionsstudien ist der Ansatz je-doch nicht geeignet.

Vorraussetzungen für partizipative Evaluation

Um eine PE erfolgreich durchführen zu können, sollten eine Reihe von Vorraus-setzungen erfüllt sein:1. Die PE muss von den primären Nutze-

rinnen und Nutzern, also von denjeni-gen Akteurinnen und Akteuren, wel-che die Ergebnisse in die Praxis um-setzen sowie den Entscheidungsträ-gern und ggf. weiteren Betroffenen, gewollt sein.

2. Es müssen hinreichend Zeit und sons-tige Ressourcen für das Vorhaben vor-handen sein. Die primären Nutzerin-nen und Nutzer der Evaluation sind zumeist stark in ihre bestehenden Rol-len und in ihren Praxisalltag involviert, so dass für diese entsprechende Frei-räume geschaffen werden müssen.

3. Es muss eine gegenseitige Bereitschaft vorhanden sein, sich auf einen gemein-samen Lern- und Entwicklungsprozes-se einzulassen.

4. Die primären Nutzerinnen und Nut-zer müssen motiviert sein, die Verän-derungen und engen Zeitpläne eines Forschungsprozesses mitzutragen.

5. Auch auf Seiten der Evaluierenden muss dem hohen Ressourcenbedarf Rechnung getragen werden. Ferner sind neben dem nötigen Methoden-wissen auch die kommunikativen Fä-higkeiten und die Bereitschaft einen gleichberechtigten Dialog zu organi-sieren und durchzuführen entschei-dend für das Gelingen des PE-Prozes-ses [3].

Anwendung partizipativer Evaluation im Gesundheitsbereich

Beispiele für PE im Gesundheitsbereich sind bislang eher selten. Dies kann nicht überraschen, da Evaluation in diesem Be-reich und speziell in settingbezogenen Ansätzen der Gesundheitsförderung und Prävention rar ist [8].

Die nachfolgend dargestellten Anwen-dungsbeispiele beziehen sich auf ein Pro-jekt aus dem Bereich der Versorgung De-menzkranker sowie auf zwei Förderini-tiativen der Gesundheitsförderung und Prävention. Sie zeigen die Anwendung der PE in unterschiedlicher Weise: Wäh-

Schwerpunkt

134 | Prävention und Gesundheitsförderung 3 · 2013

rend in dem Modellprojekt FIDEM die PE kollaborativ bis akteursgesteuert rea-lisiert wurde, handelt es sich bei der Eva-luation der beiden Förderinitiativen „Ak-tionsbündnisse Gesunde Lebenswelten und Lebensstile“ sowie „Modellvorhaben zum Suchtmittelkonsum in Schwanger-schaft und Stillzeit“ um ein evaluatoren-gesteuertes Vorgehen.

Partizipative Evaluation im Modellprojekt FIDEM

Die Landesvereinigung für Gesundheit und Akademie für Sozialmedizin Nieder-sachsen e. V. hat das Modellprojekt FI-DEM mittels einer PE begleitet. Ziel des Projekts FIDEM war es, durch frühzeiti-ge Interventionen und Implementierung nichtärztlicher Beratungs- und Unterstüt-zungsangebote in der hausärztlichen Ver-sorgung zu einer Verbesserung der Ver-sorgungsstruktur und Lebensqualität von Menschen mit Demenz und ihrer Ange-hörigen beizutragen.

Hausarztpraxen, die häufig die ers-te Anlaufstelle für Betroffene sind, wur-den mit nichtärztlichen Diensten, wie z. B. Beratungs- und Betreuungsanbietern vernetzt. Mittels themenbezogener Fort-bildungen der teilnehmenden Hausärzte konnte eine differenzierte Diagnostik und Behandlung der Demenz sowie eine indi-viduelle ärztliche Beratung und Unterstüt-zung der Erkrankten und ihrer Angehö-rigen gezielt umgesetzt werden. Im An-schluss an die Diagnosestellung wurden den Betroffenen und ihre Angehörigen bedarfsbezogen zugehenden Hilfeleistun-gen wie psychosoziale Beratung, niedrig-schwellige Betreuung sowie eine spezifi-sche Form der Ergotherapie vermittelt.

Das Projekt FIDEM war bei der Ge-rontopsychiatrischen Beratungsstelle am-bet e. V. Braunschweig angesiedelt und wurde hauptsächlich durch Fördermit-tel des Niedersächsischen Sozialministe-riums und der Pflegekassen finanziert.

Die wissenschaftliche Begleitung des Modellprojekts FIDEM erfolgte über den gesamten 3-jährigen Projektzeitraum. Sie wurde in einer ersten Projektphase ge-meinsam mit dem FIDEM-Projektteam als ‚partizipative Evaluation‘ konzipiert. Ziel dieser Evaluation war es, in einer gleichberechtigten Zusammenarbeit zwi-

schen Projektteam und Evaluator konti-nuierlich relevante Daten über die eigene Arbeit zu erheben, um diese als Grundla-ge für die ständige Verbesserung der ge-leisteten Maßnahmen einzusetzen [13]. In diesem Handlungsrahmen wurde das Interventionskonzept entworfen, umge-setzt und auf der Grundlage der gesam-melten Daten optimiert. Das Konzept wurde nach Abschluss des Projekts Haus-arztpraxen und demenzbezogenen Pro-jekten frei zur Verfügung gestellt.

Die PE umfasste folgende Module und Methoden:

4 Ziel-, Zeit- und Maßnahmeplanung, 4 Entwicklung eines interventionsbezo-genen Wirkungsmodells,

4 Ermittlung der Situation in den teil-nehmenden Arztpraxen vor und nach der Intervention (qualitative Leitfa-deninterviews),

4 Erfassung der Qualität der FIDEM-Ärzteschulungen (standardisierte Fra-gebögen),

Präv Gesundheitsf 2013 · 8:132–137 DOI 10.1007/s11553-013-0390-5© Springer-Verlag Berlin Heidelberg 2013

S. Brandes · I. Schaefer

Partizipative Evaluation in Praxisprojekten. Chancen und Herausforderungen

ZusammenfassungHintergrund. Partizipative Evaluation (PE) ist gekennzeichnet durch einen partner-schaftlichen Forschungsprozess zwischen den Evaluierenden und denjenigen Akteu-rinnen und Akteuren, welche die Ergebnisse in die Praxis umsetzen. PE will nicht nur den Nutzen beispielsweise eines Projekts ermit-teln, sondern auch Entwicklungen anstoßen und Lernen ermöglichen.Beispiele. Dargestellt werden zwei unter-schiedliche Formen partizipativer Evaluation. In FIDEM, einem Modelprojekt zu Verbesse-rung der Versorgungssituation Demenzkran-ker, wurde eine akteursgesteuerte PE umge-setzt. Die Förderinitiative „Aktionsbündnisse Gesunde Lebenswelten und Lebensstile“ so-wie die „Modellvorhaben zum Suchtmittel-

konsum in Schwangerschaft und Stillzeit“ zei-gen Beispiele für evaluatorgesteuerte PE.Ergebnisse. Ein zentraler Vorteil von PE liegt in der Erhöhung der Wahrscheinlichkeit für die Nutzung der Evaluationsergebnisse. Eine weitere Chance liegt im Kompetenzgewinn bei den Beteiligten. Als Herausforderungen sind die Komplexität, der hohe Zeitaufwand und die geringere Glaubwürdigkeit der Er-gebnisse zu nennen.

SchlüsselwörterPartizipative Evaluation · Qualitätsentwicklung · Versorgungsforschung · Gesundheitsförderung · Prävention

Participatory evaluation in practice. Opportunities and challenges

AbstractBackground. A main attribute of Participa-tory Evaluation (PE) is the systematic partic-ipation of the ‘primary users’ of the results. These users become qualified to control and conduct the evaluationstudy themselves. The aim of PE thus not only includes examining the benefits of a program or project, but also engaging those involved in a process of de-velopment, learning, and change.Examples. This article highlights two differ-ent kinds of participatory evaluation. FIDEM was a pilot project to improve the situation of dementia patients using a participant-di-rected approach. The program “Aktionsbünd-nisse Gesunde Lebenswelten und Lebens-stile” (Alliances for Healthy Lifestyles and Liv-ing Environments) and the “Modellvorhaben zum Suchtmittelkonsum in Schwangerschaft

und Stillzeit” (Demonstration Project on Sub-stance Use during Pregnancy and Breast Feeding) were evaluated using an evaluator-directed design.Results. A main benefit of PE is the in-creased likelihood for the utilisation of the studyresults. The increased expertise on the part of participants and evaluators is an addi-tional benefit. Challenging is the amount of time needed for the evaluation process, the increased complexity in the evaluation de-sign, and questions of credibility raised by project funders.

KeywordsPaticipatory evaluation · Quality development · Health service research · Health promotion · Prevention

Zusammenfassung · Abstract

135| Prävention und Gesundheitsförderung 3 · 2013

4 Entwicklung von Ablaufplänen und Hilfsmitteln für die Patientenvermitt-lung,

4 Entwicklung eines Dokumentations-systems für die Patientenvermittlung,

4 Identifikation der im Rahmen der Pa-tientenvermittlung wirkenden för-dernden und hemmenden Faktoren (qualitative Leitfadeninterviews).

Das Projektteam (die primären Nutzerin-nen der Evaluation), bestehend aus zwei Sozialarbeiterinnen, einer Ärztin und einer Ergotherapeutin, entwickelte inhaltlich al-le Module gemeinsam mit dem Evaluator (Gesundheitswissenschaftler). Diese Ent-wicklung erfolgte im Rahmen eines zykli-schen Prozesses, dessen Ausgangspunkt je-weils das Wissen der Praktikerinnen zum Gegenstand und das Wissen des Evalua-tors zur Methode war. In diesem Prozess wurden die relevanten Aufgaben und Fra-gestellungen des Projekts sowie Methoden zu deren Beantwortung herausgearbeitet. Darauf aufbauend erfolgte die gemeinsame Entwicklung der Erhebungsinstrumente.

Die Datenerhebung wurde zum grö-ßeren Teil durch den Evaluator geleistet, da die daraus resultierende zeitliche Be-anspruchung die Möglichkeiten des Pra-xisteams überstieg. Im Zuge der Ist-Ana-lyse der Arztpraxen wurde jedoch eine Vielzahl der qualitativen Leitfadeninter-views durch das Projektteam geführt. Hier zeigte sich der Nutzen im direkten Einblick in die organisatorischen Abläufe in den Praxen und im Beziehungsaufbau zu den am Modellprojekt teilnehmenden Ärztinnen und Ärzten.

Die für dieses Modul nötigen Kompe-tenzen wurden im Rahmen einer geson-derten Einheit zur Interviewführung ver-mittelt. Die Auswertung der Daten wur-de jeweils durch die Evaluation vorberei-tet. Diese Ergebnisse wurden anschlie-ßend im gemeinsamen Team weiter ver-wertet. Sie dienten der Optimierung des Interventionskonzepts und der Steuerung des Projektverlaufs.

Neben den primären Nutzerinnen und Nutzern erfolgte ein regelmäßiger Einbe-zug der oben genannten Fördermittel-geber, des Hausärzteverbandes, der Alz-heimer-Gesellschaft und weiterer loka-ler Partner in gesonderten Sitzungen. Zu Projektbeginn wurde in diesem Rahmen

auch die Umsetzung der Begleitforschung als PE abgeklärt. In geringerem Maße par-tizipierten die Hausärztinnen und Haus-ärzte, medizinischen Fachangestellten, die Koordinatorinnen und Koordinatoren der Betreuungsleistungen sowie die unmittel-bar von Demenz Betroffenen an der Eva-luation. Die Perspektiven dieser Gruppen wurden entweder über Leitfadeninter-views oder Befragungen mit standardi-sierten Fragebögen in die Entwicklung des Modellprojekts einbezogen.

Die abschließende Berichtlegung er-folgte in enger Abstimmung zwischen Evaluation und Projektteam in zwei ge-sonderten, inhaltlich verzahnten Berich-ten. Primäres Ergebnis der partizipativen Arbeitsweise war jedoch das im Projekt-verlauf iterativ entwickelte Interventions-konzept, welches sich im Prozess zuneh-mend als belastbar erwies.

Der Evaluator nahm im dargestellten Beispiel die Rolle eines Dienstleisters ein, der das Ziel verfolgte, dem Projektteam in relevanten Phasen der Konzeptent-wicklung empirisch gestützte Entschei-dungen zu ermöglichen. Diese Entschei-dungen wurden auf der Basis der gesam-melten Daten, unter Berücksichtigung der einschlägigen Literatur und des Erfah-rungswissens der Praktikerinnen und des Evaluators getroffen. Die Qualität der zur Anwendung gelangten Partizipation lässt sich vor den Hintergrund der im ersten Teil dieses Artikels dargestellten Klassifi-zierung von PE als ‚kollaborativ‘ bis ‚ak-teursgesteuert‘ einordnen.

Im Zuge der Zusammenarbeit kam es auf beiden Seiten zu einem Kompetenz-zuwachs. Bei den Praktikerinnen voll-zog sich dieser vordergründig im Bereich der Projektentwicklung und Evaluation, wohingegen der Evaluator Wissen zum Evaluationsgegenstand, der Versorgungs-situation Demenzkranker und ihrer An-gehörigen sammelte.

Elemente partizipativer Evaluation in der Begleitforschung von zwei Förderinitiativen im Bereich Gesundheitsförderung und Prävention

Die Zielsetzung der wissenschaftlichen Begleitforschung in den nachfolgend vor-

gestellten Förderinitiativen lag und liegt auf der Ermittlung verallgemeinerbarer Gelingens- und Hindernisfaktoren im Rahmen settingbezogener Ansätze der Gesundheitsförderung und Prävention. Auf dieser Grundlage wurden für die För-derinitiative „Aktionsbündnisse Gesun-de Lebensstile und Lebenswelten“ Hand-lungsempfehlungen zu gesundheitsbezo-gener Netzwerkarbeit für Akteurinnen und Akteure sowie Förderer abgeleitet.

Bei den „Aktionsbündnissen Gesun-de Lebensstile und Lebenswelten“ han-delte es sich um regionale Netzwerke, die schwerpunktmäßig Interventionen für die Bewegungsförderung sozial Benachteilig-ter in unterschiedlichen Settings imple-mentiert haben [9]. Die „Modellvorha-ben zur Suchtprävention in der Schwan-gerschaft und Stillzeit“ integrieren auf ver-schiedene Weise Interventionsansätze der Suchtberatung in Angebote der Schwan-gerenberatung. Beide Initiativen wurden und werden durch das Bundesministe-rium für Gesundheit gefördert und mit einer externen Begleitforschung versehen. Es sollte a) eine Evaluation schwerpunkt-mäßig der Planungs-, Struktur- und Pro-zessqualität der in beiden Initiativen ge-förderten Netzwerke und Projekte durch-geführt werden und b) sollten diese in ihrer Arbeit unterstützt werden und An-gebote zur Qualitätsentwicklung erhalten. Die Begleitforschung der Aktionsbünd-nisse wurde am Institut für Public Health und Pflegeforschung der Universität Bre-men (Laufzeit: November 2008 bis Febru-ar 2011, Projektleitung: Prof. Dr. P. Kolip) durchgeführt. Mit der Begleitforschung der Modellvorhaben zur Suchtprävention ist die Fakultät für Gesundheitswissen-schaften der Universität Bielefeld (Lauf-zeit: Juli 2012 bis September 2014, Pro-jektleitung: Prof. Dr. P. Kolip) beauftragt.

Basis für die Begleitforschung bei-der Initiativen war und ist das für die je-weilige Ausschreibung erarbeitete Eva-luationskonzept, das eine Verwendung unterschiedlicher Methoden und Instru-mente vorsah. Beispielsweise wurden und werden Dokumentenanalysen (Förder-anträge, Sachberichte) durchgeführt so-wie Leitfadeninterviews zu verschiede-nen Zeitpunkten und mit unterschiedli-chen Projektbeteiligten. Außerdem wur-de mit dem Instrument „goal attainment

Schwerpunkt

136 | Prävention und Gesundheitsförderung 3 · 2013

scaling“ (Zielerreichungsskalen) ein par-tizipativ einzusetzendes Evaluationsinst-rument verwendet, das auf einer gemein-samen Auswahl von Zielen und Festle-gung von Zielerreichungen beruht [10].Hierfür wurden in den jeweiligen Projek-ten durch das Evaluationsteam moderier-te Workshops durchgeführt, an denen die primären Nutzerinnen und Nutzer teil-nahmen, d. h. neben den Projektleitun-gen und -mitarbeitenden auch zentra-le Kooperationspartner/-innen bzw. Ak-teurinnen und Akteure wie beispielsweise Vertretungen von Vereinen, Kindertages-stätten oder Behörden. Im Rahmen dieser Workshops wurden in der Regel jeweils drei Ziele ausgewählt, für die nach Festle-gung von Indikatoren eine Zielerreichung definiert wurde, die dann in eine 5-stufi-ge Skala überführt wurde. Die Überprü-fung der Zielerreichung erfolgte zu dem jeweils festgelegten Zeitpunkt gemeinsam mit den primären Nutzerinnen und Nut-zern.

Bei den Modellvorhaben zum Sucht-mittelkonsum wird ergänzend ein parti-zipativer Ansatz auch bei der Prozessdo-kumentation verfolgt. Hier wurde der Fo-kus der Dokumentation durch die Steue-rungsgruppen der Modellprojekte festge-legt und erst im Anschluss ein Dokumen-tationsbogen durch die Evaluation entwi-ckelt und gemeinsam abgestimmt.

Die Integration partizipativer Arbeits-weisen in eine „evaluatorengesteuerte“ Evaluation erfolgte vor dem Hintergrund folgender Überlegungen: Zum einen kann die Festlegung, was als positive oder nega-tive Wirkung von Maßnahmen gilt, maß-geblich nur durch die konkret handeln-den Personen erfolgen [2]. Zum zweiten sollten die zu evaluierenden Projekte auch in ihrer Qualitätsentwicklung unterstützt werden, so dass Verfahren gewählt wur-den, die sich prozessbegleitend einsetzen lassen und die Reflexion unterstützen.

Die Erfahrungen mit der Anwendung von Zielerreichungsskalen wurden im Rahmen der Begleitforschung der „Ak-tionsbündnisse“ evaluiert und erbrach-ten vielversprechende Ergebnisse [10]: Es konnten Aussagen über die Erreichung der von den Projekten als zentral bewer-teten Ziele getroffen werden. Darüber hi-naus bewerteten die Projekte den Einsatz als Unterstützung im Bereich der Pla-

nungs- und Prozessqualität insbesonde-re durch:

4 gemeinsame Klärung der Ziele und Erwartungen, ggf. auch Nivellierung überhöhter Erwartungen,

4 Strukturierung des Arbeitsprozesses, 4 Förderung von Verbindlichkeit und Transparenz bezüglich der gemeinsam zu bewältigenden Aufgaben,

4 Intensivierung der Zusammenarbeit, Vertiefung des gegenseitigen Vertrau-ens und

4 die Identifikation mit dem Vorhaben.

Hinzu kommt, dass beide Seiten aus der Partizipation weiteren Nutzen ziehen kön-nen: Die damit einhergehende Intensivie-rung der Zusammenarbeit befördert auch das gegenseitige Vertrauen zwischen den Evaluierenden und den primären Nutze-rinnen und Nutzern. Dies kann den ge-meinsamen Dialog betreffend der übrigen Evaluationsmethoden und -ergebnisse be-fördern und damit die Durchführung der übrigen Evaluation erleichtern.

Chancen und Herausforderungen partizipativer Evaluation

Mit den oben dargestellten Beispielen wurden eine evaluatorgesteuerte und eine akteursgesteuerte Form der PE vorgestellt. Unabhängig vom Partizipationsumfang weisen die Beispiele im Hinblick auf das zugrunde gelegte Verständnis von Parti-zipation hohe Übereinstimmungen auf: In allen drei Beispielen konnte eine syste-matische Beteiligung der primären Nut-zerinnen und Nutzer umgesetzt werden, deren Ausmaß sich letztlich aus der Situ-ation und dem Kontext der Vorhaben be-stimmte.

Auf der Grundlage der gesammelten Erfahrungen werden folgende Chancen im Kontext von PE gesehen:

4 Die vergleichsweise kleinen Erhe-bungs- und Auswertungszyklen er-möglichen eine unmittelbare Berück-sichtigung der Ergebnisse im Prozess der Projektentwicklung. Dieser iterati-ve Prozess kann maßgeblich zur Qua-lität der Interventionskonzepte beitra-gen. Langfristige Fehlentwicklungen können durch PE vermieden werden.

4 Begünstigt wird die Ergebnisverwer-tung dadurch, dass die gemeinsam entwickelten Evaluationsfragen und Bewertungsmaßstäbe von den primä-ren Nutzerinnen und Nutzern als kon-gruent mit ihrem professionellen All-tag erlebt werden. In den dargestell-ten Beispielen erwies sich dies als we-sentlicher Vorteil im Hinblick auf die wahrgenommene Gültigkeit und Ak-zeptanz der Ergebnisse durch die pri-mären Nutzerinnen und Nutzer.

4 Aus Sicht der Evaluierenden zeigte sich der direkte Einbezug in die Arbeits-prozesse der evaluierten Projekte als förderlich für eine detaillierte Erfas-sung des Gegenstands.

4 Nicht zuletzt beinhaltet die PE die Chance auf einen zusätzlichen Kom-petenzgewinn auf der Seite der primä-ren Nutzerinnen und Nutzer und der Wissenschaftler/innen, welcher auch für künftige Vorhaben zur Verfügung steht.

Im Zuge eines partizipativen Vorgehens in der Evaluation ergeben sich jedoch auch verschiedene Herausforderungen:

4 Vor allem umfassend partizipativ an-gelegte Evaluationen sind komplex und passen nicht immer in das Zeit-management schon bestehender Pro-jektpläne. Gleichzeitig ist es für die gelingende Verwertung der Evalua-tionsergebnisse wichtig, dass diese in entscheidungsrelevanten Situatio-nen fristgerecht zur Verfügung ste-hen. Dies ist im Modellprojekt Fi-dem gelungen, da hier die Evalua-tion gemeinsam mit dem Projekt ge-plant wurde und so mit den vorgese-henen Interventionen verzahnt wer-den konnte. Hinzu kommt, dass Zie-le und Indikatoren, die in einem parti-zipativen Prozess als relevant identifi-ziert werden, von den ursprünglichen Zielen eines Projekts abweichen kön-nen. Dies kann zu einer Richtungsän-derung im Projekt führen. Insbeson-dere in solchen Fällen ist eine Partizi-pation der Initiatoren und Fördermit-telgeber essenziell um Zielkonflikte zu vermeiden.

4 Die Beispiele „Aktionsbündnisse“ und „Modellvorhaben zum Suchtmittel-konsum“ machen deutlich, dass Ele-

137| Prävention und Gesundheitsförderung 3 · 2013

mente einer PE auch in eine evalua-torengesteuerte Evaluation integriert werden können. Demnach ist die An-wendung partizipativer Arbeitswei-sen auch in Evaluationen, deren Be-auftragung auf Basis eines bereits be-stehenden Evaluationskonzeptes er-folgt, möglich.

4 Das v. a. für die kollaborative und ak-teursgesteuerte PE erforderliche ver-trauensvolle und partnerschaftliche Verhältnis zwischen den Evaluieren-den und den primären Nutzerinnen und Nutzern wirft zugleich die Frage nach der „Unabhängigkeit“ der Eva-luation auf. PE erfordern daher eine hohe Transparenz bezüglich ihrer Me-thoden und Bewertungsmaßstäbe, die auch im Vergleich zu klassischen Eva-luationsansätzen zur Diskussion ge-stellt werden müssen. Auch vor die-sem Hintergrund ist die PE aufwändig.

Fazit für die Praxis

Die PE bereichert das Spektrum an Eva-luationsansätzen um eine Form, wel-che die primären Nutzerinnen und Nut-zer systematisch in die Evaluation einbe-zieht und so die Wahrscheinlichkeit für die Nutzung der Evaluationsergebnisse erhöht. PE kann empirisches Wissen zu Interventionen der Prävention und Ge-sundheitsförderung erzeugen, welches insbesondere für die primären Nutzerin-nen und Nutzer eine hohe Gültigkeit be-sitzt. Praktikerinnen und Praktiker sowie die Evaluierenden können im Rahmen einer PE von einem gegenseitigen Lern-prozess profitieren, der beiderseits nach-haltig Kompetenzen aufbaut. Je größer die Reichweite eines Projekts ist, des-to schwieriger dürfte jedoch die Etablie-rung eines funktionierenden partizipati-ven Prozesses sein. Insbesondere der Ein-bezug von Fördermittelgebern und bü-rokratischen Strukturen sowie dort das nötige Verständnis für den ressourcenin-tensiven Prozess und die Ergebnisse zu schaffen, ist eine zentrale Herausforde-rung für PE. Erfahrungsgemäß werden an diesen Stellen kurzfristige Evaluatio-nen mit klaren Erkenntniszielen bevor-zugt. Für die Beförderung der PE gilt es umso mehr, die mit dieser Arbeitsweise

verknüpften Chancen und Möglichkeiten gegenüber allen Beteiligten transparent zu machen.

Korrespondenzadresse

I. SchaeferFakultät für Gesundheitswissenschaften Universität Bielefeld 33501 Bielefeldina.schaefer@uni-bielefeld.de

Interessenkonflikt. Der Autor und die Autorin geben an, dass kein Interessenkonflikt besteht.

Literatur

1. Bergold J, Thomas S (2012) Partizipative For-schungsmethoden: ein methodischer Ansatz in Bewegung. Forum Qualitative Sozialforschung/Fo-rum Qualitative Social Research 13

2. Beywl W (2006) Wirkungsevaluation in der Kinder- und Jugendhilfe. Einblicke in die Evaluationspra-xis. In: Wirkungsevaluation in der Kinder- und Ju-gendhilfe. Einblicke in die Evaluationspraxis. DJI, S 25–46

3. Cousins JB, Earl LM (1992) The Case for Participato-ry Evaluation. Edu Eval Policy Anal 14:397–418

4. DeGEval – Gesellschaft für Evaluation e.V. (Hrsg) (2008) Standards für Evaluation. DeGEval, Mainz. www.degeval.de . Zugegriffen: 9. Juni 2013

5. Garaway GB (1995) Participatory evaluation. Stud Edu Eval 21:85–102

6. Jagosh J, Macaulay A, Pluye P et al (2012) Uncover-ing the Benefits of Participatory Research: implica-tions of a Realist Review for Health Research and Practice. Milbank Q 90(2):311–346

7. King JA (2012) Cultivating Participatory Evaluation (PE) in a World of Centralized Accountability. Z Eval 11:199–207

8. Kolip P, Müller V (Hrsg) (2009) Qualität von Ge-sundheitsförderung und Prävention: Handbuch Gesundheitswissenschaften, 1. Aufl. Huber, Bern

9. Kolip P, Gerken U, Schaefer I, et al (2013) Qualitäts-entwicklung in Settingprojekten. Das Beispiel der Aktionsbündnisse „Gesunde Lebensstile und Le-benswelten“. Juventa, Weinheim

10. Schaefer I, Kolip P (2010) Unterstützung der Qua-litätsentwicklung mit Goal Attainment Scaling (GAS). Prävention 33:66–69

11. Springett J (2001) Participatory approaches to evaluation in health promotion. WHO Reg Publ Eur Ser 92:83–105

12. Unger H von (2012) Partizipative Gesundheitsfor-schung: wer partizipiert woran? Forum Qualitative Sozialforschung/Forum Qualitative Social Research 13. http://www.qualitative-research.net/index.php/fqs/article/view/1781/3298 . Zugegrif-fen: 9. Juni 2013

13. Wright MT (2006) Auf dem Weg zu einer theorie-geleiteten, evidenzbasierten, qualitätsgesicher-ten Primärprävention in Settings. Jahrb Krit Med 43:55–73

14. Wright MT, Kilian H, Brandes S (2013) Praxisbasier-te Evidenz in der Prävention und Gesundheitsför-derung bei sozial Benachteiligten. Das Gesund-heitswesen, doi: 10.1055/s-0032–1327741