Input-Referat: Input-Referat: Evaluation von Steuerung Evaluation von Steuerung oder Steuerung durch oder Steuerung durch Evaluation? Evaluation?

Input-Referat: Input-Referat: Evaluation von Steuerung Evaluation von Steuerung oder Steuerung durch oder Steuerung durch Evaluation? Evaluation?

Gerlinde StruhkampGerlinde Struhkamp19.03.200419.03.2004

““Was für eine Evaluation Was für eine Evaluation hätten S’ denn gern?”hätten S’ denn gern?”

2

Definitorische AnnäherungDefinitorische Annäherung

Professionell:Professionell: Systematische VerfahrenSystematische Verfahren (Sozial-)wissenschaftliche Methoden(Sozial-)wissenschaftliche Methoden Beitrag zur (rationalen) Entscheidungsfindung, Beitrag zur (rationalen) Entscheidungsfindung,

also also Nutzung Nutzung bzw. bzw. NutzenNutzen der Evaluation der Evaluation

3

„„E-valu-ation“ = „Be-wert-ung“E-valu-ation“ = „Be-wert-ung“ Alltäglich vs. professionellAlltäglich vs. professionell

Evaluation = Evaluation =

4

““Purpose” + Purpose” + ““Process” + Process” + ““Methods” Methods” Zielsetzung, Zielsetzung,

ZweckZweckProzessProzess MethodenMethoden

Nutzung, z.B. Nutzung, z.B. EntscheidungenEntscheidungen

z.B. formativ, z.B. formativ, summativsummativ

(diverse)(diverse)

(a) oder (b) ?(a) oder (b) ?

5

““Process” + Process” + ProzessProzess

““Methods” Methods” MethodenMethoden

(a) Evaluation von (a) Evaluation von SteuerungSteuerung

(b) Steuerung durch (b) Steuerung durch EvaluationEvaluation

SummativSummativ

““Purpose” + Purpose” + Zielsetzung, Zielsetzung,

ZweckZweck

Definition: summative EvaluationDefinition: summative Evaluation

6

Summativ (bewertend-bilanzierend)Summativ (bewertend-bilanzierend) Zur Zur BewertungBewertung des Projekts des Projekts Nach Nach EndeEnde des Projekts (bzw. nach Stabilisierung) des Projekts (bzw. nach Stabilisierung) Bericht Bericht überüber, nicht für das Projekt, nicht für das Projekt ExterneExterne Adressaten Adressaten

(Quelle: Michael Scriven 1991: Evaluation Thesaurus, 4th ed.)

Nutzen einer summativen EvaluationNutzen einer summativen Evaluation

7

Summative Evaluationsergebnisse nutzen – Summative Evaluationsergebnisse nutzen – wem?wem?

EP?EP? Progr.-Ev.? Progr.-Ev.? BMWA? BMWA? EU?EU?

Begrenzte Aussichten auf Nutzung von Begrenzte Aussichten auf Nutzung von summativen EP-Evaluationen, deshalb sollten summativen EP-Evaluationen, deshalb sollten diese formativ angelegt sein, also „Steuern diese formativ angelegt sein, also „Steuern durch Evaluation“. durch Evaluation“.

(a) oder (b) ?(a) oder (b) ?

8

(a) Evaluation von (a) Evaluation von SteuerungSteuerung

(b) Steuerung durch (b) Steuerung durch EvaluationEvaluation

??summativ

FormativFormativ

““Process” + Process” + ProzessProzess

““Methods” Methods” MethodenMethoden

““Purpose” + Purpose” + Zielsetzung, Zielsetzung,

ZweckZweck

Definition: formative EvaluationDefinition: formative Evaluation

9

Formativ (begleitend)Formativ (begleitend) Zur Zur VerbesserungVerbesserung des Projekts des Projekts WährendWährend des Projekts des Projekts Bericht Bericht fürfür das Projekt das Projekt InterneInterne Adressaten Adressaten

(Quelle: Michael Scriven 1991: Evaluation Thesaurus, 4th ed.)

SummativSummativ Zur Zur BewertungBewertung des Projekts des Projekts Nach Nach EndeEnde des Projekts des Projekts Bericht Bericht überüber, nicht für das Projekt, nicht für das Projekt ExterneExterne Adressaten Adressaten

Wie (b) ?Wie (b) ?

10

(b) Steuerung durch (b) Steuerung durch EvaluationEvaluation

Methoden, die Methoden, die EvaluatorIn EvaluatorIn „heran“ lassen„heran“ lassen

FormativFormativ

““Process” + Process” + ProzessProzess

““Methods” Methods” MethodenMethoden

““Purpose” + Purpose” + Zielsetzung, Zielsetzung,

ZweckZweck

Offenes Diskutieren von Stärken und SchwächenOffenes Diskutieren von Stärken und Schwächen Berichte eher informell, evtl. mündlichBerichte eher informell, evtl. mündlich Vertrauensbildung zur konstruktiven ZusammenarbeitVertrauensbildung zur konstruktiven Zusammenarbeit „„Schutzraum“ EPSchutzraum“ EP

Anforderungen an die Evaluationen Anforderungen an die Evaluationen

11

PGI, S. 234ff: PGI, S. 234ff:

„„Begleitung und Bewertung sind zwei selbständige, aber aufeinander bezogene Begleitung und Bewertung sind zwei selbständige, aber aufeinander bezogene Aufgabenbereiche“Aufgabenbereiche“

„„Drei Ebenen: Gesamtprogramm, thematische Handlungsfelder und Drei Ebenen: Gesamtprogramm, thematische Handlungsfelder und Entwicklungpartnerschaften“Entwicklungpartnerschaften“

„„Enge Zusammenarbeit zwischen Programm- und EP-Ebene ist auch zur Enge Zusammenarbeit zwischen Programm- und EP-Ebene ist auch zur Durchführung der Bewertungsarbeiten erforderlich“. Durchführung der Bewertungsarbeiten erforderlich“.

SpannungsfeldSpannungsfeld

12

FormativFormativSummativSummativ

Rollen des Evaluators zwischen formativen und summativen Aufgaben trennenRollen des Evaluators zwischen formativen und summativen Aufgaben trennen

Personale Trennung innerhalb EvaluationsteamPersonale Trennung innerhalb Evaluationsteam

EP-Evaluator beschreibt nur und überlässt die Bewertung anderen InstanzenEP-Evaluator beschreibt nur und überlässt die Bewertung anderen Instanzen

Keine Sanktionen aus Evaluationsergebnissen zu befürchten (also ‚nur‘ Keine Sanktionen aus Evaluationsergebnissen zu befürchten (also ‚nur‘ Erkenntnisgewinn)Erkenntnisgewinn)

Arbeitsteilung zwischen EP- und Programm-EvaluierungArbeitsteilung zwischen EP- und Programm-Evaluierung

?

FazitFazit

13

Da die Nutzen-Perspektive unklar ist, scheinen formative Evaluationsansätze Da die Nutzen-Perspektive unklar ist, scheinen formative Evaluationsansätze

auf EP-Ebene sinnvoller.auf EP-Ebene sinnvoller.

Eine Klärung der Zielsetzung für die (EP-)Evaluationen unter Berücksichtigung Eine Klärung der Zielsetzung für die (EP-)Evaluationen unter Berücksichtigung

typischer Rollen-, Aufgaben-und Methoden-Konflikte in Evaluationen wäre typischer Rollen-, Aufgaben-und Methoden-Konflikte in Evaluationen wäre

hilfreich und wünschenswert.hilfreich und wünschenswert.

Vielen Dank für Ihre Aufmerksamkeit

Gerlinde Struhkamp, M.A.