EUROPÄISCHE KOMMISSIONGENERALDIREKTIONREGIONALPOLITIKEntwicklung der PolitikEvaluierung

Programmplanungszeitraum 2014–2020

MONITORING UND EVALUIERUNG DER EUROPÄISCHEN KOHÄSIONSPOLITIK

– EUROPÄISCHER FONDS FÜR REGIONALE ENTWICKLUNG UND KOHÄSIONSFONDS –

KONZEPTE UND EMPFEHLUNGEN

Leitlinien

Dieser Leitlinienentwurf ist das Ergebnis der Diskussionen zwischen der GD Regionalpolitik und den Mitgliedstaaten vom April und vom Oktober 2011. Die Leitlinien haben bis zur Genehmigung der Rechtsvorschriften zur Kohäsionspolitik vorläufigen Charakter.

Entwurf November 2011

November 20112

Vorwort

Kohäsionspolitik zeigt deutlich die Solidarität innerhalb der Europäischen Union auf und macht einen beträchtlichen Teil des Haushalts der Europäischen Union aus. Die Bürgerinnen und Bürger möchten wissen, was mit den öffentlichen Mitteln erreicht worden ist und sicher sein, dass wir die beste Politik verfolgen. Monitoring und Evaluierung sind sehr wichtig, um diese Erwartungen zu erfüllen.

Die vorliegenden Leitlinien bieten knappe Anleitungen für Programme, die vielfältige Themen und Zusammenhängen abdecken. Wir sind der Meinung, dass dieser Ansatz angesichts des reichen Erfahrungsschatzes, den die Mitgliedstaaten und die Kommission in den letzten Jahren gesammelt haben, der richtige ist. In den Leitlinien werden einige bedeutende Änderungen hinsichtlich Verständnis und Organisation von Monitoring und Evaluierung dargelegt. Wichtigste Änderung ist die Betonung einer klareren Formulierung der politischen Ziele. Dies ist besonders bedeutsam für die Durchführung einer ergebnisorientierten Politik und das Abrücken von einer übermäßigen Fixierung auf die Mittelabschöpfung. Der zweite wichtige Punkt ist die bessere Beschreibung der Unterschiede zwischen den Aufgaben von Monitoring und Evaluierung. In den vorliegenden Leitlinien werden die unterschiedlichen Evaluierungsarten besser erklärt und eine strengere Methodik für die Erfassung der Effekte unserer Interventionen gefordert.

In den Leitlinien werden auch einige wichtige Standards empfohlen, die unserer Arbeit zugrunde liegen sollten. Angemessene und strenge Methoden sind absolut notwendig für eine glaubwürdige Evaluierung. Transparenz während des gesamten Verfahrens, von der Festlegung der Aufgabenstellung bis zur Veröffentlichung der Berichte, ist ein weiterer wichtiger Faktor bei der Gewährleistung von Qualität und unparteiischen Ergebnissen.

Die vorliegenden Leitlinien enthalten keine detaillierten Anweisungen hinsichtlich der Evaluierungsmethoden oder der Projektbewertung. Methodische Leitfäden sind auf dem Internetportal EVALSED abrufbar, das auf der Website der Generaldirektion Regionalpolitik gepflegt und aktualisiert wird. Darüber hinaus befassen sich die vorliegenden Leitlinien nicht mit den Vorschlägen der Kommission zu Konditionalität und Leistungsrahmen. Informationen zu diesen Themen können gegebenenfalls separat gegeben werden. Zwar fallen die Strukturfonds unter dieselbe gemeinsame Verordnung, doch gibt es Unterschiede bei der Durchführung. Daher gelten die vorliegenden Leitlinien für den Europäischen Fonds für regionale Entwicklung und den Kohäsionsfonds. Für den Europäischen Sozialfonds werden eigene Leitlinien erstellt.

Die Verteilung der Governance auf Mitgliedstaaten, Regionen und die europäische Ebene ist ein zentrales Merkmal der Kohäsionspolitik. Erfolg und Relevanz von Monitoring und Evaluierung wird von dem Engagement der Akteure auf allen Ebenen abhängen. Die Kommission sieht es als eine ihrer Hauptaufgaben an, den Erfahrungsaustausch zwischen den Mitgliedstaaten zu erleichtern und akademische Kreise einzubinden, damit die besten Ideen in die Politik einfließen können. Wir werden dazulernen, manchmal auch Fehler machen, aber dennoch auf eine systematische Verbesserung unserer Maßnahmen hinarbeiten. Neuen Ideen gegenüber müssen wir auch weiterhin aufgeschlossen sein, damit unser Ansatz und unsere Leitlinien relevant bleiben.

[Später hinzufügen: Danksagungen]

November 20113

Inhalt

1. SCHLÜSSELBEGRIFFE.........................................................................................5

1.1. Interventionslogik eines Programms als Ausgangspunkt; Ergebnisse und Ergebnisindikatoren.........................................................................5

1.2. Monitoring und Evaluierung: Unterstützung der Verwaltung und Erfassung der Wirkungen........................................................................7

1.2.1 Monitoring.......................................................................................7

1.2.2 Evaluierung...................................................................................... 7

1.2.2.1 Wirkungsevaluierung – Erfassen der Effekte................8

1.2.2.2 Durchführungsevaluierung – Verwaltungsaspekte.......9

1.2.2.3 Die Evaluierung integrierter Programme....................10

2. EVALUIERUNGSSTANDARDS............................................................................10

3. PRAKTISCHE PUNTKE FÜR DEN PROGRAMMPLANUNGSZEITRAUM 2014-2020 FÜR DEN EUROPÄISCHEN FONDS FÜR REGIONALE ENTWICKLUNG UND DEN KOHÄSIONSFONDS............................................11

3.1 Programmplanung.....................................................................................11

3.1.1 Klare Ziele und Auswahl der Ergebnisindikatoren.....................11

3.1.2 Die Rolle von Outputindikatoren.................................................12

3.1.3 Gemeinsame Indikatoren..............................................................13

3.2 Ex-ante-Evaluierung operationeller Programme.....................................13

3.3 Monitoring – der jährliche Durchführungsbericht..................................14

3.4 Evaluierung während des Programmplanungszeitraums........................15

3.5 Der Evaluierungsplan................................................................................16

3.5.1 Erstellung eines Evaluierungsplans..............................................16

3.5.2 Elemente eines Evaluierungsplans................................................17

3.5.3 Prüfung und Änderung des Evaluierungsplans...........................17

3.6 Nutzung der Evaluierungen.......................................................................17

3.7. Ex-post-Evaluierung.................................................................................18

3.8 Transparenz............................................................................................... 18

3.9 Die Rolle der Europäischen Kommission.................................................18

November 20114

Glossar

Anhänge

1. Liste der gemeinsamen Indikatoren

2. Beispiele für die Nutzung von Ergebnisindikatoren

3. Eine Struktur der Evaluierungsstandards

4. Literaturempfehlungen

November 20115

1. SCHLÜSSELBEGRIFFE

Ein allgemeines Verständnis der Schlüsselbegriffe und -konzepte der Programmplanung, des Monitoring und der Evaluierung sollte die Grundlage für ihre praktische Anwendung durch die Regionen, Mitgliedstaaten und die Kommission bilden. Mit Abschnitt 1 der vorliegenden Leitlinien soll solch ein gemeinsames Verständnis erleichtert werden.1

1.1. Interventionslogik eines Programms als Ausgangspunkt; Ergebnisse und Ergebnisindikatoren2

Bei der Konzeption jedweder öffentlichen Intervention wird zuerst ein Problem benannt, das gelöst werden soll. Da es stets eine Vielzahl tatsächlicher oder empfundener Bedürfnisse gibt, sollte sich die Entscheidung, welches Bedürfnis nun gedeckt werden soll, auf einen sozialen Abwägungsprozess stützen (eine „politische Entscheidung“). Zu diesem Prozess gehört es auch, die Richtung der gewünschten Veränderung festzulegen und manchmal auch den angestrebte Zustand (Ziel). Eine öffentliche Intervention wird oftmals mehr als nur ein Ergebnis anstreben. Zum Beispiel könnten Investitionen in das Schienennetz eine bessere Anbindung einer Region und auch eine geringere Umweltbelastung zum Ziel haben.

Ergebnisse und Ergebnisindikatoren

Das bezweckte Ergebnis ist der konkrete Aspekt für Wohlergehen und Fortschritt für die Menschen3, der eine politische Maßnahme motiviert, d. h. was unter anderem mit den geplanten Interventionen geändert werden soll. Ein Beispiel hierfür ist die Mobilität – um sie zu verbessern, wird die Verkehrsinfrastruktur ausgebaut, etwa durch eine neue Eisenbahnstrecke.

Wurde ein Ergebnis ausgewählt, so muss es durch geeignete Messgrößen dargestellt werden. Dies kann durch die Ermittlung von mindestens einem Ergebnisindikator geschehen. Beispiele im oben genannten Fall der Eisenbahn wären Fahrtzeit, CO2-Emissionen und Verkehrsopfer. Ein Rückgang in diesen Aspekten könnte ein Ziel der Politik sein.

Ergebnisindikatoren sind Variable, die Informationen zu bestimmten Aspekten der Ergebnisse bieten, die messbar sind.

Werden klare Ergebnisindikatoren gewählt, so werden das Problem und der politische Bedarf leichter verstanden und es kann später einfacher beurteilt werden, ob die Ziele erreicht wurden. In diesem Zusammenhang ist es nützlich, Zielwerte für die Ergebnisindikatoren festzusetzen.

Die Bedarfserhebung und Festlegung des angestrebten Ziels stellen noch nicht die vollständige Konzeption der öffentlichen Intervention dar. Verschiedene Faktoren können das gewünschte Ergebnis in die Richtung der gewünschten Veränderung dirigieren, oder auch davon wegsteuern. Ein politischer Entscheidungsträger muss solche Faktoren analysieren und entscheiden, welche Gegenstand von Maßnahmen sein werden. Mit anderen Worten: Es ist eine Intervention mit einer

1 In Abschnitt 1 werden allgemein die Schlüsselbegriffe für Monitoring und Evaluierung diskutiert. Konkrete rechtliche Begriffe der Strukturfondsverordnungen werden erst in den nachfolgenden Abschnitten verwendet.

2 Dieser Abschnitt basiert auf der Anmerkung zur Methodik „Outcome indicators and targets“, den eine Expertengruppe unter der Leitung von F. Barca und P. McCann für die GD Regionalpolitik verfasst hat. In der englischen Fassung der vorliegenden Leitlinien bedeutet „result“ dasselbe wie „outcome“ im Barca-McCann-Dokument. In den meisten Sprachen gibt es für die beiden Begriffe nur ein Wort (im Deutschen: „Ergebnis“). Weitere Informationen zur Definition der ESF-Ergebnisindikatoren finden sich in den in Kürze erscheinenden ESF-Leitlinien zu Evaluierung und Monitoring.

3 Eine Art der Veränderung umfasst auch Änderungen im Verhalten, bei gesellschaftlichen Praktiken, Institutionen usw. Zu den gewünschten Ergebnissen zählen auch Veränderungen, die mittels eines „bereichsübergreifenden“ Ansatzes (z. B. Umweltziele) erreicht werden, da die Fragestellung dieselbe ist: Was soll durch die öffentliche Intervention anders werden?

November 20116

bestimmten Interventionslogik zu erstellen. Beispiel: Ist die Zahl der Verkehrsunfälle der Ergebnisindikator eines Programms, so kann davon ausgegangen werden, dass sicherere Straßen, eine Verlagerung auf die Schiene oder umsichtigeres Verhalten der Fahrer die Situation ändert könnten. Die Programmgestalter müssen klarstellen, welche/n dieser Faktoren sie beeinflussen möchten. Der Output ergibt sich dann aus den einzelnen Aktivitäten der Programme.

Der Output ist das, was mit den Programmen direkt erreicht wird, und soll zu den Ergebnissen beitragen.

Es kann nützlich sein, eine Intervention in einem logischen Modell (logical framework) grafisch darzustellen. Solch eine stilisierte Darstellung eines Programms sollte widerspiegeln, dass eine Intervention zu mehreren Ergebnissen führen kann und dass mehrere Outputfaktoren zu diesen Veränderungen führen können. Ebenso kann es nützlich sein, das Ergebnis bzw. die Ergebnisse nach betroffener Gruppe und Zeitplan zu unterscheiden.

Abbildung 1 veranschaulicht Output, Ergebnis und Wirkungen in einer vereinfachten Planungsübersicht für Programmplanung, Monitoring und Evaluierung. Es wird darauf hingewiesen, dass der englische Begriff „impact“ („Wirkung“) im Vergleich mit früheren Leitlinien der GD Regionalpolitik nun anders verwendet und platziert wird. Der nachstehende Abschnitt  1.2 erläutert das Monitoring und die Evaluierung, einschließlich der Nutzung des Begriffs „impact“ („Wirkungen“).

Abbildung 1: Output, Ergebnisse und Wirkungen in Bezug auf Programmplanung, Monitoring und Evaluierung

1.2. Monitoring und Evaluierung: Unterstützung der Verwaltung und Erfassung der Wirkungen

Die Öffentlichkeit erwartet von den Verwaltungsbehörden, dass sie bei der Durchführung eines Programms zwei grundlegende Aufgaben erfüllen:

November 2011

zugewiesener INPUT

angestrebter OUTPUT

tatsächlicher INPUT

erreichter OUTPUT

tatsächliches

Ergebnis

Bedarf

spezifisches retes Ziel

a ngestrebtes Ergebnis

Monitoring und Evaluierung

Programmplanung

Strategie

Beitrag (Wirkung)

Vorhaben

weitere Faktoren

7

- die effiziente Umsetzung des Programms (Programmverwaltung) und

- die Überprüfung, ob ein Programm die gewünschten Resultate erzielt hat.

Nachstehend werden wir darlegen, dass das Monitoring vor allem Verwaltungszwecken dient, während die Evaluierung zu beiden Aufgaben beiträgt. Das Lernen ist ein übergeordnetes Ziel aller Evaluierungen.

1.2.1 Monitoring

Monitoring bedeutet Beobachten. Monitoring des Outputs bedeutet das Beobachten, ob die gewünschten physischen Resultate erbracht werden und ob die Durchführung auf dem richtigen Weg ist.

Die kohäsionspolitischen Programme werden im Kontext der Mehrebenen-Governance mit einer klaren Abgrenzung der Rollen und Zuständigkeiten durchgeführt. Je nach Akteur in diesem System – durchführende Agenturen, Verwaltungsbehörden, nationale und EU-Ebene – muss das Monitoring einen unterschiedlichen Informationsbedarf abdecken. Eine der Aufgaben auf europäischer Ebene ist die Bündelung bestimmter Informationen über alle Programme hinweg, um gegenüber dem Rat, dem Parlament, dem Rechnungshof und den EU-Bürgerinnen und Bürgern ganz allgemein Rechnung darüber abzulegen, wofür die Ressourcen der Kohäsionspolitik verwendet werden. Dafür gibt es die auf EU-Ebene festgelegten gemeinsamen Indikatoren.

Beim Monitoring werden darüber hinaus Veränderungen bei den Ergebnisindikatoren beobachtet (Monitoring der Politik). Anhand der Verfolgung der Werte der Ergebnisindikatoren kann beurteilt werden, ob sich die Indikatoren in die gewünschte Richtung entwickeln. Tun sie das nicht, so kann dies die Überlegung anstoßen, ob die Interventionen angemessen und effektiv und die gewählten Ergebnisindikatoren geeignet sind.

Die Werte der Ergebnisindikatoren, sowohl zu Beginn als auch zu späteren Zeitpunkten, können in manchen Fällen den nationalen oder regionalen Statistiken entnommen werden. In anderen Fällen könnte es sich als notwendig erweisen, Umfragen durchzuführen oder auf Verwaltungsdaten zurückzugreifen, wie Unternehmensregister oder Daten zu Arbeitslosengeldempfängern.

1.2.2 Evaluierung

Veränderungen beim Ergebnisindikator sind auf die Maßnahmen, die durch öffentliche Interventionen – z. B. die Fonds – kofinanziert werden, sowie andere Faktoren zurückzuführen. Mit anderen Worten: Der Unterschied zwischen der Situation vor und nach der öffentlichen Intervention ist nicht gleichzusetzen mit den Wirkungen der öffentlichen Intervention:

Veränderung im Ergebnisindikator = Beitrag der Intervention + Beitrag anderer Faktoren;

Nur die linke Seite der Gleichung kann beobachtet werden.

Eine Wirkung ist die Veränderung, die glaubhaft einer Intervention zugeschrieben werden kann. „Wirkung einer Intervention“ oder „Beitrag einer Intervention“ sind alternative Ausdrücke dafür.

1.2.2.1 Wirkungsevaluierung – Erfassen der Effekte

Bei der Wirkungsevaluierung müssen die Effekte der Intervention vom Beitrag anderer Faktoren abgegrenzt werden; außerdem muss die Funktionsweise des Programms verstanden werden. Es gilt zwei ganz unterschiedliche Fragen zu beantworten:

- Hatte die öffentliche Intervention Wirkungen, und wenn ja, wie groß – positiv oder negativ – waren diese Wirkungen? Die Frage lautet also im Grunde: Funktioniert es? Gibt es einen Kausalzusammenhang? Dies soll mit kontrafaktischen Wirkungsevaluierungen beantwortet werden.

November 20118

- Warum führt eine Intervention zu den gewünschten (und nicht gewünschten) Wirkungen? Gesucht wird also eine Antwort auf die Frage „Wie und warum funktioniert es?“. Dies geschieht mit theoriebasierten Wirkungsevaluierungen.

Es wird darauf hingewiesen, dass die beiden Fragen nicht getrennt voneinander behandelt werden können. Jede Evaluierung, die auf der Frage „Funktioniert es?“ basiert, muss grundlegende Elemente einer Theorie der Veränderung voraussetzen (Wie? Warum?), um zu ermitteln, welche Veränderungen untersucht und einer Ursache zugeordnet werden sollten. Ähnlich wird bei jeder Evaluierung zur Frage „Warum funktioniert es?“ – eventuell implizit – von einer kontrafaktischen Situation ausgegangen. Dies ist die konzeptionelle Ebene, auf der die beiden Zweige der Wirkungsevaluierung einige Merkmale gemeinsam haben, obwohl sie doch in erster Linie die beiden ganz unterschiedlichen Fragen „Funktioniert es?“ und „Warum?“ beantworten.

Die Bedeutung der theoriebasierten Wirkungsevaluierungen ergibt sich aus der Tatsache, dass für die politischen Entscheidungsträger viele andere Informationen – neben quantifizierbaren kausalen Wirkungen – nützlich bei der Entscheidung sind, welche Strategie ausgewählt und gegenüber den Bürgerinnen und Bürgern vertreten werden soll. Die Frage, warum sich Interventionen auswirken, wie sie das tun, auf wen und unter welchen Umständen, gewollt wie auch ungewollt, ist genauso relevant, wichtig und schwierig – wenn nicht sogar mehr – wie die Frage „Wurde etwas bewegt?“. Bei diesem Ansatz erhält man im Wesentlichen keine quantifizierte Schätzung der Wirkungen, sondern eine Beschreibung. Theoriebasierte Evaluierungen können wertvolle und seltene Erkenntnisse bieten, Einblicke dahingehend, warum manches funktioniert und anderes nicht, und unter welchen Bedingungen. Das Hauptaugenmerk liegt dabei nicht auf dem Kontrafaktischen („Wie wäre es ohne gewesen?“) sondern eher auf der Theorie der Veränderung („Hat es so funktioniert wie erwartet und die gewünschte Veränderung herbeigeführt?“). Die zentrale Stellung der Theorie der Veränderung rechtfertigt diesen Ansatz als theoriebasierte Wirkungsevaluierung zu bezeichnen.

Zu den typischen Methoden zählen Literaturrecherchen, Analysen der Verwaltungsdaten, Fallstudien, Interviews und Umfragen, um die Interventionslogik nachzuvollziehen und zu überprüfen. Oftmals genannte Ansätze sind realistische Evaluierungen, die Methodik der allgemeinen Eliminierung und die partizipatorische Evaluierung. Bei einer guten Evaluierung dieser Art wird das Signalisieren unerwünschter Wirkungen immer möglich sein. Solche Wirkungen und das Verstehen ihrer Mechanismen können genauso wichtig sein wie die beabsichtigte Interventionslogik.

Die kontrafaktische Wirkungsevaluierung ist ein Paket von Techniken, die der Statistik und der Medizinwissenschaft entliehen sind. Sie können eine glaubwürdige Antwort auf die Frage „Funktioniert es?“ geben. Die zentrale Frage bei kontrafaktischen Evaluierungen ist relativ eng gefasst – Wie groß ist der Unterschied, den eine Maßnahme bewirkt hat? – und wird in der Regel mit Zahlen beantwortet, oder noch öfter mit Differenzen, die plausibel anhand der empirischen Nachweise und einiger Annahmen kausal interpretiert werden können. Wird der beobachtete Unterschied beim Ergebnis nach Abschluss der Intervention von der Intervention selbst verursacht, oder von etwas anderem? Solche Evaluierungen basieren auf Ursache-Wirkung-Modellen und erfordern einen glaubwürdigen und streng definierten kontrafaktischen Ansatz für die Kontrolle der Faktoren, die – neben der Intervention – ebenfalls für die beobachtete Veränderung verantwortlich sein könnten.

Übliche Methoden sind der Difference-in-difference-Ansatz, die Diskontinuitätsanalyse, das Propensity Score Matching, instrumentelle Variablen und randomisierte kontrollierte Untersuchungen. Wenn kontrafaktische Methoden angewandt werden, ist es unumgänglich, dass sowohl Ausgangsdaten als auch Informationen über die Situation geförderter und nicht geförderter Empfänger zu einem bestimmten Zeitpunkt nach der öffentlichen Intervention vorhanden sind.

Es wird darauf hingewiesen, dass kontrafaktische Methoden in der Regel nur auf einige Interventionen angewandt werden (z. B. Schulungen, Unterstützung von Unternehmen), d. h. auf relativ homogene Interventionen mit vielen Empfängern. Möchte eine Behörde die Wirkung von Interventionen bewerten, für die kontrafaktischen Methoden nicht angemessen sind (z. B. größere

November 20119

Infrastrukturmaßnahmen), so können andere Methoden angewandt werden. Für ein Straßenprojekt könnte dies beispielsweise eine Ex-post-Kosten-Nutzen-Analyse oder ein branchenspezifisches Verkehrsmodell sein.

Im Idealfall ergänzen sich kontrafaktische und theoriebasierte Ansätze. Die politischen Entscheidungsträger sollten sich nach eigenem Ermessen auf die Ergebnisse beider Methoden stützen. Selbst wenn davon ausgegangen wird, dass mit den kontrafaktischen Methoden das Funktionieren einer bestimmten Intervention nachgewiesen und auch in Zahlen ausgedrückt werden konnte, bleibt dies doch nur eine Feststellung zu einer einzigen Intervention unter bestimmten Bedingungen. Qualitative Evaluierungstechniken sind notwendig, um zu erkennen, auf welche Interventionen diese Feststellungen angewandt werden können und was den Grad der Übertragbarkeit bestimmt.

Beide Arten der Wirkungsevaluierung werden während und nach dem Programmplanungszeitraum durchgeführt. Die Ex-ante-Evaluierung der Programme kann auch als theoriebasierte Analyse gelten, die die Stärken der Theorie der Veränderung und das logische Modell bewertet, bevor das Programm durchgeführt wird. Eine wichtige Aufgabe ist es dabei, verschiedene mögliche Interventionen zu analysieren und diejenigen auszuwählen, mit denen die Programmziele am ehesten und mit den geringsten Kosten erreicht werden können.

Gibt es die ideale Evaluierung, die stichhaltige Antworten garantiert?

Wie im Beispiel der Wirkungsevaluierungen veranschaulicht, haben alle Methoden und Ansätze ihre Stärken und Schwächen. Für alle Evaluierungen gilt:

– Sie müssen an die konkreten Fragestellungen, die es zu beantworten gilt, sowie an Thema und Kontext des Programms angepasst sein.

– Wann immer möglich müssen die Evaluierungsfragen von verschiedenen Standpunkten und mit unterschiedlichen Methoden behandelt werden. Dies ist der Grundsatz der Triangulation.

– Die Kosten für die Evaluierung müssen durch den möglichen Erkenntnisgewinn gerechtfertigt sein. Bei der Entscheidung über eine Evaluierung sind bereits zu der Intervention vorliegende Informationen zu berücksichtigen.

Zusammengefasst: Welche Methoden in welcher Kombination gewählt werden, muss auf Einzelfallbasis entschieden werden. Es stehen verschiedene Methoden zur Verfügung; es gibt nicht „die“ Methode für alle Fälle.

1.2.2.2 Durchführungsevaluierung – Verwaltungsaspekte

In den Durchführungsevaluierungen wird bewertet, wie ein Programm durchgeführt und verwaltet wird. Typische Fragestellungen sind, ob potenzielle Empfänger von dem Programm wissen und Zugang dazu haben, ob das Antragsverfahren möglichst einfach gehalten ist, ob klare und relevante Projektauswahlkriterien vorhanden sind, ob es ein dokumentiertes Datenverwaltungssystem gibt und ob die Ergebnisse des Programms effizient bekannt gemacht werden.

Solche Evaluierungen finden in der Regel im Frühstadium des Programmplanungszeitraums statt.

Bislang waren die Evaluierungen im Bereich Kohäsionspolitik eher auf die Durchführung als auf das Erfassen der Wirkungen der Interventionen ausgerichtet. Für den Zeitraum ab 2014 möchte die Kommission für mehr Ausgewogenheit sorgen und zu mehr Evaluierungen auf EU-, nationaler und regionaler Ebene aufrufen, welche die Wirkungen der kohäsionspolitischen Interventionen auf das Wohlergehen der Bürgerinnen und Bürger untersuchen, sei es im Bereich Wirtschaft, Gesellschaft oder Umwelt – oder einer Kombination der drei Bereiche. Dies ist ein grundlegendes Element der

November 201110

verstärkten Ergebnisorientierung der Kohäsionspolitik.

1.2.2.3 Die Evaluierung integrierter Programme

Die meisten regionalpolitischen Programme sind integrierter und komplexer Art. Dies bedeutet, dass verschiedene Teile der Programme miteinander verknüpft werden und sich gegenseitig stützen sollen. Die Evaluierung derartiger Programme stellt eine besondere Herausforderung dar.

Eine Strategie besteht darin, zuerst alle Komponenten eines integrierten Programms einzeln zu evaluieren. Die Wirksamkeit der Komponenten ist in der Regel eine unumgängliche Bedingung für die Wirksamkeit des gesamten Pakets. Kann ihre Wirksamkeit nachgewiesen werden, so ist es eher einleuchtend, dass auch das ganze Programm seine Zielsetzungen erfüllt. In einem weiteren Schritt könnten wir evaluieren, ob die Kombination von zwei oder mehreren Interventionen effektiver ist als eine einzige Intervention.

Anhand von theoriebasierten Evaluierungen könnte bewertet werden, ob die jeweiligen Interventionslogiken der verschiedenen Komponenten zueinander passen und Synergieeffekte zulassen würden. Dies könnte sowohl während der Ex-ante-Evaluierung als auch während des Programmplanungszeitraums geschehen.

Ferner ist es möglich, die Wirkungen der integrierten Programme insgesamt zu bewerten. In der Regel wurde dies für große Programme mit makroökonomischen Modellen durchgeführt. Andere Methoden werden derzeit ebenfalls getestet, z.B. kontrafaktische Methoden, mit denen die Entwicklung der geförderten Regionen mit der von nicht geförderten Regionen verglichen wird.4

2. EVALUIERUNGSSTANDARDS

Zur Gewährleistung der Qualität der Evaluierungstätigkeiten empfiehlt die Kommission den Mitgliedstaaten und Regionen, ihre Arbeit auf klar definierte Standards zu stützen, die von ihnen selbst festgelegt worden sind, oder Standards der Europäischen Kommission, der nationalen Evaluierungsgesellschaften, der OECD oder anderer Organisationen zu nutzen. Der Großteil der Standards beinhaltet Grundsätze wie Notwendigkeit der Planung, Einbindung von Interessenträgern, Transparenz, Nutzung strenger Methoden, Unabhängigkeit und Verbreitung der Ergebnisse. Eine mögliche Struktur mit einigen Erklärungen findet sich in Anhang 3.

3. PRAKTISCHE PUNTKE FÜR DEN PROGRAMMPLANUNGSZEITRAUM 2014-2020 FÜR DEN EUROPÄISCHEN FONDS FÜR REGIONALE ENTWICKLUNG UND DEN KOHÄSIONSFONDS

In diesem Abschnitt sollen den (zukünftigen) Programmverwaltern praktische Vorstellungen davon vermittelt werden, was für das Monitoring und die Evaluierung der Kohäsionspolitik benötigt wird. Es wird untersucht, was unternommen werden sollte, wann die im vorangegangenen Abschnitt der vorliegenden Leitlinien dargelegten Ideen und Grundsätze berücksichtigt werden sollten und was bereits im Fünften Kohäsionsbericht und den vorgeschlagenen Verordnungen für den künftigen Programmplanungszeitraum vorgelegt wurde.

4 Siehe zum Beispiel: „Measuring the effects of European regional policy on economic growth: a regression discontinuity approach“. Busillo, Muccigrosso, Pellegrini, Tarola, Terribile (2010). Siehe auch im Fünften Bericht über den wirtschaftlichen, sozialen und territorialen Zusammenhalt 2010.

November 201111

3.1 Programmplanung

Programme, in denen klar festgelegt ist, welche Veränderungen erzielt werden sollen und die sich auf eine begrenzte Zahl von Interventionen konzentrieren, sind für das Erreichen spürbarer Ergebnisse von entscheidender Bedeutung. Die Konzentration der Finanzmittel wird darüber hinaus einen qualitativ hochwertigen Programmablauf erleichtern, in dem die begrenzten administrativen Ressourcen für die sorgfältige Vorbereitung der Interventionen verwendet werden können.

3.1.1 Klare Ziele und Auswahl der Ergebnisindikatoren

(Artikel 24 und 87 GSR-Verordnung)

Die Prioritätsachsen sind die Bausteine der Programme. Jede Prioritätsachse beinhaltet mindestens eine Investitionspriorität, die die Mitgliedstaaten und Regionen entsprechend ihrem jeweiligen Bedarf und Kontext ausgewählt haben. Das spezifische Ziel drückt aus, was mit jeder Investitionspriorität erreicht werden soll. Die Veränderung, die dieses spezifische Ziel herbeiführen soll, ist in einem (oder einigen sehr wenigen) Ergebnisindikatoren wiedergegeben.

Die Ergebnisindikatoren sollen bestimmten Qualitätskriterien entsprechen. Dies sind (Anhang IV GSR-Verordnung):

a) Eingehen auf politische Gegebenheiten: eng mit den unterstützten politischen Interventionen verknüpft. Sie sollten das Wesentliche eines Ergebnisses umfassen, nach einer vernünftigen Diskussion darüber, welche Merkmale vertreten sein dürfen.

b) Normativ: klare und akzeptierte normative Interpretation (d. h. es muss Einvernehmen darüber bestehen, dass eine Bewegung in eine bestimmte Richtung ein gewünschtes bzw. ein nicht gewünschtes Ergebnis ist);

c) Solidität: verlässlich, statistisch validiert;

d) Daten, die zeitgerecht gesammelt wurden und öffentlich verfügbar sind: für die breite Öffentlichkeit verfügbar; öffentliche Diskussionen und Überarbeitungen sind möglich, falls notwendig und gerechtfertigt.

Anhang 2 bietet Anwendungsbeispiele für Ergebnisindikatoren.

Jeder Ergebnisindikator erfordert einen Ausgangswert (Artikel 6 EFRE-Verordnung, Artikel 4 KF-Verordnung, Artikel 15 ETZ-Verordnung). Ein Ausgangswert ist der Wert eines Ergebnisindikators zu Beginn des Programmsplanungszeitraums (z. B. die Zahl neugegründeter Unternehmen in diesem Jahr für eine Priorität, mit der die Zahl der Unternehmensneugründungen in einer Region gesteigert werden soll). Er kann aus statistischen oder administrativen Daten erhoben werden. Vor allem für kleinere Interventionen kann es allerdings notwendig werden, nicht verfügbare Informationen selbst zu generieren, z. B. durch Umfragen.

Vorsicht, Falle: Ausgangswert für wen oder was?

In der Programmplanungsphase, bei der Entscheidung über das Programm, wird die zukünftige Verwaltungsbehörde die Situation aller potenziellen Empfänger analysieren, beispielsweise die Produktivität von KMU in einer Region vor der Durchführung des Programms. Das ist der in der Verordnung geforderte Ausgangswert.

Dies sollte von den Daten unterschieden werden, die für kontrafaktische Evaluierungen benötigt werden und in den meisten Fällen andere sind. Hier werden Informationen zu Empfängern einer Förderung und – für Vergleichszwecke – zu einer Gruppe Nichtgeförderter benötigt. Diese Informationen liegen oft nicht als statistische Daten vor sondern müssen für die Zwecke der geplanten

November 201112

Evaluierung erhoben werden, z. B. über das Monitoringsystem für unterstützte KMU und andere angemessene Instrumente für nichtgeförderte KMU. Beispiele siehe Anhang 2.

Die Programme sollen Ziele für programmspezifische Ergebnisindikatoren für das Jahr 2022 festlegen; diese können quantitativ oder qualitativ formuliert sein (Artikel 6 EFRE-Verordnung, Artikel 4 KF-Verordnung, Artikel 15 ETZ-Verordnung). Wie in Abschnitt 1 der vorliegenden Leitlinien dargelegt, müssen zwei Punkte klar voneinander unterschieden werden:

- Die Schätzung eines künftigen Werts des Ergebnisindikators. Dieser Wert wird durch das Programm und andere Faktoren beeinflusst. Dies ist das gesetzte Ziel, das in dem Rechtstext gemeint ist.

- Eine Schätzung des Beitrags des Programms zur Änderung des Ergebnisindikators (Wirkungen des Programms). Wirkungsevaluierungen können eine Antwort auf diese Frage liefern.

Anhang 2 bietet Beispiele dafür, wie das Ziel eines Ergebnisindikators ausgedrückt werden kann. Qualitative Ziele festzulegen kann bedeuten, die Spanne der erwarteten Werte, die erwartete Richtung der Veränderung und die erwartete Geschwindigkeit der Veränderung genau darzulegen. Ist keine sinnvolle Angabe möglich, so sollte die Priorität bestimmte Zwischenschritte oder Untergrenzen festlegen, die auf dem Weg zum letztendlichen Ziel erreicht werden müssen.

Investitionsprioritäten werden mittels Projekten durchgeführt. Ergebnisindikatoren drücken das Ziel einer Investitionspriorität aus. Daher können Ergebnisindikatoren die Entscheidung über Projektauswahlkriterien stützen, da Projekte aufzeigen können sollen, wie sie zum Erreichen der Ziele einer Priorität beitragen. Es sollte hervorgehoben werden, dass die Projektauswahl Aufgabe der Mitgliedstaaten ist.

3.1.2 Die Rolle von Outputindikatoren

Outputindikatoren sollen alle Prioritäten eines Programms abdecken (Artikel 24 Absatz 3 und Artikel 87 Absatz 2 Buchstabe b GSR-Verordnung). Wie in Abschnitt 1.1 dargelegt, sollten sie aus der Interventionslogik des Programms hervorgehen und den Maßnahmen Ausdruck verleihen. Die Outputindikatoren der Liste gemeinsamer Indikatoren könnten eventuell nicht ausreichen, um die Maßnahmen eines bestimmten Programms widerzuspiegeln; in diesem Fall müssen programmspezifische Outputindikatoren ermittelt werden.

Das Programm soll kumulative Ziele für die Outputindikatoren für das Jahr 2022 festlegen (Artikel 6 EFRE-Verordnung, Artikel 4 KF-Verordnung, Artikel 15 ETZ-Verordnung). Ausgangswerte für Outputindikatoren werden nicht benötigt (mit anderen Worten, der Ausgangswert ist Null).

Zielsetzung für Outputindikatoren

Die Zielsetzung für die Outputindikatoren erfordert Kenntnis davon, welche physischen Resultate einer Intervention gefördert werden sollen und was es kosten darf. Bei vielen Interventionen werden die Stückkosten anhand von Erfahrungswerten aus der Vergangenheit berechnet werden können, z. B. ausgehend von einem mit kohäsionspolitischen oder nationalen Mitteln kofinanzierten Pogramm oder von Branchenstandards.

Ist eine Intervention von Grund auf neu, kann die Festlegung von Zielen eine Herausforderung darstellen. In der Programmplanungsphase kann die Planungsstelle nur eine möglichst gute Schätzung abgeben, die wahrscheinlich zu einem bestimmten Zeitpunkt überarbeitet werden muss.

November 201113

In beiden Fällen ist es wichtig, die Öffentlichkeit ausreichend zu informieren, damit die Schätzung nachvollzogen werden kann. Dieser Ansatz wird die demokratische Transparenz steigern und die Schätzung für Kritik und Verbesserungen öffnen.

3.1.3 Gemeinsame Indikatoren

Mit gemeinsamen Indikatoren sollen Informationen in einem Mitgliedstaat und mitgliedstaatenübergreifend gesammelt werden. Sie spiegeln die wichtigsten Interventionsgebiete des EFRE und des Kohäsionsfonds wider.

Die Mitgliedstaaten sollen gegebenenfalls die Indikatoren aus der Liste der gemeinsamen Indikatoren verwenden (Artikel 6 EFRE-Verordnung, Artikel 4 KF-Verordnung, Artikel 15 ETZ-Verordnung, siehe Anhang 1). „Gegebenenfalls“ bedeutet z. B., dass die gemeinsamen Indikatoren „Kilometer neue Straßenverbindungen“ nicht greifen, wenn das Programm nicht den Bau von Straßen fördert. Ebenso sollte ein Kulturerbeprojekt, das auch Wirkungen auf den Fremdenverkehr hat, nur für den gemeinsamen Indikator für Kulturerbeprojekte verzeichnet sein, nicht als Tourismusprojekt. Trägt jedoch ein Projekt tatsächlich zu mehreren Indikatoren bei, so sollten auch alle verwendet werden.

Es besteht das Risiko, dass die Programmverwalter ihre Programme an gemeinsame Ergebnis- und Outputindikatoren anpassen. Dies sollte vermieden werden: Die Indikatoren sollten die Ziele der Programme widerspiegeln.

Für gemeinsame Indikatoren werden keine Ausgangswerte benötigt.

Die meisten gemeinsamen Indikatoren für den EFRE und den Kohäsionsfonds sind Outputindikatoren, nur einige wenige Input- oder Ergebnisindikatoren. Die gemeinsamen Ergebnisindikatoren unterscheiden sich von den allgemeinen Ergebnisindikatoren. Ihr Wert wird größtenteils durch die Programmintervention bestimmt, mit anderen Worten, der Einfluss anderer Faktoren ist relativ gering. Deshalb dürfte das Aggregieren ihrer Werte (in der Regel aus Vorher-Nachher-Vergleichen) sinnvoll sein.

3.2 Ex-ante-Evaluierung operationeller Programme

(Artikel 48 GSR-Verordnung)

Damit die Qualität der operationellen Programme gesteigert wird, soll eine Ex-ante-Evaluierung die folgenden Elemente beurteilen:

- den Beitrag zur EU-Strategie für intelligentes, nachhaltiges und integratives Wachstum auf Grundlage der ausgewählten thematischen Ziele und Prioritäten unter Berücksichtigung der nationalen und regionalen Bedürfnisse;

- die interne Kohärenz des vorgeschlagenen Programms bzw. der vorgeschlagenen Maßnahme und den Bezug zu anderen Instrumenten;

- die Übereinstimmung der Zuweisung der Haushaltsmittel mit den Programmzielen;- die Übereinstimmung der ausgewählten thematischen Ziele, der Prioritäten und der

entsprechenden Ziele der Programme mit dem Gemeinsamen Strategischen Rahmen, der Partnerschaftsvereinbarung, den länderspezifischen Empfehlungen nach Artikel 121 Absatz 2 des Vertrags und den nach Artikel 148 Absatz 4 des Vertrags angenommenen Ratsempfehlungen;

- die Relevanz und Klarheit der vorgeschlagenen programmspezifischen Indikatoren; - wie der erwartete Output zu den Ergebnissen beiträgt;- ob die quantifizierten Zielwerte für Indikatoren realistisch sind; berücksichtigt wird hierbei die

vorgesehene Unterstützung aus den Fonds; - die Argumentation für die vorgeschlagene Unterstützungsart;

November 201114

- die Angemessenheit der Humanressourcen und der administrativen Leistungsfähigkeit für die Verwaltung der operationellen Programme;

- die Eignung der Verfahren für das Monitoring und für die Erhebung der für die Evaluierungen notwendigen Daten;

- die Eignung der für den Leistungsrahmen ausgewählten Etappenziele;- die Angemessenheit der geplanten Maßnahmen zur Förderung der Chancengleichheit von

Männern und Frauen und zur Verhinderung von Diskriminierung;- die Angemessenheit der geplanten Maßnahmen zur Förderung einer nachhaltigen Entwicklung.

Anhand der Ex-ante-Evaluierung lassen sich die für die geplanten Evaluierungen notwendigen Daten besser erkennen und Ausgangswerte für die Ergebnisindikatoren erstellen. Ex-ante Evaluierungen können die Mitgliedstaaten darüber hinaus bei der Bewertung der Ex-ante-Konditionalitäten unterstützen, die an die statistischen Systeme und Ergebnisindikatoren geknüpft sind (Anhang IV GSR-Verordnung).

Ex-ante-Evaluierungen sollten schon bei der Ausarbeitung des Programms erfolgen und werden der Kommission gleichzeitig mit den operationellen Programmen und gemeinsam mit einer Zusammenfassung vorgelegt. Die Mitgliedstaaten binden gegebenenfalls die strategische Umweltprüfung in die Ex-ante-Evaluierung ein.

Die Kommission wird detaillierte Anleitungen zur Ex-ante-Evaluierung zur Verfügung stellen.

3.3 Monitoring – der jährliche Durchführungsbericht

(Artikel 44 und 101 GSR-Verordnung)

Die jährlichen Berichte sind das Schlüsselelement des Monitoring eines operationellen Programms. Alle Durchführungsberichte, beginnend mit dem Bericht für das Jahr 2016, müssen bestimmte Informationen enthalten:

- Informationen über die Durchführung eines Programms und seiner Prioritätsachsen. Neben Finanzdaten sind auch kumulative Werte für Outputindikatoren und gemeinsame Ergebnisindikatoren anzugeben. Die Werte beziehen sich auf ausgewählte und vollständig durchgeführte Vorhaben.

„Kumulativ“ bedeutet, dass jedes Jahr ein Wert übermittelt wird, der auch die Ergebnisse der Vorjahre beinhaltet.

Informationen basierend auf ausgewählten Projekten sind besonders in den ersten Jahren des Programmplanungszeitraums wertvoll, da die tatsächlichen Werte, die nur Informationen aus abgeschlossenen Projekten beinhalten, zwangsläufig sehr niedrig ausfallen werden.

- Jegliche Punkte, die die Leistung des Programms beeinträchtigen, einschließlich des Erreichens der Zielwerte;

- Werte für die Ergebnisindikatoren von Programmen, die entweder den Statistiken entnommen wurden oder aus prioritätenspezifischen Informationsquellen stammen, wie Umfragen (zu diesen bestimmten Zeitpunkten). Es wird darauf hingewiesen, dass solche Werte den Beitrag des Programms und anderer Faktoren beinhalten.

Zusätzlich dazu werden die 2017 eingereichten Berichte Folgendes bewerten:

- Fortschritte beim Erreichen der Ziele des Programms;

- einschließlich des Beitrags des Programms zur Änderung der Ergebnisindikatoren, wenn Nachweise aus den Evaluierungen vorliegen.

November 201115

Der 2019 einzureichende Bericht und der abschließende Bericht umfassen die oben genannten Elemente sowie Informationen zu und eine Bewertung des Beitrags zur EU-Strategie für intelligentes, nachhaltiges und integratives Wachstum.

Elektronische Datenübermittlung

Für den EFRE ist geplant, dass der Kommission nur die Werte für gemeinsame Indikatoren elektronisch als sogenannte „strukturierte Daten“ übermittelt werden sollen. Die Werte programmspezifischer Indikatoren sollten lediglich in den jährlichen Berichten angegeben werden. Dieses Thema wird in der in Kürze erscheinenden Durchführungsverordnung ausführlicher behandelt (Artikel 101 Absatz 4 GSR-Verordnung).

Typische Fehler bei der Berichterstattung

Vermeintlich kleine Fehler können den Wert der Berichterstattung schmälern, insbesondere wenn die Informationen aus mehreren Programmen gesammelt erhoben werden, wie dies bei gemeinsamen Indikatoren der Fall ist. Typische Fehler sind:

– falsche Maßeinheit (z. B. Quadratkilometer statt Hektar);

– Angabe von jährlichen statt kumulativen Werten;

– falscher Gebrauch der Dezimaltrennung in elektronischen Systemen (Komma statt Punkt);

– Unstimmigkeiten zwischen jährlichem Durchführungsbericht und via SFC übermittelten strukturierten Daten;

– Tippfehler bei der Dateneingabe.

Eine Qualitätskontrolle der regionalen und nationalen Behörden ist äußerst wichtig.

3.4 Evaluierung während des Programmplanungszeitraums

(Artikel 49 GSR-Verordnung)

Die Evaluierung während des Programmplanungszeitraums sollte auf die Anforderungen des Programms ausgerichtet sein. Evaluierungen können unter anderem Programme, Prioritäten und programmübergreifende Themen abdecken.

Alle Arten von Evaluierungen, auch Wirkungs- und Durchführungsevaluierungen, werden eine Rolle spielen. Durchführungsevaluierungen, die die reibungslose Umsetzung des Programms unterstützen, sind eher in der Anfangsphase der Durchführung hilfreich. Zu einem späteren Zeitpunkt werden Evaluierungen durchgeführt, die die Wirkungen der Prioritäten bewerten und dabei die Theorie der Veränderung untersuchen. Die rechtlichen Bestimmungen lassen auch Halbzeitevaluierungen der Mitgliedstaaten zu.

Die Kommmission ruft die Mitgliedstaaten auf, auf freiwilliger Basis auch die Wirkungen ähnlicher Interventionen eines vorangegangenen Programmplanungszeitraums zu überprüfen. Dies kann sinnvoll sein, da es bei vielen Interventionen Jahre dauert, bis die Resultate vollständig sichtbar werden (z. B. bei umfangreichen Infrastrukturmaßnahmen).

Mindestens einmal während des Programmplanungszeitraums wird evaluiert, wie die Unterstützung aus den GSR-Fonds zu den Zielen für jede Priorität beigetragen hat bzw. beiträgt. Die Wirkungsevaluierungen anhand theroriebasierter Ansätze oder kontrafaktischer Methoden sind hierfür angemessene Instrumente. Eine einzige Evaluierung kann mehrere Prioritätsachsen oder ein ganzes operationelles Programm umfassen.

November 201116

In einem zusammenfassenden Bericht für jedes operationelle Programm (Dezember 2020) werden die wichtigsten Evaluierungsfeststellungen zusammengetragen sowie der Hauptoutput und die bedeutsamsten Ergebnisse bewertet. Eines der wichtigsten Ziele wäre das Einholen von Informationen für die Ex-post-Evaluierung unter der Federführung der Europäischen Kommission.

Die Evaluierungen und ihr Follow-up werden vom Monitoringausschuss überprüft. Der Monitoringausschuss kann Empfehlungen an die Verwaltungsbehörde hinsichtlich der Evaluierung des Programms aussprechen. Er überwacht die gemäß seinen Empfehlungen ergriffenen Maßnahmen (Artikel 43 Absatz 4 GSR-Verordnung). Vom Monitoringausschuss eingesetzte Lenkungsgruppen können ein wertvoller Teil des Prozesses der Lenkungsevaluierungen sein. Alle Evaluierungen sollten der Kommission elektronisch übermittelt werden (Artikel 49 Absatz 3 GSR-Verordnung).

Es ist zwar in der Verordnung nicht vorgesehen, doch könnten – je nach institutionellen Gegebenheiten eines Mitgliedstaats – programmübergreifende Evaluierungen im Rahmen einer Partnerschaftsvereinbarung nützlich sein.

Gemäß Artikel  47 der GSR-Verordnung werden die Evaluierungen von Experten vorgenommen, die von den für die Programmdurchführung zuständigen Behörden funktional unabhängig sind. Diese Bestimmung schließt nicht die Möglichkeit aus, dass Experten innerhalb der Verwaltung Programme evaluieren. Die funktionale Unabhängigkeit sollte auf Einzelfallbasis überprüft werden. Funktionale Unabhängigkeit innerhalb derselben Institution kann gegeben sein, wenn die evaluierende Stelle in keinem hierarchischen Verhältnis zu der für die Programmdurchführung zuständigen Stelle steht.5

3.5 Der Evaluierungsplan

Zweck eines Evaluierungsplans ist die Steigerung der Qualität von Evaluierungen, die während des Programmplanungszeitraums durchgeführt werden.

3.5.1 Erstellung eines Evaluierungsplans

Für jedes operationelle Programm erstellt die Verwaltungsbehörde einen Evaluierungsplan (Artikel 49 GSR-Verordnung); dieser wird dem Monitoringausschuss zu seiner ersten Sitzung übermittelt (Artikel 104 Absatz 1 GSR-Verordnung). Der Monitoringausschuss prüft und genehmigt den Evaluierungsplan (Artikel 100, Absatz 2 GSR-Verordnung). Die Kommission empfiehlt, dass der Evaluierungsplan auf der ersten oder zweiten Sitzung des Ausschusses genehmigt werden sollte. Ist ein Monitoringausschuss für mehr als ein operationelles Programm zuständig, so darf der Evaluierungsplan alle betroffenen operationellen Programme abdecken (Artikel 104 Absatz 1). Der Evaluierungsplan darf auch die Evaluierung der inländischen Ressourcen beinhalten.

3.5.2 Elemente eines Evaluierungsplans

Ein Evaluierungsplan sollte folgende Elemente beinhalten:

- eine als Richtwert dienende Liste der vorzunehmenden Evaluierungen, ihr Thema und die Motivation;

- Methoden für die einzelnen Evaluierungen und dazu benötigte Daten;- Vorkehrungen dafür, dass die benötigten Daten für bestimmte Evaluierungen zur Verfügung stehen

oder erhoben werden;- einen Zeitplan;- eine Strategie zur Gewährleistung, dass die Evaluierungen verwendet und weitergegeben werden;- beteiligte Humanressourcen;- ein als Richtwert dienendes Budget für die Durchführung des Plans;- eventuell einen Fortbildungsplan.

5 Diese Regelung geht auf Artikel 146 der Durchführungsbestimmungen zur Haushaltsordnung für den Haushaltsplan der Europäischen Gemeinschaften zurück.

November 201117

Mit dem Budget, den Humanressourcen und eventuell dem Fortbildungsplan wird der rechtlichen Verpflichtung der Mitgliedstaaten nachgekommen, die für die Durchführung der Evaluierung notwendigen Ressourcen zur Verfügung zu stellen (Artikel 47 Absatz 2 GSR-Verordnung).

Die Planung der in der Anfangsphase des Programmplanungszeitraums vorzunehmenden Evaluierungen dürfte präziser sein als die der Evaluierungen, die für einen späteren Zeitpunkt vorgesehen sind. Es wird darauf jedoch darauf hingewiesen, dass für bestimmte Evaluierungstechniken zu Beginn des Programmplanungszeitraums Ausgangsdaten generiert werden müssen. Diesbezügliche Versäumnisse können später im Programmplanungszeitraum nicht nachgeholt werden.

Die Mitgliedstaaten können je nach Bedarf Koordinierungsmechanismen für Evaluierungen auf nationaler oder regionaler Ebene oder für mehrere Finanzierungsquellen einrichten.

3.5.3 Prüfung und Änderung des Evaluierungsplans

(Artikel 100 Absatz 2 GSR-Verordnung)

Der Monitoringausschuss prüft den Evaluierungsplan und genehmigt die notwendigen Änderungen. Die Kommission empfiehlt, einmal im Jahr die Evaluierungspläne zu prüfen und gegebenenfalls zu aktualisieren. Es wird darauf hingewiesen, dass das Bestehen eines Evaluierungsplans die Möglichkeit zusätzlicher Evaluierungen bei dringendem Bedarf nicht ausschließt.

3.6 Nutzung der Evaluierungen

Die Planung und Organisation von aussagekräftigen Evaluierungen der Wirkungen der Interventionen, die Erläuterung ihrer Mechanismen und das Verstehen ihrer Umsetzungsverfahren sind anspruchsvolle Aufgaben. Dennoch können selbst qualitativ hochwertige Evaluierungen wirkungslos bleiben, wenn ihre Nutzung nicht vor, während und nach Abschluss der Analyse erwogen worden ist.

Ohne Anspruch auf Vollständigkeit empfiehlt die Kommission die Diskussion bestimmter Punkte:

- Der Nutzen der Evaluierungen hängt von der Motivation und der Einsicht der Organisation ab, die die Evaluierung in Auftrag gibt. Wird die Idee des Lernens verstanden, ist man dafür offen? Die Regionen und die Mitgliedstaaten sollten ihre eigene Auffassung zu diesen Themen entwickeln und ihren Stakeholdern mitteilen. Oder wird die Evaluierung nur als Verpflichtung angesehen, die die Kommission auferlegt hat?

- Evaluierungen sollten nicht nur den Verwaltungsbehörden vorbehalten sein. Insbesondere für regionale Programme mit vielen unterschiedlichen Interventionen ist wichtig, Fragen zu stellen, die für die durchführenden Agenturen und Fachministerien relevant sind.

- Ein Evaluierungsprozess muss von Beginn an nutzen- und nutzerorientierter sein. Bereits vor Aufnahme der Tätigkeit sollten die Person, die die Evaluierung durchführt, und die, die sie in Auftrag gegeben hat, Zweck, Methoden und Verwendung besprechen.

- Die Verbreitung von Evaluierungen, ihr Ablauf und die Evaluierungsberichte sollten organisiert werden. Die Berichte müssen an künftige Leser oder eine Vielfalt von unterschiedlichen Lesern angepasst werden.

- Evaluierungen können oft bereits während der Evaluierung herangezogen werden. Rückmeldungen der Evaluierer an Empfänger und Auftraggeber kann Qualität und Nutzen einer Evaluierung steigern.

- Generell ist es besser, wenn Evaluierer und Auftraggeber der Evaluierungen gemeinsam Empfehlungen entwickeln, da die Auftraggeber oftmals besser verstehen, was angesichts bestimmter institutionaler oder politischer Gegebenheiten machbar ist.

November 201118

- Der Aufbau von Wissen – also Lernen – ist ein kumulativer Prozess. Dazu braucht man Zeit, das Engagement vieler Evaluierer, den Austausch von Feststellungen und kritische Diskussionen. Die Kommission ist der Ansicht, dass vor allem die zentralen nationalen Verwaltungen bei der Organisation dieses Ablaufs eine wichtige Rolle spielen müssen.

Eine detailliertere Diskussion zu Verwendung und Nutzen der Evaluierungen gibt es in den jeweiligen EVALSED-Bereichen.

3.7. Ex-post-Evaluierung

(Artikel 50 und Artikel 104 GSR-Verordnung)

Mit der Ex-Post-Evaluierung soll ein Überblick über den Programmplanungszeitraum als Ganzes gewonnen werden. Dabei werden die Wirksamkeit und Effizienz der Fonds, ihre Wirkungen auf den wirtschaftlichen, sozialen und territorialen Zusammenhalt und ihr Beitrag zu den EU-Prioritäten für intelligentes, nachhaltiges und integratives Wachstum untersucht.

Für die Ex-post-Evaluierung ist die Kommission in enger Zusammenarbeit mit den Mitgliedstaaten und den Verwaltungsbehörden zuständig; Abschlussdatum für diese Evaluierung ist der 31. Dezember 2023. Die Ex-post-Evaluierung wird durch Evaluierungen der Mitgliedstaaten und der Kommission während des Programmplanungszeitraums erleichtert, insbesondere durch die von den Mitgliedstaaten bereitgestellte Zusammenfassung der Evaluierungen, den wichtigsten Output und die Hauptergebnisse während des Zeitraums im Jahr 2020.

Die Kommission ruft die Mitgliedstaaten auf, ihre eigenen Ex-post-Evaluierungen auszuführen.

3.8 Transparenz

(Artikel 47 Absatz 4 GSR-Verordnung)

Alle Bewertungen werden vollumfänglich veröffentlicht, vorzugsweise im Internet. Zusammenfassungen auf Englisch werden empfohlen, damit ein europaweiter Austausch der Feststellungen der Evaluierungen möglich ist.

3.9 Die Rolle der Europäischen Kommission

Die regionalpolitischen Verordnungen verpflichten die Europäische Kommission dazu, eine bestimmte Menge an Informationen auf europäischer Ebene zusammenzufassen, z. B. in Fortschrittsberichten (Artikel 46 GSR-Verordnung) und von der Kommission durchgeführten Evaluierungen (Artikel 49 Absatz 4 GSR-Verordnung). Darüber hinaus möchte die Kommission mit den Mitgliedstaaten zusammenarbeiten und sie gegebenenfalls unterstützen.

Die Generaldirektion Regionalpolitik beabsichtigt:

- das Wissen und die Erfahrungen der Regionen und der Mitgliedstaaten im Bereich Evaluierung den Amtskollegen zur Verfügung zu stellen, z. B. in Seminaren und durch Veröffentlichung aller Evaluierungsberichte auf der Website der Generaldirektion Regionalpolitik;

- die Entwicklung eines Systems zur Qualitätssicherung zu fördern, z. B. mit einem Peer-Review-Ansatz;

- den Erfahrungsaustausch zwischen den Mitgliedstaaten zu erleichtern, z. B. über ein GD-REGIO-Netz mit den Mitgliedstaaten;

- Anleitungen zu Evaluierungsansätzen und -methoden bereitstellen, z. B. in Form von Leitlinien und der Weiterentwicklung von EVALSED;

- Lernveranstaltungen anzubieten, z. B. Evaluierungssommerkurse.

November 201119

Glossar

Ausgangswert Wert des Indikators, bevor mit der in Rede stehenden Maßnahme begonnen wird

Gemeinsame Indikatoren

Liste der Indikatoren mit vereinbarten, gegebenenfalls bei operationellen Programmen anzuwendenden Definitionen und Maßeinheiten, die ein Aggregieren (nationale und EU-Ebene) ermöglichen

Evaluierung Systematische Erfassung und Analyse von Informationen über die Charakteristika und die Ergebnisse der Programme und Projekte als Grundlage für Bewertungen, zur Effizienzsteigerung und/oder für fundierte Beschlüsse über die laufende oder künftige Programmplanung

Wirkung Veränderung, die glaubhaft einer Maßnahme zugeschrieben werden kann

Indikator Variable, die quantitative oder qualitative Informationen zu einem Phänomen liefert; normalerweise besteht sie aus einem Wert und einer Maßeinheit

Methode Gruppen von Evaluierungstechniken und Instrumenten, die verschiedene Zwecke erfüllen. In der Regel bestehen sie aus Verfahren und Protokollen, die eine Systematisierung und konsistente Durchführung von Evaluierungen gewährleisten. Methoden können sich auf die Erhebung oder Analyse von Informationen und Daten konzentrieren, qualitativ oder quantitativ sein und versuchen, eine Maßnahme zu beschreiben, zu erklären oder vorherzusagen oder Informationen dafür zu liefern. Die Wahl der Methode ergibt sich aus der Art der Intervention, den Fragen, die bei der Evaluierung gestellt werden, und der Art der Untersuchung – kausal, investigativ, normativ usw.

Ergebnis Konkrete Dimension des Wohlergehens der Menschen, die die politische Maßnahme veranlasst, d. h. die von den durch eine politische Strategie gestalteten und durchgeführten Interventionen geändert werden soll. Beispiele: Bessere Mobilität durch Ausbau der Verkehrsinfrastrukturen, Kompetenzsteigerung durch zusätzliche oder anders gestaltete Schulungen, Verringerung der Kreditrationierung bei KMU durch Bereitstellung zinsbegünstigter Darlehen

Ergebnisindikator Indikator zur Beschreibung eines bestimmten Aspekts eines Ergebnisses, eines Merkmales, das gemessen werden kann. Beispiele: Fahrzeit von W nach Y bei Durchschnittsgeschwindigkeit als Aspekt der Mobilität, Ergebnisse von Tests zu einem bestimmten Thema als Aspekt der Kompetenz, Anteil der Firmen, denen ein Kredit zu jeglichem Zinssatz verweigert wurde, als Aspekt der Verringerung der Kreditrationierung bei Banken.

Outputindikator Indikator zur Beschreibung des „physischen“ Resultats der Verwendung von Ressourcen bei politischen Interventionen. Beispiele: Länge, Breite oder Qualität der gebauten Straßen, Zahl der Stunden an Extraunterricht, die diese Intervention ermöglicht hat, Kapitalinvestitionen mittels Subventionen.

November 201120

Anhang 1

Liste der gemeinsamen Indikatoren

Gemeinsame Indikatoren sind rechtlich vorgeschrieben und in den Anhängen der EFRE-, der Kohäsionsfonds- und der ETZ-Verordnung aufgeführt. Die nachstehende Auflistung nummeriert die gemeinsamen Indikatoren, bietet als Richtwert dienende Definitionen und beschreibt ihren Typus.

EINHEIT BEZEICHNUNG Definition/Bemerkungen Art

Produktive Investitionen

   

1   Unter-nehmen

Zahl der Unternehmen, die Finanzhilfen erhalten

Zahl der Unternehmen, die Finanzhilfen in Form von nichtrückzahlbarer direkter finanzieller Unterstützung erhalten, für die nur der Abschluss des Projekts Bedingung ist (Finanzhilfen).

Unternehmen: Organisation, die zur Deckung der Nachfrage im Markt Produkte oder Dienstleistungen anbietet, um Gewinne zu erwirtschaften.

N. B.: Der Indikator misst die Zahl der Unternehmen. Mehrfachzählungen dürfen nicht erfolgen (d. h. ein Unternehmen, das mehr als einmal eine Finanzhilfe erhält, zählt nur als ein Unternehmen, das Finanzhilfen erhält).

Output

2 Unter-nehmen

Zahl der Unternehmen, die abgesehen von Finanzhilfen finanzielle Unterstützung erhalten

Zahl der Unternehmen, die finanzielle Unterstützung erhalten, die keine Finanzhilfen darstellen – Darlehen, Zinszuschüsse, Kreditgarantien, Wagniskapital oder andere Finanzinstrumente

Output

3   Unter-nehmen

Zahl der Unternehmen, die nichtfinanzielle Unterstützung erhalten

Zahl der Unternehmen, die Unterstützung erhalten, welche keinen direkten Transfer von Finanzmitteln beinhaltet (Anleitung, Beratung, Gründerzentren usw.). Wagniskapital gilt als finanzielle Unterstützung.

Output

4   Unter-nehmen

Zahl der geförderten neuen Unternehmen

Zahl der Unternehmen, die mit finanzieller Hilfe oder Unterstützung (Beratung, Anleitung usw.) aus den Strukturfonds oder seitens einer aus den Strukturfonds finanzierten Einrichtung geschaffenen wurden. Das geschaffene Unternehmen bestand ein Jahr vor Projektbeginn noch nicht. Die Rechtsform des Unternehmens kann unterschiedlich sein (Selbständige, Partnerschaften usw.).

Output

5   EUR Private Investitionen, die die öffentliche Unterstützung für KMU ergänzen (Finanzhilfen)

Gesamtwert der privaten Beiträge bei der Unterstützung, die als staatliche Beihilfe gilt, wenn die Unterstützung in Form einer Finanzhilfe erfolgt (siehe Gemeinsamer Indikator 1).

Input

6 EUR Private Investitionen, die die öffentliche Unterstützung für KMU ergänzen (außer Finanzhilfen)

Gesamtwert der privaten Beiträge bei der Unterstützung, die als staatliche Beihilfe gilt, wenn die Unterstützung nicht in Form einer Finanzhilfe erfolgt (siehe Gemeinsame Indikatoren 2 und 3).

Input

November 201122

7   Vollzeit-äquivalente

Zahl der Arbeitsplätze, die in geförderten KMU geschaffen werden

Bruttozahl der direkt in KMU geschaffenen Arbeitsplätze als direkte Folge der erhaltenen Unterstützung, in Vollzeitäquivalenten (VZÄ).

Arbeitsplatz: Ein neu geschaffener Arbeitsplatz (bestand zuvor nicht) als direktes Ergebnis des Projektabschlusses (Arbeitskräfte, die zur Durchführung des Projektes angestellt waren, werden nicht mitgezählt). Die Stelle muss besetzt sein (freie Stellen werden nicht mitgezählt) und die Gesamtzahl der Arbeitsplätze in dem Unternehmen anheben.

Brutto: Woher die Arbeitskraft kommt, wird nicht mit einbezogen, solange sie direkt zur Steigerung der Gesamtzahl der Arbeitsplätze in der Organisation beiträgt.

Vollzeitäquivalent: Es gibt Vollzeit-, Teilzeit- oder Saisonarbeitsplätze. Saison- und Teilzeitarbeitsplätze sind anhand der IAO-/Statistik-/sonstiger Standards in VZÄ umzurechnen.

Dauerhaftigkeit: Die Arbeitsplätze sollen dauerhaft angelegt sein, d. h. für einen angemessen langen Zeitraum bestehen, je nach den branchenspezifischen/technologischen Gegebenheiten. Saisonarbeitsplätze sollten wiederholt angeboten werden.

Ergebnis

November 201123

8 Tourismus Besuche Zahl der Besucher unterstützter Sehenswürdigkeiten

Zahl der Besucher einer Sehenswürdigkeit, die mithilfe von Strukturfondsmitteln geschaffen oder verbessert wurde. Ein Besucher kann mehrere Male besichtigen; bei einer Besuchergruppe zählt jedes Gruppenmitglied einzeln. Die Besuche werden in dem auf den Projektabschluss folgenden Kalenderjahr gezählt. Eingeschlossen sind Stätten, die auf Besucher ausgerichtet wurden (z. B. Naturparks oder in Museen umgewandelte Gebäude), sofern dies das Ziel der Unterstützung war. Nicht eingeschlossen sind Einrichtungen, deren Hauptziel die Unterbringung ist (Hotels, Bed-&-Breakfast-Arrangements usw.).

N. B: Der Unterschied zwischen diesem Indikator und Indikator 39 (Zahl der Besucher unterstützter Kulturerbestätten) muss im Einklang mit der Strategie in der Programmplanungsphase festgelegt werden. Die Unterscheidung kann darüber hinaus aufgrund der Art des Empfängers der Unterstützung (z. B. Unternehmen oder Gemeinde, gemeinnützig oder nicht gemeinnützig) oder der Einnahmenquellen (z. B. mit oder ohne Eintrittsgebühren) erfolgen.

Ergebnis

IKT    

9 Infrastruktur Personen Zahl der Personen, die Breitbandzugang mit mindestens 30 MBit/s haben

Zahl der Personen, die einen Internetzugang mit einer Downloadgeschwindigkeit von mindestens 30 MBit/s haben und zuvor nur eingeschränkten oder gar keinen Zugang hatten. Die Zugangsmöglichkeit muss sich direkt aus der Unterstützung ergeben.

Anmerkung: 30 MBit/s steht im Einklang mit der Strategie Europa 2020, siehe KOM(2010) 245 „Eine Digitale Agenda für Europa“

Output

Verkehr    

10 Eisenbahn km Gesamtlänge der neuen Eisenbahnverbindungen

Länge der im Rahmen des Projekts verlegten Eisenbahnstrecke, wenn zuvor keine Bahnlinie existiert hat

Output

10a km davon TEN-V Output

November 201124

11 km Gesamtlänge der wiederaufgebauten oder ausgebauten Eisenbahnverbindungen

Länge der Eisenbahnstrecke, bei der sich die Qualität der Kapazität gesteigert hat. Dazu zählen die Elektrifizierung, der Ausbau von einspurigen in zweispurige Strecken, die Erhöhung der zulässigen Geschwindigkeit auf der Strecke und die Gewährleistung der Kompatibilität mit dem ERTMS (Europäisches Eisenbahnverkehrsleitsystem).

Output

11a km davon TEN-V

12 Straßen km Gesamtlänge der neuen Straßenverbindungen

Länge der Straßen (in Kilometer), die im Rahmen des Projekts gebaut wurden, wenn:

zuvor keine Straße angelegt waroder

die Kapazität und Qualität der zuvor bestehenden Gemeinde-/Nebenstraßen erheblich verbessert wurde, um eine höhere Einstufung (z. B. Nationalstraße oder ähnliches) zu erreichen.

Output

12a km davon TEN-V Output

13 km Gesamtlänge der wiederaufgebauten oder ausgebauten Straßenverbindungen

Länge der Straßenverbindungen, bei denen die Kapazität oder Qualität der Straße (einschließlich Sicherheitsstandards) gesteigert wurde.

Output

13a km davon TEN-V Output

14 Städtischer Nahverkehr

Beförde-rungs-zahlen

Zunahme der Beförderungszahlen im geförderten städtischen Nahverkehr

Die Zahl basiert auf dem Tagesdurchschnitt der Fahrten, die die Nutzer in einem Jahr unternehmen. Der Ausgangswert liegt für neue Verbindungen bei Null (der Indikator umfasst sowohl neue als auch verbesserte Verbindungen). Die Steigerung wird als Unterschied zwischen dem Tagesdurchschnitt in dem auf den Abschluss des unterstützten Projekts folgenden Kalenderjahr und dem Ausgangswert berechnet.

Ergebnis

November 201125

15 Binnenwasserstraßen

Tonnen-kilometer

Zunahme der Beförderungsmengen auf verbesserten Binnenwasserstraßen

Steigerung des Frachtaufkommens, das zum Teil auf Binnenwasserstraßen (Fluss, Kanal usw.) transportiert wird, welche für den Verkehr verbessert worden sind (unabhängig von Ursprungs- oder Zielhafen).

Ergebnis

Umwelt    

16 Feste Abfälle Tonnen Zusätzliche Abfallrecyclingkapazität

Jährliche Kapazität von neu gebauten Abfallrecyclingeinrichtungen. Output

17 Wasserversorgung

Personen An bessere Wasserversorgung angeschlossene zusätzliche Bevölkerung

Zahl der Personen, die infolge der im Rahmen des Projekts gesteigerten Trinkwasserproduktion/-leitungskapazität über das Trinkwasserleitungsnetz mit Trinkwasser versorgt werden, und die zuvor nicht oder nur an eine nicht standardgemäße Wasserversorgung angeschlossen waren. Dazu zählen Aufbauprojekte, jedoch keine Projekte zur Einrichtung oder Verbesserung von Bewässerungssystemen.

Output

18 m3 pro Tag Geschätzte Verringerung der Lecks im Wasserverteilungsnetz

Eindämmung des Wasseraustritts aus dem verbesserten Teil des Versorgungsnetzes. Dazu zählen Lecks in Behältern, wenn die Verbesserung die Behälter betroffen hatte. Leckverlust: Der Wasserverlust aus dem Verteilungsnetz, bei dem das Wasser in nicht kontrollierter Weise entweicht. Praktisch die Differenz zwischen der Menge Wasser, die vom Wasserwerk ins Verteilungsnetz eingeleitet wird, und der Menge Wasser, die von den Verbraucherinnen und Verbrauchern genutzt wird („Integrated Flow Method“).

Ist die Messung nicht möglich, so kann der Leckverlust anhand der „Minimum Night Flow Method“ bestimmt werden.

Maßeinheiten sollten auf Kubikmeter pro Tag korrigiert werden (m3/d)

Ergebnis

November 201126

19 Abwasser-entsorgung

Bevölke-rungs-äquivalent

An bessere Abwasserentsorgung angeschlossene zusätzliche Bevölkerung

Zahl der Personen, deren Abwasser infolge der im Rahmen des Projekts gesteigerten Abwasserbehandlung/-leitungskapazität über das Abwassernetz zur Kläranlage geleitet wird, und die zuvor nicht oder nur an eine nicht standardgemäße Abwasserbehandlung angeschlossen waren.

(muss kein Outputindikator sein, z. B. wenn der Anschluss des Haushalts nicht zum Projekt zählt)

Output

20 Risikopräven-tion und Risikomanage-ment

Personen Zahl der Personen, denen Hochwasserschutzmaß-nahmen zugute kommen

Zahl der Personen, die Hochwasserrisiken ausgesetzt sind und deren Schadenpotenzial als direkte Folge des unterstützten Projekts gesunken ist.

Output

21 Personen Zahl der Personen, denen Waldbrandschutz- und sonstige Schutzmaßnahmen zugute kommen

Zahl der Personen, die dem Risiko ausgesetzt sind und deren Schadenpotenzial als direkte Folge des unterstützten Projekts gesunken ist.

Output

22 Boden-sanierung

Hektar Gesamtfläche des sanierten Geländes

Fläche des kontaminierten oder aufgegebenen Grunds, der für wirtschaftliche (Ausnahme: Landwirtschaft) oder gemeinsame Aktivitäten nutzbar gemacht wurde.

Output

23 Boden-versiegelung

Hektar Veränderungen der Bodenversiegelung durch Entwicklung

nachtragen

24 Natur und Biodiversität

Hektar Fläche der Habitate mit besserem Erhaltungszustand

nachtragen

November 201127

Forschung und Innovation

   

25 Personen Zahl des FuE-Personals/der Wissenschaftler in neu gebauten oder neu ausgerüsteten Forschungsanlagen

nachtragen

26   Unter-nehmen

Zahl der Unternehmen, die mit geförderten Forschungseinrichtungen zusammenarbeiten

Zahl der Unternehmen, die mit Forschungseinrichtungen in FuE-Projekten zusammenarbeiten. An dem Projekt nehmen mindestens ein Unternehmen und eine Forschungseinrichtung teil. Die Zusammenarbeit sollte mindestens auf die Laufzeit des Projekts angelegt sein.

Unternehmen: Organisation, die zur Deckung der Nachfrage im Markt Produkte oder Dienstleistungen anbietet, um Gewinne zu erwirtschaften.

Forschungseinrichtung: Organisation, deren Hauptaktivität FuE ist.

Output

27   Vollzeit-äquivalente

Zahl der neu geschaffenen Stellen für FuE-Personal/der Wissenschaftler in geförderten Einrichtungen

Bruttozahl der Arbeitsplätze, die infolge eines abgeschlossenen oder laufenden FuE-Projekts geschaffen wurden, um direkt FuE-Tätigkeiten durchzuführen (Vollzeitäquivalente). Ist weniger als 100 % der Arbeitszeit für FuE-Tätigkeiten vorgesehen, so sollten die VZÄ entsprechend abgeändert werden. Mitarbeiterinnen und Mitarbeiter, die die FuE unterstützen (d. h. Stellen, die nicht direkt mit FuE-Tätigkeiten zu tun haben), fließen nicht in die Zählung ein.

Früher Forschungsstellen, die in geförderten Unternehmen geschaffen wurden

Ergebnis

November 201128

28   EUR Private Investitionen, die die öffentliche Unterstützung für Innovations- oder FuE-Projekte ergänzen

Gesamtwert der privaten Beiträge zur Unterstützung von Innovations- oder FuE-Projekten

Input

29 Unter-nehmen

Zahl der Unternehmen, die neue oder deutlich verbesserte Produkte infolge der Unterstützung von Innovations- oder FuE-Projekten neu auf den Markt gebracht haben

Ein Produkt gilt als neu auf dem Markt, wenn in dem Markt keine anderen Produkte mit derselben Funktionsweise angeboten werden oder die Technologie des Produkts grundlegend anders gestaltet ist als die Technologie bereits existierender Produkte. Produkte können sowohl materiell als auch immateriell sein.

Ergebnis

30 Unter-nehmen

Zahl der Unternehmen, die für das Unternehmen neue oder deutlich verbesserte Produkte infolge der Unterstützung von Innovations- oder FuE-Projekten entwickelt haben

Ein Produkt gilt als neu für das Unternehmen, wenn das Unternehmen zuvor kein Produkt derselben Funktionsweise produziert hat oder die Produktionstechnologie sich grundlegend von der Technologie bereits hergestellter Produkte unterscheidet. Produkte können sowohl materiell als auch immateriell sein.

Ergebnis

Energie und Klimawandel

   

31 Erneuerbare Energiequellen

MW Zusätzliche Kapazität der Energieerzeugung aus erneuerbaren Quellen

Anstieg der Energieerzeugungskapazität von Fazilitäten, die erneuerbare Energieressourcen nutzen (im Rahmen des Projekts eingebaut/damit ausgestattet). Dazu zählen auch Strom und Wärmeenergie.

Erneuerbare Energiequellen: Jede Energiequelle, ausgenommen fossile oder nukleare Energie.

Output

November 201129

32 Energie-effizienz

Haushalte Zahl der Haushalte mit niedrigerem Energieverbrauch

Zahl der Wohngebäude mit niedrigerer Energieklassifizierung – siehe Richtlinie 2010/31/EU. Niedrigere Klassifizierung muss direkte Folge des Projekts sein.

Output

33 kWh/Jahr Rückgang des Primärenergieverbrauchs in öffentlichen Gebäuden

Die Berechnungen basieren auf dem Energieausweis von Gebäuden (siehe Artikel 12 Absatz 1 Buchstabe b der Richtlinie 2010/31/EU). Im Einklang mit den in der Richtlinie festgesetzten Fristen muss der Indikator für alle öffentlichen Gebäude mit mehr als 500 m2 Gesamtnutzfläche gelten, die mit Strukturfondsmittteln errichtet worden sind. Liegt der Baubeginn nach dem 9. Juli 2015, so verringert sich der Schwellenwert für öffentliche Gebäude auf 250 m2 Gesamtnutzfläche.

Output

34 Kunden Zahl der zusätzlichen, an intelligente Netze angeschlossenen Energiekunden

Intelligentes Netz: Stromnetz, das die Aktionen der Energienutzer integriert, indem digitale Informationen mit dem Netzbetreiber oder Lieferanten ausgetauscht werden. Ein Energienutzer kann Verbraucher, Erzeuger oder beides sein.

Output

35 Verringerung von Treibhausgas-emissionen

in Tonnen CO2-Äq.

Geschätzter Rückgang der Treibhausgasemissionen in CO2-Äquivalenten

Bruttosenkung der Treibhausgasemissionen insgesamt (in CO2-Äquivalenten, Kilotonne pro Jahr) infolge der aus den Strukturfonds finanzierten Interventionen. Die Berechnung des CO2-Äquivalents steht im Einklang mit dem Rahmenübereinkommen der Vereinten Nationen über Klimaänderungen (siehe auch Entscheidung 2004/208/EG).

Anmerkung: Die Berechnung dieses Ergebnisindikators erfolgt mittels des gesunkenen Energieverbrauchs oder der gestiegenen Erzeugung von erneuerbarer Energie.

Ergebnis

Soziale Infrastruktur

   

36 Kinderbetreu-ung und Bildung

Personen Dienstleistungskapazität der unterstützten Kinderbetreuungs- und Bildungseinrichtungen

Zahl der Nutzer, die neu gebaute oder verbesserte Kinderbetreuungs- oder Bildungseinrichtungen nutzen können. Dazu zählen auch neue oder bessere Gebäude oder infolge des Projekts bereitgestellte neue Ausstattung.

Output

November 201130

37 Gesundheit Personen Kapazität der unterstützten Gesundheitsdienste

Personen, die voraussichtlich von dem Projekt unterstützte Gesundheitsdienste nutzen. Dazu zählen neue oder bessere Gebäude oder neue Ausrüstung für verschiedene Gesundheitsdienste (Vorsorge, ambulante oder stationäre Versorgung, Nachsorge).

Output

38 Wohnungsbau Haushalte Zahl der Haushalte, die von besseren Wohnbedingungen profitieren

Output

39 Kulturerbe Besuche Zahl der Besucher unterstützter Denkmäler und Gedenkstätten

Besucherzahl für Denkmäler oder Gedenkstätten, die als kulturell bedeutsam gelten und mit Strukturfondsmitteln renoviert wurden. Die Besuche werden in dem auf den Projektabschluss folgenden Kalenderjahr gezählt.

N. B: Der Unterschied zwischen diesem Indikator und Indikator 8 (Zahl der Besucher unterstützter Sehenswürdigkeiten) muss im Einklang mit der Strategie in der Programmplanungsphase festgelegt werden. Die Unterscheidung kann darüber hinaus aufgrund der Art des Empfängers der Unterstützung (z. B. Unternehmen oder Gemeinde, gemeinnützig oder nicht gemeinnützig) oder der Einnahmenquellen (z. B. mit oder ohne Eintrittsgebühren) erfolgen.

Ergebnis

Stadtentwick-lung

   

40 Personen Zahl der Personen, die in Gebieten mit integrierten Stadtentwicklungsstrate-gien leben

Zahl der Personen, die in Gebieten mit integrierten Stadtentwicklungsstrategien im Sinne von Artikel 7 der Verordnung XX (EFRE-Verordnung) leben.

Output

41   Quadrat-meter

Neue Freiflächen in städtischen Gebieten

Größe der renovierten/neu entwickelten öffentlich zugänglichen Freiflächen. Output

November 201131

42   Quadrat-meter

Neue öffentliche oder gewerbliche Gebäude in städtischen Gebieten

Größe der renovierten/neu entwickelten öffentlichen Gebiete und Gewerbegebiete. Output

43   Quadrat-meter

Neue Wohnungen in städtischen Gebieten

Größe der renovierten/neu entwickelten Wohngebiete. Output

Territoriale Zusammen-arbeit

   

44 Arbeitsmarkt und Ausbildung

Personen Zahl der Teilnehmer an grenzübergreifenden Mobilitätsinitiativen

45 Personen Zahl der Teilnehmer an gemeinsamen lokalen Beschäftigungsinitiativen oder Weiterbildungsmaßnahmen

46 Personen Zahl der Teilnehmer an Projekten zur Förderung der Gleichstellung von Frauen und Männern, der Chancengleichheit und der sozialen Integration über Grenzen hinweg

November 201132

47 Personen Zahl der Teilnehmer an gemeinsamen Aus- und Weiterbildungsprogrammen zur grenzüberschreitenden Förderung von Jugendbeschäftigung, Bildungsangeboten und Berufs- und Hochschulbildung

48 Institutionelle und administrative Kapazitäten

Zahl Zahl der Projekte zur Förderung der Zusammenarbeit in Rechts- und Verwaltungsfragen und der Zusammenarbeit zwischen Bürgern und Institutionen

49 Zahl Zahl der konzipierten und durchgeführten Projekte zur Förderung der Durchführung makroregionaler Strategien

50 Zahl Zahl der Projekte zur interregionalen Zusammenarbeit, die zur Stärkung der Wirksamkeit der Kohäsionspolitik konzipiert wurden

November 201133

51 Zahl Zahl der Projekte zur interregionalen Zusammenarbeit, die zur Stärkung der Wirksamkeit der Kohäsionspolitik konzipiert und durchgeführt wurden

November 201134

Anhang 2

Beispiele für die Nutzung von Ergebnisindikatoren

Beispiel 1: Unterstützung für Unternehmen

Beschreibung der Priorität

Region X möchte die Produktivität ihrer KMU beträchtlich steigern. Der Ergebnisindikator für dieses Ziel ist festgelegt als Mehrwert pro Arbeitskraft, als Durchschnittswert für alle KMU. Das strategische Instrument sind nicht rückzahlbare Finanzhilfen, die aus dem EFRE und der nationalen Kofinanzierung stammen.

Bei diesem Rechenweg liegt der Ausgangswert der KMU-Produktivität in der Region erheblich unter dem nationalen Durchschnitt und beträgt 80 % des nationalen Durchschnitts. Bekannt ist er aus nationalen Statistiken.

Ziel für Ergebnisindikator: Die Region möchte die Produktivität der KMU in der Region auf 85 % des nationalen Durchschnitts erhöhen. Angesichts der zur Verfügung stehenden Mittel werden voraussichtlich höchstens 15 % der KMU durch das Programm unterstützt. Es gibt keine frühere Evaluierung anhand derer sich quantifizieren ließe, um wie viel die Investitionsfinanzhilfen die Produktivität der unterstützten Unternehmen steigern.

Monitoring des Ergebnisindikators

Die Jahresberichte werden Informationen dazu enthalten, wie sich die Produktivität der KMU in der Region entwickelt hat. Die Informationen sind mit zeitlicher Verzögerung in den nationalen Statistiken enthalten.

Evaluierung

Die Region möchte nicht nur dokumentieren, zu welchem Grad das Ziel erreicht wurde, sondern auch erfahren, ob das Unterstützungsprogramm tatsächlich wirksam war. Zu diesem Zweck möchte sie einen kontrafaktischen Ansatz der Evaluierung wählen: In der Studie soll dargelegt werden, welche Wirkungen die Unterstützung zwei Jahre nach der Investition auf die Produktivität der KMU hat.

Das Evaluierungskonzept wird die Tatsache berücksichtigen, dass die verfügbaren Mittel begrenzt waren und nur ein Bruchteil der für eine Förderung in Frage kommenden Unternehmen, die einen Antrag stellen, unterstützt werden können. Die Wirkungen lassen sich schätzen, indem die Produktivität der kapp für die Förderung zugelassenen Unternehmen mit der der nicht mehr für die Förderung zugelassenen Unternehmen verglichen wird.

Wirkungen auf was? Erforderliche Daten

(Ergebnisindikator)

Produktivität Produktivität der geförderten Unternehmen nach der Unterstützung

Produktivität der nicht geförderten Unternehmen nach der Unterstützung

Datenquellen für die Evaluierung

Region X befindet sich in einer glücklichen Lage. Die Daten für die geförderten und die nicht geförderten Unternehmen können in den Bilanzen der Unternehmen eingesehen werden, die die Steuerbehörde sammelt. Die Region vereinbart mit der Steuerbehörde, dass für die Evaluierung

auf die Daten zugegriffen werden darf. Der Abschluss dieser Vereinbarung nahm mehrere Monate in Anspruch.

36

Beispiel 2: Förderung des Baus eines Autobahnnetzes, einschließlich fehlender Verbindungen im transeuropäischen Netz

Beschreibung der Priorität

Im Rahmen der größeren Infrastrukturprogramme möchte Mitgliedstaat X sein Autobahnnetz ausbauen, einschließlich des letzten noch ausstehenden Projekts im transeuropäischen Netz. Dieses Programm führt ein ähnliches Verkehrsprogramm aus dem vorangegangenen Programmplanungszeitraum weiter. Der Mitgliedstaat möchte die Zugänglichkeit über das Straßennetz verbessern, gemessen an einem Straßenzugänglichkeitsindex (Ergebnisindikator).

Der Ausgangswert für die Ausweitung der TEN-V-Projekte ist, dass zwei der drei Autobahnprojekte des Mitgliedstaats abgeschlossen sind, also 70 % der vorgesehenen Straßenkilometer. Der Ausgangswert für das Infrastrukturprogramm als Ganzes ist der Wert X des Straßenzugänglichkeitsindexes. Der Indexwert zu Programmbeginn wurde anhand des bestehenden nationalen Verkehrsmodells errechnet. Der Mitgliedstaat möchte den Indexwert für die drei Regionen, die am dringendsten gefördert werden müssen, innerhalb des Programmplanungszeitraums um ca. 15 % senken (Ziel für den Ergebnisindikator).

Monitoring des Ergebnisindikators

Während des Programmplanungszeitraums wird ab dem dritten Jahr der Umsetzung alle zwei Jahre der Zugänglichkeitsindex modelliert.

Evaluierung

Der Evaluierungsplan umfasst mehrere Elemente:

- Kosten-Nutzen-Analyse (ex-post) für die wichtigsten im Rahmen des Programms kofinanzierten Projekte des vorangegangenen Programmplanungszeitraums;

- Modellierung des Zugänglichkeitsindexes anhand des bestehenden Verkehrsmodells. Die Modelle ermöglichen die Isolierung der Wirkungen der wichtigsten Projekte, die im Rahmen des Infrastrukturprogramms finanziert werden, auf den Zugänglichkeitsindex.

Wirkungen auf was? Erforderliche Daten

(Ergebnisindikatoren)

Straßenzugänglichkeitsindex Daten zum Straßenverkehr, erhoben in regelmäßigen nationalen und regionalen Umfragen

37

Beispiel 3: Förderung von Innovation in KMU

Beschreibung der Priorität

Region X möchte die Innovation in den KMU fördern. Dabei sollen die unzureichende firmeninterne Innovationskapazität und der Grad der Zusammenarbeit zwischen KMU in diesem Bereich thematisiert werden. Daher ist der Ergebnisindikator der Prozentsatz an KMU, die firmenintern innovative Wege ausarbeiten. Dieser Indikator entstammt den Indikatoren, die für den europäische Regionalen Innovationsanszeiger (Regional Innovation Scoreboard, RIS) herangezogen werden. Er ist wie folgt definiert:

KMU mit Innovationstätigkeiten innerhalb der Firma. Unternehmen gelten als innovativ, wenn sie entweder 1. firmenintern oder 2. zusammen mit anderen Unternehmen neue Produkte oder Verfahren eingeführt haben. Dieser Indikator beinhaltet nicht neue Produkte oder Verfahren, die von anderen Unternehmen entwickelt wurden.

Das politische Instrument sind nicht rückzahlbare Finanzhilfen an Unternehmen. Die Region schätzt, dass die Mittelausstattung des Programms die Unterstützung von 10 % der KMU in der Region ermöglicht.

Der Ausgangswert ist der Prozentsatz an KMU, die im Jahr vor dem Programm firmenintern innovativ waren (25 %).

Das Ziel ist die Steigerung dieses Prozentsatzes. Nach Meinung der Region ist nach Ablauf des Zeitraums ein Wert zwischen 30 und 35 % möglich.

Monitoring des Ergebnisindikators

Der Regionale Innovationsanzeiger wird alle zwei Jahre aktualisiert. Im Prinzip werden die Daten über die Innovationsuntersuchung der Gemeinschaft, die alle zwei Jahre durchgeführt wird, erhoben.

Evaluierung

Die Evaluierung konzentriert sich auf die Mechanismen und Grenzen, die KMU zu Innovationen an- bzw. davon abhalten. Mögliche Faktoren, die die Entscheidungen der KMU beeinflussen und somit untersucht werden müssen, sind:

- Zugang zu Darlehen, - Fähigkeit, qualifiziertes Fachpersonal anzuwerben, - ein „innovatives Umfeld“, z. B. der Grad an Zusammenarbeit zwischen Unternehmen,

Universitäten und öffentlichen Einrichtungen.

Zwei Umfragen – eine zu Unternehmen, die zweite zu politischen Entscheidungsträgern – drei Jahre nach Beginn des Programmplanungszeitraums werden die notwendigen Daten liefern. Es ist von großer Bedeutung, die Befragten die obengenannten Faktoren ihrer Bedeutung nach ordnen zu lassen und weitere Faktoren zu untersuchen. Die Ergebnisse der Umfrage werden in einer Expertenrunde und einer Diskussion mit Empfängern und politischen Entscheidungsträgern ausgewertet.

Wirkungen auf was? Für die Evaluierung erforderliche Daten

Prozentsatz der KMU, Werte des Indikators, Quelle: Regionaler38

die firmenintern innovative Wege gehen Innovationsanzeiger,

Ergebnisse der für die Evaluierung durchgeführten Umfragen

39

Beispiel 4: Europäische territoriale Zusammenarbeit

Beschreibung der Priorität

Zwei Regionen, die an einem grenzübergreifenden Kooperationsprogramm beteiligt sind, möchten die Dienstleistungen im Bereich Bildung über die Grenze hinweg verbessern. Unterstützt (Finanzhilfen) werden grenzübergreifende Aktivitäten mit einem Bezug zum Bereich Bildung in den folgenden Bereichen: Zusammenarbeit zwischen Universitäten, Schulen und Schulungsanbietern, Mobilität von Angestellten, gegenseitige Anerkennung von Abschlüssen, Sprachkurse und Austauschprogramme.

In dem Programm werden zwei Ergebnisindikatoren festgelegt:

1. Zugang zu Diensten im Bereich Bildung auf der anderen Seite der Grenze, gemessen als Zahl der Personen, die Bildungsdienstleistungen auf der anderen Seite der Grenze nutzen

2. Qualität der Bildungsdienstleistungen auf der anderen Seite der Grenze, gemessen als Zufriedenheitsrate der Personen, die diese Dienstleistungen nutzen.

Ausgangswerte

1. Die Zahl der Personen, die zu Programmbeginn Bildungsdienstleistungen auf der anderen Seite der Grenze nutzen, ist aus den Verwaltungsdaten bekannt (2000 Personen).

2. Die Zufriedenheitsrate der Personen, die zu Programmbeginn Bildungsdienstleistungen auf der anderen Seite der Grenze nutzen, war nicht bekannt. Bei der Vorbereitung des Programms führten die Regionen eine Telefonumfrage unter 1000 derzeitigen Nutzern durch. Gemäß der Umfrage waren 50 % der Nutzer mit der Qualität der Bildungsdienstleistungen zufrieden, 20 % sehr zufrieden, und 30 % fanden die Situation unbefriedigend.

Ziel für Ergebnisindikatoren: Die Regionen möchten den Prozentsatz der zufriedenen und sehr zufriedenen Nutzer auf 80 % aller Nutzer steigern, und die Zahl der Nutzer soll um mindestens 100 Personen steigen.

Monitoring der Ergebnisindikatoren

Die Zahl der Personen, die Bildungsdienstleistungen auf der anderen Seite der Grenze nutzen, kann jährlich mittels Verwaltungsstatistiken überwacht werden. Zum Monitoring der Entwicklung der Zufriedenheitsrate wird alle zwei Jahre eine Telefonumfrage organisiert.

Evaluierung:

Nach den Vorstellungen der Regionen soll der Evaluierungsprozess aktive und potenzielle Nutzer der grenzübergreifenden Bildungsdienstleistungen eng einbinden. In mehreren Diskussionen mit den Teilnehmern werden die Evaluierer ermitteln, welche der unterstützten Dienstleistungen als besonders erfolgreich angesehen werden, was die Gründe dafür sind und welche Dienstleistungen als weniger nützlich gelten. Darüber hinaus werden die Evaluierer bei Personen, die diese Leistungen nicht nutzen, erfragen, warum sie grenzübergreifende Bildungsangebote (noch) nicht in Anspruch nehmen, und was ihrer Meinung nach geändert werden sollte.

40

Anhang 3

Eine Struktur der Evaluierungsstandards6:

A) Effiziente Evaluierungen erfordern eine angemessene Planung und Ressourcenausstattung.

1. Für Programme sollte es eine Evaluierungsstelle mit klar definierten Zuständigkeiten für die Koordinierung der Evaluierungstätigkeiten geben.

2. Für diese Evaluierungsstelle müssen die finanziellen und personellen Ressourcen eindeutig ermittelt und bereitgestellt werden.

3. Jedes Programm muss die Verfahren für die Einbindung von interessierten Kreisen klar definieren.

B) Die Evaluierungstätigkeiten müssen transparent geplant werden, damit die Ergebnisse rechtzeitig vorliegen.

1. Die Evaluierungsstelle bereitet in Absprache mit interessierten Kreisen ein Evaluierungsprogramm vor.

2. Alle Tätigkeiten sind entsprechend den zugewiesenen Ressourcen und den an sie gestellten Erwartungen regelmäßig zu evaluieren.

3. Die Evaluierungen müssen zeitlich so geplant werden, dass ihre Ergebnisse bei Entscheidungen über die Konzeption und Änderung von Tätigkeiten berücksichtigt werden können.

C) Bei der Evaluierungskonzeption müssen Ziele sowie geeignete Methoden und Maßnahmen zur Durchführung des Evaluierungsprozesses und zur Ergebnisnutzung festgelegt werden.

1. Es sollte für jede Evaluierung eine Lenkungsgruppe eingesetzt werden, die bei der Festlegung der Evaluierungsklauseln berät, die Evaluierungstätigkeiten unterstützt und die Qualität der Evaluierung mitbeurteilt.

D) Bei der Evaluierungsdurchführung ist auf verlässliche und aussagekräftige Ergebnisse zu achten.

1. Evaluierungen sind so durchzuführen, dass die Ergebnisse eindeutig belegt sind und sich auf exakte Analysen stützen.

2. Alle an einer Evaluierung Beteiligten müssen sich nach den Grundsätzen und Regeln über Interessenskonflikte richten.

3. Evaluierer dürfen nicht beeinflusst werden und müssen ihre Ergebnisse objektiv darstellen können.

4. Im abschließenden Evaluierungsbericht müssen mindestens Zweck, Hintergrund, Fragen, Informationsquellen, angewandte Methoden, Belege und Schlussfolgerungen aufgeführt sein.

5. Die Evaluierungsqualität ist auf Grundlage vorab festgelegter Kriterien zu bewerten.

6 Basierend auf: Evaluierungsnormen der Europäischen Kommission. Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso. Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen. Brüssel, 2007.

41

Anhang 4

Literaturempfehlung

Wir empfehlen folgende Quellen:

Qualität der Evaluierungsberichte: EVALSED, The Guide. http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/guide/designing_implementing/managing_evaluations/quality_en.htm

Website der European Evaluation Society: Zugang zu den Normen der nationalen Evaluierungsgesellschaften. http://www.europeanevaluation.org/library/evaluation-standards.htm

OECD (2010). Quality Standards for Development Evaluation. http://www.oecd.org/dataoecd/55/0/44798177.pdf

42

Anhang 4

Literaturempfehlungen

1. EVALSED. Online-Ressource mit Tipps zur Evaluierung sozioökonomischer Entwicklungen. http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/guide/index_en.htm

EVALSED bietet eine kurze Einführung in diverse Evaluierungstechniken. Zu EVALSED gehört auch ein Archiv von Evaluierungen im Rahmen der Regionalpolitik.

2. Impact Evaluation and Development. NONIE (Network of Networks on Impact Evaluation)http://www.worldbank.org/ieg/nonie/

3. Outcome Indicators and Targets. Anmerkung zur Methodik, erstellt für die GD Regionalpolitik von der Hochrangigen Gruppe, Vorsitz F. Barca und P. McCann.http://ec.europa.eu/regional_policy/sources/docgener/evaluation/performance_en.htm

4. Société Française de l'Evaluation. Evaluation des impacts des programmes et services publics. 2011. http://www.sfe-asso.fr/sfe-evaluation.php?mode=cahiersindiv&id_cahier=21

5. Key evaluation checklist. Michael Scriven, 2005http://www.wmich.edu/evalctr/archive_checklists/kec_feb07.pdf

6. Evaluierungsnormen der Europäischen Kommission. Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso. Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen. Brüssel, 2007.http://ec.europa.eu/dgs/information_society/evaluation/data/pdf/sec_2007_0213_en.pdf

43