Upload
emmeline-nestle
View
103
Download
0
Embed Size (px)
Citation preview
Prof. Dr. Wolfgang Böttcher
Evaluation
Prof. Dr. Wolfgang Böttcher
Agenda
1) Definition von Evaluation
2) Ansätze/Formen der Evaluation
3) Standards der Evaluation
4) Ziele und Funktionen der Evaluation
2Evaluation
Prof. Dr. Wolfgang Böttcher
Evaluation: Definition
• Datenerfassung
• Systematisch
• Wissenschaftliches Instrumentarium
• Zweckorientiert
• Datengenerierung
3Evaluation
Prof. Dr. Wolfgang Böttcher
Wissenschaftliche Herkunft der Evaluation
• Anwendung empirischer (sozialwissenschaftl.) Forschungsmethoden
zur Informationsgewinnung
• Systematische (vergleichende Verfahren) zur
Informationsbewertung
• Anhand offen gelegter, intersubjektiv nachprüfbarer Kriterien
• Um den Nutzen (Wert) eines Objekts (z.B. Programm) zu bewerten
• Um Entscheidungen treffen zu können
4Evaluation
Prof. Dr. Wolfgang Böttcher
Evaluation als „Controlling“
- Input
- Prozess
- Output
5Evaluation
SOLL IST – Vergleich
ZIEL REALITÄT
Prof. Dr. Wolfgang Böttcher
Evaluation und Steuerung
• Kritik an alter Steuerung: Mangelnde Ergebnisorientierung
• Zentrale Klärung von (Bildungs)zielen
• Überprüfung von Ergebnissen
• Definition von Prozessen
• Definition von Ressourcen
6Evaluation
Prof. Dr. Wolfgang Böttcher
Ansätze
• Selbstevaluation
• Fremdevaluation
• Meta- Evaluation
• Prozessevaluation („formativ“)
• Ergebnisevaluation („summativ“)
7Evaluation
Prof. Dr. Wolfgang Böttcher
Gegenstände der Evaluation
•Personen
•Gruppen
•Organisationen
•Institutionen
•Programme
8Evaluation
Prof. Dr. Wolfgang Böttcher
Prozesse und Ergebnisse
Säule 1
Formativ
•Überprüfung des Programmablaufs•Bewertung der Programmkonzeption•Probleme bei Umsetzung•Steuerung des Programms
9Evaluation
Säule 2
Summativ
•Input- und Output- Überprüfung•Feststellung der Zielerreichung•Wirkungsbeobachtung•Bewertung des Nutzens durch die Zielgruppen
Ableitung von Empfehlungen für weiteres Vorgehen
Prof. Dr. Wolfgang Böttcher
Interne und externe Evaluation
Intern
Von der gleichen Organisation vorgenommen, die auch das Programm durchführt
Vorteile• rasch, geringer Aufwand• hohe Sachkenntnis• unmittelbare Umsetzung
Nachteile• geringe Methodenkompetenz• fehlende Unabhängigkeit und Distanz• „Betriebsblindheit“
10EvaluationExtern
Extern
Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durch-führungsorganisation angehören
Vorteile• hohe Unabhängigkeit• große Methodenkompetenz• unterstützen Reformkräfte• große Glaubwürdigkeit
Nachteile• geringe Sachkenntnis• Abwehrreaktionen• Umsetzungsprobleme
Kombiniertes Monitoring und Evaluationssysteme
Prof. Dr. Wolfgang Böttcher
Pädagogische Implikationen (Jamentz, Kate 2001)
Traditioneller Unterricht
•Auswahl eines Themas (Lehrplan)•Design der
Lehrmethoden•Design und Einsatz
von Tests•Noten ggf.
Feedbacks•Neues Thema
Standardbasierung
•Auswahl eines Standards•Design eines Assessments,
das Standards abbildet•Was braucht der Schüler,
um Standard zu erreichen?•Unterrichtsplanung: Hat
jeder die Chance, das Nötige zu lernen?
•Assessment/Datenanalyse: Wiederholung, neuer Ansatz oder neuer Standard
Prof. Dr. Wolfgang Böttcher
Typen der Evaluation bei pädagogischen und sozialen Reformen
•Bedarfsevaluation
•Theorie- Evaluation
•Prozess- Evaluation
•Ergebnis-/ Effekt-/ Wirkungsevaluation
•Effizienz- Evaluation
12Evaluation
Prof. Dr. Wolfgang Böttcher
Anforderungen an Evaluation (Standards)
Evaluationen sollen:
nützlich sein, d.h. an den Informationsbedürfnissen der Nutzer ausgerichtet sein (Nützlichkeit)
realistisch, gut durchdacht, diplomatisch und kostenbewusst durchgeführt werden (Durchführbarkeit)
rechtlich und ethisch korrekt ablaufen und dem Wohlergehen der in die Evaluation einbezogenen und von den Ergebnissen betroffenen Personen Aufmerksamkeit schenken (Korrektheit)
über die Güte und/oder die Verwendbarkeit eines evaluierten Programms fachlich angemessene Informationen hervorbringen und vermitteln (Genauigkeit)
13Evaluation
Prof. Dr. Wolfgang Böttcher
Ziele der Evaluation
14Evaluation
EvaluationEvaluation
Erkenntnisfunktion Kontrollfunktion
Lernfunktion Legitimitätsfunktion
Prof. Dr. Wolfgang Böttcher
Komplexe Bedingungen: Selbstevaluation
1) Verantwortungsdelegation: Verantwortung für die Evaluation für bestimmte Zeit an ein/e bestimmte Person/en delegiert.
2) Durchführung der Selbstevaluation: Zeitweise Unterstützung durch interne oder externe Evaluationsexperten möglich.
3) Gestaltungsspielräume müssen abgesteckt sein. 4) Vereinbarungen mit der Leitungsebene sind Voraussetzung.5) Verfahren mit Informationsweitergabe und Veröffentlichungen.
Transparenter Prozess und Dokumentation der Ergebnisse. 6) Zuständigkeiten und Kompetenzen müssen geklärt sein. 7) Kommunikation zwischen den Hierarchie-Ebenen muss transparent
gestaltet werden. 8) Ressourcen, die benötigt werden, müssen frei gestellt werden. Müller-Kohlenberg, H./Beywl, W. (2003): Standards der Selbstevaluation -- Begründung und aktueller
Diskussionsstand. In:* *Zeitschrift für Pädagogik 03, S.65-76
15Evaluation
Prof. Dr. Wolfgang Böttcher
Was-Fragen
•Was wird bewertet?
•Wer wird bewertet?
•Wer bewertet?
•Was/wie sind die Standards der Bewertung?
•Was/wie sind die Prozesse der Bewertung?
•Welche Funktion erfüllt die Bewertung?
•Welche Konsequenzen hat die Bewertung?
16Evaluation
Prof. Dr. Wolfgang Böttcher
Gelingensbedingungen
•Klare Zielsetzung
•Beteiligung der Akteure
•Klärung der Durchführungsnormen
•Klare und relevante Fragestellungen
•Handhabbare Methoden
•Überschaubare Datenmenge
•Perspektiven- Mix
•Schnelle Rückmeldungen
•Zeit für Auswertung
•Dokumentation der Ergebnisse und Bewertungen
•Wiederholung der Evaluation
17Evaluation