Upload
cundrie-zerfas
View
120
Download
4
Embed Size (px)
Citation preview
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
1
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
Disziplinorientierte versus praxisorientierte Sozialforschung
Disziplinorientierte versus praxisorientierte Sozialforschung
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
2
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
Grundlegende „VOKABELN“:Grundlegende „VOKABELN“:
Erkenntnistheorie:Grundlegende Annahmen (Axiome) über die Möglichkeit menschlicher Erkenntnis (z.B. Konstruktivismus, Realismus, Idealismus)
Wissenschaftstheorie:Die Erkenntnislogik einer spezifischen Wissenschafts“schule“ und deren Argumentationsstrategie, mit der die wissenschaftliche Geltung ihrer Aussagen geprüft und begründet wird (z.B. Positivismus, Kritischer Rationalismus, Phänomenologie, Symbolischer Interaktionismus)
Substanztheorie (z.B. „soziologische Theorie“):System von Hypothesen über einen empirischen (hier: sozialen) Gegenstands-bereich (z.B. soziologische Handlungstheorie, Systemtheorie, Theorien der Stadtentwicklung)
Methodologie:Lehre von den (wissenschaftlichen) Methoden der Erkenntnisgewinnung und ihrer Anwendung (z.B. „qualit.“ / „quantit.“ Sozialforschung, Hermeneutik)
Methoden / Techniken:Spezifische Methoden / Verfahren / Vorgehensweisen der Informationssammlung und Auswertung (z.B. Befragung, Inhaltsanalyse, Tests, Korrelationsrechnung)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 3
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Zum Begriff anwendungsorientierte oder praxisorientierte
versus disziplinorientierte Sozialforschung
Zentrale Funktion:
disziplinorientierte Sozialforschung:
„Aufklärung“ (enlightenment) durch Veröffentlichung
Wissensorientierung / Erklärung / Verallgemeinerung
praxisorientierte Sozialforschung:
Wissensübertragung (Transfer) durch Beratung
Handlungsorientierung / Beeinflussung / Situationsbezogenheit
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 4
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Zum Begriff anwendungsorientierte oder praxisorientierte
versus disziplinorientierte Sozialforschung
Einfluß auf „Praxis“ und „Politik“:
disziplinorientierte Sozialforschung (indirekt): Revision veralteter Auffassungen Neuformulierung von Zielen und Prioritäten
praxisorientierte Sozialforschung (direkt): Erweiterung und Konkretisierung der Informationsbasis
über Beteiligte und Betroffene („stakeholder“) maßnahmenbezogene Zielformulierung Maßnahmenentwicklung und –implementation Erfolgskontrolle
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 5
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Zum Begriff anwendungsorientierte oder praxisorientierte
versus disziplinorientierte Sozialforschung
Feedback(aus der Praxis / aus der Öffentlichkeit):
disziplinorientierte Sozialwissenschaft:
kein direktes Feedback (außer bei Rezensionen von Veröffentlichungen)
verwertungsneutrale Erweiterung des Wissensbestandes
praxisorientierte Sozialforschung:
direktes Feedback durch Nutzer
bedarfsorientierte Bereitstellung und Aufbereitung von Informationen
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 6
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Politik und Planung
Erfolgs-Kontrolle
Bestands-Analyse
Formulierungvon
Handlungs-alternativen
Entscheidung
Vorauswahl
Status-quo-Prognose
GrobeWirkungs-analyse
Wirkungs-analyse
Durchführung
Definitionder Zielkriterien und
Zielgewichtung
Schema des kontinuierlichen Planungsprozessesaus: J. Eekhoff, R. Muthmann u.a.: Methoden und Möglichkeiten der Erfolgskontrolle, Bonn-Bad Godesberg 1977, S. 18
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 7
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Politik und Planung„Versagen“ der Wissenschaft
• den in sich stimmigen, widerspruchsfreien Zielsystemen fehlte die Entsprechung in der Realität
• Zielkataloge können nicht so flexibel sein, dass sie Wertewandel antizipieren
• zu große Komplexität der sozialen Realität, um in gesamtgesellschaftlichen Indikatorensystemen abgebildet zu werden
• Status-quo-Rechnungen erwiesen sich als fehleranfällig; bei sich ändernden Randbedingungen wurden sie wertlos; erst recht gilt dies für die tiefer gehenden Wirkungsanalysen oder Folgeabschätzungen
• Modellrechnungen müssen notwendigerweise Komplexität so stark reduzieren, dass sie realitätsfern werden
Fehler des Planungsmodells
• Probleme in der Implementationsphase wurden übersehen
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 8
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Politik und PlanungAlternative: „experimentelle Politik“
• statt fehlerbehaftete formalisierte Planungs- und Entscheidungs-modelle anzuwenden, macht sich die Politik den Königsweg der Grundlagenforschung zunutze: das kontrollierte Experiment
• indikatorengestützte Politik wird auf die Routinefragen reduziert
• bei innovativen Vorhaben sollen Pilotprojekte und „rückholbare“ Feldversuche die für Entscheidungen notwendigen Erfahrungen liefern
• die Feldexperimente werden jeweils wissenschaftlich begleitet (Monitoring der Implementation, Messung der bewirkten Veränderungen des Programms, Zurechnung der Wirkungen zu den Maßnahmen, Identifikation ungeplanter Auswirkungen) und analysiert
• Wissenschaft wird so wieder angewandten Sozialforschung und zum Lieferanten empirisch abgesicherter Informationen, ist aber nicht mehr direkt eingebunden in den politischen Planungs- und Entscheidungsprozess
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 9
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Wissenschaftliche Begleitung und Programmwirkungsforschung
HANDLUNGSPROGRAMM (Maßnahmen/Instrumente)
PROGRAMMZIELE
PROGRAMMUMWELT
EFFEKTE (beabsichtigte und nicht- beabsichtigte Wirkungen = Kriterien der Zielerreichung)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 10
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
(ethisch-moralischgeprägt)
(Abhängigkeit/mgl. Konflikte)
(win-win-Situation)
Politik undVerwaltung
Wissenschaft
Evaluation
Öffentlichkeit
(nach Th. Widmer, 2000: Qualität der Evaluation, S. 82)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
11
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
Evaluation: ein Begriff – verschiedene Konzepte
Evaluation: ein Begriff – verschiedene Konzepte
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
12
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
„Evaluation“„Evaluation“
Was IST das? Erläuterung:
ein Begriff /ein Konzept
ein Resultat / ein Wert-urteil
ein spezifischesHandeln / ein Prozess
symbolische Ebene: eine aus dem Amerika-nischen übernommene Bezeichnung für"Bewerten/Bewertung" / ein Denkmodell fürein systematisches Bewertungsverfahren
zielorientiertes Informationsmanagement:eine (methodisch kontrollierte) verwertungs-und bewertungsorientiertze Form desSammelns und Auswertens von Informationen
Aussage über das Ergebnis des Evaluations-prozesses
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
13
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Der Begriff „Evaluation“ (1)Der Begriff „Evaluation“ (1)
Begriffsverwendungen: Bedeutung:
alltagssprachlich
in der Umfrageforschung
"politisch"
Irgend jemand BEWERTET irgend etwas irgend-wie unter irgend welchen Gesichts-punkten
Überprüfung eines Programms / einer Ein-richtung durch ein zu diesem Zweck berufenesExpertengremium (Resultat: Evaluations-gutachten mit Empfehlungen)
Erhebung und Auswertung bewertender(="evaluierender) Aussagen; Analogie zurMeinungsforschung (s. Politbarometer, Teil-nehmerbefragungen in Seminaren)
empirisch/methodisch: Design für einen spezifischen Typ empirischerSozialforschung (experimentelle / quasi-experi-mentelle Programmforschung, Implementations-und Begleitforschung, Erfolgskontrolle,formative Evaluation)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
14
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Der Begriff „Evaluation“ (2)Der Begriff „Evaluation“ (2)
alltäglicher Sprachgebrauch wissenschaftlicher Sprachgebrauch
Irgend etwas
bewertet
in irgend einer Weise
nach irgendwelchenKriterien
von irgend jemandem
wird
Programme, Maßnahmen, Organisationen
durch Personen, die zur Bewertung besondersbefähigt erscheinen: Sachverständige, Experten,Betroffene etc.
nach explizit auf den Sachverhalt bezogenen undbegründeten Beurteilungskriterien und ggf.Standards
in einem objektivierten Verfahren, im Rahmeneines im Detail geplanten Evaluationsdesigns
werden
bewertet
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
15
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Der Begriff „Evaluation“ (3)Der Begriff „Evaluation“ (3)Präzisierungen:
existent (neu, alt); in Planung/Entwicklung; bereits implemen-tiertes polit. Programm, Feldversuche, Entwicklungsprojekte;Umfeld eines Programms
unterschiedlicher Bezug zum Gegenstand: außenstehende /unabhängige Wissenschaftler, Auftragsforscher, im ProgrammMitwirkende, externe Berater, engagierte Betroffene, Befürworter/ Gegner
Zielerreichung/Wirkungen/Nebenwirkungen, Effizienz der Durch-führung, Eignung und Effektivität der Maßnahmen, Angemessen-heit / Legitimierbarkeit der Ziele; Perspektiven (Auftraggeber,Betroffene, Durchführende, Allgemeinheit, Sozialverträglichkeit)
qualitative/quantitative Forschungslogik, experimentell/nicht-experimentell; Evaluation im Vorfeld, begleitend, nachträglich;möglichst wenig beeinflussend vs. formativ
wissenschaftlicher Sprachgebrauch
Programme, Maßnahmen,Organisationen
durch Personen, die zur Bewertungbesonders befähigt erscheinen:Sachverständige, Experten,Betroffene etc.
nach explizit auf den Sachverhaltbezogenen und begründetenKriterien und ggf. Standards
in einem objektivierten Verfahren,im Rahmen eines im Detail geplan-ten Evaluationsdesigns
werden
bewertet
Konsequenz für Evaluationsdesign und -methodik: kein allgemeingültiges Design / keine speziellen Evaluations-methoden; "maßgeschneidertes" Vorgehen für jedes Projekt notwendig
Fazit für eine passende DEFINITION: EVALUATION = besondere Form angewandter Sozialwissenschaft (nicht nur-forschung); methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns undAuswertens von Informationen. Das ZIEL sind Werturteile mit intersubjektivem Geltungsanspruch.
Die "Besonderheit" von FORSCHUNG ALS EVALUATION liegt nicht in der Methodik der Datengewinnung, nicht inder Begründung und Absicherung ihrer Aussagen, sondern in der Perspektive und im Primat der Praxis.
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
16
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Erkenntnisziele → Evaluation zu welchem Zweck?Erkenntnisziele → Evaluation zu welchem Zweck?
Bezeichnung: Funktionen/Ziele/Prioritäten:
"Forschungsparadigma"
"Entwicklungsparadigma"
"Kontrollparadigma"
Evaluation als Chance für die Gewinnunganwendungsorientierten und transferfähigenGrundlagenwissens, Bindeglied zwischenTheorie und Praxis; wissenschaftliche undmethodische Kriterien stehen im Vordergrund
Evaluation als Beitrag zur Planungsrationalitätdurch Erfolgskontrolle; weitere Kontrollformneben Rechtmäßigkeitskontrolle (Gerichte),politischer Kontrolle (Parlamente) und Wirt-schaftlichkeitskontrolle (Rechnungshöfe);Priorität hat das Programm, methodischeAnsprüche müssen ggf. zurückstehen
Prozeßorientierung, Beitrag zur Programm- oderOrganisationsentwicklung; Evaluation ist nebenForschung auch Beratung; Einbezug derBetroffenen und Beteiligten ("stakeholders");flexibles, situationsoffenes Design
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 17
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Die Dualität von Politik und Evaluation
Implementation
Entwicklung
Forschung
Beratung
Programm Evaluation
Ziele
des Programms der Evaluation
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
18
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Das „komplette“ Evaluationsdesign:Das dreistufige Verfahren des „peer review“Lieferung der „evaluations-relevanten“
Informationen durch „das Programm“ und die empirische Forschung (Daten zur Programmdurchführung, Selbstbeschreibung und Selbstbewertung durch die Programmverantwortlichen, „Stakeholder“-Befragungen mit Bewertungscharakter)
Bewertung durch externe Experten (peers), die die Funktion von Evaluatoren übernehmen (=subjektive Bewertungen, Geltungsbegründung durch Datenbezug und „Ansehen“ der Experten)
Festlegung des „follow up“ (also der Konsequenzen aus akzeptierten Evaluationsurteilen) durch übergeordnete Instanz oder als Resultat eines Aushandlungsprozesses zwischen den Beteiligten
Lösungsstrategie für die Evaluationsprobleme: „Objektivierung durch Verfahren“. Schwierigkeiten des Verfahrens: Projektmanagement, Konsensfindung über Zuständigkeiten und Verantwortliche
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
19
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
Evaluation durch Forschung- das Leitmodell
Evaluation durch Forschung- das Leitmodell
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
20
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
PROGRAMMZIELE (u. Ziele der Programmakteure)
Dimensionen des „Evaluationsgegenstands“
HANDLUNGSPROGRAMM (Maßnahmen/Instrumente) (Programmakteure)
PROGRAMMUMWELT („stakeholder“, alternative Ziele)
EFFEKTE (beabsichtigte und nicht- beabsichtigte Wirkungen = Kriterien der Zielerreichung)
Das idealtypische Design und methodologische „Leitmodell“:
Evaluation als Programmwirkungsforschung
Das idealtypische Design und methodologische „Leitmodell“:
Evaluation als Programmwirkungsforschung
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
21
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Methodisches (1): Aufgabenen der ProgrammforschungMethodisches (1): Aufgabenen der Programmforschung
"Evaluierung"
Forschungsaufgaben: Arbeitsschritte:
Anhand der Daten aus dem "monitoring" von Programm,Umwelt und Wirkungsfeld: Analyse der Programmzieleund ihrer Interdependenzen; differentielle Zurechnungder Veränderungen auf Programm-Maßnahmen und aufexogene Einflüsse; Vergleich der den einzelnen Maß-nahmen zurechenbaren Effekte mit den angestrebtenZielniveaus.
Messung der "unab-hängigen" Variablen
Messung der "ab-hängigen" Variablen
Messung der "Umwelt"-Einflüsse
Das Handlungsprogramm mit seinen einzelnenMaßnahmen ist präzise zu erfassen (bei Begleit-forschungen: mehrfach = "monitoring")
alle potentiellen exogenen Einflüsse sind zuidentifizieren und präzise zu erfassen (bei Begleit-forschungen mehrfach = "monitoring")
das Wirkungsfeld (beabsichtigte und nicht-beabsichtigteEffekte) ist zu identifizieren; die Wirkungen sindanhand definierter Zielerreichungs-Kriterien (operatio-nalisierter Ziele) zu messen (ggf. kurz-, mittel- und lang-fristig; bei langfristig erwarteten Wirkungen Definition vonschlußfolgernden Indikatoren für spätere Wirkungen)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
22
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Ins Detail übersetzt: Variablenmodell einer Evaluationsstudie Ins Detail übersetzt: Variablenmodell einer Evaluationsstudie
A
C
B
B
intendierte Effekte kurz-, mittel-, lang- fristig nicht- intendierte Effekte
D
Erläuterung: (die Pfeile symbolisieren die Wirkungsrichtung): im allgemeinen nicht Gegenstand von Evaluationsstudien A Maßnahmen orientieren sich am "Input" und an den Zielen B Maßnahmen werden durchgeführt und haben "Wirkungen" C "Reifungsprozesse" (Zustände ändern sich im Zeitablauf ohne Einwirkung von "Maßnahmen" D externe Effekte (Wirkungen der Programmumwelt)
Zustände der Realität werden durch Meßinstrumente abgebildet
("Daten"); die verwendeten Untersuchungsmethoden sind jedoch niemals völlig neutral, sondern haben (insbesondere bei wiederholter Anwendung) Auswirkungen auf das Meßergebnis
PROGRAMM- ZIELE
Ausgangs- variablen, "INPUT"- Variablen (Ausgangs- bedingungen, Eingangs- zustände u. -verhalten
OPERATIONS-VARIABLEN (Maßnahmen, "treatments")
PROGRAMM- DURCHFÜHRUNG (Implementation) Prozeß der Ver- mittlung und Um- setzung der Ziele und Operations- variablen durch mehrere Stufen u. Ebenen
OUTPUT"- Variablen (Endverhalten, Endzustand)
UMWELTVARIABLEN; EXOGENE VARIABLEN (Umgebungssituation und -veränderung; andere Programme und Maßnahmen)
UNTERSUCHUNGSDESIGN / ERHEBUNGSMETHODEN / MESSUNG
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
23
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
AbbildungDesignstrukturen bei Experimenten (nach Frey/Frenz 1982, 250)
one-group pretest/posttest design
pretest/posttest G1 R M1 + M2 (non)equival.four- control group control groupgroup design G2 R M1 — M2 designdesign(Solo- posttest-only G3 R — M staticmon) control group group-
design G4 R + M comparison
one-shotcase study
Erläuterung:G = Gruppe; R = Randomisierung; M = Messung; + = "treatment"
Methodisches (2): Wirkungszurechnung erfordert „eigentlich“ ein Experimentaldesign
Methodisches (2): Wirkungszurechnung erfordert „eigentlich“ ein Experimentaldesign
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
24
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Methodisches (3): Anforderungen an den Gegenstand und an das theoretische Wissen
Methodisches (3): Anforderungen an den Gegenstand und an das theoretische Wissen
Ziele des Programmsund der Evaluation
Kontrolle über denForschungsablauf
Wissen über dasProgramm und dasWirkungsfeld
Vor der Entwicklung eines Evaluationsdesigns muß Klarheitüber die Ziele sowohl der Untersuchung als auch desProgramms gegeben sein; für die Dauer der Datenerhebungdürfen weder die Ziele noch die wesentlichen Rand-bedingungen sich in unvorhersehbarer Weise ändern.
Die Forschung muß die Kontrolle über den Forschungs-ablauf haben, um die Gültigkeit der Resultate weitestmöglichsicherzustellen.
Vor der Entwicklung eines Evaluationsdesigns müssenbegründete Hypothesen über die Struktur des Gegen-standes wie über Zusammenhänge und Beziehungenzwischen dessen wesentlichen Elementen (Dimensionen)existieren. Erst auf ihrer Basis kann ein Indikatorenmodellkonstruiert, können Meßinstrumente entwickelt, kann übergeeignete Analyseverfahren entschieden werden.
Dimensionen: "Ideale" Anforderungen:
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
25
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Zentrale Voraussetzung für „Evaluation durch Forschung“: eindeutig definierte Ziele
Zentrale Voraussetzung für „Evaluation durch Forschung“: eindeutig definierte Ziele
Wessen Ziele?
Ziel-Mittel-Relationen
Ziele der Evaluation (Auftraggeber, Programmdurch-führende, Evaluatoren)
Ziele des Programms (Entwickler, Finanziers, Träger,Implementatoren, Mitarbeiter, Kontrollinstanzen)
Ziele der "Rezipienten" (Kunden, Betroffene, Nutzer) Notwendigkeit der "Rekonstruktion" durch Forscher
Ebenen der Programm"existenz" und -durchführung (etwaBundesgesetzgebung, Beteiligung der Länder, Regierungs-präs. als Aufsichtsinstanz, Kommunen als Durchführende)
Wissen um geeignete und politisch verfügbare Instrumente direkt/indirekt wirkende Instrumente Unterscheidbarkeit Ziele/Mittel Verschiebung der Eigenschaft Ziel/Mittel je nach Zielgruppe
Zielsystematik Klarheit, Präzision, Eindeutigkeit Zielebenen, -hierarchie, Fristigkeit; Bezug Prozeß/Ergebnis Widerspruchsfreiheit, Konsistenz, Zielkonkurrenz, -konflikt Praktikabilität (Programm) / Operationalisierbarkeit (Eval.)
Kontrollierbarkeit /Bewertung
Zielerreichungskriterien und Erfolgsstandards Problematik bei "rekonstruierten" Zielen Konstanz/Veränderung von Zielen Zurechenbarkeit der Effekte zu Instrumenten
Dimensionen: Fragen/Probleme/Klärungsbedarf:
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
26
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Wer beurteilt nachwelchen Kriterien?Instanzen der Evaluierung
Fragestellungen: Evaluationsdimensionen:
Im "traditionellen" Fall der Programmforschung:Kriterien stammen aus dem Programm (Ziele), Urteilesind wertneutrale "technologische Einschätzungen";versus Bewertung durch programm- und evaluations-externe Instanzen (Experten, Nutzer, Betrtoffene)
Was wird evaluiert?Implementations- oderWirkungsforschung
Wo ist die Evaluationangesiedelt?
Externe oder interneEvaluation
Wann wird evaluiert?Summative oder formativeEvaluation
Analyse von Planung, Durchsetzung, Vollzug (metho-disch: "monitoring"); versus Messung hervorgerufenerEffekte der Maßnahmen (methodisch: Kausalanalyse)
Begleitende Evaluation mit projektbeeinflussenden,"formativen" Rückkoppelungen ("praxisrelevant", abernicht leicht im Sinne von Wirkungskontrolle interpretier-bar); versus zusammenfassende -"summative"-Evaluation nach Projektabschluß (Eval.-gutachten)
Vergabe der Evaluation an Außenstehende (häufig beiöffentlich geförderten Vorhaben, Sicherung von Professio-nalität und Unabhängigkeit); versus Evaluation alsBestandteil der Projektentwicklung (Qualitätsentwick-lung und -sicherung, problemloser Zugang zu Informatio-nen, aber Problem"Objektivität")
Zentrale Voraussetzung für die Durchführbarkeit und Akzeptanz: klare Kompetenzregelzungenen und gutes
Projektmanagement
Zentrale Voraussetzung für die Durchführbarkeit und Akzeptanz: klare Kompetenzregelzungenen und gutes
Projektmanagement
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
27
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Dilemma der ProgrammforschungDilemma der Programmforschung
Evaluation im methodologischen Sinne = Wirkungsforschung
Messung der feststellbaren Veränderungen im (potentiellen) Wirkungsfeld und Zurechnung zu den Maßnahmen als Wirkungen (= gegenwärtige beabsichtigte und nicht beabsichtigte Effekte)
Prognose der (noch nicht eingetretenen, aber zu erwartenden) künftigen Veränderungen und Zurechnung zu den Maßnahmen als Wirkungen (= technologische Wirkungsprognose und Status-quo-Prognose)
Bewertung der eingetretenen und noch zu erwartenden Wirkungen im Lichte der Ziele des Programms sowie der Betroffenen
Das Dilemma: Jede der drei Aufgabendimensionen wirft unlösbare methodologische Probleme auf: Evaluation in diesem Sinne ist aus methodologischer Sicht unmöglich.
Forschungspragmatische Lösung 1: partizipative Programmwirkungsforschung der Einbezug von Beteiligten und Betroffenen sowohl bei den Prognoseaufgaben wie bei den Evaluationsaufgaben (stellvertretendes Aushandeln von Forschungsresultaten und Evaluation; Mediationsmodell).
Forschungspragmatische Lösung 2: partizipative Programmentwicklung und –evaluation unter Einbezug von Beteiligten und Betroffenen (sozialkonstruktivistisches Modell)
Forschungspragmatische Lösung 3: Verlagerung der Evaluation auf Beteiligte und Betroffene (Rückzug der Forschung auf Umfrageforschung; = die vorherrschende Praxis)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
28
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Evaluation durch Forschung- die vorherrschende Praxis
Evaluation durch Forschung- die vorherrschende Praxis
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
29
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Evaluation per Befragung mit „einfachen“ Fragebögen? Nur kein voreiliger Optimismus!
Evaluation per Befragung mit „einfachen“ Fragebögen? Nur kein voreiliger Optimismus!
Ein Beispiel: In einem Dozentenkurs des HDZ Essen von 1980 hieß es optimistisch: "Urteile (Schätzungen) von Studenten über die Lehre ... sind - wenn man etwa 20-30 Studenten urteilen lässt - zuverlässig wie professionelle Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst." (Schmidt, J.: Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f.)
Leider – jedenfalls bei Verwendung „einfacher“ Fragebögen – alles falsch!
Standardisiertes Befragen ist – entgegen gängigen Vorurteilen – schon ein sehr problematisches Instrument der Informationsgewinnung; es müssen hinsichtlich des Erhebungsgegenstandes und der Forschungskontaktsituation sehr anspruchsvolle Voraussetzungen erfüllt sein, die selten voll erfüllt sind.
Noch problematischer wird es, wenn Befragung als Instrument des „Messens“ eingesetzt werden soll (hier: Qualitätsmessung).
Und da subjektive Werturteile nicht dadurch intersubjektiv werden, dass man einen Durchschnitt daraus bildet, wird es am schwierigsten, wenn Befragung als Methode des Evaluierens dienen soll.
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
30
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
„Messen“ - Vorüberlegungen„Messen“ - Vorüberlegungen
Konzeptualisierung der Mess-Aufgabe: Präzisierung der Problemstellung dimensionale und semantische Analyse präzise Definition der Begriffe ggf. Auswahl und Begründung von Indikatoren Absicherung der Korrespondenz-hypothesen für die Indikatoren Auswahl der Untersuchungsobjekte („Merkmalsträger“)
Überlegungen zur „Messbarkeit“ der Indikatoren (= Möglichkeit der „Abbildung“ der empirischen Ausprägungen in Symbole):
„Dimensionalität“ (nur „eindimensionale“ Indikatoren können eindeutig abgebildet werden)
Bedeutungs“niveau“ der Begriffe notwendiger Differenzierungsgrad der Mess-Informationen (= „
Variablen“-Definition)
Überlegungen zur „Standardisierung“ der Mess-Situation (Sicherung der Identität der Messoperationen und der Kontextbedingungen für jede einzelne Messung)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
31
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
StandardisierungStandardisierung
MESSEN = standardisierte Erhebung standardisierter Informationen („Daten“)
STANDARDISIERUNG = die Kontextbedingungen des Datenabrufs sind für jeden
einzelnen „Fall“ identisch die Messvorschriften sind für jeden einzelnen „Fall“
identisch und werden von allen Beteiligten in identischer Weise angewandt
Beispiel standardisierte Befragung: identisches Instrument (Fragebogen), identische
Interviewsituation, identisches Interviewerverhalten für jede/n Befragte/n
jede Frage ist für jede befragte Person identisch (d.h. wird semantisch identisch verstanden)
jede gewählte Antwortvorgabe wird von jeder antwortenden Person in identischer Weise zugeordnet
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
32
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
Mess-ModelleMess-Modelle
Messen als strukturtreue Abbildungempirische StrukturSymbolsystem
(Zuordnungsregeln)
Willkürliche Messung (Messen durch Festsetzung, measurement by fiat)theoretischer BegriffSymbolsystem
(Zuordnungsregeln)
Messung durch Befragungtheoret. Begriff Frage(n)Symbolsystem
(Operationalisierung) (??Zuordnungsregeln??)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
33
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
Messen als strukturtreue AbbildungMessen als strukturtreue Abbildung
Objekt /Merkmalsträger
Merkmal
Begriff Variable
MESSUNGdurch messende Person
Daten
Messinstrument / Messvorschrift
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
34
Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]
Messung durch BefragungMessung durch Befragung
entweder:Befragte Person ist „Informant“; d.h. sie gibt unter standardisierten Bedingungen Auskunft über Sachverhalte und Merkmale = sie ist die „messende Person“, Antworten sind „Messwerte“
Voraussetzungen für das „Messen durch Befragung“
oder:Befragte Person ist „Versuchsperson“; d.h. sie wird mit dem Stimulus „standardisierte Frage“ konfrontiert, ihre Antwort ist eine „Reaktion auf den Stimulus“ (ein Indikator für den gesuchten Messwert), Interviewer/in beobachtet und protokolliert die Reaktion auf den Fragestimulus = Interviewer/in ist die „messende Person“
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
35
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Problem: „quantifizierendes“ Messen durch BefragungProblem: „quantifizierendes“ Messen durch Befragung
formale Voraussetzungen, die für eine „Messung“ erfüllt sein müssen:
der „Gegenstand“ (das Objekt) der Beurteilung ist eindeutig definiert das zu messende „Merkmal“ (Variable) ist eindeutig definiert und
operationalisiert eine „Mess-Skala“ (Vergleichsmaßstab) existiert und ist eindeutig definiert
(incl. eindeutiger Skalen-Endpunkte sowie unterscheidbarer Abstufungen zwischen den Skalen-Endpunkten)
Befragte sind in der Lage, den „Gegenstand“ intersubjektiv überein-stimmend zu identifizieren, das zu messende „Merkmal“ intersubjektiv übereinstimmend zu erkennen (identische Semantik + identische Perspektive) und die „Mess-Skala“ in intersubjektiv übereinstimmender Weise darauf anzuwenden (= Messung durch Vergleich der Merkmals-ausprägung eines Objekts mit einem Vergleichsmaßstab, Übersetzung dieses Vergleichs in Skalenpunkte)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
36
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Problem2: „evaluierendes“ Messen durch BefragungProblem2: „evaluierendes“ Messen durch Befragung
Erfüllt sein müssen zunächst die formalen Voraussetzungen für eine „Messung“; hinzu kommen als weitere Anforderungen:
Neben dem „Kriterium” der Beurteilung („Qualitäts-Merkmal”) ist ein „Standard” der Beurteilung zu definieren: Wann ist etwas „gut”, wann „schlecht”, wann „mittelmäßig”? etc.
Dieser „Standard” ist von allen Evaluierenden in intersubjektiv übereinstimmender Weise anzuwenden.
Und auch das noch...Erforderlich ist die grundlegende Entscheidung:
Soll die befragte Person Auskunft über sich selbst und ihren Bezug zum Gegenstand der Bewertung geben? (“Akzeptanzaussage”)
Oder soll sie eine “quasi-objektive” Beurteilung des zu bewertenden Gegenstands vornehmen? (“Evaluationsaussage”)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
37
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Trotzdem Befragung auch zum Zwecke der Evaluation?Trotzdem Befragung auch zum Zwecke der Evaluation?
Natürlich! Eine bessere Alternative (im Sinne von „universell anwendbar“) kann die empirische Sozialforschung nicht anbieten.
Aber... Jede Antwort auf eine in der Situation
„Forschungskontakt“ gestellte Frage ist eine subjektiv gefärbte, interpretationsbedürftige „Information“.
Nur unter besonderen (selten erfüllten) Bedingungen ist sie auch ein „Messwert“.
Und nur unter weiteren (und noch seltener erfüllten) Bedingungen kann sie auch eine „intersubjektiv geltende“ Evaluation sein (z.B. bei einem Programmziel: Akzeptanz).
Für den Normalfall gilt: Das Erheben und Aufbereiten bewertender (=evaluierender) Aussagen liefert wichtige Informationen für die Evaluation, ist aber für sich genommen noch nicht die „Evaluation“!
Zur „Evaluation“ gehört ein Gesamtprojekt, in dem Befragungen ein wichtiges Instrument der Gewinnung evaluationsrelevanter Informationen sind.
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
38
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Es gibt keine 'objektiven' Methoden zur Geltungsbegründung von Subjektivem
Es gibt keine 'objektiven' Methoden zur Geltungsbegründung von Subjektivem
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
39
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Bewertung durch Forschung?Bewertung durch Forschung?
Ziel von Evaluation: empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch
Evaluationsforschung: (durch das Ziel „Bewertung“ geprägte) spezifische Form anwendungsorientierter Forschung; methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns und Auswertens von Informationen
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
40
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Aber Forschung kann nicht: Werturteile wissenschaftlich begründen
Aber Forschung kann nicht: Werturteile wissenschaftlich begründen
ihr methodologisches Problem: Legitimation des Anspruchs „empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch“ zu formulieren; denn:
Nach gängiger wissenschaftstheoretischer Überzeugung geht eines nicht: empirische Begründung von Bewertungen durch Forschung (auch aus korrekten Beschreibungen und Analysen sind keine normativen Aussagen ableitbar);
Möglich ist lediglich, Forschung zum Zwecke von Bewertungen (s. den Stellenwert empirischer Daten im mehrstufigen Modell des peer review)
die Geltungsbegründung empirischer Analysen folgt einer anderen Logik als die Geltungsbegründung normativer Aussagen; für die ersteren gibt es in der vorherrschenden Wissenschaftstheorie klare Regeln, für die letzteren nicht
Zwei Lösungsmöglichkeiten: (1) Evaluation auf Tatsachenaussagen reduzieren oder: (2) Evaluation ‚externalisieren‘
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
41
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
PROGRAMMZIELE (u. Ziele der Programmakteure)
Dimensionen des „Evaluationsgegenstands“
HANDLUNGSPROGRAMM (Maßnahmen/Instrumente) (Programmakteure)
PROGRAMMUMWELT („stakeholder“, alternative Ziele)
EFFEKTE (beabsichtigte und nicht- beabsichtigte Wirkungen = Kriterien der Zielerreichung)
Fall 1a: Evaluation als Programm(wirkungs)forschung
Fall 1a: Evaluation als Programm(wirkungs)forschung
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
42
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Fall 1b: Evaluation als Qualitätsmessung durch
Indikatoren
Fall 1b: Evaluation als Qualitätsmessung durch
Indikatoren
Ziel: Die Bewertung „objektivieren“ (d.h. am zu bewertenden „Objekt“ festmachen) dadurch, dass „qualitätsrelevante“ Merkmale gemessen werden.
Voraussetzung: Das Konstrukt „Qualität“ ist so zu definieren, dass seine Dimensionen als Merkmale des Gegenstands erscheinen.
Methodologisch ist dann „nur“ noch die Aufgabe zu lösen, diese Qualitätsdimensionen so durch Indikatoren zu operationalisieren, dass sie als situationsunabhängige „Qualitäts-Messwerte“ gelten können.
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
43
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Fall 2: Evaluation durch BefragungFall 2: Evaluation durch Befragung
Siehe Zitat aus dem Dozentenkurs des HDZ Essen von 1980 zum Thema Lehrevaluation:
"Urteile (Schätzungen) von Studenten über die Lehre ... sind − wenn man etwa 20-30 Studenten urteilen lässt − zuverlässig wie professionelle
Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst." (Schmidt, J.: Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f.)
Sofern dies zuträfe, wäre die Evaluation per Befragung der Königsweg zur Lösung aller Probleme der Evaluationsforschung, insbesondere auch der Werturteilsproblematik.
Als Modell zur (intersubjektiven) ‚Messung‘ von Qualität ist es allerdings eher ein ‚Holzweg‘. Die Stärke von Evaluationsbefragungen liegt in ihrer Funktion der Lieferung ‚evaluationsrelevanter‘ Daten über und aus der Perspektive von stakeholdern.
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
44
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
Grundlegendes Problem für alle Modelle: „Qualität“Grundlegendes Problem für alle Modelle: „Qualität“
„Qualität“ (also der abzubildende Gegenstand) kann nicht als Merkmal des zu bewertenden Objekts selbst gesehen werden, sondern als relationales Merkmal: als Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke sowie auf bestimmte Nutzer- und Klientengruppen.
Beim Modell der Programmevaluation wird konsequenterweise Qualität = Erfolg (also Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke) gesetzt.
Beim Indikatorenmodell ist Qualität = Eigenschaft des Objekts. Anders als beim Modell der Programmevaluation existiert aber nicht dessen methodologische Problemlösung (nämlich vom Programm vordefinierte Ziele und Maßnahmen).
Beim Befragungsmodell schließlich gilt: Qualität = Qualitätswahrnehmung der urteilenden Person (an die Stelle ‚objektiver‘ Qualität tritt statistisch ermittelte ‚intersubjektive‘ Qualität)
20.10.2007 Prof. Dr. Helmut Kromrey - Berlin
45
Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]
GedankenexperimentGedankenexperiment
Qualität von Autoreifen ?:
Stadtverkehr, Landstraßen, Autobahn; „Normalfahrer“, LKW-Fahrer, Rennsportler; Rallye Paris-Dakar, Formel I