„Überblick über Grundlagen und Methoden der ......• Kriterien und Standards bedürfen der Anpassung an jeweilige Situation (wichtig sind jene, die zur Wahl eines geeigneten Evaluationsdesigns

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Herzlich Willkommen zur Veranstaltung:

Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105)

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

„Überblick über Grundlagen und Methoden der Evaluationsforschung“

Veranstaltungsleiterin: Anne Bachmann

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann

Vorlesung: EvaluationSS 2013

Veranstaltungsleiterin: Anne Bachmann

Veranstaltungsort: OHP2 (Otto-Hahn-Hörsaal Chemie II)

Veranstaltungszeit: dienstags 12.15-13.45 Uhr

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Agenda

• Worum geht es überhaupt?

• Lernziele

• Rahmenbedingungen der Veranstaltung

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

• Evaluationsforschung in der Psychologie

• Termin- und Themenübersicht

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Worum geht es?

Ausloten der Möglichkeiten und Grenzen einer wissenschaftlichen Evaluation von psychologischen Interventionsmaßnahmen

Hinweise zur Optimierung der Überprüfungen psychologischer Interventionsmaßnahmen

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

Interventionsmaßnahmen

=> Formulierung von Standards und Kriterien für die Evaluation von Programmen

� Wirken Programme überhaupt (Prüfung der Wirksamkeit )?

� Warum wirken Programme (Prüfung des Wirkmodells , d.h. Wirkungskomponenten und Wirkungsweisen, Wirkmechanismen und

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Wirkungskomponenten und Wirkungsweisen, Wirkmechanismen und Wirkprozesse zur Erklärung und Vorhersage der Wirkung von Interventionsmaßnahmen)?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Lernziele

• Überblick über die Evaluationsforschung

• Bedeutung der Evaluation psychologischer Interventionsmaßnahmen

• Evaluation der Wirksamkeit von psychologischen Interventions-maßnahmen

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

• Kritische Reflexion von Evaluationen

Basisliteratur

Hager, W., Patry, J.-L. & Brezing, H. (2000), Evaluation psychologischer Interventionsmaßnahmen, Bern: Huber Verlag.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Interventionsmaßnahmen, Bern: Huber Verlag.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Rahmenbedingungen

Was können Sie von mir und der Veranstaltung erwart en?

- Vorlesung

- meine Erfahrung mit der Beteiligung und was daraus folgt

- meine Ziele

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

- meine Ziele

- mein Vorgehen (Lernzielformulierung, Lernprotokolle, interaktive Vermittlung der Inhalte, wo es möglich ist)

- Klausurvorbereitung und Klausurstoff

Was erwarte ich von Ihnen?

- aktive Teilnahme

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



- aktive Teilnahme

- Einlassen auf das Forschungsgebiet der Evaluation und mein Vorgehen

- Selbstverantwortung (Lernen, Lernbedingungen, Kontakt, Feedback)

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Rahmenbedingungen

Organisatorisches

• alle Texte, Materialien, etc. im Handapparat

• Präsentationen online (Homepage Sozialpsychologie, Lehre Sommersemester, Vorlesung Evaluation, Themen- und

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

Sommersemester, Vorlesung Evaluation, Themen- und Terminplan); Einstellung jeweils vor der Veranstaltung

• Klausur im Juli (vermutlich 8./9. Juli), Start: 8:30 Uhr mit Formalia, ca. 8:45 Uhr Beginn der Einlesezeit + Beantwortung von Fragen, Schreibbeginn um 09:00 Uhr, Klausurdauer 1h, Ort: wird noch bekannt gegeben

• Klausur besteht aus 7 Hauptfragen mit offenen Teilfragen (Mischung aus Reproduktion, Transfer und Beurteilung)

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



(Mischung aus Reproduktion, Transfer und Beurteilung)

• ?weitere Fragen?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng 1. Was verstehen Sie unter Evaluation?

2. Wozu dient Evaluation bzw. warum sind gute Evaluati onen wichtig?

Buzz-SessionV

era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

wichtig?

3. Was ist Ihr Gewinn bei der Beschäftigung mit Eval uation(auch wenn es Ihnen „nur“ um eine gute Note geht, wofür kann die Beschäftigung mit Evaluation noch nützlich sein!)?

Also: Was haben Sie davon, sich mit Evaluation zu beschäftigen?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Evaluationsforschung in der Psychologie

Begriffe

Evaluation:

• allgemein: Festsetzung des Wertes einer Sachein der Psychologie => Zentrierung auf psychologische Maßnahmen als Sache

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Überprüfung der Maßnahme im Sinne einer Bewertungim Vordergrund steht der Nachweis der Wirksamkeit der Maßnahme

• ethisch-moralische Komponente=> Sicherstellung des Nutzens einer Maßnahme für die Menschen

Evaluationsforschung:

• Prozess der Optimierung der Überprüfung von Maßnahmen„… bei dem nach zuvor festgelegten Zielen und explizit auf den Sachverhalt

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



„… bei dem nach zuvor festgelegten Zielen und explizit auf den Sachverhalt bezogenen und begründeten Kriterien ein Evaluationsgegenstand bewertet wird. Dies geschieht unter Zuhilfenahme sozialwissenschaftlicher Methoden durch Personen, welche hierfür besonders qualifiziert sind. …“ (Balzer, 2005, S.16)

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Wissenschaftstheoretische Grundlage der Evaluations forschung

Kritischer Rationalismus (Karl Popper)

1. Jeder sinnvollen empirischen Forschung haben Theo rien und Hypo-thesen vorauszugehen, da es keine theoriefreie Beob achtung gibt.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 Jede Hypothese muss an der Empirie scheitern können.

2. Forderung nach kritischem Umgang mit Daten und Hy pothesen.

Überprüfung der Plausibilität der Hypothesen vor dem verfügbaren Hintergrundwissen und kritisches Hinterfragen des Zustandekommens der empirischen Daten

Grundprinzip für die Evaluationsforschung :Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Grundprinzip für die Evaluationsforschung :

„Die beste Statistik kann eine schlechte Versuchsplanung nicht retten, wie auch die beste Versuchsplanung eine schlechte theoretische und meta-theoretische Konzeption nicht kompensieren kann.“

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Entwicklungen in der psychologischen Evaluationsforschung

Wachsender wissenschaftlicher Anspruch

• heute: Steuerung der Evaluationsforschung durch wissenschaftliche Übereinkünfte, Kriterien und Standards

Evaluationsforschung in der PsychologieV

era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • systematische Konstruktion von geeigneten Messinstrumenten

• Problematik: Evaluationsforschung häufig Auftragsforschung => Auseinandersetzung mit Auftraggebern und deren Interessen (Spannungen zwischen Akzeptanz für Evaluationen und wissenschaftlichem/ methodischem Anspruch an Evaluationen)

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng


Unterscheidung von Evaluations- und Grundlagenforsch ungEvaluationsforschung als neues, eigenständiges Forschungsparadigma

Unterschiede:


era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

Grundlagenforschung Evaluationsforschung

Ziel Untersuchung theoretisch begründeter Fragestellungen

Untersuchung von Fragen der Wirksamkeit von Maßnahmen

Unter-suchungs-gegenstand

theoretisches Problem Interventionsmaßnahme

Ergebnis-erwartung

Nachweis der Unterschied-lichkeit im Sinne eines

Nachweis der Effektivität (nicht nur Signifikanz im Sinne eines Treat-V

era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



erwartung lichkeit im Sinne eines Treatmenteffektes

Signifikanz im Sinne eines Treat-menteffekts, sondern Nachweis der Relevanz des Effekts)

Ähnlichkeiten: in Phasen der Konzeptualisierung, der Implementation und der Wirkungsforschung

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng


Zunehmende Differenzierung verschiedener Evaluation sarten

• zunächst Einführung der Unterscheidung zwischen summativer und formativer Evaluation (nach Scriven 1967, 1972, 1991)


era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • darauf aufbauend: Unterscheidung zwischen fünf Arten von Evaluationen für Interventionsprogramme (nach Hager & Mittag, 2000):

1) Evaluation der Programmkonzeption

2) formative Evaluation

3) Evaluation der Programmdurchführung

4) Evaluation der Programmwirksamkeit

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng




5) Evaluation der Programmeffizienz

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng





era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3


• Problembestimmung und Entscheidung über den Bereich der Intervention

• Zielbestimmung

• Konzeption und Gestaltung des Programms

• Auswahl geeigneter diagnostischer Methoden und Verfahren

• Bewertung der Programmkonzeption

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



2) Formative Evaluation


era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

2) Formative Evaluation

• Bewertung der Programmimplementation

• Bewertung der Zielsetzung des Programms

• Bewertung der Effizienz des Programms

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng





era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3


• Kontrolle der Programmausführung

• Prüfung der Programmreichweite

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng





era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3


• Steigerung von kurzfristig verfügbaren Kompetenzen

• Verbesserung von langfristig verfügbaren Kompetenzen

• Kontrolle des Transfers auf Alltagsbereiche

• Merkmale der Programmvermittler und Zielpersonen

• Art der Wirkungen des Programms

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



• weitere (potenzielle) Fragestellungen und Hypothesen u.a.

• Prozessevaluation

• Meta-Evaluation bisheriger Evaluationen

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng





era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3


• Erfassung aller Programmkosten und Programmwirkungen

• Bestimmung der Gesamtkosten in Geldeinheiten

• Bestimmung des Gesamtnutzens in Geldeinheiten/Zieleinheiten

• Bestimmung der Programmeffizienz

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Bereitstellung von Standards und Kriterien

• u.a. zur Vorbeugung von Meinungsverschiedenheiten mit Auftraggebern

• Vorschlag von allgemeinen Standards für die Evaluationsforschung von

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

• Vorschlag von allgemeinen Standards für die Evaluationsforschung von der Evaluation Research Society und dem Joint Commitee on Standards for Educational Evaluation (1994); vier Gruppen von Standards:1) Nutzenstandards:

Zusammenfassung der verschiedenen Aspekte des Nutzens der Evaluation für die Beteiligten

2) Machbarkeits- oder Durchführbarkeitsstandards: Richtlinien, die bei der Realisierung der Evaluation unter Berücksichtigung der konkreten Randbedingungen beachtet werden sollten

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



konkreten Randbedingungen beachtet werden sollten

3) Standards für Anstand und ethisches VorgehenEinhaltung der ethischen Rechte der Beteiligten

4) GenauigkeitsstandardsGarantie eines hinreichenden Grades an Genauigkeit und Ausführlichkeit der Informationen, um nützlich zu sein

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Das Evaluationsdesign

• Kriterien und Standards bedürfen der Anpassung an jeweilige Situation (wichtig sind jene, die zur Wahl eines geeigneten Evaluationsdesigns als

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 zentraler Komponente der Validität einer Evaluation beitragen)

• Unterscheidung von Störfaktoren für die interne und die externe Validität, Reflexion auf Möglichkeiten der jeweiligen Kontrolle

• Ausgangspunkt für evaluationsgerechte Validitätskonzeption: jeweilige Erwartung an Interventionsmaßnahme (üblicherweise Kompetenz-verbesserung)

=> Wirksamkeitsmessungen zu mehr als einem Zeitpunkt=> Bestimmung des AusgangszustandesV

era

nsta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



=> Bestimmung des Ausgangszustandes=> Kontrolle von Störfaktoren durch Vergleichsgruppen

⇒ Regelfall sollte Vortest-Nachtest-Follow-up-Vergleichsgruppenplan sein

⇒ Evaluationsparadigmen: isolierte vs. vergleichende Evaluation

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Professionalisierung der Evaluationsforschung

Zwei Faktoren machen Professionalisierung der E-Forschung erforderlich:

1. Steigende Nachfrage nach wissenschaftlichen Evaluationen

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

1. Steigende Nachfrage nach wissenschaftlichen Evaluationen

=> Nachfrage auch zunehmend von großen Unternehmen, Behörden und gesetzgebenden Körperschaften

2. Anwachsen des Methodeninventars (macht es wissenschaftlichen Laien zunehmend schwerer, Evaluationsforschung zu betreiben)

=> in Deutschland 1987 Verabschiedung einer Rahmenprüfungsordnung für Diplomstudiengang Psychologie, die ein eigenes Lehr- und Prüffach „Evaluation und Forschungsmethodik“ vorsah, das mittlerweile überall

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



„Evaluation und Forschungsmethodik“ vorsah, das mittlerweile überall eingeführt und zum Standard wurde

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Anwendungsbereiche


1. Evaluation sozialer Programme

Auseinandersetzung mit Programmen für soziale Problemgruppen wie z.B. Delinquenten oder Drogenabhängige

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 zentrale Aufgabe der Evaluation: Nutzen des Programms für die Mitglieder der betroffenen Gruppen zu überprüfen (v.a. ob die z.T. erheblichen finanziellen und personellen Investitionen gerechtfertigt sind)

2. Therapieevaluation

große Therapien(arten)vielfalt: Therapieevalution versucht v.a. die Therapiearten vergleichend gegeneinander abzugrenzen

Ziel: Ermittlung derjenigen Therapiearten, die in Anbetracht der jeweiligen

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ziel: Ermittlung derjenigen Therapiearten, die in Anbetracht der jeweiligen Patientenmerkmale den größten Nutzen erbringt: das Wohl der Patienten steht im Vordergrund, aber auch Kosten müssen geprüft werden

Vorteil: Rückgriff auf originär psychologische Theorien und Instrumente

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Anwendungsbereiche


3. Evaluation von Maßnahmen im Kontext der A&O-Psych ologie

Evaluationen v.a. von Aus- und Weiterbildungsmaßnahmen

Thematik mitunter fachfremd und stellt somit hohe Anforderungen and

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

Thematik mitunter fachfremd und stellt somit hohe Anforderungen and Festlegung der zu erwartenden Auswirkungen und an die Auswahl eines geeigneten Instrumentariums für die Wirkungsmessung

4. Evaluation im pädagogischen Bereich

Evaluation von Bildungsmaßnahmen, z.B. vom Einsatz neuer Medien (alles, was das Lernen von Schülern begünstigen soll)

Evaluationen von Programmen zur Verbesserung der Randbedingungen der Ausbildung, z.B. Verringerung von Gewalt in der Schule

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



der Ausbildung, z.B. Verringerung von Gewalt in der Schule

Ziel: Maximierung des Nutzens für Schüler

Vorteil: Nähe zu psychologischen Inhalten und Verfügbarkeit einer großen Zahl von Messinstrumenten

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Termin- und ThemenübersichtDatum Thema

09.04. Veranstaltungsüberblick und Einleitung

16.04. Anwender(innen)bedürfnisse und Theorie-Praxis-Probleme

23.04. Psychologische Interventionsmaßnahmen (I)

30.04. Psychologische Interventionsmaßnahmen (II)

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

30.04. Psychologische Interventionsmaßnahmen (II)

07.05. Transfer

14.05. Rahmenkonzept zur Evaluation psychologischer Interventionen

21.05. Standards für die Evaluationsforschung und die Evaluationspraxis

28.05. Wirksamkeit/Gütekriterien von Evaluationsprogrammen

04.06. Wirksamkeits- und Wirksamkeitsunterschiedshypothesen, Evaluationsparadigmen, Kontrolle

Evaluationsparadigmen in der Praxis

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Evaluationsparadigmen in der Praxis

11.06. Quasiexperimentelle Evaluationsdesigns

18.06. Nicht-Experimentelle Ergebnisevaluationen

25.06. Klausurbesprechung, Fragen, Feedback

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

16.04.13 Anwender(innen)bedürfnisse / Theorie-Praxis -Probleme

Fragen:

• Wer sind die Anwender von Interventionsprogrammen?

• Wie vertragen sich Qualitätssicherung psychologisch er

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

• Wie vertragen sich Qualitätssicherung psychologisch er Interventionen mit praktischen Bedürfnissen der Anw ender?

• Welche Schwierigkeiten bestehen zwischen Theorie un d Praxis?

Literatur:

• Brezing, H. (2000): Welche Bedürfnisse haben Anwender(innen), und wie werden sie der Forschung abgedeckt?, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



der Forschung abgedeckt?, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 8-18.

• Patry, J.-L., Perrez, M. (2000): Theorie-Praxis-Probleme und die Evaluation von Interventionsprogrammen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 19-40.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

23./30.04.13 Psychologische Interventionsmaßnahmen

Fragen:• Welche Arten von Wirkungen gibt es?• Welche Qualität können die Wirkungen haben?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Wie erfasst man Wirkungen (wie z.B. Kompetenzsteige rungen)?• Welche Maße gibt es dafür?• Wann kann eine Interventionsmaßnahme als erfolgreic h

bezeichnet werden?

Literatur:

• Hager, W. & Hasselhorn, M. (2000): Psychologische Interventionsmaßnahmen: Was sollen sie bewirken können?, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.),

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



sollen sie bewirken können?, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 41-85.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

07.05.13 Transfer

Fragen:• Was versteht man unter Transfer in der Evaluationsf orschung?• Welche Transfertheorien gibt es?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Warum sind Transferleistungen wichtig?• Wie kann man Transfer erklären und erfassen?• Was sind Transferhindernisse und Transferhilfen?

Literatur:

• Hasselhorn, M., Mähler, C. (2000): Transfer: Theorien, Technologien und empirische Erfassung, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 86-101.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Evaluationsmaßnahmen, Bern 2000, S. 86-101.

• Ebert, D., Porath, J. (2006): Transfer fällt nicht vom Himmel! Wege zur Transfer-sicherung in Bildungs- und Beratungsangeboten. In: Mittag, E., Sticker, E. und Kuhl-mann, K. (Hrsg.): Leistung – Lust und Last. Impulse für eine Schule zwischen Aufbruch und Widerstand. Kongressbericht der 17. Bundeskonferenz für Schulpsychologie 2006 in Köln. Bonn 2006, S. 135-140.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

14.05.13 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen

Fragen:• Wie geht man bei der Evaluation einer Maßnahme konk ret vor?• Wie sieht ein Rahmenkonzept zur Evaluation aus?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Worauf muss man als Evaluator_in besonders achten?

Literatur:

• Mittag, W. & Hager, W. (2000): Ein Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Interventionsmaßnahmen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 102-128.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

21.05.13 Standards für die Evaluationsforschung und die Evaluationspraxis

Fragen:• Welche Standards gibt es für die Evaluationsforschu ng?• Welche Standards gibt es für die Evaluationspraxis?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Was bedeuten diese Standards?

Literatur:

• Rost, R. (2000): Allgemeine Standards für die Evaluationsforschung, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 129-140.

• Schiffler, A., Hübner, S. (2000): Allgemeine Standards für die Evaluationspraxis. Die Standards des „Joint Committee on Standards for Educational Evaluation“ und ihre

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Standards des „Joint Committee on Standards for Educational Evaluation“ und ihre Anwendung auf praktische Aspekte bei der Evaluation von psychologischen Inter-ventionsmaßnahmen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 141-152.

• Deutsche Gesellschaft für Evaluation DeGEval (2008): Standards für Evaluation. 4. unveränderte Auflage, Mainz 2008.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

28.05.13 Wirksamkeit von Evaluationsprogrammen / Gütekriterien von Kriteriumsmaßen

Fragen:• Welche Kriterien gibt es für die Bewertung der Wirk samkeit von

Evaluationsprogrammen?• Anhand welcher Gütekriterien werden Kriteriumsmaße beurteilt?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Anhand welcher Gütekriterien werden Kriteriumsmaße beurteilt?

Literatur:

• Hager, W. (2000): Zur Wirksamkeit von Interventionsprogrammen: Allgemeine Kriterien der Wirksamkeit von Programmen in einzelnen Untersuchungen, in: W. Hager, J.-L. Patry

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



der Wirksamkeit von Programmen in einzelnen Untersuchungen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 153-168.

• Hager, W. & Hasselhorn, M. (2000): Einige Gütekriterien für Kriteriumsmaße bei der Evaluation von Interventionsprogrammen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 169-179.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

04.06.13 Wirksamkeits- und Wirksamkeitsunterschieds-hypothesen, Evaluationsparadigmen, Kontrolle

Fragen:• Welche Evaluationsparadigmen gibt es?• Wie sehen die dazugehörigen Hypothesen aus?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Welche Aussagen über die Wirksamkeit sind bei welch em Paradigma möglich?

• Was bedeutet Kontrolle im Kontext von Evaluationen?

Literatur:• Hager, W. (2000): Wirksamkeits- und Wirksamkeitsunterschiedshypothesen,

Evaluationsparadigmen, Vergleichsgruppen und Kontrolle, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 180-201.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



201.• Metzler, P., Krause, B. (1997): Methodischer Standard bei Studien zur Therapieevaluation,

in: Methods of Psychological Research Online, 2 (1), 55-67. • Hager, W. (1998): Therapieevaluation: Begriffsbildung, Kontrolle, Randomisierung und

statistische Auswertung. Einige Anmerkungen und Ergänzungen zu Metzler und Krause (1997), in: Methods of Psychological Research Online, 3 (1), 69-81.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Vertiefungsempfehlung: Evaluationsparadigmen in der Praxis

Fragen:• Wann ist ein Wirksamkeitsvergleich zwischen verschi edenen

psychologischen Interventionsmaßnahmen möglich?• Wie können und müssen Evaluationen beurteilt werden?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Wie können und müssen Evaluationen beurteilt werden?

Literatur:• Hager, W., Leichsenring, F., Schiffler, A. (1999): Evaluationsparadigmen. Zur Bedeutung

der Unterscheidung von vergleichenden und isolierten Evaluationen in der Psycho-therapieforschung, in: Psychotherapeut, 44, 234-240.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



therapieforschung, in: Psychotherapeut, 44, 234-240. • Hager, W., Leichsenring, F., Schiffler, A. (2000): Wann ermöglicht eine Therapiestudie

direkte Wirksamkeitsvergleiche zwischen verschiedenen Therapieformen? Psychotherapie, Psychosomatik und medizinische Psychologie, 50, 51-62.

• Csontos, I. (2000): Psychotherapieforschung: Grawe-Debatte und aktuellere Fragestellungen, in: Schweizerische Ärztezeitung, 81 (27), 1527-1531.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

11.06.13 Quasiexperimentelle Evaluationsdesigns

Fragen:• Welche quasiexperimentellen Evaluationsdesigns gibt es?• Wie kann man in diesen Designs die interne Validitä t sichern?

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

Literatur:• Posavac, E.J., Carey, R.G. (2003): Quasi-experimental approach to outcome

evaluation, in: E.J. Posavac & R.G. Carey (Eds.), Program Evaluation: Methods

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



evaluation, in: E.J. Posavac & R.G. Carey (Eds.), Program Evaluation: Methods and Case Studies (pp. 159-177). 4th edtion, Englewood Cliffs, NJ: Prentice Hall.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

18.06.13 Ein-Gruppen-Designs/Nicht-Experimentelle Ergebnisevaluationen

Fragen:• Welche nicht-experimentellen Designs kann man verwe nden, um

Interventionsmaßnahmen zu evaluieren?• Bei welchem Design werden Bedrohungen der internen Validität

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Bei welchem Design werden Bedrohungen der internen Validität wie kontrolliert?

• Wann verwendet man ein Eingruppen-Design?

Literatur:• Posavac, E.J., Carey, R.G. (2003): Single group, nonexperimental outcome

evaluation, in: E.J. Posavac & R.G. Carey (Eds.), Program Evaluation: Methods and

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



evaluation, in: E.J. Posavac & R.G. Carey (Eds.), Program Evaluation: Methods and Case Studies (pp. 140-158). 4th edition, Englewood Cliffs, NJ: Prentice Hall.

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

25.06.13 Klausurbesprechung, Fragen, Feedback

Themen:• inhaltliche letzte Klärungen• Klausur, Beginn: 08:30 Uhr (einstündig mit Einlesezeit)

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3 • Art der Fragen• Zeiteinteilung• Erfahrungen in der Vergangenheit• offene Fragen• Feedback

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

Vielen DANK für Ihre Aufmerksamkeit!

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng

09

. A

pri

l 2

01

3

Ve

ran

sta

ltu

ng

sü

be

rbli

ck

un

d E

inle

itu

ng



Documents

„Überblick über Grundlagen und Methoden der ......• Kriterien und Standards bedürfen der Anpassung an jeweilige Situation (wichtig sind jene, die zur Wahl eines geeigneten Evaluationsdesigns