HBM6: Evaluation (051105) - uni-kiel.de · Quasiexperimentelle Ansätze der Ergebnisevaluation 1) Quasiexperimentelle Ergebnisevaluationen Definition quasiexperimentell = Teilnehmer

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Sitzung 10:

Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105)

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Quasiexperimentelle Ansätze der Ergebnisevaluation

Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann

Vorlesung: EvaluationSS 2013

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

nÜberblick über heutige Sitzung

1) Quasiexperimentelle Ergebnisevaluationen (QE-EEv)

2) Methoden der Erhöhung der internen Validität von QE-EEv

• 1. Beobachtungen zu mehreren Zeitpunkten

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

• 1. Beobachtungen zu mehreren Zeitpunkten- Zeitreihendesigns

• 2. Beobachtung anderer Gruppen- nicht-äquivalente Kontrollgruppen-Designs- Regressions-Diskontinuitäts-Designs

• 3. Beobachtung anderer abhängiger Variablen



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

• 3. Beobachtung anderer abhängiger Variablen

• 4. Kombinierte Designs- Zeitreihen und nicht-äquivalente Kontrollgruppen- selektive Kontroll-Designs

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n1) Quasiexperimentelle Ergebnisevaluationen

Definition quasiexperimentell =

Teilnehmer eines Programms/Vpn können nicht randomisiertauf die Versuchsbedingungen aufgeteilt werden

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

auf die Versuchsbedingungen aufgeteilt werden

nicht jede Vpn hat gleiche Chance auf jede Bedingung

⇒ Problem:

interne Validität (eindeutige Rückführung der beobachteten



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

interne Validität (eindeutige Rückführung der beobachteten Veränderungen in den AV auf die Variationen der UV = Kausalinterpretation) bedroht

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Demonstration eines kausalen Zusammenhangs in quasiexperimen-tellen Settings: 3 Bedingungen müssen erfüllt sein

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 1. Ursache geht angenommenem Effekt zeitlich voraus

2. Ursache kovariiert mit dem Effekt (z.B. je mehr der Ursache, desto mehr des Effektes)

3. außer der angenommenen Ursache gibt es keine weitere Erklärungfür den gefundenen Effekt



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Methoden der Erhöhung der internen Validität in quasi-experimentellen Untersuchungen (Ergebnisevaluationen):

1. Beobachtungen zu mehreren Zeitpunkten

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 1. Beobachtungen zu mehreren Zeitpunkten

2. Beobachtung von zusätzlichen Gruppen

3. Beobachtung anderer abhängiger Variablen



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

3. Beobachtung anderer abhängiger Variablen

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n1. Beobachtungen zu mehreren Zeitpunkten

Erhöhung der Menge an Beobachtungen (außer prä-post-Tests)

⇒ 2 Funktionen:

- Erkennen von zufälligen Veränderungen zwischen Zeiträumen

- Kausalität(srichtung) => 1. Kriterium kann überprüft werden

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 - Kausalität(srichtung) => 1. Kriterium kann überprüft werden

ProgrammAV



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Zeitt1 t2 t3 t4 t5 t6 t7

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Beispiel: Verkehrstote 1955 in Connecticut und Einführung von Geschwindigkeitsbegrenzungen (Campbell, 1969)

Kann der Rückgang an Verkehrstoten auf

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Kann der Rückgang an Verkehrstoten auf die Geschwindigkeitsbegrenzung zurück-geführt werden?

Alternative Erklärungen:- Erhöhung des Verkehrsaufkommens

(# Autos) bis 1955- 1955 war ungewöhnliches Jahr (Wetter,

viele Massenkarambolagen, etc.)



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Beispiel: Verkehrstote 1955 in Connecticut und Einführung von Geschwindigkeitsbegrenzungen (Campbell, 1969)

Kann der Rückgang an Verkehrstoten auf

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Kann der Rückgang an Verkehrstoten auf die Geschwindigkeitsbegrenzung zurück-geführt werden?

Alternative Erklärungen:- Erhöhung des Verkehrsaufkommens

(# Autos) bis 1955- 1955 war ungewöhnliches Jahr (Wetter,

viele Massenkarambolagen, etc.)



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Erhöhung der Anzahl der Beobach-tungen erlaubt eine sehr viel informiertere Schlussfolgerung

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Zeitreihendesigns

= Nutzung von Informationen über eine Reihe von Zeitintervallen hinweg

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

⇒ Strategie: Erhalt von Base-Line Messungen vor einer Interven-tion und Dokumentation von sowohl einer Veränderung als auch der Aufrechterhaltung einer Veränderung

⇒ kann einige Bedrohungen der internen Validität minimieren(z.B. Reifung, Geschichte)



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

(z.B. Reifung, Geschichte)

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Zeitreihendesigns (Minimalcharakteristika):

1. Definition/Festlegung eines Kriteriums,

2. Messungen des Kriteriums,

3. wiederholt und über einen gewissen Zeitraum hinweg ,

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 3. wiederholt und über einen gewissen Zeitraum hinweg ,

4. Messungen gehen kontrollierten oder natürlichen Interventionen voraus und folgen ihnen

Nutzung des Zeitreihendesigns vor allem, wenn eine defini-tive Intervention zu einer bestimmten Zeit erfolgt ist

⇒ „unterbrochene Zeitreihe “ (interrupted time series)



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

⇒ „unterbrochene Zeitreihe “ (interrupted time series)

⇒ Versuch herauszufinden, ob das Programm eine Wirkunghatte

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Zeitreihendesigns

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Analyse von Zeitreihendesigns

I) ABAB-Design: wenn die Intervention eingesetzt und wieder aus- bzw. abgesetzt werden kann (kurzfristige Effekte)

a) nach Etablierung einer Baseline (A)

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 b) Einführung einer Intervention (B) (z.B. zur Reduktion schädlichen Verhaltens)Annahme, dass Intervention erfolgreich ist => das schädliche Verhal-ten reduziert sich

c) Absetzen der Intervention nach einigen Beobachtu ngen (A)bei Wiederzunahme des schädlichen Verhaltens = mögliche Interpretation als Vorliegen eines Programmeffekts und nicht als bloße Reifung oder Geschichte



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

bloße Reifung oder Geschichte

d) Wiedereinsetzen der Intervention nach einigen Be obachtungszeit-räumen (B)bei nochmaliger Reduktion des schädlichen Verhaltens, vergleichs-weise sicherer Schluss auf einen (intendierten) Effekt des Programms

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


ABAB-Design:

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

IM: an IM: aus IM: an

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


ABAB-Design:Programm zeigt Effekt

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 Programm zeigt keinen Effekt

kein eindeutiger Rückschluss auf Programmeffekt möglich (poten-zielle Konfundierung mit Stör-



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

zielle Konfundierung mit Stör-variablen)

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



II. Wenn die Intervention nicht abgesetzt werden kann, der Effekt aber groß ist

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

aber groß ist

Identifikation bzw. Analyse des Effektes durch separate Betrach-tung der Messungen vor und nach Einführung der Intervention

=> Glättung (von Plots) durch Konstruktion von Lowess Lines(geglättete Linien)



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

(geglättete Linien)

Möglichkeit der Glättung: Ersetzen von Datenpunkten durch den Median von drei aufeinander folgenden Datenpunkten

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



sinnvolle Technik:

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

- wenn erwartet wird, dass der Interventionseffekt dauerhaft ist

- oder, wenn eine Veränderung (Intervention) permanent ist

- ABER: die Messung der Ergebnisvariable große zufällige Fluktuationen zwischen den Beobachtungszeiträumen aufweist



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Fluktuationen zwischen den Beobachtungszeiträumen aufweist

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



II. Wenn die Intervention nicht abgesetzt werden kann, der Effekt aber groß ist

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Lowess-Lines



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n2. Beobachtung anderer Gruppen

Nicht-äquivalente Kontrollgruppen-Design

⇒ Einsatz von Vergleichsgruppen , (die der UG ausreichend ähnlichsind, und somit z.B. ähnliche Ausgangsniveaus haben)

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

sind, und somit z.B. ähnliche Ausgangsniveaus haben)

⇒ Erlaubt die Isolierung von Effekten des Programms von denen verschiedener plausibler anderer Interpretationen einer Veränderung

⇒ alternative andere Interpretationen:



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

⇒ alternative andere Interpretationen:

z.B. gleichzeitiges prä- und post-Testen der Vergleichsgruppen => gleiche Reifung , gleicher Einfluss geschichtlicher Ereignisse , gleiche Testerfahrung

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Einsatz von Vergleichsgruppen dann besonders nützlich, wenn ein Teil einer potenziell betroffenen Population der Intervention ausgesetzt

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

einer potenziell betroffenen Population der Intervention ausgesetztwird und der andere Teil nicht

UND

die Teilnehmer sich nicht selbst in ein Programm selektieren können

+

der Bedarf der Teilnehmer ihre Eignung für ein Programm nicht bestimmt



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

bestimmt

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Wahl der Vergleichsgruppen = abhängig von Evaluationsfragestellung

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Hauptproblem des nicht-äquivalente Kontrollgruppen-Designs:

⇒ Finden einer Vergleichsgruppe, die der Untersuchungsgruppe ausreichend ähnlich ist



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n2. Beobachtung anderer GruppenNicht-äquivalente Kontrollgruppen-Design

Gründe (Gefährdungen der internen Validität):

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

- Selbstselektion von Teilnehmern (systematische Unterschiede)

- Auswahl von Programmteilnehmern aufgrund extremer Werte im Prätest und Auswahl von Teilnehmern mit weniger extremen Werten in die Vergleichsgruppe (Regression zur Mitte)

Bsp. Head Start Programm in 70er Jahren (USA) zur Verbesserung der schulischen Fähigkeiten benachteiligter Kinder



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

der schulischen Fähigkeiten benachteiligter Kinder

- Versuchsleitereffekte

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Fazit:

Obwohl Unterschiede zwischen Vergleichsgruppen im Prätest zu

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 Obwohl Unterschiede zwischen Vergleichsgruppen im Prätest zu

Über- oder Unterschätzung der Programmeffekte führen können,

ist das Vergleichsgruppendesign in quasiexperimentellen Ergebnis-

evaluationen nützlich und aussagekräftig , wenn ausreichend

ähnliche Gruppen für die Behandlungs- und Vergleichsgruppe zur

Verfügung stehen.



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Verfügung stehen.

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Regressions-Diskontinuitäts-Design

Wenn Teilnehmer-Selektionskriterium - „Eignung“ für ein bestimmtes Programm - auf kontinuierlicher Variable basiert:

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Programm - auf kontinuierlicher Variable basiert:

⇒ Verwendung eines Regressions-Diskontinuitäts-Designs (Spezialfall des nicht-äquivalente Kontrollgruppen- bzw. Vergleichsgruppen-Designs)

→ quantitatives Maß zu Bestimmung der Vergleichsgruppen



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

→ quantitatives Maß zu Bestimmung der Vergleichsgruppen

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Beispiel: Untersuchung der Wirksamkeit eines Sprachtrainings bei Abiturienten

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Erfassen der Sprachkenntnisse (Prätest) an gesamter Stichprobe (n = 300); Teilnehmer, die weniger als 60% Testleistung zeigen, sind für Sprachtraining (Intervention) geeignet (n = 100);

Vergleich der Sprachkenntnisse beider Gruppen nach Sprachtraining für die schwächere Gruppe (Posttest) anhand separater Berechnungen der



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

die schwächere Gruppe (Posttest) anhand separater Berechnungen der Regressionsgeraden

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Gesamtergebnis: Prä- und Posttest

separate Berechnung der Regressionsgeraden für

VergleichsgruppenDiskontinuität

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Pos

ttest

Pos

ttest



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

PrätestPrätest

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Regressions-Diskontinuitäts-DesignAnalyse der Berechnungen der Regressionsgeraden:

1. Ergeben beide Regressionsgeraden zusammen eine durchgehende Line (bzw. eine Gerade) = Kontinuität , dann

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

durchgehende Line (bzw. eine Gerade) = Kontinuität , dann liegt kein Programmeffekt vor.

2. Unterscheiden sich die beiden Geraden jedoch – gibt es eine Diskontinuität - so dass sie z.B. parallel liegen, dann kann auf einen Effekt des Programms geschlossen werden.

3. Die Steigung der Geraden (im Bereich der Behandlungs- oder Untersuchungsgruppe) gibt außerdem einen Hinweis auf die



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Untersuchungsgruppe) gibt außerdem einen Hinweis auf die Richtung und die Größe des Effekts.

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n3. Beobachtung anderer abhängiger Variablen

Kontroll-Konstrukt-Design

weitere Möglichkeit der Erhöhung der internen Validität :

⇒ Erhebung zusätzlicher abhängiger Variablen , die nicht oder nur

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

⇒ Erhebung zusätzlicher abhängiger Variablen , die nicht oder nur marginal durch das Programm beeinflusst werden (sollten)

- zusätzliche AV muss der Haupt-AV ähnlich sein, ohne durch das Programm beeinflusst zu werden

- Vorgehen: Prä- und Postmessungen mit beiden AV, bei Veränderung „nur“ der interessierenden AV → Hinweis auf



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Veränderung „nur“ der interessierenden AV → Hinweis auf Programmeffekt

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n3. Beobachtung anderer abhängiger Variablen

Kontroll-Konstrukt-Design

Kontroll-Konstrukt-Design ist ein potenziell starkes Design, wenn zusätzliche AV gefunden werden können, die

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

zusätzliche AV gefunden werden können, die

1) denselben Bedrohungen der internen Validität unterliegen, wie die Haupt-AV und

2) durch das Programm selbst aber nicht beeinflusst werden.



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n4. Kombinierte Designs

Zeitreihen und nicht-äquivalente Kontrollgruppen

Kombination des unterbrochenen Zeitreihen-Designs mit einer der Untersu-chungsgruppe ausreichend ähnlicher Vergleichsgruppe = starkes Design

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 Beispiel der Unfalltoten in Connecticut 1955 und Einführung von Geschwin-digkeitsbegrenzungen

Vergleichsgruppe : Raten der Unfall-toten über die Jahre hinweg in vier umliegenden Nachbarstaaten



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Zeitreihen und nicht-äquivalente Kontrollgruppen

eine der wichtigsten Möglichkeiten, valide Schlussfolgerungen ziehen zu können = Replikation von Befunden ⇒ wird ein Zeitreihendesign mit einer Vergleichsgruppe kombiniert,

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3 die das Programm zu einem späteren Zeitpunkt erhält → zusätzliche Erhöhung der internen Validität

„ interrupted time series with switching replications“



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio


Selektives Kontroll-Design

Analyse des Programmkontexts zur Identifikation der wahrscheinlichsten Bedrohungen der internen Validit ät

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

⇒ Auswahl von Vergleichsgruppen , die spezifische Bedrohungen der internen Validität kontrollieren, so dass die plausibelsten Alternativinterpretationen eliminiert werden (= selektives Kontroll-Design )

Beispiel:

Dekan eines Colleges forderte eine Evaluation eines StudentInnen-



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Dekan eines Colleges forderte eine Evaluation eines StudentInnen-Auslands-Austauschprogramms binnen sechs Wochen in Hinblick auf internationales Verständnis/interkulturelle Kompetenz

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



⇒ keine Möglichkeit für ein Zeitreihendesign

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Planung der Evaluation um den offensichtlichen Vergleich herum:

College-StudentInnen (seniors ), die das vergangene Jahr im Ausland studiert hatten,

vs.



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

College-StudentInnen (seniors ), die zuhause studiert hatten.

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



⇒ erste Bedrohung der internen Validität: Selbst-Selektion(Prätest-Posttest-Design jetzt unmöglich)

Da die Entscheidung im Ausland zu studieren viel Planung und

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Da die Entscheidung im Ausland zu studieren viel Planung und Vorbereitung bedarf, schreiben sich die StudentInnen (selbst! ) frühzeitig dafür ein

→ Erster Vergleich :

StudentInnen (seniors ), die im Ausland waren,

vs.



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

StudentInnen (sophomores ), die planen ins Ausland zu gehen (= Kontrolle der Selbstselektion , da beide Gruppen sich selbst (!) ins Programm gewählt haben)

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



⇒ Zweite Bedrohung der internen Validität (Folge aus Umgang mit der ersten): Reifegrad der StudentInnen; die Grundstudiums-studentInnen (sophomores ) sind jünger, unerfahrener = weniger gereift

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

gereift

Hinzufügen noch einer weiteren Vergleichsgruppe: GrundstudiumsstudentInnen (sophomores ), die nicht planen ins Ausland zu gehen

→ Zweiter Vergleich :

StudentInnen (sophomores ), die planen ins Ausland zu gehen,



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

vs.

StudentInnen (sophomores ), die nicht planen ins Ausland zu gehen (= Kontrolle der Reife , da beide Gruppen gleich alt/reif sind)

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio



Beispiel:

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

nZusammenfassung

- häufige Nutzung von Quasiexperimentellen Designs

- quasiexperimentelle Designs können Bedrohungen der internen Validität minimieren

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

ABER:

Es besteht immer die Notwendigkeit zu überlegen, welchespezfischen Bedrohungen der internen Validität vorliegen, um ihnen begegnen zu können.



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Ziel: möglichst eindeutige Schlussfolgerung von den beobachteten Veränderungen in den AVs auf die Variationen der UVs (hier: das Programm)

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

nRelevante Begriffe

- quasiexperimentelle Designs

- interne Validität (+ Bedrohungen)

- Zeitreihendesigns (interrupted time series)

- ABAB-Design

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

- ABAB-Design

- Glättung von Plots/Lowess-Lines

- nicht-äquivalente Kontrollgruppen Design (Vergleichsgruppendesign)

- Regression zur Mitte

- Regressions-Diskontinuitäts-Design



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

- Kontroll-Konstrukt-Design

- interrupted time series with switching replications

- selektives Kontroll-Design

Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

nQ

ua

sie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

11

. Ju

ni 2

01

3

Vielen Dank für die Aufmerksamkeit!



Qu

asie

xp

eri

me

nte

lle

An

sä

tze

de

r E

rge

bn

ise

va

lua

tio

n

Documents

HBM6: Evaluation (051105) - uni-kiel.de · Quasiexperimentelle Ansätze der Ergebnisevaluation 1) Quasiexperimentelle Ergebnisevaluationen Definition quasiexperimentell = Teilnehmer