Die ökonomische Bedeutung psychologischer Interventionen und warum wir sie alle unterschätzen

Werner W. WittmannUniversität Mannheim

45. Kongress der Deutschen Gesellschaft für Psychologie

Nürnberg, 17. – 21. September 2006

Gliederung

• Lokalkolorit• Welche methodischen Fehler begehen wir in

Forschung und Evaluation• Was wissen wir über die Effektivität unserer

Interventionen• Eine einfache Idee, die Effektstärke am break-

even Punkt und die Abschätzung eines ROI (return on investment) Koeffizienten

• Ausgewählte Beispiele

Ludwig Erhard: Franke und Begründer der sozialen Marktwirtschaft,Wirtschaftsminister und Bundeskanzler, Vater des Wirtschaftswunders

„Ökonomie ist zu 50% Psychologie!“

Die Anwendungsfelder psychologischer Interventionen und Strategien nach Pawlik (1976)

Auswahlstrategien

Modifikationsstrategien

Personen Bedingungen

PersonalauswahlSchüler- und Studenten=auswahl

LaufbahnberatungCounselingBerufsberatungErziehungsberatung

PersonalentwicklungTrainingTherapie

ArbeitsplatzgestaltungOrganisationsentwicklungUmweltgestaltungFamilientherapie

Evidenzbasierte Interventionen und Strategien?

• Wissen wir was wir tun?• Welche monetär und nicht monetär bewertbare

Evidenzen kann die Psychologie vorweisen?• Nur nichtmonetär bewertbare Evidenzen?• Der Stellenwert systematischer

Evaluationsforschung und Programmevaluation• Meta-Analysen zu Synthese der Evidenz von

Interventionen, Strategien und Programmen

Die Konzeption der fünf Datenboxen

Bewertungs-bereich

Kriterien-zielbereich

ProgrammBehandlungInterventionAusgangslage

Nordwest-Pfad

EVA-BoxKR-Box

NTR-Box

PR-Box

ETR-Box

rETR-KR

rNTR-KR

rPR-KR

rPR-NTR

rPR-ETR

Südwest-Pfad

The Brunswik-lens-equationfor relating experimental treatment (ETR) to criteria (CR)

Selection effects due to restriction(enhancement)

of range

1 Danger to overestimate1 Danger to

underestimate

Psychometricreliability of experimentaltreatment and

criterion

2 Dangers to underestimate

Construct reliabilityof experimentaltreatment and

criterion

2 Dangers to underestimate

(lack of symmetry)

Sampling error

1 Danger to overestimate

(positive error)

1 Danger to underestimate (negative error)

There 6 dangers to underestimateagainst 2 dangers to overestimateA true effect size!

eRRGrrSr CRETR

effecttrue

trueCR,ETR

CRtt

ETRtt

observedCR,ETR

cr 1

cr 3

cr 2

Asymmetry due to a broad higher level

pr 5

pr 4

pr 1

pr 2

pr 3

cr 5

cr 4PR B

PR A

CR B

CR A

Hierarchy of predictors Hierarchy of criteria

Predictor and a narrower lower level criterion

cr 1

cr 3

cr 2

Asymmetry due to a narrower lower level

pr 5

pr 4

pr 1

pr 2

pr 3

cr 5

cr 4PR B

PR A

CR B

CR A

Hierarchy of predictors Hierarchy of criteria

Predictor and a broad higher level criterion

CR B

cr 1

cr 3

cr 2

The hybrid case of asymmetry

pr 5

pr 4

pr 1

pr 2

pr 3

cr 5

cr 4PR B

PR A CR A

Hierarchy of predictors Hierarchy of criteria

Mismatch at the same level of generality !

cr 1

cr 3

cr 2

Full AsymmetryThe Case of nothing works!

pr 6

pr 5

pr 4

pr 1

pr 2

pr 3

cr 6

cr 5

cr 4

PR B

PR A

CR B

CR A

Hierarchy of predictors Hierarchy of criteria

All correlations between predictors and criteria are zero !

The beauty of Brunswik symmetry

ETR-Box

PR-Box CR-Box

ETR - Experimental Treatment BoxPR - Predictor BoxCR - Criteria BoxNTR - Nonexperimental Treatment BoxNTR-Box

Validität der einzelnen eignungsdiagnostischen Verfahren

Leistungstests

Arbeitsproben

Assessment Center

Biograph. Fragebogen

Zeugnisnoten

Med. Begutachtung

Intelligenztests

Gruppengespräche

Interview

Referenzen

Bewerbungsunterlagen

Graphologie

0.050 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55

Individuelle Gespräche

Persönlichkeitstests

Einsatzhäufigkeit der einzelnen eignungsdiagnostischen Verfahren

Leistungstests

Arbeitsproben

Assessment Center

Biograph. Fragebogen

Zeugnisnoten

Med. Begutachtung

Intelligenztests

Gruppengespräche

Interview

Referenzen

Bewerbungsunterlagen

Graphologie

10%0 20% 30% 40% 50% 60% 70% 80% 90% 100%

Individuelle Gespräche

Persönlichkeitstests

Asymmetrien zwischen Validität und Einsatzhäufigkeit:Konsequenz hohe Opportunitätskosten

V a l i d i t ä t

Leistungstests

Arbeitsproben

Assessment Center

Biograph. Fragebogen

Zeugnisnoten

Med. Begutachtung

Intelligenztests

Gruppengespräche

Interview

Referenzen

Bewerbungsunterlagen

Graphologie

0.050 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55

Individuelle Gespräche

Persönlichkeitstests

E i n s a t z h ä u f i g k e i t

Leistungstests

Arbeitsproben

Assessment Center

Biograph. Fragebogen

Zeugnisnoten

Med. Begutachtung

Intelligenztests

Gruppengespräche

Interview

Referenzen

Bewerbungsunterlagen

Graphologie

10%0 20% 30% 40% 50% 60% 70% 80% 90% 100%

Individuelle Gespräche

Persönlichkeitstests

The cost-benefit equation for selection decisions:

• U: Utility(benefit) of selection strategy in $• NPOS: Number of positions to be filled • rCR.PR: Validity (Pearson r) of strategy• SDPROD: Standard deviation of productivity of those

working on the job• Z‘ : Average score of those selected on the assessment

instrument in z-scores (mean=0,sd=1)• SR: Proportion of those selected,i.e. the selection rate• DISC: Discounting factor of utility given someone stays

T-years on the job• C: Cost of selection strategy per tested applicant• DISC= ((1+i)T – 1)/(i*(1+i)T)• i : Discounting proportion, e.g. the average inflation rate

per year

U=NPOS*rCR,PR*SDPROD*Z‘*DISC-NPOS*C/SR

Evaluating Programs With Kirkpatrick‘s Four Levels:

Outcome criteria very popular in training and marketing research

Level 1 - Reaction

Level 2 - Learning

Level 3 - Behavior

Level 4 - Results

Source: Kirkpatrick,D.L.(1998) Evaluating training programs.The four levels (2nd ed.). San Francisco:Berrett-Koehler Publishers,Inc.

Die Brogden-Cronbach-Gleser Kosten-Nutzen-Analyse von Interventionen, das „Dornröschen“ der Kosten-Nutzen-Analyse: Folgende Kennwerte werden aus

der Evaluationsforschung benötigt.

a) Effektgrößemaße für die Intervention (d)

b) Die Wirkungsdauer des Effektes (T)

c) Die Anzahl der Trainierten,Therapierten,Rehabilitierten (N)

d) Die Gesamtkosten pro Person (K)

e) Die Standardabweichung der Produktivität

(SDPROD)

f) Die proportionale Überlappung des Effektes zur Produktivität (a)

Diese Informationen können in folgender Nutzengleichung zusammengefasst werden, um den gesamten Nettonutzen (U) zu schätzen.

KostenQualität

PROD

QuantitätnNettonutze

KNadSDTNU *****

Die Standardabweichung der Produktivität, das „Dornröschen“ Kosten-Nutzen-Gleichung

• Ökonomen scheiterten SDProd zu schätzen und ins „Leben“ zu erwecken

• Zwei Psychologen, Frank Schmidt und Jack Hunter gelang es jedoch erste brauchbare Schätzungen vorzulegen

• Die Faustregel 40-70% des Gehalts• L. Erhard hätte dies sicherlich

gefreut basieren diese Schätzungen doch auf Prinzipien der Marktwirtschaft

• Wann erhalten beide endlich den Nobelpreis für Ökonomie?

Meta-Analyse, der Königsweg zur Evidenz:Drei Männer und Ansätze der „Ersten Stunde“

• Gene Glass

• Frank Schmidt

• Robert Rosenthal

Meta-analysis results of the relationship between design and evaluation features and the effectiveness of organizational training

(Arthur et al. 2003)

Training design and evaluation features

No. Of data points

(k) N

Sample-weighted

M d

Corrected

SD

% Variance due to

sampling error

Evaluation criteria

Reaction 15 936 0.60 0.26 50.69

Learning 234 15,014 0.63 0.59 16.25

Behavioral 122 15,627 0.62 0.29 28.34

Results 26 1,748 0.62 0.46 23.36

Frage: Unter welchen Rahmenbedingungen wiegt der Nutzen die Kosten gerade auf?

Frage:Welche Effektstärken müssen wir dafür wenigstens erzielen?

Antwort: Über Break-Even-Point AnalyseBruttonutzen = KostenN * T * SDPROD * d * a = N * KAntwort:

PRODSD*a*TK

d

Die einfache Idee:

Effect size at the break-even-point an example:

Assume that a training program total cost C=8000$ per trainee,The effect holds on for two years (T= 2). The outcome measure assessing communications skills to improve costumer oriented selling has an overlap of a=.60 with productivity. Yearly salary in that job category is 40000$ and we use the 70% estimate, thus SDPROD= 28000$.

d = 8000$/(2*.60*28000$);d = .24In Cohen‘s classification this is an effect close to a small one and meta-analysis results might additionally hint that programs similar to the one we use or want to evaluate have still larger effects.

Das Return on Investment Konzept (ROI)

Vergleichen wir nun unseren Effekt am break-even-point mit den Effekten,die wir aus Meta-Analysen kennen, so können wir den ROI-Koeffizienten für diese Interventionen abschätzen:

ROI= dMetanalyse/dbreak-even

In unserem Beispiel aus der Meta-Analyse von Arthur et al. ist der Effekt für Results (monetär) d= .62 also :

ROI(Personaltraining) = .62/.24 = 2.58 Solche ROI‘s sind beträchtlich und lassen erheblichen Spielraum für Sensitivitätsanalysen, d.h. auch unter konservativen Szenarien bleiben sie in einer Höhe mit der psychologische Interventionen absolut konkurrenzfähig zu anderen Investitionsentscheidungen sind.

Computing an effect size necessary to compete with others claiming to have a certain ROI

• Other competitor about investments may claim having a ROI=2, which means after a year for each dollar the investor get two dollars back. Impressive indeed. Can we compete, what effect size do we have to demonstrate to get a similar ROI? Well

• d necessary = ROI* dBreak-Even and using data from the example above:

• d necessary = 2 * .24• d necessary = .48!• This is a medium sized effect only. So shouldn‘t we be

confident in competing?

Lipsey and Wilson (1993) effect size distribution

Effektgröße d für EMEK_27 EQUA-Studie (Schmidt, Nübling, Steffanowski & Wittmann, 2002)

• EMEK_27 vor Reha: • EMEK_27 nach Reha:• d = (17,1 – 12,0) / 5,3• d = 0,96• Der Effekt beträgt fast eine ganze

Standardabweichung.• Dem durchschnittlichen Patienten geht es

insgesamt besser als 84 % der Patienten vor der stationären psychosomatischen Rehabilitation!

• ROI = d / d BREAK-EVEN = 0,96/0,37;• ROI = 2,59 !

Monetär bewertbare Nutzenaspekte (Zielke, 1995)(Objektiv erhobene Daten in Einzelbetriebskrankenkassen aus Baden-Württemberg, Nordrhein-

Westfalen, Rheinland-Pfalz)

Merkmal Zeitraum A: 2 Jahre vor der HB SUMMENWERT

Zeitraum B: 2 Jahre nach der HB

SUMMENWERT

Reduktion um

N

Ambulante Arztbesuche, Anzahl der Praxiskontakte

6.279 4.149 33,92 % 114

Arbeitsunfähigkeitstage (Krankschreibung)

7.196 3.296 54,20 % 95

Krankenhaustage 1.923 500 74,00 % 95

Medikamente - Schmerzmittel - Psychopharmaka

74,10 % 115

Errechnete Kosten-Nutzen-Relation

je Patient (Gesamt) 1 : 2,49 ROI = 2,49je erwerbstätiger Patient 1 : 3,46 ROI = 3,46

Annahme:

Eine Einrichtung erzeugt eine durchschnittliche Effektstärke von d = 1,00im Laufe eines Jahres werden 1000 Patienten behandelt:

N = 1000Der Behandlungseffekt hält 2 Jahre (T) lang an: T = 2Die Kosten pro Patient betragen - direkt 5.000,- € (Behandlungskosten)- indirekt 3.000,- € (Lohnfortzahlung für 1,5 Monate):

K = 8.000,- €Die Standardabweichung der Produktivität beträgt 70%des Jahresgehaltes (13 * 2.000,- € = 26.000,-€) ergibt: SDPROD = 18.200,- €

Der erzielte Globaleffekt korreliert zu .60 mit der Produktivität: a=.60

OPPORTUNITÄTSKOSTENEin Beispiel zur Veranschaulichung der Konsequenzen falscher

gesundheitspolitischer Entscheidungen

U = 21.840.000,- € - 8.000.000,- €U = 21.840.000,- € - 8.000.000,- €U = 13.840.000,- Millionen € an entgangenem Nutzen (Opportunitäten) = U = 13.840.000,- Millionen € an entgangenem Nutzen (Opportunitäten) = OpportunitätskostenOpportunitätskosten

Wir setzten die Werte in unsere Kosten-Nutzengleichung ein:U = N * T * SDPROD * d * a - N * K ; d.h.U = 1000 * 2 * 18.200 € * 1 * ,60 - 1000 * 8.000 €

Demands on the workforce

• CP SNOW‘s distinction of the two cultures

• Buz Hunt‘s question: Will we be smart enough?

• Camilla Benbow and David Lubinski‘s focus on tilted profiles in aptitude and achievement

Tilted Profiles as demands of the workplace

200

500

800

200

500

800

QUANT

VERBAL

Tilted Profiles as demands of a different workplace

200

500

800

200

500

800

VERBAL

QUANT

Even Profiles of still another one

200

500

800

200

500

800

VERBAL QUANT

IQ AND THE WEALTH OF NATIONS

50 60 70 80 90 100 110IQ_country

2

3

4

5

Log

base

10

o f R

EA

LGD

P O

F 1

9 98

HKG

KOR

JPN

TWN

SGPGERNLDAUTITASWE

CHE

GBR

NZL

BEL

CHN

HUN

POL

USA

FRAAUSDNKNOR

FIN

ESP

CAN

CZE

URY

RUS

SVK

ARG

SVNPRT

ROM

ISR

IRL

BGR

GRC

MYS

THA

HRV

PER

TURCOL

IDN

WSM

MEX

BRA

TONIRQ

PHL

LBN

MAR

CUBFJI

MHL

PRI

IRN

EGY

IND

ECU

GTM

NPL

QAT

BRB

ZMB

UGACOGKEN

JAM

TZA

GHA

NGA

ZWE

GIN

ZAR

SLE

ETH

GNQ

0.000.010.020.030.040.050.060.070.080.090.10

Pearson r Influence

REALGDP and math-verbal tilted profiles

-1.0 -0.5 0.0 0.5 1.0Tiltedness, negative scores math tilted profiles

-0.2

-0.1

0.0

0.1

0.2

Re

sid

ua

l of L

og

( 10

) R

ea

lGD

P

JPN

SVK

CZE

CHE

NLD

DNKBEL

AUT

FRAGER

HUN

GRC

IRL

USA

PRTPOL

SWEITA

NOR

AUSFIN

GBR

CAN

ESP

KOR

0.000.010.020.030.040.050.060.070.080.090.10

Pearson r Influence

Oil and Socialism have beenpartialled out .

EQS PATH-Diagram: PISA_causalmodel1  List of the 24 countries used for this model analysis: AUTBELCANCHECZEDNKESPFINFRAGBRGERGRCHUNIRLITAJPNNLDNORPOLPRTSVKSWEUSA        STMORALE: Student moral index SCMATEDU: Quality of educational materialsPROPMATH: proportion of math teachersA detailed description of these indices is to be found in VariableInformation_Schoolindices.docIQ_COUNT: Country IQ from Lynn&VanhanenZRE:2: Logrealgdp from Lynn&Vanhanen with oil and socialism dummies partialled out.

IQ_COUNT

FAC2_T IL

PROPMAT H

SCMAT EDU

ST MORALEZRE_2

-0.54*

E16*

0.76

-0.11*

0.35*-0.67* E28*0.50

Figure X: EQS 6 model6_270106 Chi Sq.=6.49 P=0.59 CFI=1.00 RMSEA=0.00

0.44*

0.48*

0.32*

-0.54*

0.76

-0.11*

0.35*-0.67* 0.50

0.44*

0.48*

0.32*

AUS

ROIL*

RIQCOUNT*

RSOCIALI*

RF1_LEVE

RF2_TILT

RL10REAL

RSCMATBU

RSTMORAL

E24*

E22*

E23*

Figure X: EQS 6 01mod Chi Sq.=7.04 P=0.96 CFI=1.00 RMSEA=0.00

E48*

E46*

0.54*

0.41

-0.60*-0.56*

0.52*

0.78

-0.35*

0.81

0.38*-0.49*

0.29*

-0.41*

0.91

0.28*

0.96

-0.10*

-0.18*

0.23*

Zusammenfassung und Empfehlungen

• Die Psychologie hat die Effektivität ihrer Interventionen in zahlreichen Grundlagen- und Anwendungsfeldern beeindruckend nachgewiesen

• Leider besteht noch immer die Gefahr ökonomisch bedeutsame Effekte durch Defizite der Forschungsmethodologien nicht zu entdecken

• Meta-Analyse-Techniken sind einer der größten Exportschlager der psychologischen Methoden geworden

• Kosten-Nutzen-Analysen sind auch für viele psychologische Interventionen realisierbar

• Ängste, bezüglich monetärer Effektivität erscheinen vollkommen unbegründet

• Wenden Sie die vorgeschlagenen Methoden in ihrem Anwendungsbereich an und sie werden erstaunt sein und sich fragen warum sie nicht schon längst solche Analysen durchgeführt haben.