View
111
Download
1
Category
Preview:
Citation preview
Die ökonomische Bedeutung psychologischer Interventionen und warum wir sie alle unterschätzen
Werner W. WittmannUniversität Mannheim
45. Kongress der Deutschen Gesellschaft für Psychologie
Nürnberg, 17. – 21. September 2006
Gliederung
• Lokalkolorit• Welche methodischen Fehler begehen wir in
Forschung und Evaluation• Was wissen wir über die Effektivität unserer
Interventionen• Eine einfache Idee, die Effektstärke am break-
even Punkt und die Abschätzung eines ROI (return on investment) Koeffizienten
• Ausgewählte Beispiele
Ludwig Erhard: Franke und Begründer der sozialen Marktwirtschaft,Wirtschaftsminister und Bundeskanzler, Vater des Wirtschaftswunders
„Ökonomie ist zu 50% Psychologie!“
Die Anwendungsfelder psychologischer Interventionen und Strategien nach Pawlik (1976)
Auswahlstrategien
Modifikationsstrategien
Personen Bedingungen
PersonalauswahlSchüler- und Studenten=auswahl
LaufbahnberatungCounselingBerufsberatungErziehungsberatung
PersonalentwicklungTrainingTherapie
ArbeitsplatzgestaltungOrganisationsentwicklungUmweltgestaltungFamilientherapie
Evidenzbasierte Interventionen und Strategien?
• Wissen wir was wir tun?• Welche monetär und nicht monetär bewertbare
Evidenzen kann die Psychologie vorweisen?• Nur nichtmonetär bewertbare Evidenzen?• Der Stellenwert systematischer
Evaluationsforschung und Programmevaluation• Meta-Analysen zu Synthese der Evidenz von
Interventionen, Strategien und Programmen
Die Konzeption der fünf Datenboxen
Bewertungs-bereich
Kriterien-zielbereich
ProgrammBehandlungInterventionAusgangslage
Nordwest-Pfad
EVA-BoxKR-Box
NTR-Box
PR-Box
ETR-Box
rETR-KR
rNTR-KR
rPR-KR
rPR-NTR
rPR-ETR
Südwest-Pfad
The Brunswik-lens-equationfor relating experimental treatment (ETR) to criteria (CR)
Selection effects due to restriction(enhancement)
of range
1 Danger to overestimate1 Danger to
underestimate
Psychometricreliability of experimentaltreatment and
criterion
2 Dangers to underestimate
Construct reliabilityof experimentaltreatment and
criterion
2 Dangers to underestimate
(lack of symmetry)
Sampling error
1 Danger to overestimate
(positive error)
1 Danger to underestimate (negative error)
There 6 dangers to underestimateagainst 2 dangers to overestimateA true effect size!
eRRGrrSr CRETR
effecttrue
trueCR,ETR
CRtt
ETRtt
observedCR,ETR
cr 1
cr 3
cr 2
Asymmetry due to a broad higher level
pr 5
pr 4
pr 1
pr 2
pr 3
cr 5
cr 4PR B
PR A
CR B
CR A
Hierarchy of predictors Hierarchy of criteria
Predictor and a narrower lower level criterion
cr 1
cr 3
cr 2
Asymmetry due to a narrower lower level
pr 5
pr 4
pr 1
pr 2
pr 3
cr 5
cr 4PR B
PR A
CR B
CR A
Hierarchy of predictors Hierarchy of criteria
Predictor and a broad higher level criterion
CR B
cr 1
cr 3
cr 2
The hybrid case of asymmetry
pr 5
pr 4
pr 1
pr 2
pr 3
cr 5
cr 4PR B
PR A CR A
Hierarchy of predictors Hierarchy of criteria
Mismatch at the same level of generality !
cr 1
cr 3
cr 2
Full AsymmetryThe Case of nothing works!
pr 6
pr 5
pr 4
pr 1
pr 2
pr 3
cr 6
cr 5
cr 4
PR B
PR A
CR B
CR A
Hierarchy of predictors Hierarchy of criteria
All correlations between predictors and criteria are zero !
The beauty of Brunswik symmetry
ETR-Box
PR-Box CR-Box
ETR - Experimental Treatment BoxPR - Predictor BoxCR - Criteria BoxNTR - Nonexperimental Treatment BoxNTR-Box
Validität der einzelnen eignungsdiagnostischen Verfahren
Leistungstests
Arbeitsproben
Assessment Center
Biograph. Fragebogen
Zeugnisnoten
Med. Begutachtung
Intelligenztests
Gruppengespräche
Interview
Referenzen
Bewerbungsunterlagen
Graphologie
0.050 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55
Individuelle Gespräche
Persönlichkeitstests
Einsatzhäufigkeit der einzelnen eignungsdiagnostischen Verfahren
Leistungstests
Arbeitsproben
Assessment Center
Biograph. Fragebogen
Zeugnisnoten
Med. Begutachtung
Intelligenztests
Gruppengespräche
Interview
Referenzen
Bewerbungsunterlagen
Graphologie
10%0 20% 30% 40% 50% 60% 70% 80% 90% 100%
Individuelle Gespräche
Persönlichkeitstests
Asymmetrien zwischen Validität und Einsatzhäufigkeit:Konsequenz hohe Opportunitätskosten
V a l i d i t ä t
Leistungstests
Arbeitsproben
Assessment Center
Biograph. Fragebogen
Zeugnisnoten
Med. Begutachtung
Intelligenztests
Gruppengespräche
Interview
Referenzen
Bewerbungsunterlagen
Graphologie
0.050 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55
Individuelle Gespräche
Persönlichkeitstests
E i n s a t z h ä u f i g k e i t
Leistungstests
Arbeitsproben
Assessment Center
Biograph. Fragebogen
Zeugnisnoten
Med. Begutachtung
Intelligenztests
Gruppengespräche
Interview
Referenzen
Bewerbungsunterlagen
Graphologie
10%0 20% 30% 40% 50% 60% 70% 80% 90% 100%
Individuelle Gespräche
Persönlichkeitstests
The cost-benefit equation for selection decisions:
• U: Utility(benefit) of selection strategy in $• NPOS: Number of positions to be filled • rCR.PR: Validity (Pearson r) of strategy• SDPROD: Standard deviation of productivity of those
working on the job• Z‘ : Average score of those selected on the assessment
instrument in z-scores (mean=0,sd=1)• SR: Proportion of those selected,i.e. the selection rate• DISC: Discounting factor of utility given someone stays
T-years on the job• C: Cost of selection strategy per tested applicant• DISC= ((1+i)T – 1)/(i*(1+i)T)• i : Discounting proportion, e.g. the average inflation rate
per year
U=NPOS*rCR,PR*SDPROD*Z‘*DISC-NPOS*C/SR
Evaluating Programs With Kirkpatrick‘s Four Levels:
Outcome criteria very popular in training and marketing research
Level 1 - Reaction
Level 2 - Learning
Level 3 - Behavior
Level 4 - Results
Source: Kirkpatrick,D.L.(1998) Evaluating training programs.The four levels (2nd ed.). San Francisco:Berrett-Koehler Publishers,Inc.
Die Brogden-Cronbach-Gleser Kosten-Nutzen-Analyse von Interventionen, das „Dornröschen“ der Kosten-Nutzen-Analyse: Folgende Kennwerte werden aus
der Evaluationsforschung benötigt.
a) Effektgrößemaße für die Intervention (d)
b) Die Wirkungsdauer des Effektes (T)
c) Die Anzahl der Trainierten,Therapierten,Rehabilitierten (N)
d) Die Gesamtkosten pro Person (K)
e) Die Standardabweichung der Produktivität
(SDPROD)
f) Die proportionale Überlappung des Effektes zur Produktivität (a)
Diese Informationen können in folgender Nutzengleichung zusammengefasst werden, um den gesamten Nettonutzen (U) zu schätzen.
KostenQualität
PROD
QuantitätnNettonutze
KNadSDTNU *****
Die Standardabweichung der Produktivität, das „Dornröschen“ Kosten-Nutzen-Gleichung
• Ökonomen scheiterten SDProd zu schätzen und ins „Leben“ zu erwecken
• Zwei Psychologen, Frank Schmidt und Jack Hunter gelang es jedoch erste brauchbare Schätzungen vorzulegen
• Die Faustregel 40-70% des Gehalts• L. Erhard hätte dies sicherlich
gefreut basieren diese Schätzungen doch auf Prinzipien der Marktwirtschaft
• Wann erhalten beide endlich den Nobelpreis für Ökonomie?
Meta-Analyse, der Königsweg zur Evidenz:Drei Männer und Ansätze der „Ersten Stunde“
• Gene Glass
• Frank Schmidt
• Robert Rosenthal
Meta-analysis results of the relationship between design and evaluation features and the effectiveness of organizational training
(Arthur et al. 2003)
Training design and evaluation features
No. Of data points
(k) N
Sample-weighted
M d
Corrected
SD
% Variance due to
sampling error
Evaluation criteria
Reaction 15 936 0.60 0.26 50.69
Learning 234 15,014 0.63 0.59 16.25
Behavioral 122 15,627 0.62 0.29 28.34
Results 26 1,748 0.62 0.46 23.36
Frage: Unter welchen Rahmenbedingungen wiegt der Nutzen die Kosten gerade auf?
Frage:Welche Effektstärken müssen wir dafür wenigstens erzielen?
Antwort: Über Break-Even-Point AnalyseBruttonutzen = KostenN * T * SDPROD * d * a = N * KAntwort:
PRODSD*a*TK
d
Die einfache Idee:
Effect size at the break-even-point an example:
Assume that a training program total cost C=8000$ per trainee,The effect holds on for two years (T= 2). The outcome measure assessing communications skills to improve costumer oriented selling has an overlap of a=.60 with productivity. Yearly salary in that job category is 40000$ and we use the 70% estimate, thus SDPROD= 28000$.
d = 8000$/(2*.60*28000$);d = .24In Cohen‘s classification this is an effect close to a small one and meta-analysis results might additionally hint that programs similar to the one we use or want to evaluate have still larger effects.
Das Return on Investment Konzept (ROI)
Vergleichen wir nun unseren Effekt am break-even-point mit den Effekten,die wir aus Meta-Analysen kennen, so können wir den ROI-Koeffizienten für diese Interventionen abschätzen:
ROI= dMetanalyse/dbreak-even
In unserem Beispiel aus der Meta-Analyse von Arthur et al. ist der Effekt für Results (monetär) d= .62 also :
ROI(Personaltraining) = .62/.24 = 2.58 Solche ROI‘s sind beträchtlich und lassen erheblichen Spielraum für Sensitivitätsanalysen, d.h. auch unter konservativen Szenarien bleiben sie in einer Höhe mit der psychologische Interventionen absolut konkurrenzfähig zu anderen Investitionsentscheidungen sind.
Computing an effect size necessary to compete with others claiming to have a certain ROI
• Other competitor about investments may claim having a ROI=2, which means after a year for each dollar the investor get two dollars back. Impressive indeed. Can we compete, what effect size do we have to demonstrate to get a similar ROI? Well
• d necessary = ROI* dBreak-Even and using data from the example above:
• d necessary = 2 * .24• d necessary = .48!• This is a medium sized effect only. So shouldn‘t we be
confident in competing?
Lipsey and Wilson (1993) effect size distribution
Effektgröße d für EMEK_27 EQUA-Studie (Schmidt, Nübling, Steffanowski & Wittmann, 2002)
• EMEK_27 vor Reha: • EMEK_27 nach Reha:• d = (17,1 – 12,0) / 5,3• d = 0,96• Der Effekt beträgt fast eine ganze
Standardabweichung.• Dem durchschnittlichen Patienten geht es
insgesamt besser als 84 % der Patienten vor der stationären psychosomatischen Rehabilitation!
• ROI = d / d BREAK-EVEN = 0,96/0,37;• ROI = 2,59 !
Monetär bewertbare Nutzenaspekte (Zielke, 1995)(Objektiv erhobene Daten in Einzelbetriebskrankenkassen aus Baden-Württemberg, Nordrhein-
Westfalen, Rheinland-Pfalz)
Merkmal Zeitraum A: 2 Jahre vor der HB SUMMENWERT
Zeitraum B: 2 Jahre nach der HB
SUMMENWERT
Reduktion um
N
Ambulante Arztbesuche, Anzahl der Praxiskontakte
6.279 4.149 33,92 % 114
Arbeitsunfähigkeitstage (Krankschreibung)
7.196 3.296 54,20 % 95
Krankenhaustage 1.923 500 74,00 % 95
Medikamente - Schmerzmittel - Psychopharmaka
74,10 % 115
Errechnete Kosten-Nutzen-Relation
je Patient (Gesamt) 1 : 2,49 ROI = 2,49je erwerbstätiger Patient 1 : 3,46 ROI = 3,46
Annahme:
Eine Einrichtung erzeugt eine durchschnittliche Effektstärke von d = 1,00im Laufe eines Jahres werden 1000 Patienten behandelt:
N = 1000Der Behandlungseffekt hält 2 Jahre (T) lang an: T = 2Die Kosten pro Patient betragen - direkt 5.000,- € (Behandlungskosten)- indirekt 3.000,- € (Lohnfortzahlung für 1,5 Monate):
K = 8.000,- €Die Standardabweichung der Produktivität beträgt 70%des Jahresgehaltes (13 * 2.000,- € = 26.000,-€) ergibt: SDPROD = 18.200,- €
Der erzielte Globaleffekt korreliert zu .60 mit der Produktivität: a=.60
OPPORTUNITÄTSKOSTENEin Beispiel zur Veranschaulichung der Konsequenzen falscher
gesundheitspolitischer Entscheidungen
U = 21.840.000,- € - 8.000.000,- €U = 21.840.000,- € - 8.000.000,- €U = 13.840.000,- Millionen € an entgangenem Nutzen (Opportunitäten) = U = 13.840.000,- Millionen € an entgangenem Nutzen (Opportunitäten) = OpportunitätskostenOpportunitätskosten
Wir setzten die Werte in unsere Kosten-Nutzengleichung ein:U = N * T * SDPROD * d * a - N * K ; d.h.U = 1000 * 2 * 18.200 € * 1 * ,60 - 1000 * 8.000 €
Demands on the workforce
• CP SNOW‘s distinction of the two cultures
• Buz Hunt‘s question: Will we be smart enough?
• Camilla Benbow and David Lubinski‘s focus on tilted profiles in aptitude and achievement
Tilted Profiles as demands of the workplace
200
500
800
200
500
800
QUANT
VERBAL
Tilted Profiles as demands of a different workplace
200
500
800
200
500
800
VERBAL
QUANT
Even Profiles of still another one
200
500
800
200
500
800
VERBAL QUANT
IQ AND THE WEALTH OF NATIONS
50 60 70 80 90 100 110IQ_country
2
3
4
5
Log
base
10
o f R
EA
LGD
P O
F 1
9 98
HKG
KOR
JPN
TWN
SGPGERNLDAUTITASWE
CHE
GBR
NZL
BEL
CHN
HUN
POL
USA
FRAAUSDNKNOR
FIN
ESP
CAN
CZE
URY
RUS
SVK
ARG
SVNPRT
ROM
ISR
IRL
BGR
GRC
MYS
THA
HRV
PER
TURCOL
IDN
WSM
MEX
BRA
TONIRQ
PHL
LBN
MAR
CUBFJI
MHL
PRI
IRN
EGY
IND
ECU
GTM
NPL
QAT
BRB
ZMB
UGACOGKEN
JAM
TZA
GHA
NGA
ZWE
GIN
ZAR
SLE
ETH
GNQ
0.000.010.020.030.040.050.060.070.080.090.10
Pearson r Influence
REALGDP and math-verbal tilted profiles
-1.0 -0.5 0.0 0.5 1.0Tiltedness, negative scores math tilted profiles
-0.2
-0.1
0.0
0.1
0.2
Re
sid
ua
l of L
og
( 10
) R
ea
lGD
P
JPN
SVK
CZE
CHE
NLD
DNKBEL
AUT
FRAGER
HUN
GRC
IRL
USA
PRTPOL
SWEITA
NOR
AUSFIN
GBR
CAN
ESP
KOR
0.000.010.020.030.040.050.060.070.080.090.10
Pearson r Influence
Oil and Socialism have beenpartialled out .
EQS PATH-Diagram: PISA_causalmodel1 List of the 24 countries used for this model analysis: AUTBELCANCHECZEDNKESPFINFRAGBRGERGRCHUNIRLITAJPNNLDNORPOLPRTSVKSWEUSA STMORALE: Student moral index SCMATEDU: Quality of educational materialsPROPMATH: proportion of math teachersA detailed description of these indices is to be found in VariableInformation_Schoolindices.docIQ_COUNT: Country IQ from Lynn&VanhanenZRE:2: Logrealgdp from Lynn&Vanhanen with oil and socialism dummies partialled out.
IQ_COUNT
FAC2_T IL
PROPMAT H
SCMAT EDU
ST MORALEZRE_2
-0.54*
E16*
0.76
-0.11*
0.35*-0.67* E28*0.50
Figure X: EQS 6 model6_270106 Chi Sq.=6.49 P=0.59 CFI=1.00 RMSEA=0.00
0.44*
0.48*
0.32*
-0.54*
0.76
-0.11*
0.35*-0.67* 0.50
0.44*
0.48*
0.32*
AUS
ROIL*
RIQCOUNT*
RSOCIALI*
RF1_LEVE
RF2_TILT
RL10REAL
RSCMATBU
RSTMORAL
E24*
E22*
E23*
Figure X: EQS 6 01mod Chi Sq.=7.04 P=0.96 CFI=1.00 RMSEA=0.00
E48*
E46*
0.54*
0.41
-0.60*-0.56*
0.52*
0.78
-0.35*
0.81
0.38*-0.49*
0.29*
-0.41*
0.91
0.28*
0.96
-0.10*
-0.18*
0.23*
Zusammenfassung und Empfehlungen
• Die Psychologie hat die Effektivität ihrer Interventionen in zahlreichen Grundlagen- und Anwendungsfeldern beeindruckend nachgewiesen
• Leider besteht noch immer die Gefahr ökonomisch bedeutsame Effekte durch Defizite der Forschungsmethodologien nicht zu entdecken
• Meta-Analyse-Techniken sind einer der größten Exportschlager der psychologischen Methoden geworden
• Kosten-Nutzen-Analysen sind auch für viele psychologische Interventionen realisierbar
• Ängste, bezüglich monetärer Effektivität erscheinen vollkommen unbegründet
• Wenden Sie die vorgeschlagenen Methoden in ihrem Anwendungsbereich an und sie werden erstaunt sein und sich fragen warum sie nicht schon längst solche Analysen durchgeführt haben.
Recommended