PSYCHOLOGIE INAUGURALDISSERTATION ZUR ERLANGUNG DES DOKTORGRADES DER PHILOSOPHISCHEN FAKULTT DER WESTFLISCHEN WILHELMS-UNIVERSITT MNSTER vorgelegt von JAN HENNING MLLER aus Bnen/Westf. Juni 2010 KUNDENORI ENTI ERUNG I MHOTELF ACH D I E E N T W I C K L U N G U N D V A L I -D I E R U N G E I N E S S I T U A T I O N A LJ U D G M E N T T E S T S

Tag der mndlichen Prfung:13. Oktober 2010 Dekan der philosophischen Fakultt:Prof. Dr. Christian Pietsch Gutachter:Prof. Dr. Uwe P. Kanning Prof. Dr. Stefan Schmukle Jan Henning Mller Kundenorientierung im Hotelfach Wissenschaftliche Schriften der WWU Mnster Reihe VIII Band 2 Jan Henning Mller Kundenorientierung im Hotelfach Die Entwicklung und Validierung eines Situational Judgment Tests Wissenschaftliche Schriften der WWU Mnsterherausgegeben von der Universitts- und Landesbibliothek Mnster http://www.ulb.uni-muenster.de Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet ber http://dnb.d-nb.de abrufbar. Dieses Buch steht gleichzeitig in einer elektronischen Version ber den Publikations- und Archivierungsserver der WWU Mnster zur Verfgung. http://www.ulb.uni-muenster.de/wissenschaftliche-schriften Jan Henning Mller Kundenorientierung im Hotelfach. Die Entwicklung und Validierung eines Situational Judgment Tests Wissenschaftliche Schriften der WWU Mnster, Reihe VIII, Band 2 2010 der vorliegenden Ausgabe: Die Reihe Wissenschaftliche Schriften der WWU Mnster erscheint im Verlagshaus Monsenstein und Vannerdat OHG Mnster www.mv-wissenschaft.com ISBN978-3-8405-0026-8(Druckausgabe) URNurn:nbn:de:hbz:6-76429648420(elektronische Version) 2010 Jan Henning Mller Alle Rechte vorbehalten Satz: Jan Henning Mller Umschlag: MV-Verlag Druck und Bindung: MV-Verlag

Fr meine Eltern

Danksagung Alsichmich2007dazuentschloss,eineDissertationzuschreiben, schtteltenvielemeinerFreundeundBekanntennurdenKopf.Dassich selbstmeinenEntschlussniebereuthabe,isteinerVielzahlanPersonen zu verdanken: An erster Stelle mchte ich Herrn Prof. Dr. Uwe P. Kanning fr die ex-zellenteBetreuungdieserArbeitdanken.HerrProf.Dr.Kanninghatmir die Chance gegeben, ber ein innovatives und spannendes Thema promo-vieren zu drfen. Zudem stand er mir selbst zu manchmal ungewhnli-chenZeitenoderAnlssen,z.B.zwischenzweibungenineinemAs-sessment Center immerzu als wertvoller Rat- oder Ideengeber zur Seite. FrdiespontanebernahmederZweitkorrekturundbereicherndeGe-sprche habe ich Herrn Prof. Dr. Stefan Schmukle zu danken. EinriesigerDankgebhrtFrauAngelinaWendt,welchemichbeidem gesamten Prozess der Testentwicklung und Datenerhebung(-en) in keines-fallsselbstverstndlicherArtundWeiseuntersttzthatundinerhebli-chemMaezumerfolgreichenGelingenmeinerForschungbeigetragen hat.InBezugaufdieDatenerhebungenhabeichebenfallsFrauVerena BredolundFrauDr.AnkeMeizieszudanken,welchemichinihremje-weiligen Verantwortungsbereich haben Daten erheben lassen. DieProduktionvonVideosistimmermitvieltechnischemAufwand verbunden. Deshalb mchte ich an dieser Stelle Herrn Glaser und Herrn Kemper vom Servicepunkt Film in Mnster meinen Dank aussprechen fr die professionelle Videoproduktion und flexible, jederzeit hilfsbereite Un-tersttzung.VideossindohneguteundmotivierteSchauspielerundenk-bar. Hier geht mein Dank an Frau Sara Bachmann, Herrn Christian Gaw-lista,HerrnPhilipKlee,HerrnNikolayKolev,HerrnChristianKrmer und Herrn Dr. Jens Pttker. IndersechstenodersiebtenKlassefragtemicheineMitschlerinaus heiteremHimmel,wasdennwohldaspassendeSubstanstivzumVerb promovierenwre.Damalswarichsprachlos,heutewssteichdie Antwort

Inhaltsverzeichnis 1. Einleitung ........................................................................................... 1 2. Theoretischer Hintergrund ................................................................ 3 2.1 Die historische Entwicklung und Bedeutung von SJTs .....................3 2.2 SJTs als simulationsorientierte Verfahren der Berufseignungsdiagnostik ...................................................................11 2.3 Die Konstruktion von SJTs .................................................................17 2.3.1 Die Herkunft der in SJTs abgebildeten Situationen ....................17 2.3.2 Inhalte und Charakteristiken von SJT-Items ...............................18 2.3.3 Die Wahl der Instruktionsform fr die Probanden ......................19 2.3.4 Die Gestaltung der Verhaltensalternativen im SJT .....................24 2.3.5 Die Festlegung eines Bewertungsschlssels ...............................26 2.4 Videobasierte SJTs ..............................................................................33 2.4.1 Das Konzept der fidelity ..............................................................33 2.4.2 Videobasierte SJTs im berblick ................................................34 2.5 Der Nutzen von SJTs fr die Personalauswahl ................................46 2.5.1 Kriterienbezogene Validitt .........................................................46 2.5.2 Die Konstruktvaliditt von SJTs ..................................................49 2.5.3 Soziale Validitt von SJTs und Testfairness ...............................65 2.5.4 Einflsse auf die Validitt ...........................................................70 2.6 Kundenorientierung und ihre Bedeutung fr ein Unternehmen ....77 2.6.1 Kundenorientierung .....................................................................79 2.6.2 Kundenzufriedenheit ....................................................................82 2.6.3 Kundenloyalitt ............................................................................88 2.6.4 Kundenwert ..................................................................................90 3. Die erste Studie: Testentwicklung .................................................... 92 3.1 Durchfhrung einer Anforderungsanalyse .......................................94 3.2 Durchfhrung von Expertenworkshops ......................................... 102 3.3 Videoproduktion ............................................................................... 107 3.4 Diskussion .......................................................................................... 110 3.5 Ausblick ............................................................................................. 113

4. Die zweite Studie ............................................................................. 114 4.1 Beschreibung der eingesetzten Instrumente und Fragebgen ...... 114 4.1.1 Das Inventar sozialer Kompetenzen in der Kurzversion .......... 115 4.1.2 Der eingesetzte SJT ................................................................... 118 4.1.3 Demographische Variablen ....................................................... 123 4.2 Ablauf der Datenerhebung und Beschreibung der Stichprobe .... 123 4.2.1 Ablauf der Datenerhebung ........................................................ 123 4.2.2 Beschreibung der Stichprobe .................................................... 125 4.3 Deskriptive Statistik .......................................................................... 126 4.4 Inferenzstatistische Analysen und Hypothesentestung ................. 128 4.4.1 Konfirmatorische Faktorenanalyse ........................................... 128 4.4.2 Exploration der faktoriellen Struktur des SJT ........................... 131 4.4.3 Zentrale Statistiken des SJT_kurz ............................................. 139 4.4.4 Itemanalyse: Trennschrfe und Schwierigkeit .......................... 139 4.4.5 Reliabilittsanalyse .................................................................... 144 4.4.6 Validittsanalyse ....................................................................... 146 4.4.7 Zusammenhnge mit demographischen Variablen ................... 150 4.5 Diskussion .......................................................................................... 152 4.6 Ausblick .............................................................................................. 159 5. Die dritte Studie .............................................................................. 160 5.1 Beschreibung der eingesetzten Instrumente und Fragebgen ...... 160 5.1.1 Der SJT: Video - vs. Paper-Pencil ............................................ 160 5.1.2 Skala zur Messung der sozialen Validitt und Akzeptanz des SJT ............................................................................................ 166 5.1.3 Demographische Variablen ....................................................... 168 5.1.4 Die Grundintelligenztest Skala 2-Revision ............................... 168 5.1.5 Der Wortschatztest .................................................................... 170 5.1.6 Das Bochumer Inventar zur berufsbezogenen Persnlichkeitsbeschreibung .................................................... 171 5.2 Ablauf der Datenerhebung und Beschreibung der Stichprobe .... 177 5.2.1 Ablauf der Datenerhebung ........................................................ 177 5.2.2 Beschreibung der Stichprobe .................................................... 180

5.3 Deskriptive Statistik ......................................................................... 181 5.3.1 Fluide Intelligenz ...................................................................... 181 5.3.2 Kristalline Intelligenz ............................................................... 182 5.3.3 Soziale Validitt und Akzeptanz .............................................. 183 5.3.4 Zentrale Dimensionen der berufsbezogenen Persnlichkeit .... 185 5.4 Inferenzstatistische Analysen und Hypothesentestung ................. 186 5.4.1 Exploration der faktoriellen Struktur des SJT .......................... 186 5.4.2 Zentrale Statistiken des SJT_Hotelfach .................................... 189 5.4.3 Itemanalyse: Trennschrfe und Schwierigkeit ......................... 193 5.4.4 Reliabilittsanalyse ................................................................... 195 5.4.5 Validittsanalyse ....................................................................... 196 5.4.6 Zusammenhnge mit demographischen Variablen .................. 203 5.4.7 Erweiterung des SJT_Hotelfach ............................................... 204 5.5 Diskussion .......................................................................................... 207 5.6 Ausblick ............................................................................................. 219 6. Die vierte Studie .............................................................................. 220 6.1 Beschreibung der eingesetzten Instrumente und Fragebgen ..... 220 6.1.1 Der eingesetzte SJT .................................................................. 220 6.1.2 Demographische Variablen ...................................................... 221 6.1.3 Das Neo-Fnf-Faktoren-Inventar nach Costa und McCrae ..... 222 6.2 Ablauf der Datenerhebung und Beschreibung der Stichprobe ... 225 6.2.1 Ablauf der Datenerhebung ........................................................ 225 6.2.2 Beschreibung der Stichprobe .................................................... 226 6.3 Deskriptive Statistik ......................................................................... 228 6.3.1 Die Skala SJT_Hotelfach .......................................................... 228 6.3.2 Fnf globale Persnlichkeitsfaktoren ....................................... 230 6.4 Inferenzstatistische Analysen und Hypothesentestung ................. 231 6.4.1 Reliabilittsanalyse ................................................................... 231 6.4.2 Itemanalyse: Trennschrfe und Itemschwierigkeit ................... 232 6.4.3 Validittsanalyse ....................................................................... 234 6.4.4 Weitere Ergebnisse ................................................................... 237 6.5 Diskussion .......................................................................................... 239

7. Generelle Diskussion ...................................................................... 243 7.1 Zusammenfassung der Studien ........................................................ 243 7.2 Implikationen fr die weitere Forschung und Praxis .................... 253 7.2.1 Implikationen fr die weitere Forschung .................................. 253 7.2.2 Implikationen fr die Praxis ...................................................... 256 8. Literaturverzeichnis ........................................................................ 258 Abbildungsverzeichnis ........................................................................ 295 Tabellenverzeichnis ............................................................................ 297 Anhang A: Erste Studie ...................................................................... 300 Anhang B: Zweite Studie ................................................................... 314 Anhang C: Dritte Studie ..................................................................... 324 Anhang D: Vierte Studie .................................................................... 355 1. Einleitung1 1. Einleitung Situational Judgment Tests (SJTs) versetzen den Probanden1 in realisti-sche,aufeinenbestimmtenArbeitsbereichzugeschnitteneSituationen (Weekley & Ployhart, 2006). Nach Kanning, Grewe, Hollenberg und Ha-douch(2006)entspringenSJTshnlichwiedasAssessmentCenter(AC) oder das Situative Interview (SI) dem Konstruktionsprinzip der Simulati-on.(Komplexe)SimulationenstrebendabeieineErfassungderLeistung unddesVerhaltensvonProbandenbeiderBewltigunganspruchsvoller und mehrdeutiger beruflicher Entscheidungssituationen an. Sie bilden be-rufliche Anforderungen nach, um Leistungs- und Verhaltensmae als Pr-diktoren fr den Berufserfolg am realen Arbeitsplatz ermitteln zu knnen (Strau&Kleinmann,1995).DabeiknnendieSituationen,welcheein SJT enthlt, entweder im Paper-Pencil-Format oder aber im Video-Format (z. B. Dalessio, 1994; Kanning, 2005) dargestellt werden. An die Prsen-tationderarbeitsplatzspezifischenSituationenanknpfendwerdenden ProbandenunterschiedlicheVerhaltensalternativendargeboten.Beider Auseinandersetzung mit diesen Verhaltensoptionen werden die Probanden aufgefordert []to select or rate the potential responses for likelihood of performing the action or effectiveness of the action (Whetzel, McDaniel & Nguyen, 2008; S. 292). Die von den Probanden eingeholten Bewertun-genwerdenmiteinemBewertungsschlssel,welchervorabinZusam-menarbeitmitArbeitsplatzexpertenentworfenwurde,abgeglichenund verrechnet (Bergman, Drasgow, Donovan & Henning, 2006).IndenUSAerfreuensichSJTsseitrund80Jahreneinesregelmigen Einsatzes.DagegenbeginntinEuropaerstlangsameinezunehmende AuseinandersetzungmitSJTs(z.B.Salgado,2001;Behrmann,2007). Das wachsende Interesse an SJTs sowohl in der Forschung als auch in der Praxis ist nicht zuletzt auf zwei Meta-Analysen von McDaniel, Finnegan, Morgeson,CampionundBraverman(2001)respektiveMcDaniel,Whet-zel,Hartman,NguyenundGrubb(2007)zurckzufhren,welcheber-einstimmend den Nachweis berzeugender kriterienbezogener Validitten erbrachthaben.EinZitatvonLandry(2007)bringtweitereVorzgevon

1 ZugunsteneinerbesserenLesbarkeitwirdindervorliegendenArbeitausschlie-lich das grammatikalische Maskulinum verwendet. Gemeint sind jedoch stets bei-de Geschlechter. 1. Einleitung2 SJTs auf den Punkt: They seem to represent psychometric alchemy (ad-verseimpactisdown,validityisup),theyseemtoassesspracticallyim-portantKSAOs[knowledge,skills,abilities,andothercharacteristics], and assesses like them (S. 418). Im Rahmen der vorliegenden Arbeit soll ein SJT zur Messung der Kun-denorientierungimHotelfachentwickeltunderstenValidierungenunter-zogenwerden.DerSJTsollbeierfolgtemNachweisseinerNtzlichkeit zurAuswahlneuerAuszubildenderindiesemArbeitsbereichverwandt werden. Eine Konstruktion eines SJT, welcher die speziellen Anforderun-genundSituationenimHotelfacherfasstundabbildet,bietetsichauf-grund folgender Konstellationen an: Nach Angaben des Deutschen Hotel- und Gaststttenverbandes DEHOGA waren im Jahre 2008 mehr als 1 Mil-lionMenschenindieserBranchebeschftigt.EinerStatistikdesBundes-institutesfrBerufsbildungBIBBzufolgebefandensichindemselben Jahrrund36.000PersonenineinerAusbildungimHotelfach.DerKun-denorientierungvonMitarbeiternkommthervorgehobeneBedeutungbei der Bewhrung eines Unternehmens im Wettbewerb zu, da sie in betrch-tlichem Mae das Ausma der Kundenzufriedenheit, der Kundenloyalitt unddamitdesUmsatzeseinesUnternehmensbeeinflusst(Nerdinger, 2003). 2.1 Die historische Entwicklung und Bedeutung von SJTs 3 2. Theoretischer Hintergrund IndemzweitenKapiteldieserArbeiterfolgtzunchsteineDarstellung der wichtigsten Forschungsergebnisse in Bezug auf SJTs (Abschnitt 2.1 Abschnitt 2.5). Zunchst wird die historische Entwicklung von SJTs skiz-ziert (2.1), bevor diese Testgattung mit anderen Verfahren der Berufseig-nungsdiagnostik verglichen wird (2.2). Im darauf folgenden Abschnitt er-folgteineVorstellungderzentralenSchrittebeiderKonstruktionvon SJTs(2.3).DervierteAbschnittdiesesKapitelsrcktdieBesonderheit videobasierter SJTs in den Vordergrund (2.4). Einen Abschluss erhlt der theoretischeberblickberSJTsinFormeinerAuseinandersetzungmit dem Nutzen von SJTs fr die Personalauswahl (2.5). Der letzte Abschnitt dieses Kapitels widmet sich wiederum dem Punkt, welche Bedeutung der KundenorientierungvonMitarbeiternfreinUnternehmenzukommt (2.6). 2.1 Die historische Entwicklung und Bedeutung von SJTs SituationalJudgmentTests(SJTs)beziehungsweiseTests,dieexplizit als SJTs deklariert sind, werden seit rund 60 Jahren in den USA im Rah-menderBerufseignungsdiagnostikeingesetzt.DieAnfngesituativer Aufgabenliegenjedochzeitlichweiterzurck.SoberichteteDuBois (1970)inseinerberblicksarbeitzurGeschichtedespsychologischen TestensindenUSAzumBeispiel,dassbereits1873Beschftigteimf-fentlichen Dienst mit Aufgaben konfrontiert wurden, in denen ihnen eine UrteilsbildunginverschiedenenberufsrelevantenSituationenabverlangt wurde. Inden20erndeszwanzigstenJahrhundertserschienmitdemGeorge WashingtonSocialIntelligenceTest(GWSIT;z.B.Moss,1926;Hunt, 1928) ein Test, welchem eine besondere Bedeutung in der geschichtlichen Entwicklung von SJTs zukommt (McDaniel & Nguyen, 2001). Das Kons-truktsozialeIntelligenz(socialintelligence),welchesalsNamenspatron fr diesen Test fungierte, lsst sich zurckfhren auf eine Taxonomie von Thorndike(1920),welcherzwischendreiFacettenderIntelligenzunter-schied:DerFhigkeit,Ideennachzuvollziehenundselberzuentwickeln (abstractintelligence),derFhigkeit,Objekteigenschaftenzuverstehen und Objekte einsetzen zu knnen (mechanical intelligence) sowie drittens 2.1 Die historische Entwicklung und Bedeutung von SJTs 4 derFhigkeit,anderePersonenzuverstehenundmitihnenumzugehen (social intelligence). Das Konzept der sozialen Intelligenz bietet im bri-gen verschiedene berschneidungspunkte mit dem zeitgenssischen Kon-zept der sozialen Kompetenz (vgl. Kanning, 2009; s. Kapitel 4). Der GWSIT bestand aus einer Vielzahl an Subtests zur Abbildung unter-schiedlicherFhigkeiten,zumBeispielJudgmentinSocialSituations, MemoryforNamesandFacesoderRecognitionofMentalStatesfrom FacialExpression.AuchwennindenverschiedenenrevidiertenVersio-nendesTestsmanchederSubtestsergnztbeziehungsweiseeliminiert wurden(Kihlstrom&Cantor,2000),istderfrdieseArbeitrelevante SubtestJudgmentinSocialSituationsTeilallerVersionendesGWSIT. Diesem Subtest wird von Whetzel und McDaniel (2009) bescheinigt, den erstenSJTmitvorgegebenenVerhaltensalternativenimMultiple-Choice Formatdarzustellen.MitsituativenItems,welcheverschiedeneSituatio-nenamArbeitsplatzwiderspiegeln,wiesdieserSubtestdesGWSITbe-reitseinweitereszentralesMerkmalheutigerSJTsauf(vgl.Weekley& Ployhart,2006).NachMoss(1926;S.26)erforderteeineerfolgreiche Bewltigung dieses Subtests []keen judgment, and a deep appreciation ofhumanmotives.ZurValidierungdesGWSITzogHunt(1928)ver-schiedenevomheutigenStandpunktexotischeKriterienheran,zum Beispiel die Anzahl extracurricularer Aktivitten bei Studenten oder Ein-schtzungenvonFhrungskrften,wieihreMitarbeitermitanderenPer-sonen umgehen. Da der GWSIT mit Skalen zur Messung der abstract in-telligence (s. o.) weitaus hhere Korrelationen erzielte und mehr gemein-same Varianz teilte als mit den von Hunt (1928) antizipierten sozialen F-higkeiten, wurde dem GWSIT die Fhigkeit abgesprochen, ein singulres Konstrukt wie social intelligence zu messen (Thorndike & Stein, 1937). Ausgehend von den 40ern bis in die 60er des zwanzigsten Jahrhunderts wurde eine Vielzahl an SJTs mit dem primren Ziel entwickelt, Einblicke indieFhrungs-undManagementkompetenzderProbandenzuerhalten (s. fr einen berblick McDaniel & Ngyuen, 2001). Im Folgenden sollen verschiedeneTestsdieserrakurzvorgestelltwerden.Ausgeklammert werden solche SJTs, welche dem militrischen Bereich vorbehalten waren (vgl. Northrop, 1989).AufCardall(1942a,1942b)gehtderPracticalJudgmentTest(PJT)zu-rck. Wie beim GWSIT liegen die den Probanden zur Verfgung gestell-2.1 Die historische Entwicklung und Bedeutung von SJTs 5 tenVerhaltensalternativenimMultiple-Choice-Formatvor.Cardall (1942a;S.1)verknpftemitderEntwicklungdesPJTdieIntention []to measure the element of practical judgment as it operates in every-daybusinessandsocialsituations.UmdenBegriffpracticaljudgment auftheoretischerEbenezuklren,baterverschiedeneMitarbeiteraus PersonalabteilungenundPsychologenumihreVorstellungenzudiesem Begriff und gelangte zu folgendem Konsens (Cardall, 1942a, S. 1): Thatpracticaljudgmentconsistsoftherecognitionofpossible alternatives of action and the ability to select the best. It may be observedthatinordinarysituationsanumberofalternatives springinstantlytomind,theelementofjudgmentoperating whenonecourseofactionischosenoverothers.Uponthisra-tionale the present instrument was constructed. FernererhobCardall(1942a,1942b)mitdemPJTdenAnspruch,ein Konstruktzumessen,welchesaufstatistischerEbeneunabhngigwre vonderallgemeinenkognitivenLeistungsfhigkeitoderStatusvariablen wiedemakademischenHintergrundderProbanden.Validittskoeffizien-tenzumZusammenhangzwischendemPJTundverschiedenenPersn-lichkeitsfaktoren sowie Maen der Intelligenz wurden von Hogadone und Smith (1947) beziehungsweise Carrington (1949) geliefert.DerHowSupervise?(HS)wurdevonFile(1945)mitdemZielentwi-ckelt,dasWissenunddieEinsichtvonFhrungskrftenbezglicherso-zialer Interaktionen am Arbeitsplatz zu messen. File (1945) sprach in die-semZusammenhangvoneinemGeneralfaktorderFhrungskompetenz. Jedes Item des HS bestand aus einer Verhaltensbeschreibung in Form we-nigerStzeunddreidazugehrigenAntwortoptionenfrdenProbanden: Zustimmung,AblehnungoderUnentschlossenheit.Rosen(1961)reflek-tierteundbndelteinseinemArtikeldenForschungsstandzurValiditt des HS bis 1960. Als positive Evidenz fr die Einsatzberechtigung des HS fhrte Rosen (1961) exemplarisch die Studien von Canter (1951) und Car-ter(1952)an.Rosen(1961)listeteimGegenzugauchverschiedeneStu-dienauf,welchenegativeEvidenzfrdiepsychometrischeGtedesHS erbrachten (z. B. Sartain, 1946). Bei einer abschlieenden Bewertung und Abwgung der Ergebnisse gelangte Rosen zu der Aussage, dass die ber-wiegend positive empirische Evidenz einen Einsatz des HS in der Berufs-2.1 Die historische Entwicklung und Bedeutung von SJTs 6 eignungsdiagnostik legitimiere. In nachfolgenden Studien (Millard, 1952; File&Remmers,1971)wurdenmehreresignifikanteKorrelationenzwi-schen dem HS und Maen der allgemeinen kognitiven Leistungsfhigkeit vorgefunden.AufBasisseinerErgebnisseschlussfolgerteMillard(1952) dementsprechend,derHSstelleimGrundeeinenTestzurMessungder kognitiven Leistungsfhigkeit dar und griff damit wenn der HS als Vor-luferheutigerSJTsangesehenwirdeinerspterenDebatte,welche Konstrukte SJTs vorrangig messen, vor (vgl. Abschnitt 2.5). Rund 15 Jahre nach der ersten Version des HS folgten Bruce und Lear-ner (1958) mit der Verffentlichung eines weiteren SJT, dem Supervisory Practices Test (SPT). Der SPT sollte dazu genutzt werden, Fhrungskrf-te zu identifizieren, welche effektive Entscheidungen in arbeitsplatzbezo-genen Situationen treffen knnen. ZurValidierungdesSPTzogenBruceundLearner(1958)unterande-remdenHSundmitdemPrimaryMentalAbilitiesTest(vgl.Thurstone, 1938)einenTestzurMessungderallgemeinenkognitivenLeistungsf-higkeit heran. In Bezug auf den Gesamtwert des HS ergab sich eine signi-fikante Korrelation von .56. Fr die Subtests des Primary Mental Abilities TestsergabensichKorrelationenzwischen.18(Subtest:Wordfluency) und.35(Subtest:Space).DieKorrelationzwischendemSPTunddem Gesamtwert des Primary Mental Abilities Test erreichte einen Wert von r = .27. Leider geht aus der Studie von Bruce und Learner (1958) nicht her-vor,obdieangegebenenKorrelationenzwischendemSPTunddemPri-mary Mental Abilities Test signifikant waren. Zusammengefasst ist fr die bisher vorgestellten Verfahren erstens fest-zuhalten,dassDatenzurErmittlungvonprognostischenValidittenfeh-len. Dies kann darauf zurckgefhrt werden, dass die bis dato vorgestell-tenSJTsvorrangigalsInstrumentederPersonalentwicklungrespektive Potenzialanalyseeingesetztwurden,umdieEignungderProbandenfr Fhrungsaufgaben(supervisorypotential)zumessen(Whetzel&McDa-niel, 2009). Zweitens ist weiterhin anzumerken, dass bei vielen Validitts-studiensehrkleineStichprobengrenvorlagen,zumBeispieldreizehn ProbandenbeiderobenangefhrtenStudievonCanter(1951).Zudem sindvielederKritierien,welchezurValidierungdienten,sehrkritischin BezugaufihrePassungzuheutigenStandardspsychologischenTestens, 2.1 Die historische Entwicklung und Bedeutung von SJTs 7 beispielsweisedenStandardsforEducationalandPsychologicalTesting der APA (1999) oder der DIN 33430 (2002), zu hinterfragen.McDaniel et al. (2001) berichteten, dass in den spten 50ern beziehung-sweisefrhen60erndeszwanzigstenJahrhundertsamerikanischeUnter-nehmen SJTs erstmals systematisch in der Personalauswahl eingesetzt ha-ben. Verffentlichte Studien aus diesem Bereich liegen jedoch nicht vor. AufbauendaufeinerStudievonMotowidlo,DunetteundCarter(1990) erwuchseinbisheuteanhaltendesForschungsinteresseanSJTs.Moto-widloetal.(1990)prgtendieUnterscheidungzwischenlowfidelity2-Verfahren wie SJTs auf der einen Seite und Verfahren wie dem AC oder der Arbeitsprobe als high fidelity-Verfahren auf der anderen Seite. Um die unterschiedlichenVerfahrengemihrerfidelityeinzuordnen,griffdas TeamumMotowidloaufeinKontinuumzurck.DemoberenEndedes KontinuumsordnetensiesolcheVerfahrenzu,welchedenProbandenin realistische,arbeitsplatzbezogeneSituationenhineinversetzenundihm konkretesVerhaltenabverlangen(vgl.Kanning,Grewe,Hollenberg& Hadouch, 2006). Exemplarisch sei ein Rollenspiel aus einem AC genannt, in dem ein Bewerber sich in einem Mitarbeitergesprch wieder findet und Entscheidungen zu treffen oder Lsungen zu finden hat. Das andere Ende desvonMotwodiloetal.(1990)aufgestelltenKontinuumswirdgebildet durch SJTs, welche Situationen aus dem Berufsalltag abstrakter reprsen-tieren, zum Beispiel in Form schriftlicher Beschreibungen. Im Gegensatz zu den high fidelity-Verfahren gestatten diese Verfahren nach Ansicht des amerikanischenForscherteamsnicht,tatschlichesVerhaltenderProban-den zu beobachten. Die Probanden werden viel mehr gebeten zu beschrei-ben, wie sie sich in der jeweiligen Situation verhalten wrden3. Da das Vorgehen von Motowidlo et al. (1990) bis in die heutige Zeit als nahezu idealtypisch fr eine wissenschaftliche fundierte Herangehenswei-se bei der Konstruktion von SJTs angesehen wird (vgl. Ployhart & Erhart,

2 Fr das englische Wort fidelity existiert nach Sicht des Verfassers kein passendes quivalent in der deutschen Sprache. Als Annherung an den Sinngehalt von fide-lity ist der Begriff Wiedergabetreue am besten geeignet. Im weiteren Text wird je-doch weiterhin der englische Begriff benutzt. 3ImspterenVerlaufdieserArbeitwirderrtert,dasssichSJTsdurchaussowohl hinsichtlich der Darstellung von Situationen als auch der Art, wie Probanden rea-gieren knnen, unterscheiden. Im Rahmen eines historischenberblicks soll diese verknappte Darstellung jedoch gengen. 2.1 Die historische Entwicklung und Bedeutung von SJTs 8 2003;Bledow&Frese,2009),erfhrtdieseStudieeineausfhrlichere Vorstellung.ImGegensatzzudenweiterobenbeschriebenenVerfahren beabsichtigtenMotowidloetal.(1990)explizitnichtdieErfassungeines spezifischen,singulrenKonstrukts,sondernvielmehrdiereprsentative AbbildungeinesengumschriebenenTtigkeitsfeldes.Zudemsttztensie sich in Abgrenzung zu den zuvor genanntenzumeist rational-intutiv ent-wickeltenSJTsaufeinenaufwndigenempirischenKonstruktionspro-zess, welcher im Folgenden schematisch beschrieben werden soll. DieKonstruktiondesSJTwurdeeingelutetmiteinerSammlungkriti-scher Ereignisse an einer Stichprobe von Mitarbeitern ohne Fhrungsauf-gabenundFhrungskrftenausallenbeteiligtenKooperationsunterneh-men. Die resultierenden Situationen wurden in einem weiteren Schritt un-terschiedlichen Inhaltsbereichen zugeordnet. Zudem wurden verschiedene Fhrungskrfte aus den partizipierenden Unternehmen gebeten, schriftlich festzuhalten, wie sie sich in den gesammelten Situationen verhalten wr-den.NachSichtungderErgebnisseordnetendieAutorenjederSituation fnfbissiebenallgemeineVerhaltensweisenzu.DieSituationenunddie dazugehrigenVerhaltensalternativenwurdenineinemweiterenKons-truktionsschrittPersonenmitlangjhrigerBerufserfahrungimManage-mentbereich vorgelegt. Diese sollten einerseits alle Verhaltensweisen hin-sichtlich ihrer Effektivitt in der jeweiligen Situation einstufen und ande-rerseits je Situation die aus ihrer Sicht beste beziehungsweise schlechteste Verhaltensweisebenennen.AufdiesemWegeschiedenverschiedeneSi-tuationen und Verhaltensweisen aus dem SJT aus. In der Endfassung des SJT befanden sich letztendlich 55 Items. Bei der Bearbeitung der situativen Aufgaben forderten Motowidlo et al. (1990) ihre Probanden auf, von fnf verschiedenen Verhaltensalternativen sowohl die Verhaltensalternative, die sie am wahrscheinlichsten (most li-kely)inderbeschriebenenSituationzeigenwrden,alsauchdieVerhal-tensalternative, welche sie am allerwenigsten (least likely) zeigen wrden, auszuwhlen.AlsRichtwert,welcheVerhaltensalternativenindenSitua-tionentatschlichameffektivstenbeziehungsweiseineffektivstensind, dienten die whrend der Entwicklung des SJT gesammelten Einschtzun-gen erfahrener Experten. Je nach Situation wurden von den Experten eine oder mehrere Verhaltensalternativen als effektivste respektive als ineffek-tivste bestimmt. 2.1 Die historische Entwicklung und Bedeutung von SJTs 9 Fr die Bewertung (Scoring) der Probandenantworten whlten die Auto-renfolgendenSchlssel:DerProbanderhielt1Punkt,wennereineder Verhaltensalternativen am wahrscheinlichsten zeigen wrde, welche auch vondenExpertenalsbesonderseffektiveingestuftwurde.Jedocherhielt der Proband -1 Punkt, wenn er als wahrscheinlichste Verhaltensalternative eine von denjenigen Alternativen gewhlt hat, welche Experten als beson-ders ineffektiv eingestuft haben. 0 Punkte ergaben sich, wenn die Verhal-tensalternative, welche der Proband am wahrscheinlichsten zeigen wrde, vondenExpertenwederalsbesonderseffektivnochalsbesondersinef-fektiveingeschtztwurde.DasScoringderleastlikely-Antwortender Probanden wurde nach demselben Muster vorgenommen. Mit einem klar definierten Bewertungsschlssel dieser Art grenzten sich Motowidlo et al. (1990) auf eine weitere Art und Weise deutlich von den oben beschriebe-nen frheren SJTs ab. Als Kriterien fr die drei Validierungsstudien whlten die Autoren unter anderemEinzelbeurteilungeninverschiedenenLeistungsbereichendes ManagementssowieeineGesamtbeurteilungderLeistungdurchVorge-setzte.FrdieValidierungdesSJTgriffendieForscherumMotowidlo aufverschiedeneSubstichprobenvonPersonenimBewerberpool4der Unternehmen,MitarbeiternunterschiedlicherPositioneninderProbezeit undMitarbeitern,welcheerstvorkurzemaufFhrungspositionenge-wechselt waren, zurck. Es ergaben sich Validittswerte zwischen 20 und 40zwischendemSJTunddenunterschiedlichenMaenderArbeitsleis-tung. Des Weiteren fanden sich statistisch nicht bedeutsame Korrelationen mitverschiedenenMessungenderIntelligenz.Motowidloetal.(1990) interpretiertendievonihnenerzieltenErgebnissealsBeweisdafr,dass auch mit low fidelity-Verfahren Validitten zu erzielen sind, welche einen EinsatzdieserVerfahrenzurPersonalauswahlgestatten.Fernerbilligten sielowfidelity-VerfahrenmitderihrerAnsichtnachkostengnstigeren EntwicklungundkonomischerenAnwendbarkeiteinenVorteilgegen-ber high fidelity-Verfahren zu. AnderStudiedesTeamsumMotowidlosindeinigePunktekritischzu beleuchten. Zunchst ist anzumerken, dass keine prognostischen Validit-ten vorliegen, sondern nur konkurrente Validitten. Gerade vor dem Hin-

4 Diese Personengruppe ist nicht mit realen Bewerbern zu verwechseln (s. u.). 2.1 Die historische Entwicklung und Bedeutung von SJTs 10 tergrund,dassdieserTestalsInstrumentderBerufseignungsdiagnostik eingesetztwerdensollte,fehlenaufgrunddiesesMangelswichtigeEr-kenntnisse.EinzweiterKritikpunktsinddieteilsgeringenStichproben-gren, welche verallgemeinernde oder reprsentative Aussagen nicht zu-lassen.Drittensundabschlieendistzubemerken,dassProbandenaus einzelnenValidittsstudienaufgrundihrerErgebnisseineinemTestzur allgemeinenkognitivenLeistungsfhigkeitundihrerakademischenHer-kunfteingestelltwurden,sodasseineVarianzeinschrnkungbezglich dieserVariablenzuvermutenist(Whetzel&McDaniel,2009).Diebe-richtetenstatistischenUnabhngigkeitendesSJT,imSinnevonKorrela-tionen nahe Null, von allgemeiner kognitiver Leistungsfhigkeit und aka-demischer Leistung sind dementsprechend diskussionswrdig. UngeachtetdergenanntenmethodischenEinwndebahntedieStudie vonMotowidloetal.(1990)wiebereitsobenerwhnteineRevitalisie-rung des Forschungsinteresses an SJTs. Zum Abschluss dieses Rckblicks in die Historie von SJTs, wird in der Abbildung 2-1 ein berblick in Form einer Zeittafel, welche die wichtigsten Entwicklungen aufgreift, geliefert. 20er 40er 60er50er 70er1990Erster SJT mit Verhaltensalternativenim Multiple-ChoiceFormatVerschiedene SJTs zur Messung vonFhrungspotenzialErster Einsatz von SJTs in der Personal-auswahlWegweisende SJT-Entwicklung durchMotowidlo et al.GWISITPJT HS SPT Abbildung 2-1: Zentrale Punkte in der Historie von SJTs 2.2 SJTs als simulationsorientierte Verfahren 11 2.2SJTsalssimulationsorientierteVerfahrenderBerufseig-nungsdiagnostik Bei der Nennung von Verfahren, welche in der Berufseignungsdiagnos-tikeingesetztwerden,unterschiedenSchulerundHft(2006)dreiunter-schiedliche Verfahrensarten: Konstruktorientierte Verfahren, biographieo-rientierte Verfahren und simulationsorientierte Verfahren. Das Ziel dieses AbschnittsisteinekurzeCharakterisierungallerdreigenanntenVerfah-rensartensowieeineEinordnungvonSJTsindievonSchulerundHft (2006) entworfene Taxonomie. KonstruktorientierteVerfahrenwerdenzurErfassungvonalszeitlich stabilundkonsistentangesehenMerkmalenherangezogen,welchedirekt ausvorhergehendenArbeits-undAnforderungsanalysenabgeleitetwur-den (Schuler & Hft, 2006). Dabei werden die Merkmale unabhngig von einemspezifischenberuflichenKontextoderohneZuschnittaufeinen spezifischenArbeitsplatzmitHilfeklassischtesttheoretischkonzipierter VerfahrenwieIntelligenztestsoderPersnlichkeitstestsgemessen(Schu-ler & Hft, 2004). VerfahrendieserArtberuhenaufdemsign-Ansatz(Wernimont& Campbell,1968),nachwelchemdieLeistungenvonProbandenalsZei-chen(signs)oderIndikatorenhomogenerundtheoretischabgesicherter Prdispositionenausgelegtwerden.SowirdbeispielsweisedasErgebnis in einem Test zur Erfassung allgemeiner kognitiver Leistungsfhigkeit mit der individuellen Ausprgung der Intelligenz gleichgesetzt. Zwecks des Einsatzes biographieorientierter Verfahren soll der Schluss von vergangenem auf zuknftiges Verhalten vorgenommen werden, denn [...]the best indicator of future performance is past performance (Wer-nimont&Campbell,1968;S.372).DasVerhalteneinerPersonwirdals zeitlich stabil und invariant gedeutet. Jedoch wird anders als bei konstruk-torientierten Verfahren ohne den Umweg ber ein Konstrukt (Schuler & Hft, 2004; S. 311) auf zuknftiges Verhalten geschlossen. SchulerundMarcus(2006)nennenalsVertreterdieserVerfahrensart den biographischen Fragebogen, die Sichtung von Bewerbungsunterlagen oder Referenzen sowie biographische Fragen im Interview. SJTssinddensimulationsorientiertenVerfahrenderPersonalauswahl zuzurechnen (vgl. Kapitel 1). Ein Zitat von O`Connell, Hartman, McDan-2.2 SJTs als simulationsorientierte Verfahren 12 iel,GrubbundLawrence(2007;S.19)solldieseZugehrigkeitverdeut-lichen: Situational judgment tests (SJT) are simulations requiring the re-spondenttoexercisejudgmentwhenrespondingtohypotheticalproblem situationsthatoccurinworksettings.NachHftundFunke(2006)ba-sierensimulationsorientierteVerfahrenauf[]derIdeeeinerdirekten Punkt-zu-Punkt-bereinstimmungzwischendemInhaltdesdiagnosti-schenVerfahrensunddemzuprognostizierendenLeistungsbereich(S. 146).Diesentsprichtdemsample-AnsatzvonWernimontundCampbell (1968), gem welchem im Personalauswahlverfahren eine reprsentative Auswahl realer beruflicher Situationen abgebildet werden sollte, in denen sich die Bewerber behaupten mssen. Bewerber werden mit komplexeren undvielfltigerenEreignissenkonfrontiertalsinkonstruktorientierten Verfahren(Moser,2004).WernimontundCampbell(1968)favorisierten die Ntzlichkeit des sample-Ansatzes bei der Vorhersage beruflicher Leis-tung gegenber dem sign-Ansatz, denn []it will be much more fruitful tofocusonmeaningfulsamplesofbehavior,ratherthansignsofpredis-positions,aspredictorsoflaterperformance(S.372).DerRckschluss von einer Verhaltensstichprobe auf entsprechendes zuknftiges Verhalten sollte umso valider sein, je strker Prdiktor und Kriterium inhaltlich kor-respondieren(Schuler,2000).BeiderDiskussiondesEinsatzessimulati-onsorientierterVerfahreninOrganisationenlisteteMoser(2004;S.105 ff.) verschiedene mgliche Probleme bei der Durchfhrung auf. Exempla-rischseieneinemglicheberforderungderBewerber,einepartielle KnstlichkeitundfehlendeRealittsnhederSituationsowiemgliche Vorerfahrungen der Bewerber mit dem Verfahrensinhalt als Beeintrchti-gung der Validitt genannt.Neben SJTs gibt es verschiedene andere Verfahren der Berufseignungs-diagnostik, welche situative Elemente in sich tragen: ACs (z. B. Thornton &Byham,1982),Arbeitsproben(z.B.Asher&Sciarrino,1974)sowie situativeInterviews(z.B.Latham,Saari,Pursell,&Campion,1980). AufgrundihrerkonzeptionellenundmethodischenNhezuSJTssollen im weiteren Verlauf dieses Abschnitts das situative Interview und die Ar-beitsprobe detaillierter vorgestellt werden. DassituativeInterview(SI)wurdealsFormdesstrukturiertenEinstel-lungsinterviewsvonLatham,Saari,PursellundCampion(1980)indie Berufseignungsdiagnostikeingefhrt.LautSchuler(2000)entsprichtdas 2.2 SJTs als simulationsorientierte Verfahren 13 SIeinermentalenTtigkeitssimulationbeziehungsweiseWissensar-beitsprobe(S.88).AlstheoretischesFundamentdientendieArbeiten von Locke (1968) respektive Locke und Latham (z. B. 1990) zur Zielset-zung (goal-setting), nach denen Ziele und Intentionen als direkte Anteze-dentenundPrdiktorenrealenVerhaltensanzusehensind(Kleinbeck, 1991). Diesem Ansatz Rechnung tragend werden die Probanden im SI ty-pischerweisegefragt,wiesiesichindervomInterviewergeschilderten Situationverhaltenwrden.DieimSIeingesetztenSituationenwerden mitHilfederCIT(vgl.Flanagan,1954)gewonnenundenthaltenDilem-mata, was die Auftretenswahrscheinlichkeit sozial erwnschter Antworten minimierensoll(Latham&Sue-Chan,1996;Maurer,Sue-Chan,&La-tham,1999).AllenProbandenwerdenimRahmendesSIdieselbenFra-gen in gleicher Reihenfolge gestellt. Als konzeptionelle Besonderheit des SIwirdeinBewertungsschlsselfrdieAntwortenderProbandenange-sehen (Maurer, 2002), welcher sich an Unternehmenswerten oder der Un-ternehmenskulturorientierensollte(Latham&Sue-Chan,1999).Inder PraxisdientderBewertungsschlsselzurKonstruktionverhaltensveran-kerterEinstufungsskalen,mitdenenProbandenantwortenverglichenund nachfolgend bewertet werden (Schuler, 2000; Schuler & Marcus, 2006). Aus einer Meta-Analyse von Latham und Sue-Chan (1999) ist eine mitt-lere korrigierte kriterienbezogene Validitt des SI von .47 zu entnehmen. Die beiden Autoren bezogen 20 Studien mit insgesamt 1010 Probanden in ihreAnalyseein.EinedreiJahresptererfolgendeMeta-Analysevon TaylorundSmall(2002)beinhaltetedieErgebnissevon30Studienund 2299ProbandenzumZusammenhangzwischendemSIundArbeitsleis-tung.DiebeidenAutorenermittelteneinemittlerekorrigierteValiditt von.45unddamiteinenvergleichbarenWertwieLathamundSue-Chan (1999). ObgleichinFormverschiedenerMeta-AnalysenderempirischeNach-weisfreinekriterienbezogeneValidittvonSIserbrachtwurde,fehlen bislang Studien, welche statistisch abgesicherte Aussagen ber die Kons-truktvalidittvonSIserlauben(Conway&Peneno,1999;Huffcutt, Weekley,Wiesner,Degroot,&Jones,2001;VanIddekinge.Raymark, Eidson&Attenweiler,2004).DamitleidetdasSIhnlichwiezumBei-spieldasAssessmentCenterunterdemsogenanntenValidittsparadoxon (Arthur, Woehr, & Maldegen, 2000).2.2 SJTs als simulationsorientierte Verfahren 14 Das SI weist von den oben genannten simulationsorientierten Verfahren die meisten Gemeinsamkeiten mit SJTs auf. Beide Verfahren streben eine realistischeundreprsentativeAbbildungeinesbestimmtenBerufsfeldes an. Dabei setzten sowohl SI als auch SJTs auf die Erfassung von Verhal-tenstendenzenrespektive-absichten.DieAntwortenderProbandenwer-deninbeidenVerfahrensklassenmitvorabfestgelegtenBewertungs-schlsselnverglichen,welchezusammenmitAngehrigenvonUnter-nehmenbeziehungsweisePersonenmitanerkanntemExpertenstatusers-tellt wurden. Weiterhin teilen sich SI und SJT die ungeklrte Frage, wel-che Eigenschaften diese beiden Verfahren eigentlich zu messen vermgen (s.Abschnitt2.5.2).HinsichtlichdesAntwortformatesfrdieProbanden bestehtjedochaucheinnichtzuverachtenderUnterschiedzwischenSI undSJT.WhrendineinemSIAntwortendurchdieProbandenfreiund offengeneriertwerden,liegenineinemSJTmehrerevomTestautorvor-gegebeneAntwortmglichkeitenbeziehungsweiseVerhaltensalternativen vor. EineaktuelleDefinitionvonArbeitsprobenstammtvonPloyhart, Schneider und Schmitt (2006): []a work sample test is a test in which theapplicantperformsaselectedsetofactualtasksthatarephysically and/orpsychologicallysimilartothoseperformedonthejob(S.538). Auf Schuler (2000) geht eine inhaltlich entsprechende Auslegung fr den deutschsprachigenRaumzurck:UnterArbeitsprobenwerdenstandar-disierte Aufgaben verstanden, die inhaltlich und valide erkennbar quiva-lenteStichprobendeserfolgsrelevantenberuflichenVerhaltensprovozie-ren(S.115).Guion(1998)betontealseindefinierendesCharakteristi-kumvonArbeitsproben,dassdieseeinenhohenGradanfidelityaufwei-sen.NachHenemanundJudge(2003)sindArbeitsprobenstriktzutren-nen von Praktika oder Probezeiten, da sie ein sehr viel engeres Zeitfenster besitzenundeinengerumgrenztesTtigkeitsfeldabbilden.Beispielhafte ArbeitsprobenwrendasErstelleneinesDokumentsimArbeitsbereich einerSekretrinodereinesMbelstcksimBerufdesSchreinerssowie dieBewhrungeinesPilotenineinemFlugsimulator.DiegewhltenIn-haltederArbeitsprobenentspringenAnforderungsanalysen(Ployhartet al., 2006). HunterundHunter(1984)berichtetenalseinErgebnisihrerMeta-Analyse eine mittlere korrigierte Validitt von .54 fr Arbeitsproben (vgl. 2.2 SJTs als simulationsorientierte Verfahren 15 Schmidt&Hunter,1998).AlsKriteriumfungiertedieLeistungsbeurtei-lungdurchVorgesetzte.ImRahmenihrerStudiewidmetensichHunter undHunter(1984)ebenfallseinerReanalysederDatenvonAsherund Scarrino(1974),welcheaufSeitenderArbeitsprobeunterschiedenzwi-schen psychomotorischen und verbalen Arbeitsproben. In diesem Fall er-mittelten Hunter und Hunter (1984) eine mittlere korrigierte Validitt von .62 fr psychomotorische Arbeitsproben und von .45 fr verbale Arbeits-proben.MitderStudievonSchmitt,Gooding,NoeundKirsch(1984) liegteineweitereMeta-AnalysezurValidittvonArbeitsprobenvor. Schmittetal.(1984)errechnetenunterBezugnahmeaufsiebenStudien mit 384 Probanden eine mittlere unkorrigierte Validitt von .32.Den soeben dargestellten Studien wurden verschiedene Einwnde entge-gengebracht (vgl. Roth, Bobko & McFarland, 2005): Der Arbeit von As-herundScarrino(1974)wurdebeispielsweiseangelastet,dassvieleder bercksichtigten Tests, welche die beiden Autoren als Arbeitsproben klas-sifizierthaben,nachheutigerSichtalsSJTsoderTestszurMessungbe-rufsbezogenenWissenszubezeichnenwren.AnderArbeitvonHunter und Hunter (1984) wurde kritisch angemerkt, dass die Autoren keine An-gaben ber die in die Meta-Analyse einbezogenen Primrstudien machen. InBezugaufdieMeta-AnalysevonSchmittetal.(1984)wurdealsKri-tikpunkt angefhrt, dass die Autoren nur Primrstudien aus zwei amerika-nischen Journals betrachtet haben, was in einer geringen Datenmenge re-sultierte. Aufgrund der beanstandeten Punkte an frheren Meta-Analysen fhrtenRoth,BobkoundMcFarland(2005)eineeigeneMeta-Analyse durch,inwelchersieeinemittlerekorrigierteValidittvon.33ermittel-ten.UmdieobenangesprochenenMngelundVersumnissezuumge-hen, beachteten sie bestimmte Entscheidungsregeln bei der Einbeziehung vonPrimrstudien.DemgembedachtensiezumBeispielnurPrimr-studien mit Bewerbern oder Angestellten und keine Laborstudien. Zudem differenziertensiezwischenArbeitsprobenaufdereinenSeiteundSJTs oder Tests zum berufsbezogenen Wissen auf der anderen Seite. Als Datenbasis konnten Roth et al. (2005) auf 54 Studien mit insgesamt 10469Probandenzurckgreifen.Eszeigtesich,dassPrimrstudien,wel-che nach 1982 verffentlicht wurden, im Schnitt geringere korrigierte Va-liditten angaben als solche Primrstudien, die vor 1982 in einem Journal erschienen.EinweitererfrdieseArbeiterwhnenswerterAspektistdie 2.2 SJTs als simulationsorientierte Verfahren 16 vonRothetal.(2005)berichteteKorrelationinHhevon.13zwischen SJTs und Arbeitsproben vor. Allerdings lagen zur Berechnung dieser Kor-relation nur drei Studien vor.SJTs und Arbeitsproben sind in Bezug auf ihren Grad an fidelity zu un-terscheiden.WhrendArbeitsprobeneinhoherGradanfidelitybeschei-nigtwird(Guion,1998),wirdSJTseinniedrigerrespektiveimFallevi-deobasierter SJTs mittlerer Grad an fidelity (Funke & Schuler, 1998) zu-gewiesen (vgl. Abschnitt 2.4). 2.3 Die Konstruktion von SJTs 17 2.3 Die Konstruktion von SJTs In der relevanten Forschungsliteratur zeichnet sich in den letzten Jahren eineEntwicklungab,beiwelcherdieKomponentenvonSJTs,zumBei-spieldieArtderSituationsprsentation(z.B.Lievens&Sackett,2006) oderdieFormderInstruktionfrdieProbanden(z.B.McDanieletal., 2007), systematisch manipuliert und variiert werden, um den Einfluss von VernderungeninderSJT-KonstruktionaufdieNtzlichkeitdesSJTsin der Personalauswahl zu beleuchten. In diesem Abschnitt wird aufgezeigt, welcheAuswirkungenVernderungenhinsichtlichderSituationsgestal-tung,derDarbietungderVerhaltensalternativenoderderBewertungder Probandenantworten nach sich ziehen knnen. 2.3.1 Die Herkunft der in SJTs abgebildeten Situationen EssindzweiverschiedeneHerangehensweisenbeiderGewinnungvon Situationen fr SJTs unterscheidbar: Die Durchfhrung einer Arbeits- und Anforderungsanalyse,welchezumeistinFormderCriticalIncidents Technique(CIT;Flanagan,1954)vollzogenwird,oderdieOrientierung derSituationsgestaltunganbestehendenTheorienbeziehungsweiseMo-dellen.DerEinsatzderCITalsBeispielfreineArbeits-undAnforde-rungsanalyseistnachWeekley,PloyhartundHoltz(2006)dieamhu-figstenangewandteMethodebeiderGenerierungvonSituationenfrei-nenSJT.DabeiwerdenimRahmenderCITsogenanntesubjectmatter experts(SME)befragt.DieSMEknnensowohlMitarbeiterohneFh-rungsaufgabenalsauchFhrungskrftesein.AlsleitendesKriteriumfr dieAuswahlderSMEsolltederenKenntnisstandberdenjenigenAr-beitsplatz oder diejenige Klasse an Arbeitspltzen, fr die der SJT entwi-ckelt wird, dienen. Im Rahmen der Befragung werden SME gebeten, sich anselbstoderalternativvonMitarbeiternrespektiveArbeitskollegener-lebteerfolgskritischeEreignissezuerinnern.EineumfassendereDarstel-lung der CIT wird im dritten Kapitel dieser Arbeit geleistet. McDaniel et al. (2001) vollzogen in ihrer Meta-Analyse einen Vergleich vonSJTs,welcheeinerArbeits-undAnforderungsanalyseentstammen, undsolchenSJTs,dieeinemalternativenEntwicklungsprozessentsprun-gensind,hinsichtlichihrerkriterienbezogenenValiditt.Siestelltenfest, dass SJTs, welche auf Basis einer Arbeits- und Anforderungsanalyse ent-2.3 Die Konstruktion von SJTs 18 standensind,einehheremittlereKorrelationmitArbeitsleistung(.38) erreichtenalsSJTs,derenInhaltenichtaufeineArbeits-undAnforde-rungsanalyse zurckzufhren waren (.29).Eine zweite mgliche Herangehensweise bei der Entwicklung von Situa-tionenfreinenSJTsttztsichaufbereitsexistierendeModelleoder Theorien. Zumeist zielt die Gestaltung der Situationen dann auf die Mes-sungeinesspezifischenKonstruktswiebeispielsweiseeinerbestimmten Persnlichkeitseigenschaftab(Weekleyetal.,2006).Studien,indenen sichdieKonstruktionderSJTsanTheorienoderModellenorientierte, stammenbeispielsweisevonMotowidloetal.(1990;vgl.Abschnitt2.1), Stevens und Campion (1994, 1999), Weekley und Jones (1997) oder um ein Beispiel aus dem deutschsprachigen Raum zu nennen von Schubert, Ortwein, Dumitsch, Schwantes, Wilhelm und Kiessling (2008). Aufgrund derSJTsinhrentenMultidimensionalitt(vgl.Abschnitt2.5)isteinem-pirischer Nachweis angenommener theoretischer Strukturen, zum Beispiel mitHilfevonFaktorenanalysen,alsproblematischanzusehen(vgl. McDaniel, Morgeson, Finnegan, Campion & Braverman, 2001; McDaniel &Whetzel,2005).ZudemmangeltesSituationen,derenKonstruktion vorrangig durch theoretische Strukturen inspiriert wurde, an einer empiri-schenVerankerungindemArbeitsumfeld,welchesindemSJTsimuliert werden soll. 2.3.2 Inhalte und Charakteristiken von SJT-Items Bei der Majoritt der entwickelten SJTs dominiert eine inhaltliche Aus-richtunganinterpersonellenodersozialenSituationen(z.B.Kanning, 2005; Bledow & Frese, 2009). Seltener kommen SJTs zur Anwendung, in denenberufsbezogeneProblemsituationenabgebildetwerden,welche technischerNatursind.Weekleyetal.(2006)fhrenalsexemplarische Situationen die Behebung eines Computerabsturzes oder die Organisation einesProjektesan.DerEinsatztechnischgeprgterProblemsituationen soll vor allem Aussagen ber das berufsbezogene prozedurale Wissen der Probandenermglichen.DieGestaltungderSituationenimSJTistwei-terhinunterscheidbarentlangdreierzentralerCharakteristikaundGestal-tungsmerkmale(vgl.McDaniel&Nguyen,2001):Fidelity,Komplexitt und Verstndlichkeit im Sinne einer inhaltlichen Nachvollziehbarkeit. 2.3 Die Konstruktion von SJTs 19 IneinemSJTwerdendieSituationenentwederinText-oderinVideo-form prsentiert. Mit der Art der Prsentation ist fr McDaniel und Nguy-en (2001) die Frage nach der fidelity verknpft. Die Auslegung des Kon-zepts der fidelity und die inhaltliche Auseinandersetzung mit videobasier-ten SJTs erfolgen aufgrund ihrer hervorgehobenen Bedeutung fr die vor-liegende Arbeit in dem gesonderten Abschnitt 2.4. WhrendeinigeSJTsknappe,prgnanteSituationsbeschreibungen enthalten(z.B.derHSvonFileundRemmers,1971;s.Abschnitt2.1), prsentierenandereSJTsdenProbandenumfangreiche,komplexeSitua-tionen,indenensogarsituativeVerzweigungenmglichsind(z.B. Richman, Olson-Buchanan & Drasgow, 2000). Die Lnge und Komplexi-ttvonSituationsbeschreibungenstehtnachMcDanielundNguyen (2001) in einem engen Zusammenhang zu der Verstndlichkeit respektive NachvollziehbarkeitvonSituationsbeschreibungenausSichtderProban-den. Weekley et al. (2006) erwarten aufgrund dieses Zusammenhangs bei SJTs,dievonProbandeneinehhereLesekompetenzverlangen,umIn-haltezuverstehen,dieGefahr,dassnichtfralleProbandengruppen Chancengleichheitbestehe,waswiederumdiewahrgenommeneTestfair-nessbeeinflussenwrde(vgl.Abschnitt2.5).Weiterhinerhhtsichge-m McDaniel und Nguyen (2001) mit wachsender Komplexitt oder h-herenAnforderungenhinsichtlichderVerstndlichkeitdiekognitiveLa-dung eines SJT: It is a reasonable conjecture that the length, complexity, and comprehensibility of the situation are interrelated and may drive the cognitive loading of the situational stems (S. 105). Dementsprechend ist demGradanKomplexittundVerstndlichkeitvonSituationsbeschrei-bungenebenfallseinEinflussaufdieKonstruktvalidittvonSJTszuzu-schreiben.ObderGradanKomplexittdiekriterienbezogeneValiditt eines SJTs beeinflusst, untersuchten McDaniel et al. (2001) anhand einer Meta-Analyse. Fr SJTs mit sehr detaillierter und berufspezifischer Situa-tionsbeschreibungergabsicheineleichtniedrigeremittlereKorrelation mitArbeitsleistung(.33)alsfrSJTsmitallgemeiner,kurzerSituations-beschreibung (.35). 2.3.3 Die Wahl der Instruktionsform fr die Probanden Nachdem den Probanden im Rahmen der Testdurchfhrung der Stimulus prsentiert wurde zum Beispiel in Form eines Videos in einem videoba-2.3 Die Konstruktion von SJTs 20 siertenSJToderinFormeinesTextesineinemSJTimPaper-Pencil-Format wird ihnen eine Auseinandersetzung mit verschiedenen Verhal-tensalternativenabverlangt.ZurVorbereitungaufdiesenSchritterhalten die Probanden eine Instruktion seitens der Testautoren. Dabei herrschen in SJTsgemeinhinzweiFormenderInstruktionvor(vgl.Ployhart&Ehr-hart, 2003; Nguyen, McDaniel & Biderman, 2005; Weekley et al., 2006). DieersteFormderInstruktionenthlteineAufforderungandieProban-den,auseinerListevonVerhaltensoptionendiebeste(z.B.Reynolds, Winter & Scott, 1999) oder alternativ die beste und die schlechteste (z. B. Weekley & Jones, 1999; Clevenger & Haaland, 2000) je prsentierter Si-tuationzubestimmen.AlsVariationdieserInstruktionsformwerdendie Probanden in manchen Studien gebeten, die Effektivitt aller Verhaltens-alternativeneinzuschtzen(z.B.Chan&Schmitt,1997;Pereira&Har-vey,1999;Sacco,Scheu,Ryan,Schmitt,Schmidt&Rogg,2000).Diese FormderInstruktionsollfortanmitInstruktionzumWissensausdruck (engl.: knowledge instruction) betitelt werden. Eine Instruktion, die beste odereffektivsteVerhaltensalternativeauszuwhlen,korrespondiertmit typischenInstruktioneninTestszurErfassungderkognitivenLeistungs-fhigkeitoderinTestszurMessungvonberufsbezogenemWissen.Auf-grund dieser Kongruenz werden von SJTs mit einer Instruktion zum Wis-sensausdruck hohe Korrelationen mit berufsbezogenem Wissen (z. B. Mo-towidloet.al.,1990)undallgemeinerkognitiverLeistungsfhigkeiter-wartet(McDanieletal.,2001;Nguyenetal.,2005).PloyhartundErhart (2003)merktenindiesemKontextan,dassdieVerhaltensweise,welche die Probanden als beste identifizieren, nicht diejenige sein muss, die sie in einer realen Situation tatschlich an den Tag legen: []the SJT response asks for the most effective behavior in the situation, whereas the same be-havior the person actually does on the job may not be the most effective (S. 2). EinezweiteFormderInstruktionfordertdieProbandenindessenauf, ausdendargebotenenVerhaltensalternativendiejenigenzubenennen, welche sie einerseits am wahrscheinlichsten (engl.: most likely) und ande-rerseits am unwahrscheinlichsten (engl.: least likely) in der realen Situati-onzeigenwrden(z.B.Motowidloetal.,1990;Pulakos&Schmitt, 1996). In den weiteren Ausfhrungen firmiert diese Form der Instruktion unter der Bezeichnung Instruktion zur Verhaltenstendenz (engl.: behavio-2.3 Die Konstruktion von SJTs 21 raltendencyinstruction).NachPloyhartundErhart(2003)fhrtdieIn-struktionzurVerhaltenstendenzdazu,dasssichdieProbandenVerhal-tensweiseninErinnerungrufen,welche sieinvergleichbaren Situationen ihres beruflichen Werdegangs gezeigt haben. Nguyen et al. (2001) ergnz-ten, dass diese Form der Instruktion Selbstbeschreibungen von Probanden einholt, was dem Vorgehen in Persnlichkeitstests entspreche. Infolgedes-sen werden hohe Korrelationen zwischen SJTs mit Instruktion zur Verhal-tenstendenz und verschiedenen Persnlichkeitsfaktoren prognostiziert.DieUnterscheidungzwischeneinerInstruktionzurVerhaltenstendenz undeinerInstruktionzumWissensausdruckverbandenMcDanieletal. (2007)mitderDifferenzierungvonmaximalerundtypischerLeistung (vgl.Cronbach,1949).NachOnesundVisveswaran(2007)lassensich maximale und typische Leistung wie folgt voneinander abgrenzen: Typi-cal performance refers to what people will do, and maximal performance refers to what people can do. Thus, typical performance and maximal per-formance are theoretically distinct (S. 294). Die maximale Leistung, wie siezumBeispielinACsoderArbeitsprobenabgefragtwird,hngtnach McDaniel et al. (2007) in strkerem Mae von der allgemeinen kognitiven Leistungsfhigkeit ab als die typische Leistung. SJTs mit einer Instruktion zum Wissensausdruck sind fr McDaniel et al. (2007) ebenfalls Messun-genmaximalerLeistung.TypischeLeistungenassoziiertensieindessen strkermitnicht-kognitivenKorrelatenwiezumBeispielAspektender Persnlichkeit. Wird ein SJT mit einer Instruktion zur Verhaltenstendenz ausgestattet, misst er ihrer Ansicht nach typische Leistung. Dieser Gedan-kengangentsprichteinerfrherenHypothesevonMcDanielundNguyen (2001),diemutmaten,dassdieineinemSJTgewhlteVerhaltensin-struktion einen Einfluss auf seine Konstruktvaliditt bese.PloyhartundEhrhart(2003)untersuchten,wiesichsechsVariationen derbeidenInstruktionsformenaufdiepsychometrischeQualitteines SJTsauswirken.AbgesehenvondervariablenInstruktionhieltensiedie fnfSituationenimSJTalsauchdieVerhaltensalternativenjeSituation konstant.IndererstenPhaseihrerDatenerhebungwendetendieAutoren einbetween-subjects-Designanundlieenrund500ProbandendenSJT einmalabsolvieren.Dabeiwurdenjeweilsrund80Probandeneinerder verschiedenenInstruktionenzugewiesen.SechsWochenspterstartete die zweite Phase der Datenerhebung, in welcher mehr als 200 Probanden 2.3 Die Konstruktion von SJTs 22 den SJT mit allen sechs mglichen Instruktionen (within-subjects-design) durchliefen.UmAussagenberdieTest-Retest-Reliabilitttreffenzu knnen,warenetwa150ProbandenanbeidenPhasenbeteiligt.Auf Grundlage von Berechnungen zur internen Konsistenz in der zweiten Pha-se der Datenerhebung lie sich nach Ansicht der Autoren kein systemati-scherUnterschiedzwischenSJTsmitInstruktionzurVerhaltenstendenz undSJTsmitInstruktionzumWissensausdruckfeststellen.Einanderes BildergabsichjedochbeiAnalysenderTest-Retest-Reliabilitt,beider sich signifikante Unterschiede je nach benutzter Instruktionsform ergaben. DiehchsteTest-Retest-ReliabilitterzieltederSJTmitderInstruktion rate how likely would do (.92), whrend der niedrigste Wert (.20) fr den SJT mit der Instruktion rate how effective ermittelt wurde. Um Aussagen berdieKonstruktvaliditttreffenzuknnen,berechnetenPloyhartund Ehrhart(2003)InterkorrelationenzwischendensechsverschiedenenSJT VersionenausderzweitenPhasederDatenerhebung.Diedurchschnittli-chekorrigierteInterkorrelationzwischendendreiSJTsmitInstruktionen zur Verhaltenstendenz fiel in diesem Fall deutlich hher aus als die durch-schnittlichekorrigierteInterkorrelationzwischendendreiSJTsmitIn-struktion zum Wissensausdruck. Fr die durchschnittliche korrigierte Kor-relationzwischenSJTsmitInstruktionzurVerhaltenstendenzundSJTs mitInstruktionzumWissensausdruckergabsichindesseneinWertvon .22.BeiderVorhersageunterschiedlicherLeistungskriterienschnitten SJTsmitInstruktionenzurVerhaltenstendenzinbeidenPhasenderDa-tenerhebungsignifikantbesserabalsSJTsmitInstruktionenzumWis-sensausdruck. DerEinflussvonunterschiedlichenInstruktionsformenaufdieKons-truktvaliditt von SJTs wurde weiterfhrend durch eine Meta-Analyse von McDaniel et al. (2007) untersucht5. In bereinstimmung mit Ployhart und Ehrhart (2003) orientierten sich McDaniel et al. (2007) ebenfalls an einer DifferenzierungzwischenSJTsmiteinerInstruktionzurVerhaltensten-denzundSJTsmiteinerInstruktionzumWissensausdruck.Siebezogen StudienmitvierunterschiedlichenInstruktionenzurVerhaltenstendenz

5 InteressanterweiseerfuhrdieStudievonPloyhartundEhrhart(2003)keineAuf-nahmeindieseMeta-Analyse,daMcDanielundseinTeamnurStudienmitBe-werbernoderAngestelltensowieVorgesetztenbeurteilungenalsLeistungskrite-rium bercksichtigten. 2.3 Die Konstruktion von SJTs 23 undStudienmitsiebenverschiedenenInstruktionenzumWissensaus-druck in ihre Analyse ein. Die amerikanischen Forscher stellten fest, dass SJTs mit einer Instrukti-onzumWissensausdruckimMittelsignifikanthhermitallgemeiner kognitiver Leistungsfhigkeit (.35) korrelierten als SJTs mit einer Instruk-tionzurVerhaltenstendenz(.19).AllerdingsrietenMcDanielundsein Team zur Skepsis, da sowohl die Breite der Vertrauensintervalle als auch dergeringeAnteilanVarianz,welcherdurchmethodischeArtefakteer-klrbar ist, fr eine substantielle Variabilitt der analysierten Einzelkorre-lationen spreche. SJTs mit Instruktion zur Verhaltenstendenz korrelierten weiterhindurchschnittlichhhermitdenPersnlichkeitsfaktorenGewis-senhaftigkeit(.34versus.24),Vertrglichkeit(.37versus.19)undEmo-tionaleStabilitt(.35versus.12).FrdiebeidenanderenFaktorenaus dem Big 5-Modell ergab sich jedoch ein anderes Bild: SJTs mit Instrukti-onzumWissensausdruckkorreliertenimMittelhhermitdenPersn-lichkeitsfaktorenExtraversion(.14versus.07)undOffenheitfrErfah-rungen(.12versus.09)alsSJTsmitInstruktionzurVerhaltenstendenz. Bezogen die Autoren hingegen nur jene acht Studien ein, in denen dersel-beSJTzweimaldurchgefhrtwurdeeinmalmitInstruktionzumWis-sensausdruckundeinanderesMalmitInstruktionzurVerhaltenstendenz ,ergabsicheinklareresBild:SJTsmitInstruktionzurVerhaltensten-denz korrelierten nun mit allen fnf Persnlichkeitsfaktoren durchschnitt-lichhheralsSJTsmitInstruktionzumWissensausdruck.DerMeta-Analyse von McDaniel et al. (2007) wurden zwei Punkte entgegenhalten. Zum einen wurde bemngelt, dass sich nur vier der einbezogenen Studien auf andere Daten als von angestellten Mitarbeitern sttzten. Zum anderen wurdeangefhrt,dassdieInhaltederverschiedenenSJTsnichtkonstant unddamitvergleichbargehaltenwurden,sodassvorgefundeneEffekte nichtimmerdirektaufdieInstruktionsformzurckfhrensind(vgl. Arthur & Villado, 2008). ZweiJahrenachderMeta-AnalysevonMcDanieletal.(2007)unter-suchten Lievens, Sackett und Buyse (2009), wie sich die Variation der In-struktionsform auf einerseits die kriterienbezogene Validitt und anderer-seitsdieKonstruktvaliditteinesSJTsauswirkt,fallsdieserimRahmen einerrealenAuswahlsituation(high-stakesselectioncontext)eingesetzt wird.DazusetztensiedenselbenSJT,dasheitderInhaltwurdegleich 2.3 Die Konstruktion von SJTs 24 gehalten(s.o.),einmalmiteinerInstruktionzumWissensausdruckund ein anderes Mal mit einer Instruktion zur Verhaltenstendenz ein. Das Forscherteam stellte dabei einerseits fest, dass die Wahl der Instruk-tionsform keinen Einfluss auf die Hhe des Testwerts im SJT ausbt. Zu-demergabensichbeiderKorrelationmitzweiLeistungskriterienkeine signifikanten Unterschiede je nach gewhlter Instruktionsform. Anderseits korreliertederSJTmiteinerInstruktionzumWissensausdruckinnicht-zuflliger Weise hher (.19) mit Intelligenz als derselbe SJT mit einer In-struktion zur Verhaltenstendenz. Es bleibt festzuhalten, dass die Wahl der Instruktionsform in einem SJT einenEinflussaufdieKonstruktvalidittdesVerfahrensausbenkann und dass ber die Entscheidung fr eine bestimmte Instruktionsform In-struktion zur Verhaltenstendenz oder Instruktion zum Verhaltensausdruck bis zu einem bestimmten Mae zu steuern ist, mit welchen Kriterien ein SJT hher korreliert und mit welchen niedriger. Fr die kriterienbezogene ValiditteinesSJTkanndieWahlderInstruktionhingegenalsunerheb-licherachtetwerden.ImweiterenVerlaufdieserArbeitwirddargelegt werden,dassjenachgesetzterInstruktionfrdieProbandenauchdas Ausma sozial erwnschter Antworten variiert (s. Abschnitt 2.5). 2.3.4 Die Gestaltung der Verhaltensalternativen im SJT In den meisten Studien werden SME gebeten, verschiedene Verhaltens-alternativenfreinegegebeneSituationzubenennen(z.B.Dalessio, 1994). Hinsichtlich der Anzahl von pro Situation eingesetzten Verhaltens-alternativen und deren inhaltlicher Komplexitt besteht eine groe Varia-bilittzwischendenStudien.PloyhartundEhrhart(2003)bezeichnenin diesemZusammenhangeineZahlvonvierbissechsVerhaltensalternati-ven als Durchschnitt. Dabei kann die Sammlung von Verhaltensalternati-venentwedermitHilfederselbenSMEdurchgefhrtwerden,welche schonanderCITpartizipierthaben,odereswerdenbishernichtinvol-vierteSMEherangezogen.EineBeteiligungvonSMEbeiderGenerie-rungrealistischerVerhaltensalternativenwirdbasierendaufihremar-beitsplatzbezogenenKenntnisstandbegrt(Weekleyetal.,2006). Nichtsdestotrotz existierten auch SJTs, bei denen die Testautoren die Ver-haltensalternativenohneMitwirkungvonSMEentwickelthaben(z.B. Weekley & Jones, 1999; Weekley & Jones, 2005). Als Sonderform dieser 2.3 Die Konstruktion von SJTs 25 alternativenHerangehensweisefhrtenWeekleyetal.(2006)diekons-truktbasierteEntwicklungvonVerhaltensalternativenan.Bezglichdie-sesThemaslistetensieinihremberblicksartikelverschiedeneKonfe-renzbeitrgeauf,indenenverschiedenekonstruktbasierteVorgehenswei-senprsentiertwurden.ExemplarischberichtetensievonVersuchen,die Konstruktion der Verhaltensalternativen am Big 5 Modell der Persnlich-keit (z. B. Tupes & Christal, 1992) auszurichten oder Verhaltensalternati-venvonSMEaprioriineintheoretischesRahmenmodelleinzuordnen. Systematische Studien zur berprfung der Ntzlichkeit konstruktbasier-ter Verhaltensalternativen liegen allerdings bislang nicht vor. In Analogie zurtheoriegeleitetenHerleitungderSituationenistauchandieserStelle einerseitsdieMultidimensionalittvonSJTszubetonen,welcheeiner empirischeindeutigenBesttigungangenommenertheoretischerStruktu-renimWegestehenmag,undandererseitsderzubefrchtendefehlende BezugzurealenVerhaltensalternativenamkonkretenArbeitsplatz.Ein Punkt,welcherbeiderGestaltungderVerhaltensalternativenbesondere Aufmerksamkeit verdient, ist der, wie leicht es Probanden fllt, besonders effektive oder situativ angemessene Verhaltensweisen als solche zu iden-tifizieren.DieserAspektistengmitdemProblemsozialerwnschter Antworttendenzen(engl.:Faking)verknpft(s.Abschnitt2.4).Umdie Gefahr des Fakings zu minimieren, empfehlen Weekley et al. (2006) eine ParallelisierungderVerhaltensalternativeninBezugaufdenGradihrer sozialenErwnschtheit.UmdenGradansozialerErwnschtheit,welche eineVerhaltensalternativeevoziert,zubemessen,sindderLiteraturzwei Methodenzuentnehmen:DasAusmaansozialerErwnschtheitwird durchExpertenbeurteilt(Marlowe&Crowne,1961)oderKorrelationen zwischen der Beantwortung der Verhaltensalternative und einer Skala zur MessungsozialerErwnschtheitdienenalsGradmesser(z.B.Jackson, 1994).DabeieinigenSJTsnichtalleVerhaltensalternativenbearbeitet werden beziehungsweise die Beantwortungen der einzelnen Verhaltensal-ternativen nicht immer statistisch unabhngig sind (s. u.), muss die zweite beschriebene Methode als mit vielen Unwgbarkeiten behaftet angesehen werden. 2.3 Die Konstruktion von SJTs 26 2.3.5 Die Festlegung eines Bewertungsschlssels WhrendsichbeiTestszurallgemeinenkognitivenLeistungsfhigkeit eineProbandenantwortschnellundeindeutigalsrichtigoderfalschcha-rakterisieren lsst, gestaltet sich diese Art der Einstufung bei SJTs weitaus diffiziler (Legree, 1995). Verhaltensalternativen, welche den Probanden in den jeweiligen konstituierenden Situationen eines SJT zur Verfgung ste-hen, mssen vorab, das heit vor den ersten Testdurchfhrungen, als rich-tig/effektivbeziehungsweisefalsch/nichteffektivimSinneeinererfolg-reichenBewltigungderdargestelltenSituationfestgelegtwerden.Die FestlegungdersituationsbezogenenEffektivittvonVerhaltensalternati-ven entspricht der Definition eines Bewertungsschlssels (scoring key). IndiesemZusammenhangerwhntenMcDanielundNguyen(2001) zwei verschiedene Varianten, einen Bewertungsschlssel festzulegen. Als ersteMglichkeitnanntensiedieerneuteEinbeziehungvonSMEoder alternativherausragendenMitarbeitern.Diesesolltenaufindividueller Basis oder in Gruppen einvernehmlich festlegen, welche Verhaltensalter-nativeninderjeweiligenSituationrichtigbeziehungsweisefalschsind. ErzielendiehinzugezogenenExpertenkeinenKonsensinBezugaufdie EinstufungbestimmterVerhaltensalternativen,solltendiesenachMcDa-nielundNguyen(2001)revidiertwerden.DiezweitevonMcDanielund Nguyen (2001) aufgelistete Mglichkeit beinhaltet die empirische Durch-fhrungeinerPilotstudieunddieanschlieendeBerechnungvonMaen derzentralenTendenz,umVerhalternsalternativenalsrichtigoderfalsch einzuordnen. Im Gegensatz zu McDaniel und Nguyen (2001) nennen Bergman, Dras-gow,DonovanundHenning(2006)sogarvierverschiedeneMglichkei-ten,umLsungsschlsselfrdieBewertungderAntwortenvonProban-denimSJTzugenerieren:Empirisch(empiricalscoring),theoretisch (theoreticalscoring),experten-basiert(expert-based)undeineMischung mehrerer Lsungsschlssel (hybrid scoring). BeiderempirischenMethodewerdendieProbandenantwortengem ihrerstatistischenKorrelationenmiteinemKriteriumbewertet(vgl. Weekley & Jones, 1997). Zur Anwendung dieser Methode sind vorab ver-schiedeneBedingungenzuerfllen.NebenderWahleinesgeeigneten KriteriumsunddernotwendigenKreuzvalidierungderDatenbetonen 2.3 Die Konstruktion von SJTs 27 Drasgowetal.(2006)dieBefolgungfesterEntscheidungsregelnbeim SetzeneinesLsungsschlssels.EineRegelsolltethematisieren,welche HheeineKorrelationzwischenVerhaltensalternativeundKriterium mindestens erreichen sollte, um Verhaltensalternativen als richtig respek-tivefalscheinstufenzuknnen.LauteinerweiterenRegelsolltejede VerhaltensalternativevoneinerMindestanzahlanProbanden(Basisrate) gewhltwerden,umempirischbewertetwerdenzuknnen.BeimBefol-genderempirischenMethodeergibtsicheindreiteiligerBewertungs-schlssel:Eine+1erhaltensolcheVerhaltensalternativen,welchehufig von solchen Probanden gewhlt wurden, die hohe Kriteriumswerte erzie-len.DieseVerhaltensalternativenwerdenalsrichtigeingestuft.Dagegen werdenVerhaltensalternativenmit-1bewertet,dieregelmigvonPro-banden gewhlt wurden, welche vergleichsweise niedrige Kriteriumswer-te erreicht haben. Folglich werden diese Verhaltensalternativen als falsch angesehen.Verhaltensalternativen,denenkeineempirischeBeziehung zum Kriterium nachzuweisen ist, erhalten eine 0. DietheoretischeHerangehensweisezurGewinnungeinesLsungs-schlsselsistengandenPostulatenbestehenderRahmenmodelleausge-richtet(s.o.).Verhaltensalternativen,welchetheoretischeAnnahmenwi-derspiegeln und untersttzen, werden als richtig eingestuft, whrend Ver-haltensalternativen,welchetheoretischenAnnahmenwidersprechen,als falschbewertetwerden.VerhaltensalternativenohneerkennbarenBezug zur Theorie erhalten die Funktion von Distraktoren und werden weder als richtig noch falsch gedeutet. Theoriegesttzte Bewertungsschlssel finden sichzumBeispielindenStudienvonOlson-Buchananetal.(1998)oder Stevens und Campion (1999). ImRahmenderexperten-basiertenMethodewerdenSMEgemeinhin aufgefordert, die gegebenen Verhaltensalternativen als richtig oder falsch einzustufen (s. o.). Alternativ erwhnen Drasgow et al. (2006) einen Ver-gleichzwischenExpertenantwortenundNovizenantworten.Indiesem FallwerdendiejenigenVerhaltensalternativenalsrichtigbewertet,die ungeachtet der Novizenantworten von besonders vielen Experten gewhlt wurden.WhlenhingegenbesondersvieleNovizeneineVerhaltensalter-native, aber nur wenige Experten, wird diese als falsch bewertet.DiezurEntwicklungdesBewertungsschlsselshinzugezogenenSME sindzumeistMitarbeiterohneFhrungsaufgaben(Pulakos&Schmitt, 2.3 Die Konstruktion von SJTs 28 1996),Fhrungskrfte(Weekley&Ployhart,2005),externeBerater (Hunter, 2003) oder Kunden (Weekley & Jones, 1997). Legree (1995) be-zeichnetedieFestlegungvonrichtigemVerhalteninSituationenmitso-zialem oder interpersonellem Hintergrund als komplex und anspruchsvoll. Nach seiner Ansicht bestehe unter SME oftmals Dissens ber die Richtig-keitundsituativeAdquatheitbestimmterVerhaltensweisen,sodasser eine grere Gruppe von SME zur Festlegung eines Bewertungsschlssels empfahl. So bezog Philips (1992, 1993) zum Beispiel nur solche Verhal-tensalternativen in die Endfassungen seiner SJT ein, bei denen sich 75 % derinvolvierten20SMEhinsichtlichderEinstufungalsrichtigoder falscheinigwaren.BeiderEntwicklungeinesBewertungsschlsselsfr einen SJT, welcher bei der amerikanischen Armee eingesetzt werden soll-te, griff Legree (1995) bewusst auf Laien zurck. Seine Entscheidung be-grndete er wie folgt (Legree, 1995; S. 250): The logic of using nonexperts to develop an expert rating pattern mayseemcounterintuitive.However,iftheratingsofanypar-ticipantareconceptualizedasobservedscorescomposedof common and unique variance, in which the common component correspondstoexpertvarianceandtheuniquecomponentto nonexpert variance, then expertise is directly proportional to the magnitude of the common component and inversely proportional to the unique component. DieFragenachderAnzahlnotwendigerSMEunbercksichtigtlassend erwhntenWeekleyetal.(2006),dassunterschiedlicheExpertengruppen womglich auch unterschiedliche Lsungsschlssel fr ein und denselben SJTentwickelnwrden.VorstellbarwrezumBeispiel,dassKunden gnzlichandereVerhaltensalternativenalseffektivundrichtigaufSeiten von Verkufern einschtzen als deren Vorgesetzte. Diesem Punkt vorgrei-fend setzten Weekley und Jones (1997) zwei Bewertungsschlssel fr ei-nen SJT ein, welcher speziell fr Beschftigte in Pflegeberufen konstruiert wurde.NebeneinemempirischenBewertungsschlsselkameinrational-theoriegeleiteterSchlssel(s.o.)zumEinsatz,dermitHilfevonFami-lienangehrigenderpflegebedrftigenPersonenentworfenwurde.Zwi-schendenbeidenBewertungsschlsselnfandendieAutorenjenach Stichprobe Korrelationen von .48 respektive .53 vor (s. Abschnitt 2.4). 2.3 Die Konstruktion von SJTs 29 BislangbliebdieFrageunbeantwortet,obdieArtdesBewertungs-schlssels die Gtekriterien eines SJTs beeinflusst. Bezglich dieser Fra-ge kamen Weekley et al. (2006) nach der Durchsicht mehrerer Artikel und KonferenzbeitrgeausdemZeitraumvon1997bis2004zumVergleich empirischer hergeleiteter Bewertungsschlssel auf der einen Seite und mit HilfevonSMEkonstruierterBewertungsschlsselaufderanderenSeite zudemSchluss,dassSJTsmitbeidenArtenvonBewertungsschlsseln kriterienbezogene Validitten vergleichbarer Hhe erzielen knnen. Den-noch sprche die zumeist vorgefundene geringe Interkorrelation zwischen denbeidenArtenvonBewertungsschlsselndafr,dassunterschiedliche BewertungsschlsselunterschiedlicheKonstruktesowieunterschiedliche Aspekte der Kriterien erfassen (vgl. Weekley & Jones, 1997). Bergman et al. (2006) verglichen in ihrer Studie elf verschiedene Bewer-tungsschlssel hinsichtlich ihres Einflusses auf die kriterienbezogene und inkrementelle Validitt eines SJT. Als Grundlage diente ein videobasierter SJT zur Messung von Fhrungskompetenz. Als Leistungskriterien wurden zweiVorgesetztenbeurteilungeneingeholt,zumeineneineBeurteilung derFhrungsqualittderProbandenimspeziellenundzumandereneine Einschtzung der allgemeinen beruflichen Leistung. NurfrdreideruntersuchtenBewertungsschlsselexperten-basiert, empirischundhybridparticipationergabensichsowohlsignifikante Korrelationen moderater Hhe mit den beiden Leistungskriterien als auch statistischbedeutsameinkrementelleValidittenbeiderVorhersageder Fhrungsqualitt.Derexperten-basierteBewertungsschlsselerbrachte einenzustzlicherklrtenVarianzanteilvon4.9%,deraufempirischem WegegewonneneBewertungsschlssel3.0%undderhybrideBewer-tungsschlssel 1.7 %. Als weitere Prdiktoren verwendeten Bergman und ihrTeamzweiPersnlichkeitsinventare.AusihrenErgebnissenfolgerten die Forscher, dass [] the validity of an SJT depends in part on its scor-ing, and that poor choices could lead to the conclusion that the SJTs con-tentisnotvalidwhenitmayonlybethescoringkeythatisnotvalid (Bergman et al., 2006; S. 231). Nach vollzogener Festlegung der Effektivitt der verschiedenen Verhal-tensalternativenmssendieProbandenantworteneingeholtundmitHilfe des Bewertungsschlssels verrechnet werden. Am Ende erhalten die Pro-banden einen Gesamtwert fr ihr Abschneiden im SJT. 2.3 Die Konstruktion von SJTs 30 Weekley et al. (2006) unterschieden zwei unterschiedliche Formate, wie den Probanden die Verhaltensalternativen vorgegeben werden: Im forced-choice-FormatoderinFormeinerLikertskala.Beimforced-choice-Format werden die Verhaltensalternativen im Multiple-Choice-Profil dar-gestellt und die Probanden werden dazu aufgefordert, entweder die in ih-renAugeneffektivsteoderdiejenigeVerhaltensalternative,welchesiein derSituationamwahrscheinlichstenzeigenwrden,auszuwhlen(s.o.). Beiderforced-choice-MethodeliegteineAbhngigkeitzwischenden BewertungenderunterschiedlichenVerhaltensalternativenvor(Vasilo-poulos, Cucina, Dyomina, Morewitz & Reilly, 2006). Der Einsatz der for-ced-choice-MethodeistweiterhinverbundenmitdemWunsch,dasAuf-treten sozial erwnschter Antworten zu minimieren (Jackson, Wroblewski & Ashton, 2000; S. 373): Forced-choicequestionnairesrepresentonepossiblemethodof minimizing the problem of faking in employment testing by mak-ingthetaskofrespondingdesirablymuchmoredifficult.Ifre-spondentsaremotivatedtomakethebestpossibleimpression, beingforcedtochoosebetweenitemssimilarinperceivedrele-vancetothejobtendstoreducethistypeofimpressionman-agement DieErreichungdiesesZielssetztwieobenbereitsbesprochenvoraus, dass die dargebotenen Verhaltensalternativen in Bezug auf ihren Grad an sozialer Erwnschtheit parallelisiert wurden. Eine sehr einfache und ko-nomische Auswertungsform des forced-choice-Format basiert auf der An-nahme,dasseineeinzigeVerhaltensalternativerichtigist,whrendalle anderen Verhaltensalternativen als falsch gelten (z. B. Stevens & Campi-on,1999;Hunter,2003).WhlenProbandendiealsrichtigeingestufte Verhaltensalternative,erhaltensie1Punkt,whrenddieAuswahleiner anderen und damit nicht richtigen Verhaltensalternative keine Punkte ein-bringt.EinekomplexereAuswertungsformdesforced-choiceFormats wurdevonMotowidloetal.(1990)eingefhrtundwurdebereitsimAb-schnitt 2.1 vorgestellt. Nach Weekley et al. (2006) bietet die Auswertung einesSJTsnachVorgabevonMotowidloundseinemTeamdenVorteil grererVarianzinBezugaufdieProbandenantwortenunddamiteine VoraussetzungfrhhereReliabilittenundValidittenalsbeiderein-2.3 Die Konstruktion von SJTs 31 gangs erwhnten einfachen dichotomen Auswertungsform. Einen alterna-tivenEinsatzdesforced-choiceFormatspropagiertenWeekley,Ployhart undHarold(2004).SielieenihreProbandenallevorgegebenVerhal-tensalternativenineineRangordnungbringen,anderenSpitzediebeste undanderenEndedieschlechtesteVerhaltensalternativeausSichtder Probandeneingefgtwerdensollte.UmdieRangordnungenderProban-denzubewerten,wurdendiesemitHilfevonRangkorrelationennach Spearman verglichen mit den von SME erstellten Rangordnungen. Die Bewertung und Auseinandersetzung mit allen Verhaltensalternativen mit Hilfe von Likertskalen als Gegenvorschlag zum forced-choice For-materfordert,dassdieProbandenjedeVerhaltensalternativebezglich ihrersituativenEffektivitteinstufen.EinBeispielfrdieseArtderHe-rangehensweise findet sich in einer Studie von Chan und Schmitt (2002). Der Einsatz von Likertskalen bringt nach McDaniel und Nguyen (2001) mehrereVorteilemitsich.ErstensseiendieBewertungendereinzelnen Verhaltensalternativen als unabhngig voneinander anzusehen, so dass im Gegensatz zum forced-choice-Format keine ipsativen Werte vorlgen. Als zweitenVorteilfhrenMcDanielundNguyen(2001)an,dassbedingt durch die notwendige Einschtzung aller vorgegebenen Verhaltensalterna-tiven eine Vielzahl an Daten und Varianz vorhanden wre, was wiederum der Reliabilitt und Validitt des SJTs zutrglich sein knnte. Tatschlich ermittelte Legree (1994; 1995) fr SJTs mit Likertskalen hhere Reliabili-tten angegeben in Form von Cronbach`s Alpha als fr SJTs mit for-ced-choiceFormat.DerdritteVorteildesEinsatzesvonLikertskalen, welchen McDaniel und Nguyen (2001) anfhren, thematisiert die erstreb-te Messung homogener Konstrukte mit SJTs. Nach McDaniel und Nguyen (2001)erweitertdieAnwendungdesLikertformatsanstattdesforced-choiceFormatsdieMglichkeit,miteinemSJTeinzelneKonstruktezu messen (vgl. Abschnitt 2.5).InFormderAbbildung2-2werdenzumAbschlussdiesesAbschnitts dreizentraleKonstruktionsschrittefrSJTsschematischzusammenge-fasst.DieDarstellungorientiertsichaneinemLeitfaden,welchervon Ployhart et al. (2006; S. 514-516) fr eine Anwendung in der Praxis for-muliert wurde, und kann als Heuristik verstanden werden. 2.3 Die Konstruktion von SJTs 32 Abbildung 2-2: Leitfaden zur Erstellung von SJTs in der Praxis Step 1: Generatesituationsusingthecriticalincidentstechnique.Create situationsthatarefairlycommon,butwherethereisnoclear course of action. Step 2: Editsituationsandcreateresponseoptions.Attempttogenerate four up to six options for each situation. No option should be ob-viously correct or incorrect.Step 3: Determine the scoring key. Refine and revise items. Delete items that show low agreement. Think carefully about what type of test instructionswillbeused,howsubject-matterexpertswillbe askedtoevaluatetheoptions,andhowsituationaljudgment scores will be created and combined. 2.4 Videobasierte SJTs 33 2.4 Videobasierte SJTs IndiesemAbschnitterfolgteingesonderterBlickaufverschiedenevi-deobasierteSJTs.ZuvorwirdjedochdasKonzeptderfidelity,welches den Realittsgrad von Testinhalten thematisiert, besprochen. 2.4.1 Das Konzept der fidelity Jedes Item eines SJT setzt sich wie in Abschnitt 2.3 dargelegt zusammen aus einer Stimuluskomponente, welche den Probanden in eine arbeitsnahe Situationhineinversetzt,undeinerResponsekomponente,durchwelche der Proband seine Reaktion auf die situativen Erfordernisse zumeist eine ProblemstellungsozialerFrbung(s.u.)ausdrckt(Motowidloetal., 1990; Funke & Schuler, 1998). Funke und Schuler (1998) weisen in die-semZusammenhangdaraufhin,dassgeradebeiTests,diearbeitsspezifi-scheSituationenunderfolgsrelevantesVerhaltenamArbeitsplatzabzu-bildenbeabsichtigen,einhoherGradanfidelity(vgl.Motowidloetal., 1990;s.Abschnitte2.1und2.3)sowohlhinsichtlichderStimulus-als auch der Responsekomponente vorliegen sollte. AufSeitendesGestaltungsmerkmalsfidelityistzudifferenzieren zwischenpsychologicalundphysicalfidelity:Psychologicalfidelityre-fers to the extent that the predictor taps the same constructs required for successful performance on the criterion, and physical fidelity refers to the extent the predictor is physically similar to the criterion (Ployhart et al., 2006; S. 377). Der Begriff physical fidelity wird demnach herangezogen, umzubestimmen,inwiefernderTestinhalteinesSJTdieGegebenheiten an einem tatschlichen Arbeitsplatz widerspiegelt. SJTs, welche Situatio-nen in Videoform beinhalten, wird eine hherer Grad an physical fidelity beigemessenalsSJTs,welchedieSituationenimPaper-Pencil-Format prsentieren(z.B.Motowidlo,Hanson&Crafts,1997;Lievens&Coet-sier, 2002). Die fidelity eines SJTs besitzt zudem Bedeutung fr die sozia-le Validitt und Augenscheinvaliditt eines SJTs (vgl. Abschnitt 2.5).BeivideobasiertenSJTsbestehtdieStimuluskomponenteauseinerVi-deoszene,welchejenachAufwandbeiderKonstruktiondesSJTeine mehroderminderrealistischeArbeitssituationenthlt(Kanning,2004). Da die Antworten der Probanden im Rahmen videobasierter SJTs zumeist schriftlichoderverbalformulierterfolgen,schreibenFunkeundSchuler 2.4 Videobasierte SJTs 34 (1998) der Responsekomponente in dieser Art von Tests im Rckgriff auf Motowidlo et al. (1990) einen geringen Grad an fidelity zu (vgl. Ployhart et al, 2006). Hingegen statten sie die Stimuluskomponente in videobasier-tenTestsmitdemAttributhoherfidelityaus,sodasssievideobasierte Testszusammengefasstalsstimulus-centered(Funke&Schuler,1998; S.116)bezeichnen.DieAbbildung2-3bieteteineKontrastierungver-schiedenerMethodenderBerufseignungsdiagnostikhinsichtlichihres Grades an (physical) fidelity. Physical FidelityNiedrig HochSJT SJTAssessment Arbeitsproben(Paper-Pencil)(Video)Center Abbildung 2-3: Einzelne Verfahren der Personalauswahl und ihr Grad an fidelity NachderAbbildung2-3verfgenArbeitsprobenberdenhchsten Gradanphysicalfidelity(s.Abschnitt2.2),whrendSJTsimPaper-Pencil-Format der niedrigste Grad an physical fidelity bescheinigt wird. 2.4.2 Videobasierte SJTs im berblick Bereits im Jahre 1949 sah Thorndike trotz fehlender technischer Mg-lichkeitenvideobasierteTestsals(zuknftige)Bereicherungbeider MessungvonsozialenoderinterpersonellenKompetenzenderBewerber ineinerPersonalauswahlsituationan.LautThorndike(1949)sprchen 2.4 Videobasierte SJTs 35 verschiedene Vorteile von videobasierten Tests fr ihren Einsatz: Erstens seiensiewiePapier-Bleistift-TestsalsGruppentestdurchfhrbar.Zwei-tens fgten sie der Auswahlsituation durch ihren anderen Stimulusgehalt bewegteBildereinenhherenAnteilanRealismushinzu.Alsdritten Vorteil nannte er, dass in einem videobasierten Test sowohl die Prsenta-tion des Stimulus als auch die Reaktion des Bewerbers (zeitlich) schneller erfolgenknnealsineinemPapier-Bleistift-Test,wasdenGradanRea-lismusnochweitererhhe.WeekleyundJones(1997)fhrtendieArgu-mentationfrdenEinsatzvideobasierterTestsinderPersonalauswahl weiter aus. Wie Thorndike (1949) betonten sie, dass in Videos berufsrele-vantesVerhaltenundarbeitsplatzbezogeneSituationenrealistischerund detailreicher abgebildet werden knnen als in Paper-Pencil-Tests. Zudem bezeichneten sie das Hren von Dialogen und Sehen von Bewegungen im RahmenvonVideotestsalseinenatrlichereundleichterhandhabbare HandlungfrdiemeistenBewerberalsdasLesenvonTexteninPaper-Pencil-Tests(vgl.Kanningetal.,2006).AlsweiteresArgumentfhrten WeekleyundJones(1997)an,dassBewerberdurchvideobasierteTests einenreprsentativenEinblickinihrmglichesspteresBerufsfeldsamt dessen speziellen Anforderungen erhalten. Drasgow, Olson, Keenan, Mo-berundMead(1993)bezeichnetenzumBeispielnonverbaleSignalevon Rollenspielern wie deren Minenspiel als realistische Arbeitsplatzinforma-tionen,dieinPapier-Bleistift-Testsnichtadquatabzubildensind.Ihr PldoyerfrvideobasierteTestsbeschlossenWeekleyundJones(1997) mitdemPunktderAugenscheinvaliditt.VideobasierteTestsweisen demnach im Vergleich zu vielen Persnlichkeitstests oder Tests zur Mes-sungderallgemeinenkognitivenLeistungsfhigkeiteinenfrBewerber leichtererkennbarenBezugzumBerufslebenauf(vgl.Abschnitt 2.5).NebendengenanntenVorteilenwiesenWeekleyundJones(1997) auch auf Nachteile von videobasierten Tests hin. Zum einen sprachen sie diehohenfinanziellenEntwicklungskostenanundzumanderennannten sie die Vielzahl an notwendigen technischen Gerten zum Videodreh und zurPrsentationderVideosalsMankogegenberPapier-Bleistift-Tests. Zur Ergnzung der Vorteile videobasierter Tests soll ein Punkt von Dras-gowetal.(1993)ergnztwerden.SiehobendieStandardisierungder StimulusprsentationalsweiterenVorzugvideobasierterTestshervor. DiesenhohenGradanStandardisierungunddamiteinhergehendanOb-2.4 Videobasierte SJTs 36 jektivitt bezglich der Durchfhrung erachteten sie vor allem als Vorteil gegenberRollenspielen,indeneneineStandardisierungaufgrunddes interaktivenCharaktersnichtzwangslufiggegebenist.Olson-Buchanan undDrasgow(2006)nahmenwenigereineAbwgungvonVor-und Nachteilen vor als dass sie viel mehr Kriterien benannten, die die Qualitt videobasierterTestsbeeintrchtigenknnten.AlseinKriteriumfhrten siedieBefhigungderRollenspieler,dieSituationsskripterealitts-und vorallemarbeitsplatzgetreuumzusetzen,an.SieempfahlenzurGewhr-leistung einer arbeitsplatzgerechten Darstellung eine dauerhafte beratende Anwesenheit von SME beim Videodreh. Obendrein verliehen sie der For-derung nach einer regelmigen Revision der Videos Nachdruck, um die in den Videos benutzten Kleidungsstile, Frisuren oder sonstige Accessoi-res dem jeweiligen Zeitgeist anzupassen.DienchstenSeitengebeneinenEinblickinverschiedeneStudien,in denenvideobasierteSJTsfrdenEinsatzinspezifischenBerufsfeldern konzipiert wurden. Verffentlicht wurden diese Studien in den 80ern und 90ern des zwanzigsten Jahrhunderts beziehungsweise im ersten Jahrzehnt des einundzwanzigsten Jahrhunderts. Da Studien mit videobasierten SJTs keineAufnahmeindieMeta-AnalysenvonMcDanieletal.(2001)und McDanieletal.(2007)erhielten(s.Abschnitt2.5),erscheinteinediffe-renzierteAuseinandersetzungmitdiesenArbeitenumsobedeutsamer. Dabei beschrnkt sich die Darstellung auf Feldstudien mit Bewerberstich-probenbeziehungsweiseBeschftigteninUnternehmen.Laborstudien wurden zum Beispiel von Chan und Schmitt (1997) oder Richman-Hirsch, Olson-Buchanan und Drasgow (2000) vorgelegt.ImJahre1986entwickeltenJonesundDeCotiis(1986)einenvideoba-sierten Test zur Auswahl kunden- beziehungsweise gastorientierter Mitar-beiter fr das Hotel- und Gaststttengewerbe. Da in der vorliegenden Ar-beit ebenfalls ein SJT zur Messung der Kundenorientierung im Hotelfach entwickeltwerdensoll,wirdderStudiederbeidenamerikanischenFor-scher nun verstrkt Aufmerksamkeit gewidmet. Wie bei Motowidlo et al. (1990)erfolgtederersteKonstruktionsschrittinFormderCITnachFla-nagan(1954).DieindenInterviewsmitHotelangestelltengesammelten erfolgskritischenEreignissewurdendurcheineGruppevonManagern berprft und dienten spter als Skripte fr den Videodreh. Basierend auf den Ergebnissen des ersten Konstruktionsschrittes entstand ein Fragenbo-2.4 Videobasierte SJTs 37 gen zur Arbeitsanalyse, welcher weiteren Mitarbeitern der beteiligten Ho-telsvorgelegtwurde.DieAuswertungderFragebgenbrachtehervor, dass der Umgang mit Gsten nur fr bestimmte Berufsgruppen innerhalb des Hotels- und Gaststttengewerbes von hervorgehobener Bedeutung ist. Speziell fr diese Berufsgruppen, zum Beispiel Mitarbeiter an der Rezep-tionoderMitarbeiterimBankettbereich,solltedervideobasierteTest entwickelt werden. In die Endfassung des Tests wurden insgesamt 40 Vi-deos aufgenommen. Als Leistungskriterium fr einen Pretest mit Hotelmi-tarbeitern wurde die Beziehungsgestaltung zu Hotelgsten erwhlt.DiePrsentationdereinzelnenVideosliefwiefolgtab:Vordervideo-basierten Darstellung der einzelnen Situationen leitete eine Erzhlstimme ausdemOffdasjeweilsfolgendeSzenarioinhaltlichein.Daranschloss sich die Darstellung der Videos an. Fr die Beantwortung erschienen den Probanden auf einer Leinwand pro Video vier Verhaltensalternativen, die von derselben Erzhlstimme der Reihe nach vorgelesen wurden. Die Auf-gabederProbandenwares,zuentscheiden,wiesichderMitarbeiterdes HotelsinderSituationverhaltens