Gustav A. Lienert

Testaufbau und Testanalyse

3., durch einen Anhang über Faktorenanalyse ergänzte Auflage

VERLAG JULIUS BELTZ • WEINHEIM • BERLIN • BASEL

INHALT

Verzeichnis der Abbildungen XXIIIVerzeichnis der Formeln XXVI

EINLEITUNG 1

Kapitel 1: GRUNDSÄTZLICHES ÜBER DEN TESTA.Wesen und B e d e u t u n g des T e s t e s 7

I. Zur Begriffsbestimmung des Wortes „Test" 7II. Die geschichtlichen Stadien der Testentwicklung . . . 8

III. Die Bestandteile eines Testes 10IV. Die Aufgaben des Testes 11

B. Die G ü t e k r i t e r i e n e i n e s T e s t e s 12I. Die Objektivität eines Testes 13

II. Die Reliabilität eines Testes . 14III. Die Validität eines Testes 16IV. Die Normierung eines Testes 18V. Die Vergleichbarkeit eines Testes 18

VI. Die Ökonomie eines Testes 19VII. Die Nützlichkeit eines Testes 19

VIII. Die Wechselbeziehungen zwischen den Gütekriterien . 19C . D i e K l a s s i f i z i e r u n g s m ö g l i c h k e i t e n von T e s t e n 21D.Die T e s t a u f g a b e n t y p e n 25

I. Die gebundene Aufgabenbeantwortung 25II. Die freie Aufgabenbeantwortung 28

III. Atypische Aufgabenbeantwortung 29IV. Der Komplexitätsgrad der Aufgaben 31

Kapitel 2: PLANUNGSPROBLEMEA.Die Wahl des A u f g a b e n t y p u s 32

I. Vor- und Nachteile der RF (Richtig-Falsch)-Aufgabe . 32II. Vor-und Nachteile der EG (Ergänzungs)-Aufgabe . . 33

III. Vor- und Nachteile der MW (Mehrfach-Wahl)-Aufgabe . 34IV. Vor- und Nachteile der ZO (Zuordnungs)-Aufgabe . . 35V. Vor- und Nachteile der UO (Umordnungs)-Aufgabe . . 35

VI. Vor- und Nachteile der KA (Kurzaufsatz)-Aufgabe . . 36VII. Zusammenfassung 37

XI

X?-'

,Die K r i t e r i e n e i n e r g u t en T e s t a u f g a b e . . . 371» Die Objektivität der Aufgabe 38

11. Die Reliabilität der Aufgabe 38•" HI. Die Validität einer Aufgabe 38

v . \ IV. Die Schwierigkeit einer Aufgabe (J39)V. Die Beziehung zwischen den einzelnen Aufgabenkrite -

, rien 40VI. Die inhaltlichen Kriterien einer guten T.estaufgabe . . 41

C . T e s t l ä n g e und T e s t z e i t 41I. Die Testlänge 42

II. Die Testzeit 43III. Schnelligkeit und Niveau 44

D . H o m o g e n i t ä t und V a l i d i t ä t des A u f g a b e n -i n h a l t e s 46

I. Homogenität und Heterogenität 46II. Statistische und psychologische Validität 46

E.Die A r b e i t s t e i l u n g im Rahmen der T e s t e n t -w i c k l u n g 47

Kapitel 3s DER TESTENTWURFA.Die Abgrenzung von V a l i d i t ä t s - und G e l t u n g s -

b e r e i c h 50I. DerValiditätsbereich 50

II. Der Geltungsbereich 52III. Rationales oder empirisches Testkonzept . . . . . 53

B. M e r k m a l s a n a l y s e und T e s t s t r u k t u r 54I. Die Merkmalsanalyse 54

II. Der strukturelle Aufbau des Testes 55C. T e s t a n w e i s u n g und A u f g a b e n b e w e r t u n g s p l a n . 57

I. Die Testanweisung 57II. Die Testvorgabe 60III. Die Aufgabenbewertung 60

Kapitel 4: DIE AUFGABENKONSTRUKTION»Oat A u f g a b e n k o n z e p t 62

für den s p r a c h l i c h e n Aufbau von Auf-en 63„provisorische Testaufbau 65

Kapitel 5: DIE AUFGABENANALYSEA.Das Z i e l der A u f g a b e n a n a l y s e 70B. Planung und Durchführung der A u f g a b e n a n a l y s e 72

I. Die Wahl des Analysenkriteriums 72II. Die Wahl der Analysenstichprobe 74

III. Einzel- und Gruppendurchführung bei der Aufgabenanalyse 75IV. Die Darbietungstechniken von Aufgaben 75

1. Die Gesamtdarbietung der Aufgaben 752. Die Einzeldarbietung der Aufgaben 773. Die unvollständige Gesamtdarbietung mit Zufalls-

reihung 79C.Die Rohwertermittlung bei der Analysenstich-

probe 80I. Die einfache Rohwertermittlung 82

II. Die Rohwertermittlung mit Zufallskorrektur . . . . 82III. Die Rohwertermittlung mit empirischer Fehlerkorrektur . 83IV. Die Testzeit als Rohwert 85V . Die Rohwertermittlung bei „gewogener" Aufgabenbewer-

tung 86

Kapitel 6: BERECHNUNG VON SCHWIERIGKEITSINDEX. TRENNSCHÄR-FENKOEFFIZIENT UND AUFGABEN-INTERKORRELATION

A . D i e S c h w i e r i g k e i t s a n a l y s e 871. Die Bedeutung des Schwierigkeitsindex 87

II. Die Bestimmung des Schwierigkeitsindex 88III. Die Prüfung von Schwierigkeitsunterschieden . . . . 91

B. D i e T r e n n s c h ä r f e n a n a l y s e 1)3~I. Die Bedeutung des Trehnschärfenkoeffizienten . . . 93

II. Die Bestimmung des Trennschärfenkoeffizienten beieinem quantitativen Analysenkriterium 931. Bei vollständiger Aufgabendarbietung 932 . Bei unvollständiger Aufgabendarbietung . . . . 963 . Die statistische Sicherung des Trennschärfenkoeffi-

zienten 100III. Die Trennschärfenbestimmung bei einem qualitativen

Analysenkriterium 1011. Die Trennschärfenbestimmung bei median-halbierter

Analysenstichprobe 1022 . Die Trennschärfenbestimmung bei wahlweise-getei l -

ter Analysenstichprobe 105

XIII

IV. Die Bestimmung der Trennschärfe bei einem echt alter-c" nativen Analysenkriterium . 110^ V. Andere Trennschärfenindizes 112<8.Die Trennschärfe beeinflussende Faktoren . . 114tf,Die Bedeutung der Aufgaben-Interkorrelat ion . 117H. Analyse und Revision der Alternativ-Antwor-

ten bei Mehrfach-Wahl-Aufgaben 120I. MW-Aufgaben mit Best-Antwort 120

II. MW-Aufgaben ohne Best-Antwort 122F.Die Beziehungen zwischen Schwierigkeit,

Trennschärfe und Aufgaben-Interkorrelation . 125I. Schwierigkeit und Trennschärfe 125

II. Schwierigkeit und Homogenität 130III. Die Verteilung der Schwierigkeitsindizes 130IV. Die Streuung der Aufgabenpunktwerte 131

(« .Spez ie l l e P rob leme der Aufgabenana lyse . . 134I. Zeitbegrenzung und Aufgabenindizes 134

II. Zufallseinfluß und Aufgabenindizes 135III. Die Faktorenanalyse der Aufgaben 136

. •- i .

Kapitel 7: DIE VERWERTUNG DER ANALYSEDATENi. A u f g a b e n s e l e k t i o n und - r e v i s i o n aufgrund der

A n a l y s e d a t e n 137I. Die Aufgabenselektion 137

II. Die Aufgabenrevision 146III. Die Konsequenzen aus Selektion und Revision . . . 149

( .Demonst ra t ion der Aufgabenauswahl an e inemBeispie l 149

I. Die rationale Selektion 152II. Die Kennwert-Selektion 153

1. Die Selektion aufgrund des Trennschärfenkoeffizienten 1532. Die Selektion aufgrund des Aufgaben-Validitätsko-

•'_ effizienten 153Di. Die GULLIKSEN-Technik 155W.DieValiditätsvorhersage 159

Df e Reliabilitätsvorhersage 159[gabenbewertung und A u f g a b e n r e i h u n g auf-

-<ler Analysedaten 162"Aalgabenbewertung 162

II. Die Aufgabenreihung 164D.Paralleltestaufbau aufgrund der Analysedaten 165E.Die Unterlassung der Aufgabenanalyse und

ihre Durchführung in einem späteren Testent-wicklungsstadium 167

I. Die Unterlassung der Aufgabenanalyse 167II. Die Durchführung der Aufgabenanalyse in einem späteren

Stadium der Testentwicklung 168

Kapitel 8: DIE ANALYSE DER ROHWERTEVERTEILUNGA.Die Überprüfung der N o r m a l v e r t e i l u n g s h y p o -

these 1711. Die Verteilung der Rohwerte 171

II. Die Überprüfung der Verteilung auf Normalität . . . 171B.Ursachen für anorma le Rohwer tve r t e i lungen . 176

I. Anormale Verteilung infolge Stichprobenheterogenität . 177II. Anormale Verteilung infolge mangelhafter Testkonstruk-

tion 180III. AnormaleVerteilung infolge eines nicht-normalverteilten

Persönlichkeitsmerkmals 183C.Die p rak t i s che Bedeutung anormale r V e r t e i -

lungsformen 184I. Unterschiedliche Differenzierung in verschiedenen Ska-

lenbereichen 185II. Die Testrevision aufgrund der Verteilungsanalyse . . 186

Kapitel 9: DIE ENTWICKLUNG DER TESTENDFORMA.Der Aufbau der Tes t end fo rm 189

1. Herstellung des Testmaterials 189II. Anordnung der Aufgaben 190

B.Die D a r b i e t u n g der Tes t end fo rm 191I. Die Festlegung der Testzeit für die Testendform . . . 191

II. Die Testinstruktion 193III. Motivation und Anspannung 196IV. Die äußeren Bedingungen 197

C.Die Auswertung der Testendform 198I. Die Korrektur des Rohwertes 198

II. Die Auswertungstechniken 200

XV

ii K*J0& IQ: DIE KONTROLLE DER RaiABILITÄT EINES TESTES

e x p e r i m e n t e l l e P l a n u n g d e r R e l i a b i l i t ä t s -;•", kontrolle 208y * I. Der Zeitpunkt der Reliabilitätskontrolle 208"'•'"' 11. Wahl und Größe der Kontrollstichprobe 209

B.Die Aspekte der R e l i a b i l i t ä t 210

C.Die Methoden der Re l i ab i l i t ä t sbe s t immung . 215I. Die Testwiederholungsmethode 215

II. Die Paralleltestmethode 218III. Die Testhalbierungsmethode 219

1. Die Halbierungstechniken 2192. Die rechnerische Ermittlung des Halbierungskoeffi-

zienten 220. IV. Die Methode der Konsistenzanalyse 225

D . V e r g l e i c h e n d e B e w e r t u n g v o n R e l i a b i l i t ä t s -k o e f f i z i e n t e n 234

I. Die Bedeutung der verschiedenen Reliabilitätskennwerte. 234II. Faktoren, die die Reliabilität beeinflussen . . . . 235

1. Der Homogenitätsgrad 2352. Die Schnelligkeitskomponente 2363. Die irrepräsentative Variabilität 2374. Andere Faktoren 241

E.Die M ö g l i c h k e i t e n der R e l i a b i l i t ä t s v e r b e s -se rung 242

I. Die Testverlängerung 24211. Weitere Möglichkeiten . 246

F . S p e z i e l l e P r o b l e m e der R e l i a b i l i t ä t s k o n t r o l l e 247I. Schwierigkeiten bei der Reliabilitätsbestimmung . . . 247

II. Die Reliabilität von Sekundär-Rohwerten 247III. Schnelligkeit und Niveau als Grundlagen der Reliabili-

tätsbeurteilung 249

{»•Die A n a l y s e der H o m o g e n i t ä t e i n e s T e s t e s . . 250-.j ; I. Der Begriff der Homogenität 250

II. Die Bestimmung der Homogenität 251

Kapitel 11: DIE KONTROLLE DER VALIDITÄT EINES TESTESA.Die kriterienbezogene Validität 255B.Die i n h a l t l i c h e V a l i d i t ä t 260C.Die Konstruktvalidität 261

D.Das V a l i d i t ä t s k r i t e r i u m 264I. Die Einteilung der Validitätskriterien 265

II. Die Gewinnung der Validitätskriterien 267

E.Die Bewertung von Validitätskriterien . . . 271I. Einfache objektive Kriterien 271

II. Kombinierte objektive Kriterien 272III. Subjektive Kriterien 274

1. Das individuelle Schätzverfahren 2762. Das kollektive Schätzverfahren 2763. Das Mittelungs-Schätzverfahren 2764. Das Rangordnungsverfahren 2765. Das Paarvergleichsverfahren 277

F. Die Me thoden der V a l i d i t ä t s b e s t i m m u ng . . 279I. Die Planung der Validitätskontrolle 279

1. Der Zeitpunkt der Validitätskontrolle 2792. Die Wahl der Validitätsstichprobe 280

II. Statistische Methoden zur Ermittlung eines Validitäts-kennwertes 2801. Die Extremgruppen-Methode 2802. Die Repräsentativgruppen-Methode 283

G . F a k t o r e n , d ie d ie V a l i d i t ä t m i t b e s t i m m e n . . 294I. Die teilweise Unvereinbarkeit von Reliabilität und Vali-

dität 294II. Testlänge und Validität 295

III. Die Reliabilität des Validitätskriteriums 297IV. Die Ermittlung der Reliabilität des V aliditätskriteriums . 301

H.Die Ermittlung des V aliditätskoef fizienten ausirrepräsentat iven Stichproben 304

I.Anforderungen an die Validi tät eines Testes . 3091. Die Validität und der Verwendungszweck 310

1. Die individuelle Begutachtung 3102. Die nicht-individuelle Auslese 3113. Der Gruppenvergleich 311

II. Allgemeine Richtlinien über die erforderliche Höhe vonValiditätsko effizienten 311

i XVII

Kapitel 12: DIE TESTEICHUNGA . P r o b l e m e , P l anung und Durch füh rung der

Eichung 314I. Reliabilität und Eichung 314

/ II. Die Organisierung einer Eichstichprobe 315III. Der Umfang der Eichstichprobe 319IV. Die Durchführung der Eichung 319

B.Die A n a l y s e der E i c h s t i c h p r o b e n v e r t e i l u n g . 320I. Die Häufigkeitsverteilung der Testrohwerte . . . . 320

II. Varianzanalyse und Homogenitätsprüfung bei der Auf-stellung von Gruppennormen 321

C.Norm-Maßs täbe 326I. Äquivalent- und Variabilitätsnormen 327

II. Einfach- und Mehrfachnormen 328III. Standardnormen und Prozentrangnormen 328

1. Die linearen Transformationen 3302. Die nicht-linearen Transformationen 332

IV. Grob-und Feinnormen 334V. Verteilungsfreie und verteilungsgebundene Normen . . 335

D.Die r e c h n e r i s c h e Able i tung und Dars te l lung derg e b r ä u c h l i c h e n Normen 336

I. Die Normierung normal verteilter Eichstichproben-Roh-werte 336

II. Die Normierung anormal verteilter Eichstichproben-Roh-werte 339

Kapitel 13: DIE ENTWICKLUNG VON PARALLELTESTEN UND TEST-SERIEN

A.Wesen und Bedeutung von P a r a l l e l t e s t e n undTestserien 345

I. Parallelteste 345II. Testserien 346

B . D i e Ä q u i v a l e n z k r i t e r i e n 348'. ' I. Die Äquivalenz der Validität 348

II. Die Äquivalenz der Reliabilität 349*' ' ' • 111. Die Äquivalenz der Verteilungskennwerte 349

jy# D i e Äquivalenz der Häufigkeitsverteilung . . . . 350'"' V.Simultanuberprüfung von Mittelwerten, Varianzen und

" ^ovarianzen 350

C. P a r a l l e l t e s t a uf bau und Äquiva lenzüberprüfung 355I. Paralleltestaufbau 355

1. Der Simultanaufbau 3552. Der Sukzessivaufbau 356

II. Die Äquivalenzüberprüfung 356D.Methoden zur Angle ichung n i c h t - ä q u i v a l e n t e r

) Para l le l formen 358I. Angleichung durch Gleichsetzung der Mittelwerte . . 358

II. Angleichung durch Regression 358III. Angleichung über die Äquiperzentil-Methode . . . 359

E.Der Aufbau von Entwicklungs tes t ser ien . . . 362

Kapitel 14: TESTPROFILE UND TESTBATTERIENA.Zur Cha rak te r i s t i k von Tes tprof i len und T e s t -

batterien 366I. Das Testprofil 366

II. Die Testbatterie 367III. Die möglichen Kombinationen von Testen und Validitäts-

kriterien 368B.Die Analyse von Tes tp ro f i l en 370

1. Die Profildarstellung 370II. Die Profilreliabilität 371

III. Die Profilvalidität 374IV. Die Profilinterkorrelationen 374V. Differentielle Eignungsteste 375

C.Der fo rmale Aufbau von T e s t b a t t e r i e n . . . 376I. Die Arten der Testbatterien 376

1. Homogene Testbatterien 3762. Heterogene Testbatterien 376

II. Die Kombination von Einzeltesten zu Batterien . . . 3771. Bei homogenen Testbatterien 3772. Bei heterogenen Testbatterien 377

D.Die Rel iabi l i tä t von Testbatterien 378I. Die empirische Ermittlung 378

II. Die rechnerische Ermittlung 379E.Die differentiel le Wägung der Unterteste . . 382

1. Die implizite Wägung 383II. Die explizite Wägung 384

XIX

It'1"̂•,-- . III. Die Ermittlung der Testkennwerte für eine Batterie aus

gewogenen und nicht gewogenen Untertesten . . . . 3871. Der Rohwert der Testbatterie 387

' 2 . Der Mittelwert der Testbatterie 3873 . Die Varianz der Testbatterie 388

F . D i e V a l i d i t ä t von T e s t b a t t e r i e n 389I. Die Validität einer Testbatterie als Maßkorrelation eines

Kriteriums mit einer Summe von Untertest-Rohwerten . 389II. Multiple Validität und Suppressor-Funktion . . . . 392

III. Die multiple Validität als Korrelation zweier Testegegenüber einem Kriterium 394

IV. Die allgemeine Formel für den multiplen Validitätsko-effizienten für eine Batterie mit mehreren Untertesten . 399

V. Rohwert- und Beta-Gewichte als Koeffizienten in dermultiplen Regressionsgleichung 3991. Die Rohwert-Gewichte 3992. Die Beta-Gewichte 401

VI. Die Ermittlung der Beta-Gewichte bei zwei Untertestenüber das Determinanten-Verfahren . . . . . . . 402

VII. Die Ermittlung der Beta-Gewichte über das DOOLITTLE-Verfahren bei mehreren Untertesten 405

VIII. Die Verwendung der Beta-Gewichte 409G.Die U n t e r t e s t - S e l e k t i o n 412

I. Die Selektionskennwerte 412II. Die rationale Untertest-Selektion 414

III. Die Untertest-Selektion nach dem Determinationskoeffi-zienten 417

IV. D i e WHERRY-DOOLITTLE-Untertest-Selektion . . . 418H . D i e E i c h u n g v o n T e s t b a t t e r i e n 437

I . D ie Normierung von Tes tba t t e r i en 437I I . D i e Normierung von Prof i lbat ter ien 439

o*'

• .Kapitel 15 : ZUR STANDARDISIERUNG PROJEKTIVER TESTVERFAHREN

i ^ P ^ e E i g e n a r t d e r p r o j e k t i v e n T e s t e . . . . . 440

x&$r3<'"""•'(• 'l- 1 . D i e Auswertung pro jekt iver T e s t e 440

•3V*."J~ •i®?f: H . D ie Entwicklung projekt iver Tes t e 441

V ! • G ü t e k r i t e r i e n p r o j e k t i v e r T e s t e . . . . 442

U We Objektivität . 443DJ« Reliabilität 444

III. Die Validität 445C.Die E ichung p r o j e k t i v e r T e s t e 449

Kapitel 16: ZUR INTERPRETATION OBJEKTIVER TESTRESULTATEA.Zur I n t e r p r e t a t i o n e i n f a c h e r T e s t e 451

I.Der Standardmeßfehler als Unsicherheitsmaß für indivi-duelle Testpunktwerte 451

II. Die praktische Bedeutung des Standardmeßfehlers . . 453III. Die Beurteilung interindividueller Unterschiede . . . 454IV. Die Beurteilung intraindividueller Unterschiede . . . 455

B.Zur I n t e r p r e t a t i o n von T e s t p r o f i l e n . . . . 457I. Die Bedeutung des Profilreliabilitätskoeffizienten . . 457

II. Die speziellen Aussagemöglichkeiten eines Testprofils . 458III. Die Ähnlichkeitsbeurteilung von Profilen 464

C.Die K r i t e r i u m v o r h e r s a g e b e i T e s t e n und T e s t -b a t t e r i e n 468

I. Die einfache Regression bei der Interpretation empirischvalider Teste 468

II. Die multiple Regression bei der Kriteriumvorhersage . . 473D.Die U n s i c h e r h e i t der K r i t e r i u m v o r h e r s a g e . . 476

I. Der Standardschätzfehler als Unsicherheitsmaß der Krite-riumvorhersage 476

II. Die Unsicherheit der Voraussage eines dichotomischenKriteriums 478

Kapitel 17: HINWEISE ZUR PUBLIKATION VON TESTENA.Die I n f o r m a t i o n des Un te r suche r s 482

I. Die wissenschaftliche Publikation 48211. Die Handanweisung zum Test 482

B.Die In fo rma t ion des Probanden 485• C.Die äuße re Aufmachung e ines Tes t e s . . . . 486D.Verkauf und Verb re i t ung e ines T e s t e s . . . . 487

j. Anhang: PRINZIPIEN UND RECHENTECHNIKEN DER FAKTOREN-ANALYSE 489

XXI

TAFELN

Tafel 1: Die Funktionen z, ip, y der Standardnormalverteilung(N= 1, // = 0, a = 1) 561

Tafel 2: Die Transformation von Testnormen 562Tafel 3: Die Funktionen p, q, z, y in der Standardnormalver-

teilung 563Tafel 4: t-WertefürP = 5%undP = 1% 565Tafel 5: x2-Werte für P = 50%, P = 5<#> und P = 1% . . . 566Tafel 6: F-Werte für P = 5% und P = 1% 567Tafel 7: Die Bestimmung des tetrachorischen Korrelationskoef-

fizienten r t e t nach der Cosinus-Pi-Formel . . . . 568Tafel 8: Die Transformation des Korrelationskoeffizienten r in

die Korrelationsziffer z' (FISHER) 569Tafel 9: MOSIER'sches Nomogramm zur Ablesung von r t e t . . 570Tafel 10: GUILFORD'sches Nomogramm zur Ablesung von XJ . 571Tafel 11: Nomogramm zur Ablesung von S 572Tafel 12: TAYLOR-RUSSELL-Tafeln (Auszug) 573

Literaturübersicht 574Autorenverzeichnis 583Sachregister 587