213
Bedingungen für die Äquivalenz von Papier‐Bleistift‐Version und Computerversion bei Leistungstests

Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

BedingungenfürdieÄquivalenz

vonPapier‐Bleistift‐VersionundComputerversionbeiLeistungstests

Page 2: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

 

DasPromotionsgesuchwurdeeingereichtam29.Januar2010.

DieArbeitwurdeangeleitetvonProf.Dr.HelmutLukesch.Prüfungsausschuss:

Vorsitzender:Prof.Dr.Klaus‐PeterWild

Erstgutachter:Prof.Dr.HelmutLukeschZweitgutachter:Prof.Dr.Karl‐HeinzBäuml

Page 3: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

B

C

BedinPa

Comp

Inau

(P

ngungapier‐puterv

ugural‐Di

de

Psycholog

genfü‐Bleisversi

ssertation

erPhiloso

gie,Pädag

derUnive

vo

Ludwig

aus

ürdiestift‐Vionbe

nzurErla

ophischen

gogikund

ersitätRe

orgelegtv

gKreuzpo

sRegensb

2010

eÄquVersieiLei

angungde

nFakultät

dSportwis

egensburg

von

ointner

burg

uivaleonunistun

erDoktor

tII

ssenschaf

g

enzvondgstes

rwürde

ft)

on

sts

Page 4: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

 

BibliografischeInformationderDeutschenNationalbibliothekDieDeutscheNationalbibliothekverzeichnetdiesePublikationinderDeutschen

Nationalbibliografie;detailliertebibliografischeDatensindimInternetüber

http://dnb.d‐nb.deabrufbar.

1.Auflage2010

©2010Universitätsverlag,Regensburg

Leibnizstraße13,93055Regensburg

Umschlaggestaltung:LudwigKreuzpointner

Layout:LudwigKreuzpointner

Druck:Docupoint,MadgeburgISBN978‐3‐86845‐059‐0

AlleRechtevorbehalten.OhneausdrücklicheGenehmigungdesVerlagsistesnichtgestattet,

diesesBuchoderTeiledarausauffototechnischemoderelektronischemWegzuvervielfältigen.

WeitereInformationenzumVerlagsprogrammerhaltenSieunter:

www.universitaetsverlag‐regensburg.de

Page 5: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

5

Inhaltsverzeichnis

1.  Einleitung...............................................................................................................................................9 

2.  ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)..11 

2.1  FaktorenstrukturdesLPSineinzelnenUntersuchungen...................................11 

2.2  ReanalyseeinzelnerUntersuchungen.........................................................................17 

2.3  KorrelativeZusammenhänge..........................................................................................22 

2.3.1  KorrelationenmitanderenTests......................................................................22 

2.3.2  KorrelationenmitschulischenLeistungsmaßen........................................25 

2.4  Diskussion...............................................................................................................................28 

2.5  SchlussfolgerungundRevisionsvorschlag................................................................29 

3.  DasneueLeistungsprüfsystem(LPS‐neu).............................................................................33 

3.1  DieSubtestsdesrevidiertenLeistungsprüfsystems.............................................33 

3.2  DasIntelligenzmodelldesLPS‐neu..............................................................................37 

4.  ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion..................................43 

4.1  Äquivalenzstudien...............................................................................................................43 

4.2  ZurÄquivalenzdesLPS.....................................................................................................45 

4.3  BedingungenfürÄquivalenz...........................................................................................47 

4.3.1  PsychometrischeÄquivalenz..............................................................................47 

4.3.2  ExperimentelleÄquivalenz.................................................................................48 

4.3.3  RelativitätderÄquivalenz...................................................................................48 

4.4  InstitutionelleVorgaben...................................................................................................48 

5.  DieComputerversiondesneuenLPS.......................................................................................51 

5.1  BedingungenderComputerversion.............................................................................51 

5.2  AbleitungvonHypothesenaufGrundlagederBedingungenderComputerversiondesLPS................................................................................................53 

6.  InferenzstatistischeMethoden...................................................................................................55 

6.1  Mittelwertsvergleiche........................................................................................................55 

6.2  SchiefeundKurtosis...........................................................................................................56 

7.  VerfahrenzurÜberprüfungderÄquivalenz.........................................................................59 

7.1  UnterschiedlichkeitderBedingungenderCV..........................................................59 

7.2  UnterschiedlichkeitvonPBVundCV...........................................................................62 

7.3  VergleichderVarianzen....................................................................................................65 

7.4  AnalysederZusammenhänge.........................................................................................66 

7.5  GleichzeitigerVergleichvonMittelwert,VarianzundKovarianz....................66 

8.  TesttheoretischeGrundlagen......................................................................................................69 

8.1  TrueScore...............................................................................................................................69 

Page 6: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

6

8.2  Paralleltests............................................................................................................................70 

8.3  Attenuitäts‐Korrektur(correctionforattenuation)..............................................71 

8.4  Testzerlegung........................................................................................................................71 

8.5  Reliabilitäts‐Validitäts‐Optimierungsparadoxon...................................................72 

8.6  Itemanalyse............................................................................................................................72 

9.  Untersuchung1:VortestunganStudenten...........................................................................75 

9.1  Papier‐Bleistift‐TestungderstudentischenStichprobe......................................77 

9.2  Computer‐TestungderstudentischenStichprobe.................................................78 

9.3  VergleichderDurchführungsmodiundKonsequenzenderVorstudie.........80 

10.  Untersuchung2:TestunganBerufsschülern.......................................................................87 

10.1  Design.......................................................................................................................................87 

10.2  PsychometrischeGütederPapier‐Bleistift‐Version..............................................90 

10.3  PsychometrischeGütederComputer‐Version........................................................96 

10.4  VergleichderpsychometrischenIndizesvonPBVundCVzudenbeidenErhebungszeitpunkten...................................................................................................103 

10.5  VergleichderMittelwertederDurchführungsbedingungenderCV...........104 

10.6  VergleichderMittelwertederPBVundderCV....................................................113 

10.7  VergleichderKorrelationenvonPBVundCV.......................................................132 

10.8  VergleichderVarianzen.................................................................................................135 

10.9  SchlussfolgerungenfürdieeinzelnenSubtests....................................................136 

11.  DieStrukturdesneuenLeistungsprüfsystems.................................................................141 

11.1  Datenaufbereitung............................................................................................................141 

11.2  Modellschätzung...............................................................................................................143 

11.3  Modellgüte...........................................................................................................................144 

11.4  Modellvergleich.................................................................................................................148 

11.5  StrukturdesLPS‐neuinderComputerversion....................................................150 

12.  Resümee............................................................................................................................................153 

12.1  UnberücksichtigteAspekte...........................................................................................153 

12.1.1  DerEinflussdesGeschlechtsaufdieTestleistung..................................153 

12.1.2  DerZusammenhangderTestleistungmitderSchulleistung.............153 

12.1.3  ProbabilistischeTesttheorie............................................................................154 

12.2  ZurRevisiondesLPSundAnwendbarkeitfürdieFragestellung.................154 

12.2.1  EigenschaftenderPapier‐Bleistift‐Version...............................................155 

12.2.2  EigenschaftenderComputerversion............................................................155 

12.3  BedingungenderÄquivalenz.......................................................................................156 

12.3.1  Präsentationsform...............................................................................................156 

12.3.2  Antwortformat.......................................................................................................157 

Page 7: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

7

12.3.3  Zeitvorgabe.............................................................................................................159 

12.3.4  ModusundTestzeitpunkt.................................................................................160 

12.3.5  Fazit............................................................................................................................161 

13.  Zusammenfassung........................................................................................................................163 

14.  Literaturverzeichnis.....................................................................................................................165 

15.  Anhang...............................................................................................................................................173 

15.1  TestbögendesneuenLPS..............................................................................................173 

15.2  InstruktiondesneuenLPS............................................................................................177 

15.3  VerteilungenderPapier‐BleistiftVersionderBerufsschüler‐SP..................183 

15.4  VerteilungenderPapier‐BleistiftVersionderBerufsschüler‐SPgetrenntnachPBVzuT1undPBVzuT2...................................................................................185 

15.5  ItemkennwerteimKontextderKTT.........................................................................187 

15.5.1  ItemkennwerteSubtest1..................................................................................188 

15.5.2  ItemkennwerteSubtest2..................................................................................189 

15.5.3  ItemkennwerteSubtest3..................................................................................190 

15.5.4  ItemkennwerteSubtest4..................................................................................191 

15.5.5  ItemkennwerteSubtest5..................................................................................192 

15.5.6  ItemkennwerteSubtest6..................................................................................193 

15.5.7  ItemkennwerteSubtest7..................................................................................194 

15.5.8  ItemkennwerteSubtest8..................................................................................195 

15.5.9  ItemkennwerteSubtest9..................................................................................196 

15.5.10  ItemkennwerteSubtest10...............................................................................197 

15.5.11  ItemkennwerteSubtest11...............................................................................198 

15.6  ANOVATabellenderComputerbedingungen.......................................................199 

15.6.1  Subtest1...................................................................................................................199 

15.6.2  Subtest2...................................................................................................................199 

15.6.3  Subtest3...................................................................................................................200 

15.6.4  Subtest4...................................................................................................................200 

15.6.5  Subtest5...................................................................................................................200 

15.6.6  Subtest6...................................................................................................................201 

15.6.7  Subtest7...................................................................................................................201 

15.6.8  Subtest8...................................................................................................................201 

15.6.9  Subtest9...................................................................................................................202 

15.6.10  Subtest10................................................................................................................202 

15.6.11  Subtest11................................................................................................................202 

15.7  MittelwertederRohwertsummen.............................................................................203 

15.8  ANOVATabellenderÄquivalenzüberprüfung......................................................210 

Page 8: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

8

15.8.1  Subtest1...................................................................................................................210 

15.8.2  Subtest2...................................................................................................................210 

15.8.3  Subtest3...................................................................................................................211 

15.8.4  Subtest4...................................................................................................................211 

15.8.5  Subtest5...................................................................................................................211 

15.8.6  Subtest6...................................................................................................................212 

15.8.7  Subtest7...................................................................................................................212 

15.8.8  Subtest8...................................................................................................................212 

15.8.9  Subtest9...................................................................................................................213 

15.8.10  Subtest10................................................................................................................213 

15.8.11  Subtest11................................................................................................................213 

Page 9: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Einleitung·9

1. Einleitung

InderTestdatenbankPSYNDEXdesLeibniz‐ZentrumsfürPsychologischeInformationundDo‐kumentation(ZPID)werdennachAngabenderHomepageüber5500TestnachweisevonTest,

die nach 1945 veröffentlicht wurden, geführt; jährlich kommen ca. 200 Verfahren hinzu1. Im

HogrefeTest System (HTS)werdenbereitsüber300TestverfahrenalsComputerversion (CV)angeboten2.FürvieledieserVerfahrenstehtderNachweis,dassdieErgebnissederCVzuden

Ergebnissen der Papier‐Bleistift‐Version (PBV) äquivalent sind, noch aus. Auch wenn für das

HTS–ebensowiebeivermutlichdenmeistenanderenTestsystemen–überdieanonymeRück‐sendungderTestergebnissedasZielverfolgtwird,zusätzlicheNormierungenderCVzuerstel‐

len,kanndiesnuralsZwischenlösunggesehenwerden.FürdieKonstruktionvoncomputerba‐

siertenTestsaufGrundlagebestehenderVerfahrengibtesjedochklarformulierteVorgabenderInternational Test Commission (ITC, 2005; siehe Kapitel 4.4). Hierbei wird insbesondere die

ÜberprüfungderÄquivalenzderTestverfahrenalsPBVundCVgefordert.

EinebereitsbestehendePBVeinesTestskanninvielfältigerFormamComputerdargebotenwerden.DieGrundthesevorliegenderArbeitistdieAnnahme,dassdieÄquivalenz,alsodieVer‐

gleichbarkeitderErgebnissezweierTestversionen,abhängigvondergewähltenFormderÜber‐

tragungdesTestsaufdenComputerist.Wennesmöglichist,BedingungenfürdieÄquivalenzzuidentifizieren,kannsomitdieChance,dassbeiderKonstruktioneinerCVeinederPBVäquiva‐

lenteFormgefundenwird,bereitsimVorfeldderÄquivalenzuntersuchungerhöhtwerden.

UmdieserFragestellungnachzugehen,wirddasLeistungsprüfsystemsvonHorn(LPS;1962,1983) überarbeitet und in unterschiedlichen Versionen am Computer dargeboten. Eswerden

dieDarstellungderItemsaufdemBildschirm,dieAngabederBearbeitungszeitunddieKorrek‐

turmöglichkeiten bereits bearbeiteter Items systematisch variiert, so dass für die ÄquivalenzvonPBVundCV günstigeBedingungen identifiziertwerden, die bei derÜbersetzung anderer

TestsaufdenComputerBerücksichtigungfindenkönnen.

ImFolgendenwerdennunzuerstdasLPSundderRevisionsvorschlagvorgestellt(Kapitel2und3).AnschließendwerdendasKonzeptderÄquivalenz(Kapitel4)unddaraufaufbauenddie

KonzipierungderBedingungenderComputerversiondesLPS‐neu(Kapitel5)dargestellt.Neben

denzurÜberprüfungderÄquivalenzrelevantenMethoden(Kapitel7)wirdaufeinigeindiesemKontextinteressanteAspektederklassischenTesttheorie(Kapitel8)undKenngrößenderTest‐

konstruktion (Kapitel 6) detaillierter eingegangen. Zur Überprüfung des Designs wurde zu‐

nächsteinestudentischeStichprobe(Kapitel9)untersucht,bevordieÄquivalenzdesLPS‐neuaneinergrößerenZahlBerufsschülerüberprüftwurde(Kapitel10).AnhanddererhobenenDaten

wird die Struktur des LPS‐neu konfirmatorisch getestet (Kapitel 11). Die Implikationen und

SchlussfolgerungenwerdeninKapitel12diskutiert.

1http://www.zpid.de/index.php?wahl=products&uwahl=fee&uuwahl=psyndexinfo[Stand:02.07.2010]2http://www.unifr.ch/ztd/HTS/inftest/WEB‐Informationssystem/de/4de001/webcatalog.htm[Stand:02.07.2010]

Page 10: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag
Page 11: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·11

2. ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

EsexistierenbereitsVeröffentlichungen,diesichmitderFaktorenstrukturdesLPSbeschäftigen

(Langfeldt, 1975; Steck, Rausche & Steege, 1975; Steller & Stürmer, 1984). Deren Ergebnisse

sollen aber in dieser Arbeit nicht exklusiv, sondern zusammenmit den Ergebnissen andererStudien,imderenRahmenDatenzumLPSinangemessenerVollständigkeitveröffentlichtwur‐

den,vorgestelltwerden.AchtStudien (17Stichproben)enthalteneine Interkorrelationsmatrix

derSubtests, sodasseineerneuteFaktorisierungmittelsgleicherVerfahrenundKriterienbe‐rechnetwerdenkann.DiesesollimAnschlussandieErgebnisse,dieindenArbeitenpräsentiert

werden,dargestelltwerden.

2.1 FaktorenstrukturdesLPSineinzelnenUntersuchungen

Bittner3(1960)untersuchte1003SchülerimAlterzwischen13und20JahrenmittelseinerVor‐

formdesLPS (Horn,1959, zit.nachBittner,1960).DieseFormbestandaus13Subtest,derenItems in allenaußereinem–Subtest7derVorformhatte eineandereDarstellung, entspricht

aberprinzipiellSubtest8deraktuellenForm–derSystematikdesaktuellenLPS(Horn,1983)

entsprachen.Subtest13und14warennochnichtenthalten.WegendesVorliegenssowohlan‐

dererItemsalsaucheineranderenReihenfolgederItemswerdendieDatenaufgrundderGrößederStichprobezwarpräsentiert,abernurunterVorbehaltinterpretiert.EswurdenzweiGrup‐

penaufGrundlagedesoberenunddesunterenQuartilseinesNeurotizismusfragebogensgebil‐

det undverglichen.DieGruppeder „Labilen“bestand aus259Schülern ( 15; 6Jahre), die„Stabilen“bildeten262Schüler(M=15;7Jahre).DieFaktorenanalysehieltsichandieKriterien,

dieThurstone(1947)formulierte(ZentroidmethodemitgeometrischerRotation),undkamnach

mehrerenRotationenzudemErgebnis,dassbeiden„Labilen“dreiundbeiden„Stabilen“sechsbzw.fünfFaktorenextrahiertwerdenkönnen(vgl.Tabelle2.1).

Tabelle2.1: Interpretationen der Faktorenanalyse der Untersuchung von Bittner (1960),ZuordnungderSkalenzudenFaktorennachmehrerengeometrischenRotatio‐nen

Labile( ) Stabile( )I 11,2 1,2,5,6,12II 3,7,9,10,11,(Sz~8) 3,4,10III 4,5,6,12,15 7,(Sz~8),9IV 11V 15VI (ReasoningbeeinflusstdurchSchulwissen)2

Bemerkung: 1DieSubtestswurden inderVorform ineineranderenReihenfolgevorgegeben.Zur leichterenVergleich‐barkeitwirdinderTabelledieNummerierungderaktuellenVersionverwendet.2DerVI.FaktorbestündeausSubtests,diehöheraufanderenFaktorenladen,wirdaberdennochvonBitt‐ner(1960)interpretiert.

3DieUntersuchungvonLienert (1966)basiertaufdenDatenvonBittner(1960).DieDarstellungderDaten istbeiLienert allerdings verwirrendunddieBeschreibungen so, als obdas eigentlicheLPSbenutztwordenwäre. ZudemstimmenoffensichtlichTabellenundderenBeschreibungnichtüberein.

Page 12: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

12·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

Brandstätter (1972) untersuchte 271 Schüler an den sechsHöheren Schulen der Stadt Essen.

Dasmittlere Alter betrug 17;6Jahre (SD=3;3Jahre). Zusätzlich zum LPS wurden Persönlich‐keitsfragebögenvorgelegt.AlsKriterium fürdieZahlderFaktoren legteBrandstätterdieZahl

nicht‐negativer Eigenwerte der Korrelationsmatrix fest, so dass sieben nach Varimax rotierte

Faktorenresultierten(Tabelle2.2).

Tabelle2.2: InterpretationderFaktorenanalysederUntersuchungvonBrandstätter(1972,271)

Interpretation Subtests

IPerzeptiv‐analytischeStrukturierungbeifiguralenundräumlichenKon‐figurationen

8,9,10

II Verbalfaktor 1+21,5,12

IIIGeschwindigkeits‐undMengenleistungbeieinfachenperzeptivenundnumerischenAufgaben 13,14,15

IV Induktiv‐schlussfolgerndesDenken 3,4V GeschwindigkeitundGestaltbildung(Bilderkennen) 11VI Flüssigkeit(Wortfinden) 6

VIIVeranschaulichungräumlicherVerschiebungen(AnagrammeundSpie‐gelbilder)

7

Bemerkung: 1DieSubtests1und2wurdenzusammengefasstbetrachtet.

Greif(1972)untersuchtenebendemLPSnochandereGruppenintelligenztests.DieseTestslegteer 302 in der Ausbildung befindlichen Bereitschaftspolizisten vor (M=22;4Jahre,

SD=5;10Jahre).DiefünfextrahiertenundnachVarimaxrotiertenFaktorengenügensowohlder

Kaiser‐Guttmann‐RegelmitEigenwertengrößer1,alsauchdemScree‐TestunddemKriterium,dasseinFaktormehrals5%derVarianzklärensoll(Tabelle2.3).

Tabelle2.3: Interpretation der Faktorenanalyse der Untersuchung von Greif (1972,302)

Interpretation SubtestsI RäumlichesVorstellungsvermögen 3,4,7,8,9,10

II BemerkenvonFehlern,HeraussuchenundZählenvonZahlen,Wahr‐nehmungstempo

13

III SprachgebundenesDenken 1+2,5,12IV TempobeieinfachenAufgaben 14,15V Einfallsgeschwindigkeit 6,11

Kury (1972) legte LPS und IST 187 Psychologiestudenten des 1. und 2. Semesters vor

(M=22;2Jahre,SD=n.a.)vor.EswerdenmehrereKriterienfürdieZahlderFaktorenangege‐ben(Scree‐Test,5%Varianzklärung,zweinichtweiterbeschriebeneKriterienvonTuckerund

Larvel&MaxwellsowiedasBestreben,möglichstkeineFaktorenmitnureinemSubtestundpro

SubtestnureineessentielleLadungaufeinemFaktorzuerreichen).WelchesKriteriumnunzumEinsatzkam,istnichtersichtlich.DienachVarimaxrotierteFaktorenlösungergibtvierFaktoren

(Tabelle2.4),wobeiSubtest5und12nichtaufgenommenwurden,daihreLadungenzugering

( .5)gewesenseien.

Page 13: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·13

Tabelle2.4: Interpretation der Faktorenanalyse der Untersuchung von Kury (1972,187)

Interpretation SubtestsI RäumlichesVorstellungsvermögen 3,4,8,9,10II AllgemeinbildungundRechtschreibkenntnisse 1,2III InitiativeundEntschlusskraft (5,)6,13IV WahrnehmungstempoundVorstellungskraft 7,11,(12,)14

Langfeldt(1975)testete106StudentenderSonderpädagogik(Xmed=26Jahre,Sp=[22,35])mitdemLPS.NurzweiFaktorenhatteneinenEigenwertgrößer1 (Tabelle2.5).WeitereKriterien

unddieArtderRotationzurLösungsindnichtangegeben.

Tabelle2.5: Interpretation der Faktorenanalyse der Untersuchung von Langfeldt (1975),rotierteLösungvonSonderpädagogikstudenten( 106)

Interpretation SubtestsI AllgemeineintellektuelleFähigkeiten 3,4,5,7,8,9,10,11,12II ÜblicheTätigkeitenvonLehrern 1+2,6,13,14,15

Marks,SeeberundStrümper(1975)verglichendieFaktorenstrukturverschiedenerBerufsgrup‐

pen,namentlich222LocherundPrüfer(LP,M=29;4Jahre,SD=8;1Jahre),101Oberschülerder10.Klasse(OS,M=16;4Jahre,SD=0;7Jahre),108Ärzte(Ä,M=31;8Jahre,SD=4;5Jahre)und

155LehrlingederDatenverarbeitung(LD,M=16;1Jahre,SD=0;6Jahre).Nebeneinerrotierten

LösunggabensiedieErgebnisseeinerTranformationsanalysezurbesserenVergleichbarkeitderGruppenan.KriterienzurBestimmungderFaktorenzahlwareneineLösungvon4bis6Fakto‐

renunddieBeschränkungaufmindestens5%Varianzklärung.DasichdieErgebnissederein‐

zelnen Berufe zwar ähneln, es aber zu spezifischen in der Studie diskutierten Unterschiedenkam,werdenallenachderTransformationsanalyserotiertenLösungenpräsentiert(vgl.Tabelle

2.6).DieAutoreninterpretiertenundbenanntenzwarallgemeindreiFaktorenfüralleStichpro‐

ben;dieselassensichabernichtinallenStichprobenfinden,sodassaufderenErwähnungver‐zichtetwird.

Tabelle2.6: Interpretationen der Faktorenanalyse der Untersuchung von Marks, SeeberundStrümper(1975),LösungderTransformationsanalyse

LP( ) OS( ) Ä ( ) LD( )I 1,2,5,6,12 1,2,5,12 1,2,12,13 1,2,5,12II 8,9,10 3,8,9,11 7,8,9,11 6,7,9,11III 3,4 4,10 3,4,5,10 3,4,8,10IV 11,13,14 6,13 6 13,14V 7 7 14

Bemerkung: LP–LocherundPrüfer,OS–Oberschülerder10.Klasse,Ä–Ärzte,LD–LehrlingederDatenverarbeitung

Reinert, Baltes und Schmidt (1965) verglichen zur Überprüfung der Leistungsdifferenzier‐

ungshypothese zwei Altersgruppen einmal parallelisiert nach gleicher Testleistung (A1:M=10;6Jahre,Sp=[9;7,11;6],n=137;A2:M=12;6Jahre,Sp=[11;7,13;6],n=123)undeinmal

parallelisiert nach gleichen Standardwerten (B1: M=10;1Jahre, Sp=[9;7, 10;6], n=100; B2:

M=13;1Jahre, Sp=[12;7, 13;6], n=100). Sie führten allerdings nicht alle Subtests des LPSdurch, da Subtest 2 genügenddurch Subtest 1 undSubtest 4 durch3 repräsentiert seien.Die

Page 14: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

14·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

AngabevonGründenfürdieAussparungderSubtests5,7und8fehlen.NebendemLPSwurde

dasBegabungstestsystem(BTS;Horn,1956)durchgeführtundindieBerechnungderFaktoren‐analyseeinbezogen.DieErgebnissewerdenhierohnedieSubtestsdesBTSpräsentiert.Eserga‐

bensichfürallevierStichprobennachdemKriteriumvonSaunders(Cattell,1952)dreiFakto‐

ren, die mittels einer Rotation zur orthogonalen Simple Structure nach Horst (1941) rotiertwurden(Tabelle2.7).

Tabelle2.7: Interpretationen der Faktorenanalyse der Untersuchung von Reinert, BaltesundSchmidt(1965),RotationzurorthogonalenSimpleStructure

A1( ) A2( ) B1( ) B2( )I 1,6,12 1,6,12 1,6,11,12 1,6,12II 3,9,10,11 3,9,10,11 9,10 3,9,10,11III 13,14,15 13,14,15 3,13,14,15 13,14,15

Tent (1969) hat in einer großen Studie zur Vorhersagbarkeit von Schulleistung auch das LPS

angewandt und die Daten von 293 dreizehnjährigen Mädchen und Jungen (M=13;3Jahre,SD=n.a.)verrechnet.DieHauptachsenmethodemitVarimaxrotationergabsechsFaktoren.Als

KriteriumwurdeeinemöglichstgutepsychologischeInterpretationderRotationvorgegeben.

Tabelle2.8: Interpretation der Faktorenanalyse der Untersuchung von Tent (1969,293),Varimax‐rotierteLösung

Interpretation SubtestsI (Allgemeiner)sprachlicherFaktor 1,2,5,6,12II SchlussfolgerndesDenken 3,4,13III Leistungsmotiviertheit 14,(15)1

IV SchulischesLernen (6,)9,15V WiedererkennenvonSymbolen 7,(5,12)VI RäumlichesVorstellen 8,(9,)10,11

Bemerkung: 1SubtestsinKlammernwerdenvomAutorzurInterpretationdesFaktorsherangezogen,ladenaberaufei‐nemanderenFaktorhöher.

Weiss,Kemmler,Deisenhammer,FleischhackerundDelazer(2003)benutztenzwarnurdieSub‐tests7,8,9und10nebeneinigenanderenTests, ihreUntersuchungergababer,dassalleSub‐

testsgemeinsammitdemDreidimensionalenWürfeltest(Gittler,1990)unddemMentalenRota‐

tionstest(Shepard&Metzler,1971)aufeinemFaktorladen,densie„visual‐spacialfactor“nann‐ten. Die Stichprobe bestand aus 97 Psychologie‐ und Medizinstudenten mit einem Durch‐

schnittsaltervon25;1Jahren(SD=3;5Jahre).

Wewetzer (1968) untersuchte die Faktorenstruktur des LPS an zwei Schülergruppen. Zumeinen an100Oberschülernundzumanderenan100Gewerbeschülern fürFeinmechanikund

Elektrotechnik mit einem Durchschnittsalter von 17‐18Jahren. Ferner teilte er die gesamte

Stichprobe in zwei zufällige Gruppen. DieHauptachsenanalysemit Varimaxrotation ergab beieinerExtraktionbis 99%derVarianz sechsFaktorenbei denGewerbeschülern (GS), fünf bei

denOberschülern(OS)undjedreibeidenbeidenzufälligenGruppen(ZuF1,ZuF2),wobeidann

nichtalleSubtestsessentielleLadungenhaben(Tabelle2.9).Eswirdallerdingsnichtersichtlich,welchesKriteriumwirklichdieZahlderFaktorenbestimmthat.

Page 15: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·15

Tabelle2.9: InterpretationenderFaktorenanalysederUntersuchungvonWewetzer(1968),Varimax‐rotierteLösung

GS( ) OS( ) ZuF1 ( ) ZuF2( )I 1,2,5,12 1,2 1,2,5,6,12 1,2,5,6,12II 4,13 3,4 3,4,13 3,4,10III 8,9,10,11 7,8,9,11,12 8,9,10,11 8,9,10,11IV 6 5,6,10 (7,14)1 (7,13,14)V 14 13,14VI 3,7

Bemerkung: 1SubtestsinKlammerladenaufkeinenderdreiFaktorenessentiell.ObeineVier‐FaktorenlösungzueinemanderenErgebnisgeführthätte,kannnichtnachvollzogenwerden.

Zusammenfassendzeigtsich,dassgewisseAbhängigkeitenderFaktorenstrukturvonAlter,sozi‐

oökonomischemStatusundsicherlichweiterenVariablen,wievonMarksetal.(1975)konkretuntersucht, existieren.Es zeigensichaberauchgewisseMuster,die invielenUntersuchungen

zumindestÄhnlichkeitenaufweisen.InTabelle2.10undTabelle2.11werdendieStudiennoch

einmalzusammengefasst.

Tabelle2.10: AnzahlderStichprobenmitbestimmterFaktorenzahl

Faktoren Stichproben inUntersuchungen2 1 13 7 34 2 25 6 36 2 27 1 1

Eswirddeutlich,dassesdieeinedenLPSSubtestszugrundeliegendeStrukturnichtgebenkann.

ZeigtTabelle2.10bereitsdieHeterogenitäthinsichtlichderAnzahlderFaktorenüberverschie‐deneStichprobenhinwegauf,wirdinTabelle2.11deutlich,dassnureinTeildervonHornpos‐

tuliertenSubtestsessentielleGemeinsamkeitenaufweist.Dafür ladenandereSubtestsdesLPS

augenscheinlich häufig auf gemeinsamen Faktoren. Da der Vergleich aber nicht nur auf ver‐schiedenstenStichprobenberuht,sondernauchaufunterschiedlichenfaktorenanalytischenVer‐

fahren, unterschiedlichen Kriterien zur Bestimmung der Faktorenzahl und teilweise unter‐

schiedlichenRotationenderFaktorenmatrizen,werdenimFolgendenErgebnissevonUntersu‐chungenreanalysiert,diedenLPSzumgrößtenTeildurchführtenundderenzugrundeliegende

Interkorrelationsmatrizenzugänglichwaren.

Page 16: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

16·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

Tabelle2.11: ZusammenfassungderErgebnisseder vorgestellten Studien:Verhältnissedesgemeinsamen Ladens einzelner Subtests auf einem Faktor, rechts neben derDiagonalenalsabsoluteHäufigkeiten,linksalsProzentwerte

1 2 3 4 5 6 7 8 9 10 11 12 13 14 151 10/10 0/17 0/13 9/13 9/17 0/13 0/13 0/17 0/17 0/17 14/17 2/17 1/17 1/82 1 0/10 0/10 7/10 4/10 0/10 0/10 0/10 0/10 0/10 8/10 1/10 0/10 0/13 0 0 11/13 2/13 0/17 3/13 5/13 7/17 10/17 5/17 1/17 3/17 1/17 1/84 0 0 .85 2/13 0/13 2/13 4/13 3/13 7/13 1/13 1/13 3/13 0/13 0/45 .69 .70 .15 .15 6/13 1/13 1/13 1/13 3/13 1/13 10/13 1/13 0/13 0/46 .53 .40 0 0 .46 1/17 0/13 1/17 1/17 2/17 8/17 3/17 1/17 1/87 0 0 .23 .15 .08 .06 4/13 5/13 2/13 5/13 3/13 1/13 3/13 0/48 0 0 .38 .31 .08 0 .31 10/13 9/13 8/13 2/13 0/13 0/13 0/49 0 0 .41 .23 .08 .06 .38 .77 11/17 11/17 2/17 0/17 0/17 1/810 0 0 .59 .54 .23 .06 .15 .69 .65 8/17 1/17 0/17 0/17 0/811 0 0 .29 .08 .08 .12 .38 .62 .65 .47 4/17 1/17 2/17 0/812 .82 .80 .06 .08 .77 .47 .23 .15 .12 .06 .24 1/17 1/17 0/813 .12 .10 .18 .23 .08 .18 .08 0 0 0 .06 .06 10/17 6/814 .06 0 .06 0 0 .06 .23 0 0 0 .12 .06 .59 7/815 .13 0 .13 0 0 .13 0 0 .13 0 0 0 .75 .88

Bemerkung: GrauhinterlegteFelderkennzeichnenSubtestpaarungen,diehäufigerals40%aufdemselbenFaktorladen

Bergemann,DaumenlangundJohann(1981)reanalysiertenTeilederDatenderErhebungvon

Reinert et al. (1965)mittels einerClusteranalyseund fandeneinenHinweis aufdieGültigkeit

derIntelligenzdifferenzierungshypothese.DasclusteranalytischeErgebnisbei10‐Jährigenkon‐vergiertbeizwei,bei13‐JährigenbeidreiClustern(Complete‐Linkage‐Verfahren)bzw.dreiund

vier Clustern (Ward‐Methode). Die Zusammensetzung der LPS‐Subtests in den Clustern wird

allerdingsdurchdieBTS‐Subtestsbeeinflusst,sodasshierausnurbedingtRückschlüsseaufdiealleinige StrukturdesLPS gezogenwerdenkönnen.Die gewähltenPartitionen sind inTabelle

2.12zusammengestellt.Hierbeiwirddeutlich,dassdiesogefundeneStrukturderSubtestsnur

ineinemsehrbegrenztenRahmenderderFaktorenanalysenentspricht.

Tabelle2.12: Clusteranalytische Ergebnisse der Reanalyse der Daten von Reinert et al.(1965)durchBergemannetal.(1981)

CL10‐Jährige CL13‐Jährige Ward10‐Jährige Ward13‐JährigeI 1,3,6,9,10,12,13,151,3,9 1,3 1,3II 11,14 6,10 6,10,12,15 6,9,10III 11,12,13,14,15 9,11,13,14 12,15IV 11,13,14

Bemerkung: ZusätzlichzudenLPS‐SubtestswerdeninderOriginalliteraturdieSubtestsdesBTSangegeben.

Steck et al. (1975) berechneten drei Faktorenanalysen (Hauptachsenanalysemit Rotation zurEinfachstrukturnachÜberla,1971)mitdemLPSundweiterenIntelligenztests,umdieGültigkeit

derpostuliertenIntelligenzstrukturenzuprüfen:1.LPS,IST,HAWIEmit111SchülernundStu‐

denten,LösungmitfünfFaktoren;2.LPS,CFT,HAWIE,d2mitden111Probandenplus31frei‐willigen Bundeswehrangehörigen, Lösungmit vier Faktoren; 3. LPS, IST, EVT (Eignungs‐ und

Verwendungstest der Bundeswehr) mit 187 Fachoffiziersanwärtern, Lösung mit sechs (LPS‐

Subtests laden nur auf vier) Faktoren. Die Ergebnisse sind in Tabelle 2.13 zusammengefasst,wobeiauchhiermiteinerWechselwirkungmitdenanderenverrechnetenTestergebnissenaus‐

zugehenist.

Page 17: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·17

Tabelle2.13: ErgebnissederFaktorenanalysenvonStecketal.(1975)

1.( ) 2.( ) 3.( )I 1+2,5,6 1+2,5,6 1,2,5II 3,4,9,10 3,7,8,9,10,11 3,4,7III 7,13,14 4 6IV 8,11 12,13,14 8,9,10V 12

Bemerkung: zu1.FaktorenanalysezusätzlichmitISTundHAWIE

zu2.FaktorenanalysezusätzlichmitCFT,HAWIEundd2

zu3.nurLPS‐Subtests1‐10;FaktorenanalysezusätzlichmitISTundEVTresultiertinsechsFaktoren

Steck et al. (1975) interpretierten ihreErgebnisse dahingehend, dass sich unterBerücksichti‐

gung aller Tests die Intelligenzdimensionen „Sprachbeherrschung“ (LPS: 1+2, 5, 6) und „an‐schauungsgebundenesDenken“(LPS:8,9undetwasschwächer7,10,11)sowie„Rechenfähig‐

keit“(keinLPS‐Subtest),„Konzentrationsvermögen“(LPS:13,14+7,12)und„Schlussfolgerndes

Denken“(LPS:3,4)findenlassen.

2.2 ReanalyseeinzelnerUntersuchungen

IneinigenderUntersuchungenmiteinergenügendgroßenAnzahlvonSubtestsdesLPSsinddie

InterkorrelationsmatrizenderSubtestspubliziert,sodasseineerneuteBerechnungeinerFakto‐renanalyseuntergleichenmethodischenBedingungenmöglichist.ImFolgendenwerdenzuerst

dreivonHornimManualdesLPS(1983)veröffentlichteDatensätzeneuausgewertet,anschlie‐

ßend die zum Teil bereits oben erwähnten Daten und teilweise Daten aus Studien, in denenselbstkeineAnalysederfaktoriellenStrukturvorgenommenwurde.DieErgebnissebasierenauf

einerHauptkomponentenanalyse.Diesewurdegewählt,dadabeia)versuchtwird,einenmög‐

lichstgroßenTeilderVarianzderDatenzuklären,undb)esdasmeistbenutzteundbekanntes‐teVerfahrenist(Gaensslen&Schubö,1973).AlsKriteriumfürdieAnzahlderextrahiertenFak‐

torenwurdedasKaiser‐Guttman‐Kriterium(Eigenwert>1)gewählt,dadadurchsichergestellt

wird,dassdiedurcheinenFaktorerklärteVarianzgrößer ist,alsesalleindurcheineeinzelneVariablemöglichwäre(Backhaus,Erichson,Plinke&Weiber,2003).NachderExtraktionwer‐

dendieErgebnissemittelsVarimax‐Methode(Kaiser,1958)rotiert,umeinemöglichstguteAn‐

passung an eine Einfachstruktur bei Erhalt der Orthogonalität zu erreichen (Gaensslen &Schubö, 1973). Da hierbei keine genaue Analyse der Faktorenanalyse im Vordergrund steht,

sondernv.a.dieFaktorenstrukturdesLPSinunterschiedlichenStichproben,werdenalsErgeb‐

nissewiebereitsinKapitel2.1nurdieFaktorenunddieaufsieamhöchstenladendenSubtestsnachderRotationaufgeführt.

Der Interkorrelationstabelle vonHorn (1983) liegen die Daten von 200 erwachsenen Pro‐

bandenzuGrunde.Koopmann(1964,zit.nachHorn,1983)untersuchte159Volksschülerder4.Klasseund159PionierederBundeswehr(Tabelle2.14).

Page 18: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

18·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

Tabelle2.14: Interpretationen der Faktorenanalyse der Daten aus dem Manual zum LPS(Horn,1983;Koopmann,1964)

Horn( ) Volksschüler( ) PionierederBundeswehr( )I 1+2,4,5,6,12,13,14,15 1+2,5,6,12 1+2,4,5,6,12,13,14II 3,7,8,9,10,11 3,4 3,7,8,9,10,11III 8,9,10IV 7,11,13,14

Die Interkorrelationstabellen der Untersuchung von Bittner (1960) stellen insofern eine Aus‐nahmedar,dasieaufeinerVorformdesLPSbasieren.SiesollenzwarauchhierErwähnungfin‐

den,ihreErgebnissemüssenaberunterVorbehaltbetrachtetwerden(Tabelle2.15).

Tabelle2.15: InterpretationenderFaktorenanalysederDatenvonBittner(1960)

labile( ) stabile ( )I 1,2,4,5,6,12,15 1,2,6,12II 3,7,(8),9,10,11 3,4,5,10,15III 7,(8),9,11

Bemerkung: DieNummerierungderSubtestswurdederaktuellenVersionangepasst.Subtest13und14gabes inderVorformnochnicht.Subtest8entspracheineranderenItemart.

Die Reanalyse der Daten von Greif (1972) ergibt vier und nicht wie bei Greif fünf Faktoren

(Tabelle2.16).DieReanalysederDatenvonKury(1972)führthingegenzumgleichenErgebniswiedieOriginaluntersuchung.Diedritte inTabelle2.16angeführteUntersuchungstammtvon

Schumacher(1988),derdieErgebnissedererstenzehnSubtestsdesLPSvon160Personenzu‐

sammenstellte.DieDatenstammenvon80Arbeitslosenund80Arbeitenden,je40erhobenimJahr1974und1984.ImOriginalartikelwurdekeineFaktorenanalysedurchgeführt.

Tabelle2.16: InterpretationenderFaktorenanalysederDatenvonGreif(1972),Kury(1972)undSchumacher(1988)

Greif ( ) Kury ( ) Schumacher( )I 1+2,6,11,12 1,2 1+2,5,6II 3,7,8,9,10 3,4,8,9,10 3,4,7,8,9,10III 4,5 5,6,13IV 13,14,15 7,11,12,14

Tent(1969)folgerteausderFaktorenanalyseder293VolksschülerfünfFaktoren.DieReanalyseergabhingegennurvier.Fernerwerden inderVeröffentlichungdie Interkorrelationsmatrizen

derLPS‐Skalen1‐14von74Gymnasiasten,103Realschülern,347Mädchenund295Jungender

Volksschuleangegeben.DieseWertewurdenebenfalls fürdieBerechnungvonFaktorenanaly‐senherangezogen.Hierbei ergaben sicheineLösungmitdrei, zweimit vierundeinemit fünf

Faktoren(Tabelle2.17).

Page 19: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·19

Tabelle2.17: InterpretationenderFaktorenanalysederDatenvonTent(1969)

Volksschüler( )

MädchenVolksschu‐le( )

JungenVolksschu‐le( )

Realschüler( )

Gymnasiasten( )

I 1,2,5,6,12 1,2,5,6 1,2,5,6,11 1,2,5 1,2,5II 3,4,9,13 3,4,8,9,10 3,4 3,4 3,4,8,13III7,8,10,11 7,11 7,8,9,10,12,13,14 6,8,10 6,10,11,12,14IV14,15 12,13,14 7,11,12,14 7,9V 9,13

Resultieren in der Untersuchung von Reinert et al. (1965) für jede Stichprobe drei Faktoren,

findensichbeiderReanalysefürdreidervierGruppen(AusnahmeB1)vierFaktoren(vgl.Tabel‐

le2.18).EbensoresultierenvierFaktorenfürdieGesamtgruppeausA1undA2unddreiFaktorenfürB1undB2,diesichdurchZusammenlegungderKorrelationsmatrizenergab.Dieswarmög‐

lich,dafürjedenSubtestdieVarianzindeneinzelnenGruppenangegebenwar.Dadurchkonn‐

tendieAbweichungsquadratederVariablenpaareunddarauswiederumdieKovarianzmatrixalsGrundlagederFaktorenanalyseberechnetwerden.

Tabelle2.18: InterpretationenderFaktorenanalysederDatenvonReinertetal.(1965)

A1( ) A2( ) B1( ) B2( ) A1+A2( )B1+B2( )I 1,12 1,‐14 1,12 1,12 1,12,‐14 1,11,12II 3,6,10 3,‐6,9,10 3,6,9,10,11 3,10 ‐3,6 3,9,10III9,11 11,12 13,14,15 9,11,14 9,10,11 6,13,14,15IV13,14,15 13,15 6,13,15 13,15

Bemerkung: „‐“vordemSubtestbedeutet,dassderTestnegativmitdemFaktorkorreliert.

EinweiteresZielderReanalysederDatenwäregewesen,durchdieZusammenlegungmöglichst

verschiedenerDateneineFaktorisierungderLPS‐Skalen ineinersehrheterogenenStichprobevorzunehmen.DieswaraberauseinigenGründennichtmöglich.Zumeinenließensichnurzwei

Studienfinden,indenenalle15SubtestsdesLPSunddiedazugehörigeInterkorrelationsmatrix

derSubtestsveröffentlichtwaren.InkeinerderbeidenwurdenvollständigdieStandardabwei‐chungenderSubtestsangegeben,sodasseineWeiterverarbeitungderDatennichtmöglichist.

EinigeStudienfassendieSubtests1und2zusammen,anderenicht.IndiesemFall isteineZu‐

sammenfassungoderTrennungohnedieRohdatennichtmöglich.IneinigenArbeitenwurdenureinTeilderSubtestsveröffentlichtbzw.benutzt,sodassdieSchnittmengeimResultatsehrklein

unddaherwenigaussagekräftigwäre.

UmeinnochbesseresBildvondenZusammenhängenderSubtestszuerhalten,wurdenStu‐diengesucht,inwelchendieDatendesaltenPSB(PrüfsystemfürSchul‐undBildungsberatung,

Horn,1969)veröffentlichtsind,dabeidiesemTestneunderzehnSkalendengleichenItemtyp

enthaltenwieimLPS.DerEinfachheithalberwerdenimFolgendennichtdieBezeichnungendesPSBsonderndiederentsprechendenLPS‐Skalenbenutzt(vgl.Tabelle2.19).

Page 20: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

20·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

Tabelle2.19: SichentsprechendeSubtestsvonPSBundLPS

PSB 1 2 3 4 5 6 7 8 9 10LPS 1 2 3 4 6 12 8 10 ‐ 14

EswurdendreiStudiengefunden,dieeineReanalysederDatendurchdieVeröffentlichungder

Interkorrelationsmatrizenermöglichten:Aurin(1968)testete ineinerStudiezuBildungschan‐

ceninBaden‐Württembergu.a.473Schülerder4.KlasseneinerRegionmitgeringerBildungs‐dichte(Tabelle2.20).

Tabelle2.20: InterpretationenderFaktorenanalysederDatenvonAurin(1968)

Schülerder4.Klasse( )I 1+2,6,12,(9)II 3,4,8,10,14

StellerundStürmer (1984)untersuchtendreiStichprobenmitdemPSB,umdenNachweiszuerbringen,dassderLPS‐Subtest8(PSB7)nichtdemFaktor„Space“,sondernderPrimaryMen‐

talAbility „Reasoning“zuzuordnensei.DieersteStichprobe(EB)bilden49Kinder(M=11;11,

SD=1;3), die in den Erziehungsberatungsstellen der Stadt Kiel getestet wurden. Die zweiteStichprobe(OR)bestandaus41Kindern(M=12;3,SD=0;9),dieimRahmeneinerSchulverset‐

zungausdemGymnasiumbzw.ausderRealschuleindenjeweilsniedrigerenSchultypgetestet

wurden.AlsdritteStichprobe(DEL)wurdendieDatenvon74Jugendlichen(M=19;7,SD=1;5)gewählt,dieimRahmenderEntlassungsvorbereitungenausderJugendabteilungderJustizvoll‐

zugsanstalt Neumünster getestet wurden. Aufgrund der Veröffentlichung der Standardabwei‐

chungendereinzelnenStichproben indenSubtestskonntendiedreiGruppenzudemzueinerzusammengefasstundanalysiertwerden(Tabelle2.21).

Tabelle2.21: Interpretationen der Faktorenanalyse der Daten von Steller und Stürmer(1984)

EB( ) OR( ) DEL ( ) Alle( )I 1+2,6,12 1+2,6,12 1+2,4,6,(9),12 1+2,6,12II 3,4,8,10 3,4,8,10 3,8,10,14 3,4,8,10III (9),14 (9),14 (9),14

Bemerkung: EB–GetestetinderErziehungsberatungsstelle,OR–GetestetimRahmeneinesSchulwechsels,DEL–Getes‐tetzurEntlassungsvorbereitungausderJugend‐JVA

Langfeldt‐Nagel(1979)untersuchtedenEinflussderSchulbildungaufIntelligenztestleistungenundtestetezudiesemZweck185Hauptschülerund294Gymnasiasten.Diesewurdenzumeinen

bereitsinder4.Klassegetestet,einzweitesMalsiebenJahrespäter.AusdenAngabenderArbeit

konntenachtInterkorrelationsmatrizenundzweiZusammenfassungengewonnenwerden,wo‐beidieseErgebnisseaufgrundderwiederholtenTestungapriorinichtunabhängigseinkönnen

(Tabelle2.22).

Page 21: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·21

Tabelle2.22: InterpretationenderFaktorenanalysederDatenvonLangfeldt‐Nagel(1979)

HS‐1‐♀( ) HS‐1‐♂( ) Gym‐1‐♀( )

Gym‐1‐♂( )

Gesamt‐1( )

I 1+2,6,12,(9) 1+2,8,10,12 1+2,12 1+2,6,12 1+2,6,12II 3,4,10 3,4 3,4,8,10 3,4,8,10 3,4,8,10III 8,14 6 6,(9),14 (9),14 (9),14IV (9),14

HS‐2‐♀( ) HS‐2‐♂( ) Gym‐2‐♀( )

Gym‐2‐♂( )

Gesamt‐2( )

I 1+2,6,12 1+2,6,12 1+2,6,(9),14 1+2,6,12 1+2,6,(9),14II 3,4,8,10 3,4,(9),14 3,4,8,10 3,4,8,10 3,4,8,10III (9),14 8,10 (9),14 IV

Bemerkung: HS–Hauptschule,Gym–Gymnasium,1–Eingangsuntersuchung4.Klasse,2–Enduntersuchungnachsie‐benJahren,♀‐Mädchen,♂‐Jungen

Die deutlich werdende faktorielle Struktur des PSB und damit der Zusammenhang der LPS‐

SkalenentsprechennichtganzdervonHorn(1969)postuliertenStruktur.Eszeigtsich,dassdie

verbalenSubtests1,2,6und12sehrdeutlichaufeinemFaktorladen.DieSubtests3und4so‐wie8und10ladenoftaufeinemFaktor,sodasseineinhaltlicheTrennungderKonstrukteals

nichtangemessenerscheint.DieSubtests9und10scheineneinendrittenFaktordarzustellen,

auchwenneinigeMalekeineausreichendeTrennungderFähigkeitenmöglichwarundnurzweiFaktorenresultierten.

Tabelle2.23: Zusammenfassung der Ergebnisse der reanalysiertenDaten: Verhältnisse desgemeinsamen Ladens einzelner Subtests auf einem Faktor, rechts neben derDiagonalenalsabsoluteHäufigkeiten,linksalsProzentwerte

1 2 3 4 5 6 7 8 9 10 11 12 13 14 151 8/8 0/19 3/13 10/1310/19 0/13 0/11 0/19 0/19 1/18 12/18 2/16 4/16 1/112 1* 0/7 1/9 6/8 5/8 0/8 0/8 0/8 0/8 1/8 3/8 0/6 0/6 0/33 0 0 9/13 1/13 4/19 5/13 6/11 11/19 13/19 4/18 0/18 2/16 0/16 0/114 .23 .11 .69* 5/13 3/13 1/13 4/11 4/13 4/13 0/12 2/12 1/10 0/10 3/55 .77* .75* .08 .38 9/13 0/13 0/11 0/13 1/13 1/12 5/12 3/10 2/10 3/56 .53* .63* .21 .23 .69* 0/13 0/11 2/19 5/19 3/18 8/18 5/16 4/16 4/97 0 0 .38 .08 0 0 6/12 8/13 7/13 9/12 3/12 2/10 4/10 0/58 0 0 .54** .36 0 0 .50** 8/11 10/11 3/10 0/10 2/10 1/10 0/39 0 0 .58* .31 0 .11 .62** .73* 13/19 8/18 1/18 3/16 2/16 0/1110 0 0 .68* .31*** .08 .26 .54** .91* .68* 7/18 2/18 1/16 2/16 0/1111 .06 .13 .22 0 .08 .17 .75** .30*** .44* .38*** 6/18 1/16 5/16 0/1112 .66* .38*** 0 .17 .42* .44* .25 0 .06 .13 .33 4/16 8/16 2/1113 .13 0 .13 .10 .30 .31 .20 .20 .19 .06 .06 .25 9/16 8/914 .25 0 0 0 .20 .25 .40** .10 .13 .13 .31 .50 .56* 6/915 .09 0 0 .60** .60** .44** 0 .0 0 0 0 .20 .89* .66*

Bemerkung: *Subtestpaarungen,diesowohlindenLiteraturangabenalsauchbeiderReanalysehäufigerals40%vor‐kommen.**Subtestpaarungen,dienurinderReanalysehäufigerals40%vorkommen.***Subtestpaarungen,dienurindenLiteraturangabenhäufigerals40%vorkommen.

BeimVergleichderErgebnissederReanalysemitderZusammenfassungderErgebnisseausderLiteraturwirddeutlich,dasseinrelativstrengesKriteriumfürdieAnzahlderFaktorenwiedas

Kaiser‐Guttmann‐Kriterium nur in einem Fall zu einem Ergebnis mit mehr als vier Faktoren

Page 22: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

22·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

führt(vgl.Tabelle2.24).DadurchbedingtisteinehöhereZahlvonSubtestpaarungen,dierelativ

häufigaufdemselbenFaktorladen(vgl.Tabelle2.23).

Tabelle2.24: AnzahlderStichprobenmitbestimmterFaktorenzahlindergefundenenLitera‐turundderReanalyse

FaktorenStichproben(Literatur)

inunterschiedlichenUntersuchungen

Stichproben(Reanalyse)

inunterschiedlichenUntersuchungen

2 1 1 4 43 7 3 4 34 2 2 10 55 6 3 1 16 2 2 ‐ ‐7 1 1 ‐ ‐

ImFolgendenwerdendiegefundenenKorrelationenderSubtestsmiteinzelnenexternenKrite‐

rien sowieanderenTestergebnissenbehandelt,bevor abschließenddieBewertungderErgeb‐

nisseunddiegezogenenSchlossfolgerungendiskutiertwerden.

2.3 KorrelativeZusammenhänge

ZurBeurteilungderSkaleneinesTests, auch imHinblickaufeineRevisionundAussortierungeinzelnerSubtestsalsunnötig,solltendieZusammenhängederSubtestsmitanderenTestsund

mitexternenKriterienBeachtung finden. ImFalledesLPS ließensichUntersuchungen finden,

dieKorrelationendesLPSmitdenSubskalendesIST(Amthauer,1955;1970),desWIT(Jäger,1963)unddesAIT (Meili,1966),undeinzelnemitKLT(Düker&Lienert,1965),d2 (Bricken‐

kamp,1972)undFRT (Daniels, 1971)enthielten.Als externeKriterienwurdenausschließlich

schulischeLeistungsmaßegefunden.

2.3.1 KorrelationenmitanderenTests

Groffmann und Schneevoigt (1964) testeten 31männliche und 6weibliche Studierende einerWirtschaftshochschule(M=24;2Jahre,Sp=[21,32])sowohlmitdemLPS(Horn,1962)alsauch

mitdemIST(Amthauer,1955).InTabelle2.25wirddieInterkorrelationsmatrixderUntertests

präsentiert.

Page 23: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·23

Tabelle2.25: Interkorrelationskoeffizienten zwischen Untertests des LPS und IST ( 37,ausGroffmann&Schneevoigt,1964,S.249)

1+2 3 4 3+4 5 6 5+6 7 8 9 10 7‐10 11 12 11+12 13 14 13+14SE ‐.07 .35 .28 .31 .15 ‐.19 .08 .19 .15 .25 .25 .58 .19 .09 .29 .14 .00 ‐.10WA .19 .45 .96 .52 .18 .07 .17 .38 .53 .47 .38 .60 .38 .44 .58 .17 .22 .07AN .34 .56 .45 .45 .38 .40 .35 .42 .56 .42 .42 .60 .37 .83 .48 .22 .07 .06GE .20 .29 .27 .28 .41 ‐.04 .35 .44 .21 .06 .39 .60 .12 .85 .36 .06 ‐.02 ‐.14ME .31 .39 .36 .28 .28 .14 .27 .23 .44 .41 ‐.14 .52 .41 .49 .49 .12 .12 .01RA .42 .67 .45 .61 .41 .00 .32 .22 .41 .44 .11 .59 .09 .44 .36 .00 .11 ‐.10ZR .18 .59 .43 .56 .40 .12 .35 .14 .32 .35 ‐.47 .66 .20 .38 .40 .05 .24 .01FA ‐.95 .50 .42 .51 .05 .16 .05 .15 .50 .32 ‐.40 .64 ‐.04 .39 .30 ‐.17 .14 ‐.25WÜ ‐.12 .51 ‐.72 .60 .13 .30 .19 .36 .52 .11 ‐.70 .76 .30 .16 .35 .25 ‐.07 ‐.03

Bemerkung: .32sign.5%, .42sign.1%,SE–Satzergänzungen,WA–Wortauswahl,AN–Analogien,GE–Gemein‐samkeiten,ME–Merkaufgaben,RA–Rechenaufgaben,ZR–Zahlenreihen,FA–Figurenauswahl,WÜ‐Wür‐felaufgaben

DieKorrelationstabellederUntersuchungvonKury(1972,Tabelle2.26)zwischenLPSundIST

(Amthauer,1955)weisteineprinzipiellähnlicheStrukturaufwiedieobengenanntevonGroff‐

mannundSchneevoigt (1964),wenngleich inder ersten auffälligmehrnegativeKoeffizientenpräsentiertwerden.

Tabelle2.26: InterkorrelationskoeffizientenzwischenUntertestsdesLPSund IST( 187,ausKury,1972,S.64)

1 2 1+2 3 4 3+4 5 6 5+6 7 8 9 10 7‐10 11 12 11+12 13 14 13+14SE .26 .32 .30 .19 .19 .23 .22 .24 .29 .23 .09 .21 .24 .26 .13 .14 .17 ‐.01‐.07 ‐.06WA .26 .21 .25 .21 .19 .24 .25 .08 .20 .25 .13 .22 .17 .26 .31 .11 .27 .05 .12 .12AN .35 .39 .39 .37 .26 .35 .26 .23 .31 .32 .25 .24 .32 .38 .22 .27 .28 .03 ‐.05 ‐.02GE .32 .33 .34 .28 .20 .28 .22 .18 .26 .18 .13 .20 .18 .22 .32 .30 .37 ‐.02 .13 .05ME .21 .23 .24 .28 .30 .31 .23 .25 .29 .17 .29 .34 .32 .37 .18 .13 .20 .23 .17 .26RA .32 .31 .32 .49 .45 .54 .39 .26 .39 .24 .33 .44 .30 .43 .12 .23 .20 .02 .12 .10ZR .26 .23 .26 .43 .48 .51 .41 .31 .42 .26 .20 .40 .34 .38 .15 .19 .19 .08 .34 .27FA .33 .34 .34 .42 .37 .45 .27 .24 .30 .24 .45 .44 .35 .50 .28 .31 .36 .03 .04 .05WÜ .09 .08 .09 .40 .32 .41 .20 .09 .17 .18 .44 .46 .25 .44 .20 .24 .26 .04 .15 .13

Bemerkung: .14sign.5%, .19sign.1%,SE–Satzergänzungen,WA–Wortauswahl,AN–Analogien,GE–Ge‐meinsamkeiten,ME–Merkaufgaben,RA–Rechenaufgaben,ZR–Zahlenreihen,FA–Figurenauswahl,WÜ‐Würfelaufgaben

Greif(1972)korreliertinderUntersuchungder302BereitschaftspolizistendieLPS‐Skalenmit

den Subtests der Intelligenztests WIT (Wilde‐Intelligenz‐Test, Jäger, 1963), IST (Amthauer,

1955) und AIT (Analytischer Intelligenztest,Meili, 1966) (Tabelle 2.27a‐c). In allenUntersu‐chungenwirddeutlich,dassdieSubtests5,6,7,11,12,13und14nurinbegrenztemMaßemit

denUntertestsandererIntelligenztestskorrelieren.DieReasoning‐Subtests3und4,dieSpace‐

Subtests8und9sowieSubtest10,derauchräumlicheWahrnehmungi.w.S. fordert,scheinenhingegen entsprechendePendants in den anderen Intelligenztests zu haben.Die Subtests 1+2

korrelierennurvereinzeltbedeutsammitsprachrelevantenUntertests.DieKorrelationmitdem

SubtestFigurenauswahldesISTvon‐.95erscheinteheralsDruckfehler,dadiesesErgebnisbeiGroffmannundSchneevoigt(1964)keineErwähnungfindetundbeiGreif(1972)nichtrepliziert

wird.

Page 24: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

24·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

Tabelle2.27a: InterkorrelationskoeffizientenzwischendenUntertestsdesLPSunddenUnter‐testsdesIST( 302,ausGreif,1972,S.360)

1+2 3 4 5 6 7 8 9 10 11 12 13 14SE .29 .19 .17 .20 .05 .15 .15 .20 .17 .09 .20 .07 .07WA .23 .27 .23 .21 .13 .14 .22 .26 .27 .11 .14 .07 .12AN .31 .39 .30 .24 .10 .15 .28 .26 .35 .15 .26 .03 .05GE .40 .27 .21 .25 .23 .20 .27 .16 .29 .30 .21 .07 .10RA .31 .43 .43 .34 .06 .21 .25 .33 .31 .09 .24 .19 .24ZR .24 .52 .52 .40 .14 .28 .34 .42 .38 .07 .34 .17 .33FA .15 .36 .25 .17 .08 .25 .44 .40 .35 .24 .26 .11 .17WÜ .13 .32 .28 .22 .09 .22 .41 .33 .29 .22 .21 .09 .12

Bemerkung: .11sign.5%, .15sign.1%,SE–Satzergänzungen,WA–Wortauswahl,AN–Analogien,GE–Ge‐meinsamkeiten,RA–Rechenaufgaben,ZR–Zahlenreihen,FA–Figurenauswahl,WÜ‐Würfelaufgaben

Tabelle2.27b: InterkorrelationskoeffizientenzwischendenUntertestsdesLPSunddenUnter‐testsdesWIT( 302,ausGreif,1972,S.364)

1+2 3 4 5 6 7 8 9 10 11 12 13 14GR .16 .16 .31 .24 .12 .14 .12 .11 .14 .08 .19 .19 .23GW .51 .18 .14 .29 .25 .19 .12 .15 .23 .19 .28 .06 .16AL .36 .37 .31 .21 .13 .15 .33 .35 .34 .15 .36 .05 .03SCH .29 .42 .45 .30 .13 .24 .21 .27 .31 .13 .22 .25 .36SW .33 .31 .24 .30 .25 .19 .26 .28 .23 .17 .25 .05 .21ZN .31 .37 .40 .31 .09 .17 .25 .27 .28 .06 .27 .20 .30SP .19 .43 .35 .17 .08 .39 .33 .41 .33 .23 .25 .14 .33ER .26 .32 .34 .29 .12 .20 .22 .26 .23 .10 .19 .19 .24BR .27 .48 .52 .29 .12 .25 .38 .34 .34 .22 .28 .19 .22BO .17 .43 .36 .25 .06 .24 .33 .28 .38 .32 .22 .28 .33AW .19 .37 .33 .17 .10 .18 .41 .37 .43 .31 .22 .01 .17WG .43 .25 .27 .27 .51 .25 .16 .21 .22 .28 .35 .13 .18

Bemerkung: .11sign.5%, .15sign.1%,GR–Grundrechnen,GW–GleicheWortbedeutung,AL–Analogien,SCH–Schätzen,SW–Sprichwörter,ZN–Zahlenreihen,SP–Spiegelbilder,ER–EingekleideteRechenaufgaben,BR‐Buchstabenreihen,BO–Beobachtungen,AW–Abwicklungen,WG‐Wortgewandtheit

Tabelle2.27c: InterkorrelationskoeffizientenzwischendenUntertestsdesLPSunddenUnter‐testsdesAIT( 302,ausGreif,1972,S.356)

1+2 3 4 5 6 7 8 9 10 11 12 13 14BR .16 .46 .33 .21 .11 .25 .40 .38 .36 .29 .19 .15 .22ZR .25 .46 .49 .30 .19 .29 .35 .35 .37 .11 .32 .14 .30SÄ .31 .23 .21 .18 .41 .14 .20 .22 .24 .25 .22 .03 .19LÜ .26 .34 .26 .21 .15 .22 .33 .26 .30 .40 .27 .06 .19ZE .17 .35 .19 .15 .23 .16 .26 .27 .27 .17 .13 .14 .18AL .19 .40 .37 .17 .06 .22 .38 .37 .39 .19 .26 .13 .11

Bemerkung: .11 sign. 5%, .15 sign. 1%,BR –Bilderreihen, ZR – Zahlenreihen, SÄ – Sätze, LÜ – Lücken, ZE –Zeichnen,AL‐Analogien

Schumacher(1988)verglichdieTestergebnissevonLPS(Subtests1‐10),KLT,FRTundd2vonje

80Arbeitslosenund„Arbeithabenden“,diedurchdieBundesanstalt fürArbeit1974und1984

erhobenwordenwaren.AusdenangegebenenDatenlässtsichdieKorrelationsmatrixderTestsbestimmen(Tabelle2.28).

Page 25: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·25

Tabelle2.28: InterkorrelationskoeffizientenzwischendenUntertestsdesLPSmitdemKLT,demFRTunddemd2( 160,nachSchumacher,1988)

1+2 3 4 5 6 7 8 9 10KLT_L .35 .28 .36 .46 .37 .28 .30 .10 .27KLT_F ‐.14 ‐.15 ‐.17 ‐.19 ‐.01 ‐.16 ‐.21 ‐.11 ‐.11FRT_L .35 .62 .67 .34 .32 .42 .60 .23 .56FRT_F ‐.18 ‐.37 ‐.50 ‐.22 ‐.21 ‐.15 ‐.38 ‐.13 ‐.39d2_L .38 .31 .31 .45 .43 .33 .28 .08 .38d2_F ‐.04 ‐.25 ‐.27 ‐.14 .02 ‐.15 ‐.18 ‐.10 ‐.14

Bemerkung: .16sign.5%, .20sign.1%,_LbezeichnetdieAnzahlbearbeiteterItems,_FdieZahlderFehler

DieLeistungsmaßederTestskorrelierenmitAusnahmevonSubtest9mitKLTundd2alleposi‐tivundsehrhochmitdenSubtestsdesLPS.FürdenFRTalsMaßderallgemeinen Intelligenz

warenähnlicheErgebnissezuerwarten,aberauchderZusammenhangzwischenAufmerksam‐

keitundderBearbeitungderLPS‐Subtests liegtaugenscheinlichaufderHand.DieKorrelationvonSorgfältigkeitimSinnederAnzahlderFehlermitdenSubtestsscheintauchalsErgebnisdes

Testaufbausgewertetwerdenzumüssen.

2.3.2 KorrelationenmitschulischenLeistungsmaßen

Weiss(1972)veröffentlichtedieZusammenhängedernachHornzusammengefasstenSubtestsdes LPS mit den Noten der „Hauptgegenstände“ Deutsch, Mathematik, Englisch und der 2.

FremdsprachesowiederschulischenGesamtleistungvon200Schülernund82Schülerinnender

8.KlassenhöhererSchulen(entsprichtdemdeutschenGymnasium)(vgl.Tabelle2.29).Eszeigtesich,dassderGesamtscoremitallenaußerdenFremdsprachennotenvonMädchensignifikant

korreliert.Auffällig sinddie geringeZahl derbedeutsamenKorrelationender Subtests11+12,

13+14sowie7‐10.DieseErgebnisseweisendaraufhin,dassdieSubtestsnurgeringeValiditätbezüglichdesErfolgsineinzelnenSchulfächernzuhabenscheinen.

Tabelle2.29: InterkorrelationskoeffizientenzwischendenUntertestsdesLPSundeinzelnenSchulleistungeninhöherenSchulen( 282,nachWeiss,1972)

1+2 3+4 5+6 7‐10 11+12 13+14 15 GSchulischeGesamtleistungmännl.Vpn .20** .17* .08 .22** .05 .10 .17* .21**

SchulischeGesamtleistungweibl.Vpn .17 .07 .11 .12 .21* .15 .18 21*

Deutschmännl.Vpn .31** .14* .14* .13 .08 .13 .16* .21**

Deutschweibl.Vpn .38** .24* .37** .17 .13 .14 .29** .25*

Mathematikmännl.Vpn .10 .20** .04 .17* ‐.09 .13 .16* .16*

Mathematikweibl.Vpn .02 .18 .17 .20 .15 .20 .18 .29**

Englisch(1.Fremdsprache)männl.Vpn .22** .07 .18** .13 .08 .03 .19** .16*

Englisch(1.Fremdsprache)weibl.Vpn .02 ‐.18 ‐.12 ‐.11 ‐.02 .16 .02 ‐.082.Fremdsprache1männl.Vpn .18** .11 .05 .10 .05 .09 .10 .16*

2.Fremdsprache1.weibl.Vpn ‐.04 ‐.28** ‐.04 ‐.18 .00 .16 .02 ‐.19

Bemerkung: *sign.5%,**sign.1%,1Latein,GriechischoderFranzösisch

DieKorrelationenderLPS‐Subtestsundeinzelner schulischerLeistungen,dieTent (1969)bei

Schülernder6.KlasseverschiedenerSchularten(295Jungen,Volksschule;347Mädchen,Volks‐

schule;103Schüler,Realschule;74Schüler,Gymnasium)feststellte,sindinTabelle2.31aufge‐

Page 26: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

26·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

listet.Eswirddeutlich,dasssowohlPersönlichkeitsvariablenwieBetragen,Fleiß,Aufmerksam‐

keitundOrdnung,alsauch„Nebengegenstände“(i.S.vonWeiss,s.o.)wieReligion,Kunsterzie‐hung,MusikundSportnurvereinzeltinbedeutsamerHöhemiteinzelnenSubtestskorrelieren.

Für die Fächer Sozialkunde,Deutsch, Geschichte, Erdkunde, Biologie, Physik,Mathematik und

GeometriezeigensichhingegenbedeutsameKorrelationenvorallemmitdenSubtests1,2,4,5,6und12sowiedemGesamtscore.DieanderenSubtestsohnesprachlicheKomponenteweisen

hingegenkaumbedeutsameZusammenhängeauf.

Marks, Seeber und Stümper (1975) haben in ihrer Untersuchung, in der sie die Faktoren‐struktur unterschiedlicher Ausbildungsrichtungen verglichen, signifikante Validitätsangaben

bezüglich eines Ausbildungskriteriums gemacht. Die Subtests 3 und 4 zeigen dabei teilweise

höhere Zusammenhänge als der Gesamtscore. Insgesamt sind die Ergebnisse so zu bewerten,dassbivariatunterschiedlichsteZusammenhängeauszumachensindundsichdadurcheineEig‐

nungdesVerfahrensfürdieBerufseignungsdiagnostikableitenlässt.

Tabelle2.30: InterkorrelationskoeffizientenzwischendenUntertestsdesLPSundAußenkri‐terien(nachMarks,Seeber&Stümper,1975)

Kriterium 1 2 3 4 5 6 7 8 9 10 11 12 13 14 GLehrlingeDV,Facharbeiterabschluss .20 .25 .19 .26 .19 .28 .25LehrlingeDV,Leistungseinschätzung .19 .20 .23 .19LehrlingeChemiefacharbeiter,theoreti‐scheZensuren

.28 .22 .42 .36 .23 .29 .31 .23 .32 .40 .34

LehrlingeChemiefacharbeiter,Pra‐xiseinschätzung

.31 .29 .46 .42 .27 .28 .27 .30 .28 .20 .32 .44

Elektromonteure,EinsatzzuSchalt‐handlungen

.21 .20 .22 .26 .24 .28 .14

Kraftwerkmaschinisten,Berufserfolg .24 .31 Chemieanlagenfahrer,Berufserfolg .29 .25 .36 .23 Locher,Normerfüllung .21 .26 Prüfer,Normerfüllung .24

Bemerkung: EswurdeninderStudienursignifikante( .05)Korrelationskoeffizentenangegeben.

Page 27: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·27

Tabelle2.31: InterkorrelationskoeffizientenzwischendenUntertestsdesLPSundeinzelnenSchulleistungenvonJungenundMädchender6.KlasseVolksschule,sowievonSchülern der 6. Klasse Realschule und Gymnasium nicht nach Geschlecht ge‐trennt(nachTent,1969)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 G

Be‐.09 .05 ‐.12 .04‐.01.02 ‐.03.11 ‐.01‐.01‐.06‐.02 ‐.07‐.03 ‐.03 .02 .00 ‐.03 .04 ‐.05 ‐.09‐.02 ‐.07 .05‐.02.04 ‐.10.03 ‐.05 .02

‐.17 .26 ‐.11 .20‐.09.08 ‐.13.11 .07 .20 ‐.11 .12 ‐.17 .01 .11 ‐.02 .07 ‐.09 ‐.03 .00 ‐.16‐.09 ‐.02 .17 .07‐.06‐.14‐.14‐.08 .08

Fl.19 .21 .05 .17 .05 .16 .15 .27 .16 .21 .15 .16 .01 .00 ‐.05 .08 .08 .03 .13 .07 .10 .06 .08 .15 .09 .13 .00 .15 .08 .20

.00 .17 .16 .19‐.06.05 .01 .10 .26 .19 .11 .16 .12 ‐.13 .25 .14 .14 ‐.02 .11 .07 .12 ‐.09 .27 .07‐.01.18 .24‐.13 .25 .13

Au.16 .23 .13 .22 .05 .27 .10 .32 .20 .17 .13 .17 .02 .10 .00 .14 .11 .18 .08 .22 .04 .06 .09 .17 .06 .09 .00 .10 .08 .27

.00 .17 .14 .11‐.08.01 ‐.14.13 .19 .19 .10 .25 .09 ‐.13 .19 .14 .18 ‐.14 .07 .07 .04 .08 .12 .22 .03 .12 .13 .08 .18 .17

Or.15 .19 ‐.01 .12 .06 .18 .12 .25 .14 .17 .09 .17 .01 .02 .04 .04 .06 .04 .07 .08 .03 .06 .09 .23 .09 .12 ‐.02.18 .04 .12

‐.16 .15 .09 .03‐.06‐.08 ‐.10.09 .20 .05 .14 .00 ‐.01‐.05 .07 .04 .02 ‐.13 .07 ‐.04 ‐.04‐.02 .05 .27‐.03.06 .11 .03 .08 .05

Re.16 .26 .06 .21 .03 .14 .07 .24 .18 .18 .14 .25 .07 .01 .02 .12 .12 .15 .10 .12 .09 .18 .13 .20 .01 .15 .07 .19 .11 .26

.19 .15 .20 .15‐.01‐.09 ‐.01‐.04 .30 .22 .07 .27 ‐.01‐.04 .07 .13 .17 .01 .16 .13 .14 .11 .19 .12‐.01.09 ‐.06.10 .18 .18

So.37 .32 .16 .28 .21 .32 .35 .30 .18 .18 .20 .23 .07 .00 .08 .16 .14 .20 .15 .23 .19 .15 .27 .24 .09 .18 .13 .16 .23 .34

Dm.37 .42 .18 .38 .08 .22 .24 .33 .26 .30 .30 .31 .02 .03 ‐.02 .09 .16 .14 .09 .15 .24 .19 .28 .34 .08 .18 .10 .17 .18 .36

.31 .50 .43 .42 .11 .16 .09 .20 .40 .44 .19 .43 .18 .02 .21 .22 .13 ‐.04 .28 .12 .21 ‐.08 .45 .35 .06 .09 .17 .01 .42 .35

Ds.36 .48 .25 .43 .13 .29 .29 .39 .30 .38 .26 .32 .00 .05 .01 .15 .10 .17 .16 .15 .18 .17 .37 .38 .10 .19 ‐.02.17 .20 .40

.31 .52 .40 .44 .09 .17 .15 .21 .40 .44 .28 .44 .07 .00 .12 .21 .07 ‐.05 .21 .14 .02 ‐.08 .34 .36 .10 .10 .10 .00 .34 .35

Ge.34 .40 .12 .32 .20 .34 .32 .39 .29 .29 .25 .24 .03 ‐.03 .10 .19 .20 .22 .19 .21 .22 .19 .20 .28 .08 .11 .09 .14 .22 .37

.30 .23 .26 .14 .08 .00 .10 .17 .38 .26 .17 ‐.01 ‐.01‐.01 .23 .19 .03 ‐.02 .26 .03 .19 .02 .28 .24 .01 .08 .08 .04 .32 .18

Er.32 .36 .13 .31 .18 .32 .31 .39 .25 .27 .19 .28 .11 .02 .04 .19 .25 .26 .16 .23 .15 .15 .24 .32 .11 .21 .16 .16 .23 .38

.05 .38 .11 .30 .04 .09 .10 .23 .18 .20 ‐.01 .13 ‐.03‐.09 .15 .25 .12 .02 .22 .21 .05 .17 .16 .32 .08 .20 .11‐.05 .19 .30

Bi.25 .34 .12 .29 .19 .30 .32 .33 .25 .23 .18 .31 .04 .09 .09 .16 .21 .22 .16 .20 .20 .21 .20 .21 .10 .16 .02 .15 .18 .35

.11 .16 .20 .11 .03‐.02 .10 .24 .18 .03 .17 ‐.01 .13 ‐.05 .13 .20 .13 .08 .31 .20 .14 .10 .24 .20 .00 .08 .24 .03 .28 .18

Ph.28 .32 .11 .26 .18 .32 .31 .37 .21 .16 .20 .21 .04 .07 .10 .22 .18 .26 .13 .22 .15 .16 .14 .20 .04 .15 .05 .17 .17 .35

Ma.30 .25 .15 .23 .25 .38 .45 .46 .23 .25 .22 .24 ‐.02 .04 .18 .22 .25 .17 .15 .27 .11 .08 .18 .25 .08 .15 .08 .12 .20 .37

.02 .29 .18 .24 .14 .25 .17 .44 .10 .31 .07 .08 .11 .19 .34 .23 .13 .19 .18 .03 .19 .01 .04 .22 .01 .34 .22 .05 .24 .34

Ra.33 .26 .19 .28 .31 .41 .44 .45 .24 .22 .21 .30 .01 .00 .13 .27 .22 .25 .11 .29 .12 .08 .23 .26 .10 .16 ‐.01.15 .18 .42

Mu.16 .18 .18 .13 .00 .26 .12 .32 .19 .11 ‐.07 .11 ‐.08 .00 .03 .14 .02 .15 ‐.05 .18 .10 .12 .05 .14 .02 .11 ‐.02.10 .08 .26

.16 .11 .11 .16 .13‐.02 .13‐.01 .13 .14 .08 .28 ‐.05‐.10 .02 ‐.06 .14 ‐.19 .08 .12 .16 .13 .07 .11 .08 .13 ‐.05.30 .03 .10

Ku.17 .18 .07 .12 .04 .13 .23 .18 .19 .18 .18 .09 .00 .00 .00 .02 .12 .10 .08 .04 .11 .14 .16 .18 .12 .15 ‐.01.06 .12 .18

‐.08 .03 ‐.06 ‐.13‐.12.04 .03 .05 .07‐.06‐.01 .03 ‐.11‐.01 .12 .05 ‐.06‐.02 .05 .20 .01 .22 ‐.04 .18 .04 .14 ‐.08.26 .00 .13

Sp.07 .12 .12 .11‐.05.16 .04 .17 .11 .14 .11 .08 .05 .03 ‐.04 .13 ‐.01 .10 ‐.01 .10 .06 .18 .07 .10 .09 .15 .10 .10 .04 .18

.04 .16 .03 .03‐.02‐.17 ‐.04‐.18‐.06.05 ‐.07 .24 .15 .08 ‐.06 .08 .04 .14 .03 .01 .08 .16 ‐.01 .03 .03 .16 .14 .17 .03 .13

Fr

.10 .41 .24 .32 .04 .02 .06 .15 .15 .32 .02 .25 .02 .01 .04 .23 ‐.03‐.18 .07 .20 .07 .08 .12 .50‐.11.15 .21 .09 .13 .32

Ha.23 .15 .15 .14 .03 .10 .17 .18 .16 .12 .09 .20 .05 .06 .02 .02 .04 .09 .11 .00 .11 .07 .23 .28 .08 .12 .03 .15 .13 .22

‐.08 .33 .04 .31 .01 .16 ‐.12‐.02 .19 .32 .05 .35 ‐.02 .06 ‐.01 .11 ‐.08‐.04 .09 .38 ‐.01‐.01 .10 .21‐.02.17 .06 .11 .04 .31

Bemerkungen: DerAufbaudereinzelnenFelderentsprichtdemSchema

ZwarfolgtdieskeinerstrengenAlphaadjustierung,aberalsSignifikanzkriteriumwirddasstärkstefürdiesevierStichprobenangegeben:5%‐Niveau: .23,1%Niveau: .30

Be – Betragen; Fl – Fleiß; Au – Aufmerksamkeit; Or – Ordnung; Re – Religion; So – Sozialkunde; Dm –Deutschmündlich;Ds–Deutschschriftlich;Ge–Geschichte;Er–Erdkunde;Bi–Biologie,Naturkunde;Ph–Physik,Naturlehre;Ma –Mathematik, Rechnen; Ra –Raumlehre, Geometrie; Ku –Kunsterziehung;Mu –Musik;Sp–Sport,Leibesübung;Fr–Fremdsprache(Englisch,Französisch,Latein);Ha‐Handschrift

JungenVolksschule MädchenVolkschuleRealschule Gymnasium

Page 28: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

28·ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)

2.4 Diskussion

DievorgestelltenErgebnisselegendenSchlussnahe,dasseineReduktionderZahlderSubtestsdesLPSundsomiteineffizienteresundvielleichtauchaussagekräftigeresDiagnoseinstrument

möglichist.DiehäufigeZusammenlegungvonSubtest1und2zeigtdeutlich,dasseinegesonder‐

teInterpretationderErgebnissenichtgewünschtwird.DiehohenLadungenderbeideneinzel‐nenSubtestsaufimmereinenFaktorweisenebenfallsdaraufhin,dasseineTrennungnichtnö‐

tig ist. Die Konsequenzen der Testverkürzung können bei den gegebenen hohenReliabilitäts‐

kennwertenbeiderTests inHinblick auf diePraktikabilität undÖkonomie akzeptiertwerden.Fernergiltes,dieZusammenhängederweiterenSubtests fürsprachlicheFähigkeiten5,6und

12zuüberdenken.FürdieRevisiondesPSB(Horn,PSB6‐13R,2003)wurdedasAufgabenprin‐

zipvonSubtest6beibehalten,vonSubtest12hingegennicht.AlledreiSubtestsweisenähnlicheKorrelationenmitanderenTestsundexternenKriterienauf.AmhäufigstenkorreliertSubtest12

mitallenIST‐SubtestsundauchanderenIntelligenz‐undLeistungstests.AuchdiehoheKorrela‐

tionvonSubtest12mitdemLPS‐Gesamtwert(.88,Horn,1983)deutetdaraufhin,dassmitdie‐semSubtestnichtalleinClosuresondernauchanderePrimaryMentalAbilitieserhobenwerden.

DaSubtest6 füreineAnwendungamComputerweniggeeignet ist ‐dieEingabevonWörtern

überdieTastaturoderauchdasSchreibenaufeinemTablet‐PCwürdegroßebzw.nochunge‐prüfteSchreibgeschwindigkeitsvarianzenerzeugen‐erscheintdieserTestimSinnederÖkono‐

mieundauchderVergleichbarkeitbeieinersteigendenRelevanzderTestungamComputerals

nichtmehrindasLeistungsprüfsystemintegrierbar.DiehoheÄhnlichkeitderstatistischenZu‐sammenhängederSubtests5und12mitdenanderenSubtestssowieanderenKriterienverlei‐

tetzurIdee,dasPrinzipderVerstümmelungderWortezurErhebungvonClosure(Subtest12)

auf das Prinzip desWorterkennens und dasAnkreuzen des erstenBuchstabens einesWortes(Subtest5)anzuwenden,dadasKonstruktWordfluencyoffensichtlichnichtingeeignetemMaße

vonVerbalComprehensiongetrenntwerdenkonnte,wasnachThurstone(1969)nurmiteiner

großenAnzahlvonTestsmöglichist.Die Subtests 3 und 4 laden sehr häufig auf einem gemeinsamen Faktor. Das Reasoning‐

KonstruktscheintdurchdieseSubtestsguterfasstzuwerden.DieRevisiondesPSB,inderzwi‐

schen Zahlen‐, Buchstaben‐ und Figurenreihen unterschiedenwird, zeigt aber ebensowie dieKritikvonStellerundStürmer(1984),dassReasoningundSpacenichtohneWeiteresgetrennt

werdenkönnen.Sowohl inderLiteraturalsauch inderReanalyse ladendieSubtests3und4

nicht unwesentlich häufig zusammenmitmindestens einem der Subtests 7 bis 10 auf einemFaktor.InderStudievonWeiss(1972)erweistsichSubtest4alsstärkererPrädiktorfürSchul‐

leistungenalsSubtest3.DieRevisiondesPSBlegtnahe,dassdurchdieTrennungderdreiFor‐

men inbesonderenFällenspezifischereAussagengetroffenwerdenkönnen,eineMessungdesKonstruktsReasoningaberbesserdurchdieZusammenlegungallerdreiFormenmöglichist.

DieZusammenfassungderSubtests7bis10erscheint‐ohneDiskussionderValidität‐statis‐

tischalssinnvollbezeichnetwerdenzukönnen,daallevierSubtestsrelativhäufigaufgemein‐samenFaktorenladen.Allerdingsisthierbeizuberücksichtigen,dassdiesteilweiseunabhängig

voneinandergeschieht.DerVergleichderLiteraturmitderReanalysezeigt,dassSubtest7vor‐

nehmlichdurchdas strengereKriteriummitdenanderendreien, aber auchmit einzelnen aufeinemFaktorlädt.Subtest8istseitlängeremumstrittenundwurdebeispielsweiseindieVersi‐

Page 29: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ZurFaktorenstrukturdesLeistungsprüfsystems(LPS)vonHorn(1962;1983)·29

onLPS50+nichtmehraufgenommen(Sturm,Willmes&Horn,1993).Erlädtzudemsehrhäufig

mitdenSubtests9und10aufgemeinsameFaktoren.EbensoladendieSubtests8und10indenAnalysendesPSBimmeraufdemselbenFaktor.DieErgebnissebezüglichderSubtests9und10

sinddeskriptivrelativähnlich.BeideSubtestsladenhäufigaufdemselbenFaktor.DieKorrelati‐

onenmiteinzelnenKriteriensindbeiallenvierSubtestsähnlich.BeigrößerenStichprobensindfastalleKorrelationenmitdenSubtestsandererVerfahrensignifikant.BezüglichderSchulnoten

zeigensichnurvereinzeltbedeutsameKorrelationen.FürdieLeistungderLehrlingesindeher

dieSubtests9und10,fürdieLeistungvonMonteurenundMaschinisteneherdieSubtests7und8sensibel(Marksetal.,1975,Tabelle2.30).DerVergleichderSubtests3,4,8,9und10mitder

TestbatteriedesBerufsförderungswerksEckert(Berufsinteressentest II [BIT II, Irle&Allehoff,

1984],Intelligenz‐Struktur‐Test2000R[IST2000R,Amthauer,Brocke,Liepmann&Beauducel,2001], FRT, Mechanisch‐Technischen Verständnistest [MTVT, Lienert, 1958], Mannheimer

Rechtschreibtest[MRT,Jäger&Jundt,1981],d2,KLT,FreiburgerPersönlichkeitsinventar[FPI‐R,

Fahrenberg, Hampel & Selg, 2001], Berufsbezogenen Rechentest [BRT, Balser, Ringsdorfer &Traxler,1986],einErinnerungstestundmehrereAlgebratests,dievomPsychologischenDienst

selbstkonzipiertwurden;Kreuzpointner,2008)zeigt ineinerüberalleTestshinwegdurchge‐

führtenFaktorenanalyse,dassdieSubtests3,4,9und10desLPSmitdemMTVTaufeinem,Sub‐test8mitdemFRT,demISTFAunddemISTWÜaufeinemandernFaktorladen.DieKorrelatio‐

nenderSubtests8,9und10mitdenanderenTestwertenunterscheidensichnurunwesentlich.

Subtest11zeigtüberalleStudienhinwegnichtdenerwartetenZusammenhangzuSubtest12.DiesliegtentwederandessenstarkenverbalenEinflüssenoderanderTatsache,dassSpeedof

Closure in der gegeben Form nicht erhoben werden kann. Die häufigen gemeinsamen hohen

LadungenvonSubtest11mitdenSubtests7bis10legenfürdieTestleistungbeiSubtest11ei‐nenstarkenEinflussderräumlichenWahrnehmungnahe.

DieSubtests13,14und15liegenhäufigaufeinemFaktor,vorallemindenStudien,dieSub‐

test15anwendeten.InStudienohneSubtest15laden13und14selteneraufdemselbenFaktor.Eswirddeutlich,dassfürSubtest13und14derUmgangmitZahlen,diehierimGrundeeigent‐

lichnurMittelzumZwecksind,einenentscheidendenEinflusshat,daeineschnelleundrichtige

LeistungbeiderAdditioninSubtest15inbeidenUntertestseineRollespielt.Subtest13und14haben insgesamt die geringsten Korrelationen mit den Subtests anderer Intelligenztests und

kaumsignifikanteKorrelationenmitSchulleistungen.ImPSBwirddeutlich,dassSubtest14eine

vondenanderenSubtestsunterschiedlicheFähigkeitmisst.

2.5 SchlussfolgerungundRevisionsvorschlag

AufgrunddervorgestelltenErgebnisseundInterpretationenwirdnuneineneueZusammenstel‐

lungdesLeistungsprüfsystemsvorgeschlagenundimAnschlussabschließendbegründet.

Page 30: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

30·ZurF

Tabel

LP

Bemer

Diesene

höhungGrundla

Formde

Testmitvorallem

netsein

(1938)nes,auf

Abbil

Faktorenstru

lle2.32:

PS‐neu

1234567891011

Nettob

rkung: LPS‐n

eueZusamm

der Ökonoagen. Die Re

esOriginals

taltemNamminderBe

nsollte.Bei

maßgeblicheinerPyram

dung2.1:

ukturdesLeis

BearbeitundesLPS

Entsprechu(Horn,1

1

4Z4Buc

5,6bearbeitungs

neu‐Revisionsvo

menstellung

omie und Prevision eine

nichtindem

menhandelterufseignung

derEntsteh

hrichtungwemidebasiere

Intelligenz

stungsprüfsy

ngsdauerder

ungendesLP1962,1983)1+2123

Zahlenchstaben79101314156,8,11sdauer

orschlag

gfolgtdreiP

raktikabilitäes Diagnose

mMaßeverä

t.Horn(196gsdiagnostik

hungdesLP

eisend. IndendesIntelli

pyramidena

ystems(LPS)v

r Subtests un

PS Bear

3’

Prinzipien:1

ät und 3. Neverfahrens

ändernoder

62,1983)ekzumEinsa

PSwarendi

derÜberarbigenzmodel

achHorn(198

vonHorn(19

ndVorschlag

rbeitungsdauLPS2’+3’2’5’8’

2’3’3’8’2’8’

’+1’+4’+1’55’

1.Erhaltde

Neuorientierdarf die P

rverzerren,

rarbeitetematzkommen

iePrimaryM

eitung(Horlvorgestellt

83,S.30)

962;1983)

für dieNeuz

uer Geschtungs

sLeitgedan

rung der strrinzipien, d

sodassess

mitdemLPSnundfüral

MentalAbil

rn,1983)wt(vgl.Abbild

zusammenst

hätzteBearbsdauerLPS‐n

3’2’4’4’4’2’3’3’5’2’5’

37’

nkensdesLP

rukturtheorden Aufbau

sichumeine

SeinVerfahlleSchularte

litiesvonTh

wirdzudemdung2.1).

tellung

bei‐neu

PS,2.Er‐

retischenund die

enneuen

hren,dasengeeig‐

hurstone

eineige‐

Page 31: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Eswird

sprechetests erf

Subtests

Beibeharenalsd

Abbil

deutlich,da

endderThefasstwerde

s die intend

altungderandasOriginal

dung2.2:

ZurFakto

assdiedurc

orieundnien (Abbildun

dierten Fähi

ngestrebtengeschaffen

EbeneIde

orenstrukturd

chdiewegg

chtnurdurng2.2).We

igkeiten rel

nZieleunddwerden.

sModellsder

desLeistung

elassenenS

rchstatistisenn es also

liabel und v

dertheoreti

rBegabungss

sprüfsystems

Subtestsgem

cheHinweismöglich sei

valide zu be

ischenGrun

strukturnach

s(LPS)vonH

messenenFä

sevondennwird,mit

estimmen, k

dlageneine

hHorn(1983

Horn(1962;1

ähigkeitena

verbleibendtdenverble

kann dadur

effizienteres

3,S.31)

1983)·31

auchent‐

denSub‐eibenden

ch unter

sVerfah‐

Page 32: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag
Page 33: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DasneueLeistungsprüfsystem(LPS‐neu)·33

3. DasneueLeistungsprüfsystem(LPS‐neu)

ImFolgendenwirddasResultat derAnalysender inKapitel 2 dargestellten Studien über dasLeistungsprüfsystemvonHorn(1983)vorgestellt.DieeinzelnenItemswerdenindieserArbeit

nichtdargestellt,dasiezumeinemdembisherigenLPSentnommenwurdenundzumanderenin

derRevisiondesLPSVerwendungfindensollen.EineVeröffentlichungderItemsaußerhalbdesManuals ist jedoch nicht im Sinne eines Leistungstests. Gleichwohl werden die Instruktionen

unddiedarinverwendetenBeispieledargestellt,sodassnachvollziehbarwird,wiedieeinzelnen

Subtestsaufgebautsind.BeimAufbauderPapier‐Bleistift‐Version(PBV)desLPS‐neuwurdeversucht,denPrinzipien

desLPSvonHornsoweitwiemöglichtreuzubleiben.InsbesonderedieBearbeitungderItems

direktinderVorgabesolltebeibehaltenwerden.EbensodieKonzeptiondesTestbogensaufvierSeiten,sodassderDruckaufeinemDINA3Bogenmöglichist(DeroriginaleLPS‐Bogenistein

wenigkleineralsDINA3.).DerdarausresultierendenrelativgedrängtenDarstellungderItems,

dievoneinigenSeitenderartkritisiertwurde,dasLPStestemehrdieSehfähigkeitalskognitiveLeistungen,wurdedurchverschiedeneMaßnahmenbegegnet.ZumeinenermöglichtendieDigi‐

talisierungderItemsundderDruckaufweißesPapiereinendeutlichgrößerenKontrast.Zudem

wurdendieAntwortmodalitätenbei einzelnen Subtests zugunsten derÜbersichtlichkeit geän‐dert,sodassdieItemsansichbesserzuerkennensind.DesWeiterenwurdendieInstruktionen

undItembeispielenichtmehrandenAnfangeinerItemkolonnegestellt,sondernaufderersten

Seite des Testbogens zusammengefasst. Dies und der Raumgewinn durch das etwas größerePapierformatermöglichteneineDarstellungderItems,diebisdatobeikaumeinerderTestper‐

sonenzuBeschwerdenbezüglichderErkennbarkeitderAufgabengeführthat. InAnhang15.1

werdendieSeitendesTestbogensverkleinertdargestellt.ZumSchutzderItemswerdennurdieBeispielitemsalsPlatzhalterfürdieübrigenItemsbenutzt.

3.1 DieSubtestsdesrevidiertenLeistungsprüfsystems

DasneueLPSbesteht,wiebereitsinTabelle2.32dargestellt,auselfSubtests.Subtest1istausdenItemsderSubtests1und2desaltenLPSzusammengestellt.DieTrennunginzweiSubtests

wurdeinhaltlichvonHorn(1962;1983)nichtbegründetundhattezurFolge,dassdieErgebnis‐

sederbeidenUntertestsinderRegelimmergemitteltinterpretiertwurden.DiehoheKorrelati‐onderbeidenSubtestsbelegtihreÜbereinstimmung.DermesstheoretischeGewinnanGenauig‐

keit derMessungdurch die doppelteTestung soll durchdie Erhöhungder Itemzahl aufgrund

vonZusammenlegungundersterAussortierungvonalsungeeigneterscheinendenItemserhal‐tenbleiben.MitSubtest1sollAllgemeinbildunggemessenwerden. IndenvorgegebenenWör‐

ternwird jeweils ein Buchstabe verändert. Die Aufgabe des Probanden besteht darin, diesen

falschenBuchstabenzuidentifizieren.DieIdeedieserTestungist,dassProbandenmiteinerhö‐herenAllgemeinbildungzumeinendieWortemiteinerhöherenWahrscheinlichkeitkennenund

zumanderenderenOrthographiewissen,sodassesihnenehermöglichist,denFehlerzufinden.

InAbbildung3.1wirdderTeilderInstruktionsseiteabgebildet,dersichaufdieSubtests1und2beziehen.DieausführlicheInstruktionwirddurchdenVersuchsleitervorgelesenoderauswen‐

Page 34: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

34·DasneueLeistungsprüfsystem(LPS‐neu)

dig vorgetragen. Sie basiert imWesentlichen auf der ursprünglichenForm,wurde jedochden

aktuellenGegebenheitenangepasst(sieheAnhang15.2).

Abbildung3.1: InstruktionenderSubtests1und2ausdemAufgabenbogendesLPS‐neu

Subtest2desLPS‐neustellt eineKombinationausdenSubtests5 (Anagramme)und12 (Ver‐stümmelungderDarstellungderWörter)deraltenVersiondar.Wie inKapitel2.2und insbe‐

sondere inTabelle2.23deutlichwird,hängenbeideSubtestsbesondersmitderAllgemeinbil‐

dung,dieüberdiesprachlicheKompetenzabgebildetwird,zusammen.Auchhierbeiwirddavonausgegangen,dasseinerhöhtesallgemeinesWissendazuführt,dassdieWörter,diesmalalsver‐

stümmelteAnagrammedargestellt,ehererkanntwerden.AusdenVorgabendesaltenLPSwur‐

de die relativ geringe Veränderung der Buchstabenreihenfolge der einzelnen Items übernom‐men.FallssichdieItemsdadurchalszuleichtlösbarerweisensollten,bestehtfürweitereFas‐

sungendieMöglichkeit,dieReihenfolgederBuchstabenstärkerzumischen.

Subtest3wurdevollkommenidentischausdemaltenLPSübernommen.GemeinsammitdenSubtests4und5solldamitReasoningimSinnederPrimaryMentalAbilities(Thurstone,1938)

erhobenwerden (vgl. Abbildung 3.2). Basierend auf den Erkenntnissen der Revision des PSB

(Horn,2003)wurdenindenSubtests4und5 ItemsmitZahlenundItemsmitBuchstabenge‐trennt.InallendreiAufgabetypenistesdieAufgabedesProbanden,dieRegel,diederSystema‐

tikderachtbzw.neunSymbolezugrundeliegt,zuidentifizierenunddasjenigeSymbolzumar‐

kieren,dasdieserRegelzuwider läuft.Anastasi(1976)definiert(General)Reasoningbzw.„In‐duction“,alsodeduktivesundinduktivesDenken,wiefolgt:

Induction(orGeneralReasoning):The identificationofthis factorwas leastclear.Thur‐stoneoriginallyproposedaninductiveandadeductivefactor.Thelatterwasbestmeasuredbytestsofsyllogisticreasoningandtheformerbytestsrequiringthesubjecttofindarule,asinanumber series completion test.Evidence for thedeductive factorhowever,wasmuchweakerthanfortheinductive.Moreover,otherinvestigatorssuggestedageneralreasoningfactor,bestmeasuredbyarithmeticreasoningtests.(Anastasi,1976,S.373)

DurchdieAufgabengestaltungwirdversucht,beidenArtendesSchließensgerecht zuwerden.DieersteAufgabedesProbandenistes,diezugrundeliegendeRegelzuidentifizieren.Diesent‐

sprichtdeminduktivenFaktor.UnterderBedingungderGültigkeitderentdecktenRegelmuss

danndasSymbolgefundenwerden,dasnichtzurRegelpasst.HierbeikönnendeduktiveProzes‐seangenommenwerden.InsgesamtsollalsoderGedankedesGeneralReasoningFaktorsaufge‐

Page 35: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DasneueLeistungsprüfsystem(LPS‐neu)·35

griffenundabgebildetwerden.AufgrundderDarstellungenimManualdesaltenLPSwirddavon

ausgegangen,dassdiesimSinneHornsist.

Abbildung3.2: InstruktionenderSubtests3,4und5ausdemAufgabenbogendesneuenLPS

Die ItemsderSubtests6bis10wurdenebenfallsausdemaltenLPSübernommen(vgl.Abbil‐dung3.3undAbbildung3.4).FürdieSubtests7und8wurdedieAntwortmodalitäteinwenig

verändert.FürSubtest11wurdendieersten80 Itemsübernommen.Subtest6 (7 inderalten

Version)dientzurErmittlungdesFaktorsSpace.EineZahlodereinBuchstabeproZeileistspie‐gelverkehrtabgebildet.ZudemsindalleZeichenumdenMittelpunktrotiert.DieAufgabebesteht

nun darin, durch einementale Rotation und den Vergleich der Symbole das spiegelverkehrte

Zeichenzuidentifizieren.SomitmüssendiebeidenFaktoren,dieSpacedefinieren,genutztundkönnensoerhobenwerden:

Space:Thisfactormayrepresenttwodistinctfactors,onecoveringperceptionoffixedspa‐tialorgeometricrelations,theothermanipulatoryvisualizations,inwhichchangedpositionsortransformationsmustvisualized.(Anastasi,1976,S.372)

EbensomüssendiegeometrischenFigureninSubtest7(9inderaltenVersion)beiderAufga‐

benlösung,dieAnzahlderFlächenzubestimmen,nunimdreidimensionalenRaumvisualisiertwerden.Eskannzudemdavonausgegangenwerden,dassinsbesonderebeikomplexerenFigu‐

renalsdenBeispielen,zurVisualisierungauchRotationendurchgeführtwerden,umdieZahlder

Flächenzubestimmen.ImUnterschiedzumaltenLPSwerdenfürjedeFigurdieZahlen2bis10alsAntwortvorgegeben,sodassdasAntwortformatbeiallenItemsgleichistundsomitdieOb‐

jektivitäterhöhtwird.

Page 36: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

36·DasneueLeistungsprüfsystem(LPS‐neu)

Abbildung3.3: InstruktionenderSubtests6,7und8ausdemAufgabenbogendesLPS‐neu

InSubtest8(10 imaltenLPS)wirdkeinementaleRotationvondenProbandengefordert.Die

Aufgabebestehtdarin,einenderfünfUmrisse,dienebenjedemMusterabgebildetsind,indie‐

semzuerkennen.HierfürmüssendieUmrissementaletwasvergrößertundanschließendüberdas Muster projiziert werden. Es ist auch vorstellbar, dass Repräsentationen der Umrisse –

schließlichstellensiebekannteFormendar–durchmentalesNachzeichnenzubestätigenver‐

suchtwerden.

Abbildung3.4: InstruktionenderSubtests9,10und11ausdemAufgabenbogendesLPS‐neu

WieimaltenLPSwirdSubtest10(alt:14)vorSubtest9(alt:13)durchgeführt.DieSpaltederItemsvonSubtest10stellteineKopiederSpaltevonSubtest9dar,wobeibei40der60Zeilen

mindestenseinZeichenverändertwurde.DieAufgabedesProbandenistes,dieseveränderten

Zeichenzuidentifizieren.Abder31.ZeilebestehensieausjeachtundnichtmehrausnursechsZeichen.WährendderTestungwurdedeutlich,dassLinkshändereinegewisseBenachteiligung

aufgrundderAnordnunghaben,dasiesichteilweisemitderSchreibhandüberdiezuverglei‐

chenden Zeichen bewegten.Durch denHinweis, eine für denVergleich vorteilhaftereHaltungeinzunehmen, wurde versucht, diesen Nachteil auszugleichen. Inwiefern dies eine relevante

Störgrößedarstellt,wirdnichtbeurteiltwerdenkönnen,dadieHändigkeitnichterhobenwurde.

DieseEntscheidungmussaufspätereUntersuchungenverschobenwerden.DieSubtests9und10erheben„PerceptualSpeed”:

Page 37: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DasneueLeistungsprüfsystem(LPS‐neu)·37

Perceptual Speed:Quick and accurate grasping of visual details, similarities, and differ‐ences.ThisfactormaybethesameasthespeedfactoridentifiedbyKelleyandotherearlyin‐vestigators.This isoneofseveral factorssubsequently identified inperceptualtasks(Thur‐stone,1944).(Anastasi,1976,S.372)

InSubtest10gehtesalsodarum,denzeilenweisenVergleichsoschnellwiemöglichdurchzu‐führen.DieGefahr vonFehlern, insbesondere von falsch‐positiven, alsoder Identifikation von

Unterschieden,wokeinesind,istrelativgeringundzudemimVergleichzuSubtest9mitrelativ

geringenKonsequenzenbezüglichderRohwertsummeverbunden.InSubtest9bestehtdieAuf‐gabedesProbandendarin,imerstenDurchgangjedeachte„0“zumarkieren.AmEndederSpal‐

teangelangtsollderProbandwiedervonvornebeginnenundjedeachte„1“markierenusw.Es

wirddeutlich,dasseinfrühererFehler(z.B.wenndie15.anstattder16.„0“markiertwird)dieKonsequenzhabenkann,dassallefolgenden„0“,auchwennsieacht„0“vondervorhergehend

markierten entfernt sind, als falsch gewertetwerden. In Subtest 9 ist somit die Sorgfältigkeit

nebenderSchnelligkeiteinwesentlichesMerkmal,daszueinerhohenPunktzahlführt.Subtest11,deralsSubtest15imaltenLPSnuralsZusatzgeführtwurde,dientderErhebung

derKonzentrationsleistungsfähigkeit.Eswirddavonausgegangen,dassdieFähigkeit,Ziffernzu

addieren,beiallenProbandengegebenist,sodassdieAufgabe,zehneinziffrigeZahlenzusum‐mieren, von jedem erfüllt werden kann. Den leistungsbeeinflussenden Faktor stellt dann die

Informationsverarbeitungsgeschwindigkeitdar:WieschnellkanndiesebasaleFähigkeit,zuei‐

nerZahleineZifferzuaddieren,fehlerfreiausgeführtwerden.

3.2 DasIntelligenzmodelldesLPS‐neu

DietheoretischeFundierungdesaltenLPS,insbesonderedessenAbbildungderPrimaryMental

Abilities,wird seit jeheralskritischbetrachtet (z.B.Greif,1972;Lutz,1983).1983beschreibtHorneinModellderBegabungsstruktur(Abbildung2.1undAbbildung2.2),zudemsichjedoch

keineweiterenVeröffentlichungenfindenlassen.DiedarindargestellteUnterteilungderTestsin

verschiedeneArten vonAufgabeninhalten und unterschiedlicheOperationen der Aufgabenbe‐antwortungstelltinseinerKomplexitäteineMischungausdemIntelligenz‐Struktur‐Modellvon

Guilford(z.B.Guilford&Hoepfner,1976)unddemBerlinerModellvonJäger(1982;Jäger,Süß

&Beauducel,1997)dar.BeigenauererBetrachtungfälltauf,dassdasLPSdiesemModellnichtgerechtwird,dadieSubtestsnurdieHälftederproklamiertenKombinationenvonInhaltenund

Operationenabdecken.DerBerlinerIntelligenzstruktur‐Test(Jäger,Süß&Beauducel,1997),der

inInteraktionmitdemBerlinerModellzudessenValidierungentwickeltwurde,bietetbeispiel‐weise für jede der Kombinationenmehrere Subtests. Das Verfahren ist dafürwesentlich auf‐

wändigerundzeitintensiver.

Insgesamt erscheint das Drei‐Ebenen‐Modell von Caroll (1993; 2005; The Three‐StratumTheory;vgl.Abbildung3.5)wesentlichadäquateralsGrundlagefürdasbereitsbestehendeLeis‐

tungsprüfsystem.ImModellwirdaufderoberstenEbeneein ‐Faktor,alsoeineAllgemeineIn‐

telligenz,diejeglicheintellektuellebzw.kognitiveLeistungmehroderwenigerstarkbeeinflusst,postuliert.Die zweiteEbenebesteht aus acht (wobeidieseZahlnicht als endgültig angesehen

wird)Faktoren,dieals„broad“,alsoinetwaals„allgemein“,bezeichnetwerden.DieseFaktoren

Page 38: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

38·DasneueLeistungsprüfsystem(LPS‐neu)

liegenaufeinemetwashöherenAbstraktionsniveaualsdiePrimaryMentalAbilitiesnachThurs‐

tone(1938).DieuntersteEbenestelltumschriebeneFähigkeitendar,diedurcheinenodermeh‐rereTesterhobenwerdenkönnen.DiesesStratumI,das„nativeperformance“beschreibt,diver‐

giertimAbstraktionsniveauzwischenrelativkonkretenFertigkeiten(z.B.ClozeAbility,alsodie

Fertigkeit,Lückentextezubearbeiten)undimmernochumfassenderenKonzeptenwiez.B.In‐duction.

Abbildung3.5: Die„three‐stratumstructureofcognitiveabilities“(nachCarroll,1993,S.626)

Der jahrzehntelange Streit zwischen SpearmanundThurstone, ob es nun einen ‐Faktor und

unbestimmtvielespezifischeFähigkeitenoderkeinengenerellenFaktor,sondernlediglicheine

bestimmteAnzahl(siebenbisneun)vonstatistischunabhängigenalsounkorreliertenFähigkei‐tengebe,wurdeschließlichdurchZugeständnisseaufbeidenSeiten (Spearman& Jones,1950

bzw.Thurstone&Thurstone,1941)beendet(McGrew,2005).DieseundvieleandereForscher

im Bereich der Intelligenztestung gehen also davon aus, dass sich intellektuelle FähigkeitendurcheinenübergeordnetenFaktor(AllgemeineIntelligenz)undweiterenichtgenerelleFakto‐

ren,diedurchdie einzelnenTestsdefiniertwerden, abbilden lassen.Carroll (1993) sammelte

477brauchbareKorrelationsmatrizenvonumfassenderenIntelligenztestbatterienundreanaly‐sierte dieses Datenmaterial jeweils mittels desselben Algorithmus (Faktorenanalyse nach

Schmid&Leimann,1957,dieFaktorenhöhererOrdnungzulässt).2003versuchteCarrollinei‐

nerDenkschriftfürArthurVernondarzulegen,dasseinModellohne ‐Faktor,insbesonderedasModellvonCattellundHorn(z.B.Horn&Blankson,2005),fürdieModellierungintellektueller

Page 39: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DasneueLeistungsprüfsystem(LPS‐neu)·39

Fähigkeitennichtadäquatist.InsbesonderedieInterkorrelationenvonalsunabhängigkonstru‐

iertenFaktorensiehtCarrollalsBelegfürdieNotwendigkeiteinesFaktorshöhererOrdnung.InderBeschreibungdesModells stelltCarroll (2005) aber klar, dass ein soumfassendesModell

(vgl.Abbildung3.5)nurhöchstselteninseinerGänzeüberprüftwerdenkann,undfordertdaher

eineVielzahlvonUntersuchungen,diesichden jeweiligenTeilaspektenwidmet. ImFolgendensollnundasLPS‐neuindasDrei‐Ebenen‐Modelleingebettetwerden.

Abbildung3.6: Vorschlag für die Zuordnung des LPS‐neu in die Struktur des Drei‐Ebenen‐ModellsnachCarroll(1993)

EsistnichtdasZieldieserArbeit,dieexaktenEntsprechungendereinzelnenSubtestszudenvon

Carroll formulierten StratumI Fähigkeiten zu überprüfen. Es soll jedoch die Einordnung der

durchdieMessungmittelsderSubtestspostuliertenFähigkeitenindieStratumIIEbenevollzo‐genwerden,indemdiesemitähnlicherscheinendenFähigkeiten,derentheoriekonformeZuord‐

nungbereitsbeiCarrolldiskutiertwurde,verglichenwerden,umsoeineBasisfürdenpostulier‐

ten Zusammenhang und die Überprüfung dieses Modells (Abbildung 3.6) zu haben. Carroll(1993, S.157) beschreibt einen etwas allgemeineren Verbalen Faktor (Verbal or printed lan‐

guageComprehension,V):„Ingeneral,factorswereclassifiedasVwhen(a)alloramajorityof

their variables involved printed tests requiring reading, and (b) the variables covered awiderangeoftesttypesmeasuringgenerallanguagedevelopmentincluding(typically)varioustypes

ofvocabularytestsandreadingcomprehensiontests.”DieserbegründetnebenanderenFakto‐

rendieKristallineIntelligenz,dieCarrollanzweiStellenwiefolgtdefiniert:„Crystallizedintelli‐gence.Thiscategorywasusedforsecond‐stratumfactorswithsalientloadingsonfirst‐stratum

factorssuchasLD(Languagedevelopment)andV(Verbalability)thatappeartoreflecttherole

of learningandacculturation”(1993,S.583). „Crystallized intelligence,concernedwithmentalprocessesthatreflectnotonlytheoperationof fluid intelligencebutalsotheeffectsofexperi‐

Allgemeine Intelligenzg‐Faktor

Kristaline IntelligenzSubtest 1: Allgemeinwissen

Subtest 2: Anagramme

Fluide Intelligenz

Subtest 3: Figurenfolgen

Subtest 4: Zahlenfolgen

Subtest 5: Buchstabenfolgen

Gedächtnis und Lernen

Visuelle Wahrnehmung

Subtest 6: Mentale Rotation

Subtest 7: Flächenzahl

Subtest 8: LinienmusterAuditive Wahrnehmung

Ideenproduktion bzw. Abruffähigkeit  (Retrieval)

VerarbeitungsgeschwindigkeitSubtest 9: 8. Zeichen

Subtest 10: Zeilenvergleich

Kognitive Schnelligkeit Subtest 11: Addieren

Page 40: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

40·DasneueLeistungsprüfsystem(LPS‐neu)

ence,learning,andacculturation”(1993,S.624).NebendieserallgemeinenDefinitiondesStra‐

tumIIFaktorsKristallineIntelligenzunddesallgemeinenStratumIFaktorsVerbalesVerständ‐niserscheinenzweiweitereStratumIFaktoren fürdieEinordnungderSubtests1und2rele‐

vant:„Lexicalknowledge(VL):Extentofvocabulary(nouns,verbs,oradjectives)thatcanbeun‐

derstood in termsof correctword (semantic)meanings. Although evidence indicates that vo‐cabularyknowledgeisaseparablecomponentfromLD[Languagedevelopment],itisoftendiffi‐

cult to disentangle these two highly correlated abilities in research studies“ (McGrew, 2005,

S.151).Carroll(1993,S.164)beschreibtReadingdecoding(RD)alsStratumIFaktor,daesBel‐egegäbe,„thatageneralskillofwordrecognitionanddecodingcanbedefinedfactoriallyinde‐

pendentofsomeotherskillsinthelanguageabilitydomain,andfurther,thatthiswordrecogni‐

tionskillcanbebrokendownintodetailedprocesses.”Eswirddeutlich,dassdieSubtests1und2indieseKlassevonFaktorenpassen.Nebenden

orthographischenAnteilen(V)entsprichtinsbesondereSubtest1demLexicalKnowledge.InRD

werdendie fürdieErkennungderAnagrammenötigenProzessebeschrieben: „GraphemeEn‐coding,LetterRecognition;MultiletterArrayFacilitation,PerceptionofMultiletterUnits(e.g.sh,

tion);DepthofProcessing inWordRecognition;PhonemicContrast,Decoding“ (Carroll,1993,

S.165).DemStratumIIFaktorFluideIntelligenzwurdenStratumIFaktorenzugeordnet,„whenever

thehighersalientloadingsoffirst‐stratumfactorswereforfactorssuchasRG(Reasoning)orI

(Induction), involvingbasic intellectualprocessesofmanipulatingabstractions,rules,generali‐zations, and logical relationships” (Carroll,1993,S.583). Ineiner späterenBeschreibungwird

nochdergeringeLernanteilanderAusbildungderentsprechendenFähigkeitenhervorgehoben:

„FluidIntelligence,concernedwithbasicprocessesofreasoningandothermentalactivitiesthatdependonlyminimallyonlearningandacculturation“(S.624).

Carroll (1993,S.201ff) führtalleTestartenauf,dieerderFluiden Intelligenzzuordnet.Die

fürdieEinordnungderSubtests3,4und5relevantenBeschreibungenlautenwiefolgt(diezu‐gehörigenAbkürzungenderStudienwurdenimZitatweggelassen):

NumberSeries;NumberSeriesCompletion[…]:Avarietyoftasksinwhichrule‐orderedseriesofnumbersaretocontinuedwithoneortwoelements.Itemsvaryinthedifficultyoftheruletobediscovered.InNumberSeriesII[…]theSistocrossoutthenumberthatdoesnotfitintheseries.FormSeries[…]:SimilartoNumberSeries,butthestimuliaregeometricforms.[…]InFormSeriesII,Sistocrossouttheformthatdoesnotfitintotheseries.LetterReasoning[…]:Abilitytodiscoveracommonrulefromaseriesofexamplesinvolvingseriesofalphabeticalletters.LetterSeries […]:Find theruleunderlyingaseriesof letters, thenspecify thenext twoele‐ments.E.g.ARBRCRD?LetterSets[…]:Findtheonelettergroupthatdoesnotbelongintheclassoffourothers;e.g.,ABCDLMNOMNOPDEFTUVWX.

Eskannalsodavonausgegangenwerden,dassdieSubtests3,4und5,diediesenBeschreibun‐

genweitestgehendentsprechen,unterFluideIntelligenzeinzuordnensind.Carrollunterteiltden

StratumII Faktor Fluide Intelligenz in drei StratumI Faktoren auf, die je nach verwendetemTest, Stichprobe und Analysemethode unterschiedlich stark interkorrelieren: Sequential

Reasoning(RG),InductiveReasoning(I)undQuantitativeReasoning(RQ).Überalleuntersuch‐

Page 41: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DasneueLeistungsprüfsystem(LPS‐neu)·41

tenStudienhinwegentsprechendieBuchstabenaufgabenundfiguralenAufgabenindenmeisten

FällendemInduktivenSchlussfolgern(I),währendnumerischeAufgabenentwederalsdeduktiv(RG) beurteilt oder (insbesondere bei größerer Schwierigkeit) dem Faktor Quantitatives

Schlussfolgern (für das sowohl deduktive als auch induktive Prozesse angenommenwerden)

zugeteiltwerden.AufeineexpliziteZuordnungderSubtestszudiesendreiKategoriensollaberverzichtetwerden.

Die Subtests 6, 7 und 8 können dem StratumII Faktor VisuelleWahrnehmung zugeordnet

werden.Carrollisoliertbezüglichdieser„broadability”einigespezifischereFähigkeiten.DiedenSubtestsentsprechendenFaktorensind(Carroll,1993):

VZ:Visualization:Ability inmanipulatingvisualpatterns,as indicatedby levelofdifficultyandcomplexityinvisualstimulusmaterialthatcanbehandledsuccessfully,withoutregardtothespeedoftasksolution.SR:SpatialRelations:Speed inmanipulatingrelativelysimplevisualpatterns,bywhatevermeans(mentalrotation,transformation,orotherwise).[…]P:PerceptualSpeed:Speedinfindingaknownvisualpattern,orinaccuratelycomparingoneormorepatterns,inavisualfieldsuchthatthepatternsarenotdisguisedorobscured.[…]IM:Imagery:Abilityinforminginternalmentalrepresentationsofvisualpatterns,andinus‐ingsuchrepresentationsinsolvingspatialproblems.(S.362f)

DerProzessdermentalenRotation(Subtest6)wirdimFaktorSR(räumlicheBeziehungen)ex‐

plizit erwähnt.DieAufgabe, die Flächenanzahl dargestellterKörper zubestimmen (Subtest 7)

kann sowohl dem Faktor Visualisation (VZ) als auch dem Faktor Imagination (I) zugeordnetwerden.Carroll(1993)bezeichnetesalswünschenswert,dasseinestatistischeUnterscheidung

dieserbeidenKonstruktenachgewiesenwird.DieBeschreibungdesFaktorsWahrnehmungsge‐

schwindigkeit(P)entsprichtweitestgehendSubtest8,sodasserwartetwerdenkann,dassalledreiSubtestszumStratumIIFaktorVisuelleWahrnehmunggehören.

Alselementarycognitivetasks(ECT)bezeichnetCarroll(1993,S.11)Aufgaben,„inwhicha

personundertakes,orassigned,aperformanceforwhichthereisaspecifiableclassof‘success‐ful’or‘correct’outcomesorendstateswhicharetobeattainedthrougharelativesmallnumber

ofmentalprocessesoroperations”.IndenAnalysenwerdenalsECTu.a.folgendeAufgabenty‐

penbeschrieben(Carroll,1993):

Visualsearch:Inthisparadigm,avisualstimulusispresented(forexample,aparticularlet‐ter ordigit), followed shortly bya series of further stimuli; the subject’s task is todecidewhethertheinitialstimulusispresentorabsentintheseries.Measurementsincludenotonlyreactiontimesandaccuraciesbutalsothelinearregressionparameters(intercept,slope)ofRTsonthenumberofstimuliintheseriestobesearched.Scanandsearch:Thisisavariantofvisualsearch.InScanandSearch,asstudiedforexamplebyNeisser(1967),thestimulustobesearched for ispresented initiallythere isthena longseriesofitems(eachcontainingaseriesofstimuli)inwhichthisstimulusistobesearched:thesubject’staskistoindicatewhethertheinitialstimulusispresentorabsentineachsetoftargetstimuli.ThetaskisthusverysimilartomanythatareusedinmeasuringthePercep‐tualSpeedfactor,forexampletheFindingA’stest…(S.480)

Die Subtests 9 und 10 entsprechen derartigenVergleichsprozessen, die Carroll als ProcessingSpeedzusammenfasst.

Page 42: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

42·DasneueLeistungsprüfsystem(LPS‐neu)

Subtest11wirdimStratumIIFaktor„BroadCognitiveSpeedness“alsNumericalFacility(N)

beschrieben:„TypicalTestsoffactorNemphasizespeedaswellasaccuracyinhandlingsimpleproblems. It appears that themost construct‐valid tests of N are those that dealwith simple

problems,thatis,addition,subtraction,multiplication,ordivisionofnumberswithasmallnum‐

berofdigits”(Carroll,1993,S.469).Eskanndavonausgegangenwerden,dassdieAdditionvonzehnZiffern(Subtest11)dieserBeschreibungentspricht.

Carroll (1993) thematisiert in der Behandlung der Fähigkeiten bezüglich kognitiver Ge‐

schwindigkeitdasProblemderDifferenzierungvonSpeedundPower(auchLevel).ErkommtzudemSchluss,dassessichumzweiunterscheidbareAspektederLeistungsfähigkeithandelt.Ins‐

besonderefürSubtest9fälltdieKlassifizierungalsECTschwer,dahierbeiauchdieSorgfalteine

großeRolle spielt.UnterdiesemAspektwäreeineEinordnung imStratumIIFaktorKognitiveGeschwindigkeitehergerechtfertigt.InwieferndiedreiSubtests9,10und11aufzweihöheren

Faktorenladen,solljedochstatistischimRahmenderAnalysedesModellsgeklärtwerden.

Page 43: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion·43

4. ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion

4.1 Äquivalenzstudien

Franke(1998)fassteeinigeUntersuchungenbezüglichderÄquivalenzvonPapier‐Bleistift‐Tests(PBV) mit ihren korrespondierenden Computerversionen (CV) zusammen, um anschließend

eigeneErgebnissevonvierPersönlichkeitsinventarenvorzustellen.FürdiePersönlichkeitsver‐

fahrenSCL(SymptomChecklisteSCL‐90‐R;Franke,1995),POMS(ProfileofMoodStates;Biehl,Dangel & Reiser, 1981), FPI (Freiburger Persönlichkeitsinventar; Fahrenberg, Hampei & Selg,

1994)und IMP (Inventar zurErfassung interpersonalerProbleme;Horowitz, Strauß&Kordy,

1995)wurdemitEinschränkungenineinzelnenSubskalenprinzipielleÄquivalenzzwischenCVundPBVgefunden.BesonderesAugenmerksoll abervorallemaufderZusammenstellungder

Äquivalenz‐UntersuchungenzuIntelligenz‐undLeistungstestsliegen(Franke,1998,S.47ff).In

achtder24zitiertenStudienwerdenMatrizentestsnachRaven(1958)untersucht.InzweiStu‐dien wurde der Intelligenz‐Struktur‐Test (Amthauer, 1970) überprüft. Die weiteren Studien

betrachtenentwederTestbatterienoderimdeutschenSprachraumwenigergängigeVerfahren.

BezüglichderMatrizentests fandFranke (1998, S.52f) folgendeUnterschiedebzw.Übereinst‐

immungen:

KeineAbweichungen der computerunterstützt erhobenen Ergebnisse von 15 untersuchtenKindernzuHandbuchdatenbeiRAVEN’SPROGRESSIVEMATRICES(Raven,Court&Court,1977)fandenRockundNolen (1982).CalvertundWaterfall (1982) stelltendieGleichheitbeiderVersionen vonRAVEN’SSTANDARDPROGRESSIVEMATRICES (Raven,1958)bei83Schülern fest.AuchCollinsundOdell(1986)fandenbeiderUntersuchungvonnur16aphasischenPatien‐tenkeineUnterschiedebeiRAVEN’SCOLOUREDPROGRESSIVEMATRICES.1991hingegenstelltenNeubauer,UrbanundMallebeieinerUntersuchungan100Studie‐renden fest, daß die Computeranwendung bei RAVEN’S ADVANCED PROGRESSIVE MATRICES(Kratzmeier,1976)zudeutlichschlechterenErgebnissenführtealsdieherkömmlichePapier‐Bleistift‐Anwendung.AuchKubingerundFarkasfanden1991schlechtereTestergebnisseun‐ter der Computerbedingung bei 156 Grundwehrdienern in der Anwendung der STANDARDPROGRESSIVEMATRICES.Weibel[1991]allerdingsfandbei66SchülernkeineUnterschiedehin‐sichtlichderMatrizentests;undauchNorris(1994/1995)belegtdieVergleichbarkeitbeiderVersionenbei56Schülern.

DieUrsachenfürsolcheheterogenenBefundekönneninderStichprobe, inderUmsetzungder

Computerversionen,aberauchinderArtderMatrizen(essindschließlichfünfunterschiedliche

Versionen)gesehenwerden.FürdenIntelligenz‐Struktur‐Test(Amthauer,1970)fandenBulhel‐ler(1994)undWeibel(1991)jeweilsbessereBearbeitungsleistungeninderCV.Fürdieübrigen

Verfahrenwird in etwabeiderHälfteÄquivalenzbeschrieben; inder anderenHälfte sinddie

ProbandenentwederinderCVoderderPBVbesser.DasBildistalsoverfahrensbedingtunein‐heitlich.

Für englischsprachige Verfahren liegen inzwischen einige Meta‐Analysen vor. Wang et al.

(2007)untersuchtenineinerMeta‐AnalysevonMathematiktestsfürSchülerModeratorvariab‐len.IneinemRegressionsmodellzurKlärungderMittelwertsunterschiede(operationalisiertals

Page 44: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

44·ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion

Effektstärke )habendieKlassenstufe(Elementar‐,Mittel‐oderHigh‐School),dieArtdesTests

(NationalerLeistungstest,nationalerFähigkeits‐bzw.FertigkeitstestodereinTestaufBundes‐staatsebene), die Art der Computerversion (kontrollierte PC‐Nutzung oder über das Internet)

unddieItempräsentationamPC(linearoderadaptiv)einenbedeutsamenEinfluss.Werdenle‐

diglichdie korrigiertenMittelwertsunterschiede vonPBVundCVverglichen, zeigt sichbei 13der44StudienebensoeinsignifikanterUnterschiedwiebeiderenGesamtbetrachtung;bei18

StudienistderBetragdesEffektskleinergleich0.05.

MeadundDrasgow(1993)untersuchtenmetaanalytisch159KorrelationenzwischenCVundPBVeinzelnerSubtestsverschiedenerTestbatterienaus28Studien.Sieunterschiedenzwischen

„powertests“und„speededtests“.SpeedtestswurdendabeialsTestsmitrelativähnlichen,prin‐

zipiellvonjedemlösbarenAufgabendefiniert.„Timedpowertests“beschreibenTestverfahren,die trotz allgemeiner Zeitgrenze vorwiegendüber die Schwierigkeit der Itemsdiskriminieren.

Diesewurden jedochalsPowertestsdeklariert.DiemittlerereliabilitätskorrigierteKorrelation

(vgl.Kapitel8.3)überalleTestslagbei.90,fürdie123Powertestsbei.95undbei.72fürdie36Speedtests.DerstandardisierteMittelwertsunterschiedüberalleTestsbetrug‐0.04,nurfürdie

Powertests ‐0.03;dasnegativeVorzeichenbeschreibt,dassdieCVetwasschwierigergewesen

zuseinscheinen.FürdieSpeedtestsliegteinEffektvon0.15vor;fürdieseArtTestsscheintdieCValsoleichter.IneinemRegressionsmodellzurKlärungderUnterschiedeerwiessichdieArt

desTests(speedoderpower)alsdiebedeutsamsteVariable.DesWeiterenzeigtesichdieTest‐

batteriederStudie,ausderderTestentstammt,alsrelevanterFaktor.AlleweiterenVariablenführten zukeinerbedeutsamenSteigerungderVarianzklärung (maximal .56).Die amehesten

äquivalentenTestswarendiePowertestsderASVAB(ArmedServicesVocationalAptitudeBat‐

tery, ∗ .97).AußerdemwurdenDAT(DifferentialAptitudeTests),MAB(Multidimensi‐

onal Aptitude Battery; Jackson, 1984) und verschiedene andere Verfahren unterschieden (je∗ .90).IndieserMetaanalyseerwiessichAdaptivitätnichtalsbedeutsamerModerator.

NeumanundBaydoun(1998)untersuchtendieÄquivalenzvonCVundPBVdesOST(Office

SkillsTests;ScienceResearchAssociates,1984).InihrenAugensinddiezehnSubtestsdesOSTals Speedtests zu klassifizieren, wobei sie aufgrund der Testbeschreibungen auch als „timed

powertests“geltenkönnten.Diesistinsofernrelevant,daeinigeSubtestsÄhnlichkeitenbezüg‐

lichderSubtestsdesLPSaufweisen.SiekonntenfürdieTestbatterieeineäquivalenteFaktoren‐struktur und insgesamt Kongenierität der beiden Modi (also Äquivalenz nach einer linearen

Transformation)nachweisen.Die externeValiditätbezüglichdervonExperteneingeschätzten

JobperformanceistfürCVundPBVsehrähnlichundunterscheidetsichnichtstatistischsignifi‐kant.SowohldieReliabilitätder jeweiligenModialsauchdieKorrelationenuntereinanderbe‐

züglichder einzelnenSubtests sind alspsychometrischgutbis sehr gut zuwerten (. 79

.98, .90).NeumanundBaydoun(1998)gebenan,dasssichkeinMittelwertaufdemSig‐nifikanzniveau von α .0005 unterscheidet. Die Reanalyse der angegeben Mittelwerte und

Standardabweichungen zeigt jedoch, dass sich siebender zehnMittelwerteunddrei der zehn

Varianzen auf einem Signifikanzniveau von α .05 bedeutsam unterscheiden, wobei in dreiVergleichendiePBVundinvierVergleichendieCVhöheremittlereLeistungenaufwiesen.Die

WahldessehrstrengenKriteriumsvon.0005wirddurchdieKontrolleeinesStichprobeneffekts

( 411)begründet.DadieeigentlichzubestätigendeHypotheseaberdieGleichheitderMit‐

Page 45: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion·45

telwertebzw.Varianzenist,solltedasSignifikanzniveauehererhöhtanstattverringertwerden

(Liebert&Liebert,1995).Květon, Jelínek,VobořilundKlimusová (2007)untersuchtendenEinflussunterschiedlicher

BildschirmdarstellungenundBearbeitungsreihenfolgenderModiaufdieÄquivalenz.Sievergli‐

chendiePBVderslowenischenFormdesBourdonTests(Senka,Kuruc&Čečer,1992)mitzweiCV:graueSymboleaufweißemGrund(regulär)undweißeSymboleaufgrauemGrund(invers).

DerBourdonTestisteinKonzentrationstestähnlichdemd2(Brickenkamp,1972),beidemun‐

terschiedlich markierte Quadrate zu identifizieren sind. Es zeigen sich teilweise bedeutsameMittelwertsunterschiedezwischendenbeidenCVundderPBVbezüglichfastallerIndizes(Ge‐

samtzahlbearbeiteterItems,AnzahlrichtigsowiefalschbearbeiteterItems,relativePerformanz,

d.h.höchsteminusgeringsteAnzahlbearbeiteterItemseinerZeiledividiertdurchdiemittlereAnzahlbearbeiteterItemsproZeile). InderPBVwerdenwenigerItemsbearbeitetetals inder

regulärenCV,abermehralsinderinversenCV.InsgesamtwerdeninderPBVallerdingsamwe‐

nigsten Fehler gemacht. Der Reihenfolgeeffekt der Bearbeitungsmodi wurde für den „Test ofConcentrationofAttention“(Kučera,1992)mittelsfull‐crossedDesign(d.h.TestundRetestin

denBedingungenPBV‐PBV,CV‐CV,CV‐PBVundPBV‐CV)überprüft.DieAufgabedesProbanden

istes,Zeilenmitzweimal15ZeichenzuvergleichenundunterschiedlicheZeichenzumarkieren.Für alle vier Indizes (Gesamtzahl bearbeiteter Zeilen,Anzahl richtig sowie falsch bearbeiteter

ZeilenunddasVerhältnisvonfalschbearbeitetenZeilenzurGesamtzahl)zeigensichInterakti‐

onseffektebezüglichReihenfolgeundModus.DiePost‐hoc‐Analysenzeigen,dassdieLeistunginderPBV‐PBV‐Bedingungkonstantbleibt,dieGesamtleistungunddieAnzahlrichtigerLösungen

indendreianderenBedingungenzunehmensowiedieFehlerzahlnurinderCV‐PBV‐Bedingung

signifikantansteigt.

4.2 ZurÄquivalenzdesLPS

ZumLPSsindnursehrwenigeÄquivalenzuntersuchungenaufzufinden.EinedererstenUntersu‐

chungendürftedieArbeit vonFenske (1992; zitiertnachHänsgen,1999) sein,diediebeidenParallelversionen der ersten vier Subtests des LPS an 60 Probanden je einmal in der CV und

einmal in der PBV testete. Ohne Berücksichtigung, welche Parallelversion bearbeitet wurde,

korrelierenPBVundCVvonSubtest1/2(Allgemeinbildung)mit .87,vonSubtest3(LogischesDenkenfigural)mit.76undvonSubtest4(LogischesDenkenabstrakt)mit.82.DieMittelwerte

undStandardabweichungenderModibeiSubtest1/2unterscheidensichsignifikant(CV<PBV);

fürdieSubtests3und4 liegenkeinebedeutsamenUnterschiedevor.Troche,RammstedtundRammsayer(2002)bemerkenjedoch,dassindieserUntersuchungdurchdieMittelungüberdie

beidenParallelformenderenEffektemitdenEffektenderDurchführungsbedingungkonfundiert

sind. In ihrer Untersuchung bearbeiteten die Probanden entweder zuerst am PC und nachzehnminütigerPauseinderPBV(n 66)oderumgekehrt(n 65)jeweilsdieselbenAufgaben

der vier LPS‐Subtests (Parallelform A). Zur Überprüfung der Äquivalenz der beiden Bearbei‐

tungsbedingungenwurde jeweils die erste Testung genutzt, um Lern‐ und Transfereffekte zuvermeiden.DieRolledesStichprobeneffektsbleibt jedochunerwähnt.DerMittelwertderPBV

vonSubtest1/2istumrundsechsRohwertpunktehöheralsinderCV(d 0.70).DieserUn‐

terschiedistebensosignifikantwiebeiSubtest3,wobeihierinderCVimSchnittzweiAufgaben

Page 46: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

46·ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion

mehrrichtigbearbeitetwurden.FürSubtest4liegenkeinestatistischbedeutsamenUnterschie‐

devor.DiejeweiligenModiderSubtestskorrelierenbezüglichderBearbeitungsreihenfolgeähn‐lich, jedoch nur für Subtest 1/2 in für parallele Versionen angemessener Höhe (Subtest 1/2:

.79, .87; Subtest 3: .65, .62; Subtest 4: .66, .59). Die Re‐

testreliabilitätderCV istnur fürSubtest1/2gut (Subtest1/2: .94;Subtest3: .74;Subtest4: .55).

EinedritterviaPsychINFOauffindbarerArtikelzurÄquivalenzderPBVundCVdesLPS ist

dieArbeitvonKlinck(1998).DieStichprobebestehtausfürdieeinzelnenSubtestsdurchschnitt‐lich 91 beim Arbeitsamt Ratsuchenden (vgl. Tabelle 4.1), denen entweder zuerst die CV und

nacheinigenweiterenTestsdiePBVoderumgekehrtvorgelegtwurde.

Tabelle4.1: ErgebnissebezüglichdesLPSausderStudievonKlinck(1998)

SubtestLPS‐neu ′1/2 1 102 139 .86 .89 33.6 10.5 30.2 10.2 0.32*3 3 106 83 .80 .76 25.9 5.4 23.8 5.6 0.38*4 4/5 98 83 .64 .76 25.5 3.5 26.9 4.7 ‐0.34*7 6 81 87 .68 .65 17.3 6.9 15.0 4.8 0.38*8 ‐ 88 79 .61 .81 23.0 10.3 28.6 10.8 ‐0.53*9 7 89 80 .80 .79 23.4 6.2 25.0 6.6 ‐0.26*10 8 81 88 .68 .67 23.1 7.7 26.6 6.9 ‐0.48*11 ‐ 103 74 .46 .60 20.4 6.0 18.6 4.5 0.33*12 2 102 73 .82 .65 24.2 6.1 23.4 5.3 0.13*

Bemerkung: P=Papier‐Bleistift‐Version,C=Computerversion; dieReihenfolgederBuchstabenentsprichtderDurch‐führungsreihenfolge.

* markiert signifikante Mittelwertsunterschiede nach den Angaben von Klinck (1998, S. 67, Tabelle 3;.05).EineReanalysederangegebenenWertemittels ‐TestfürunabhängigeStichprobenergibtfüralle

neunSubtestssignifikanteUnterschiede( .05)derMittelwerte.

FüreinigeLPS‐Subtests(1/2[1],3[3],7[6]und11[‐];[imLPS‐neu])zeigensichVorteilebezüg‐

lichderPBV,andere (4 [4/5],8 [‐]und10 [8]) scheinen inderCV leichter zu sein.Auchhier

wurde jeweilsdieersteTestungverglichen,sodassStichprobeneffekteprinzipiellnichtausge‐schlossenwerden können. Die Korrelationen der beiden Durchführungsbedingungen sind be‐

züglich der Interpretation als parallele Verfahren teilweise gut und konsistent über dieModi

(Subtests1/2[1],3[3]und9[7]),teilweisesinddieZusammenhängeaberzugering(Subtest10[8])oder inkonsistent (Subtests8 [‐],11 [‐]und12 [2];vgl.Tabelle4.1).DerUnterschiedder

StandardabweichungenderSubtests4[4/5],7[6]und11[‐]istebenfallsjeweilsstatistischbe‐

deutsam( .05).SowohlTrocheetal.(2002)alsauchKlinck(1998)diskutierenmöglicheUrsachenderNicht‐

Äquivalenz der LPS‐Subtests. Ein testimmanenter Grund könnte der Speed‐Charakter einiger

Subtestssein,wieesbeispielsweisebeiMeadundDrasgow(1993)dargestelltwird.DadieLPS‐SubtestsjedochkeineSpeedtestsimeigentlichenSinnesind,sondernvielmehrtimedPowertests

wieetwadieOST‐Subtests(Neuman&Baydoun,1998;s.o.),isteseherunwahrscheinlich,dass

dieseBegründung als alleinige ErklärungderEffekte dienen kann. Lee,Morenound Sympson(1986)testetendieÄquivalenzeinesarithmetischenReasoningtestsohneBegrenzungderBear‐

beitungsdauer.HierbeiwarendieLeistungeninderPBVsignifikant( .05)besser.Trocheet

al. (2002)vermutenweiterhin,dassdieBindungderAufmerksamkeitbeiderEingabederLö‐sungen, die feste VorgabederBearbeitungsreihenfolge der Items sowie die fehlendeMöglich‐

Page 47: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion·47

keit,frühereItemszukorrigieren,fürdieschlechterenLeistungeninderCVeineRollegespielt

habenkönnten.Dieentzerrte,einzelneDarstellungderItemskönntehingegenalsErleichterungbeiderBearbeitungderCVgesehenwerden.Klinck(1998)gibtdarüberhinausan,dassinder

CVfüreinigeSubtestsdieAntwortfeldersowiedieDarstellungderItemsgeändertwordenseien

undvermutetzuRechteinenEinflussdieserÄnderungenaufdieÄquivalenz.

4.3 BedingungenfürÄquivalenz

Bereits1988bemängeltHonaker,dassvieleStudienzurÜberprüfungderÄquivalenz lediglich

einenMittelwertsvergleichderbeidenModiheranziehen.DaaberdieÄnderungderItempräsen‐tationaufdemBildschirmunddieEingabederAntwortviaTastatureherzuzweiunterschiedli‐

chenTestsführenalszuäquivalentenFormeneinesTests,seidiegemeinsameNutzungvonVa‐

liditätsbelegen und Normdaten „potentially jeopardized“ (S.561), also gefährdet. Honaker(1988)beschreibtdreiAspektederÄquivalenz:psychometrischeEigenschaften,experimentelle

ÄquivalenzundRelativitätderÄquivalenz.

4.3.1 PsychometrischeÄquivalenz

ZweiTestssindgenaudannäquivalent,wennsieparallelsind(ITC,2005;vgl.Kapitel8.2),wennsie also gleiche Mittelwerte, gleiche Varianzen, identische Verteilungen und Rangordnungen

habensowiemitanderenVerfahreninderselbenHöhezusammenhängen(Gulliksen,1950;Lord

&Novick,1968).UnterdiesenBedingungensinddiebeidenVerfahrenaustauschbar;eskönnensowohldieselbenNormengenutztalsauchdieselbenInterpretationenundSchlussfolgerungen

gezogenwerden.BeiGültigkeitderKlassischenTesttheorie(vgl.Kapitel8)sinddieMesswerte

intervallskaliert und damit bezüglich Mittelwert und Varianz transformierbar. Dies wird bei‐spielsweise in der Angabe von T‐Werten ( 50, 10), IQ‐Werten ( 100, 15)

oderProzenträngendeutlich,dieallesamtineinanderüberführbarsind.DaheristeineGenerali‐

sierungüberzweiTestsauchdannmöglich,wennsogenannteessentielleτ‐Äquivalenzvorliegt.Diesbedeutet,dasseineakzeptableKorrelationderbeidenTestsvorliegtunddieVerteilungen

derVerfahrenlediglichumeinenfestenWertvoneinanderverschobensind.Eineweiterenoch

etwas schwächere Annahme stellt die τ‐Kongenierität dar. Hierbei ist es zulässig, dass dieMesswerte nicht nur um eine Konstante verschoben, sondern auch multiplikativ ineinander

überführbarsind.InbeidenFällenistdieNutzunggemeinsamerNormeneherfraglich,eskann

beiGültigkeitderentsprechendenAnnahmenjedochdavonausgegangenwerden,dassvonbei‐denTestsdasselbeKonstruktgemessenwird(Steyer&Eid,2001).

UnterderAnnahmeeinerProbabilistischenTesttheoriewäredasVorgehenbeiderÜberprü‐

fungderÄquivalenzetwasanders,wobeiprinzipielldieselbenVoraussetzungengeprüftwerden.SykesundIto(1997)zeigenanhandeinesBeispiels,welcheParameterzuüberprüfensind.Sie

wendendasRaschmodell(Rasch,1960)anundüberprüfen,obdieRangreihenfolgederSchwie‐

rigkeitsparameter der Items ( ) in den beiden Bearbeitungsmodi übereinstimmen. Über eineRegressionzurVorhersagedes derPBVmittelsdes derCVkontrollierensiesowohlZusam‐

menhang(SteigungderRegressionsgleichung)alsauchMittelwertsunterschied(Interceptbzw.

Y‐Achsenabschnitt). Der Fähigkeitsparameter kann als „differenzenskaliert“ (Irtel, 1996; Rost,

Page 48: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

48·ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion

2004)erachtetwerden,d.h.additiveTransformationensindzulässig.SomitkönnendieParame‐

terschätzungensoverschobenwerden,dasseineReferenzpersoninbeidenModidenselbenFä‐higkeitswert zugewiesen bekommt. Bei absoluter Äquivalenz würden dann alle Fähigkeitszu‐

weisungen übereinstimmen. Für diese Schätzungen gelten nun wieder die Bedingungen für

ÄquivalenzderITC(2005,s.o.).

4.3.2 ExperimentelleÄquivalenz

Unter experimenteller Äquivalenz versteht Honaker (1988), dass zwei Verfahren durchaus

psychometrisch äquivalent sein können, durchUnterschiede in derErhebungdieseGleichheit

sichstatistischjedochnichtzeigt.Faktoren,diedieexperimentelleÄquivalenzbeeinflussen,be‐inhaltenemotionale,perzeptuelleundeinstellungsbezogeneReaktionenaufdiebeidenTestfor‐

men.GenaudieseAspektespielenbeiderÜberprüfungderÄquivalenzvonTestungamCompu‐

terundTestungmittelsPapierundBleistifteineentscheidendeRolle.

4.3.3 RelativitätderÄquivalenz

Honaker(1988)verstehtÄquivalenznichtalsabsoluteCharakteristikeinesTests,sondernun‐

terstelltzudemPopulations‐undIndividuenabhängigkeit.AlsBeispielführterunterschiedliche

ErfahrungmitComputernauf,diejaunabhängigvonspezifischenGruppenvorhandenseinkann.Esistwichtigzubeachten,dassindividuelleaberauchpopulationsspezifischeUnterschiedebei

derUntersuchung vonÄquivalenz berücksichtigtwerden. Die Feststellung der Äquivalenz für

einespezifischeSubgruppederAnwendungspopulationdarfnichtunreflektiertaufdieGesamt‐gruppeübertragenwerden.

4.4 InstitutionelleVorgaben

DieInternationalTestCommission(ITC,2005)hatindenRichtlinienfürcomputerbasierteundüberdasInternetdurchgeführteTestsinKapitel2„AttendtoqualityissuesinCBTandInternet

testing“ imUnterpunkt c „Where theCBT/Internet testhasbeendeveloped fromapaper and

pencilversion,ensurethatthereisevidenceofequivalence”folgendeForderungenanTestent‐wicklerformuliert(S.11,übersetztvomAutor):

1. EsmüssengründlichdokumentierteNachweisederÄquivalenzvonCBT/Internettest

und Papier‐Bleistift‐Version (wenn die CBT/Internet‐Version eine Parallelform ist)geliefertwerden.Insbesondereistzuzeigen,dassdiebeidenVersionen:

gleicheReliabilitätenhaben,

miteinanderinderderReliabilitätnacherwartetenHöhekorrelieren,

ingleicherWeisemitanderenTestsundexternenKriterienkorrelierenund

gleicheMittelwerteundStandardabweichungenaufweisenbzw.durchgeeignete

Kalibrierungineinanderüberführbarsind.

2. Bei der Konstruktion eines CBT/Internettests aus einem Papier‐Bleistift‐Test ist si‐cherzustellen,dass:

Page 49: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

ÄquivalenzvonPapier‐Bleistift‐VersionundComputerversion·49

derProbanddieselbenKontrollmöglichkeitenhat(z.B.dasAuslassenvonItems

undÄndernvonAntworten),

die Art der Itempräsentation sicherstellt, dass die Ergebnisse des

CBT/InternettestäquivalentzurPBVsindund

dasAntwortformatäquivalentist.

3. BeiInternettestssolltendieÜberprüfungderÄquivalenzunddieNormierunginder‐selbenBedingungdurchgeführtwerden,wiederTestspäterzurAnwendungkommen

soll(z.B.ungesicherteoderunstandardisierteBedingungen).

BeimVergleichdieserForderungenmitdeninKapitel4.1zitiertenStudienwirddeutlich,dasssichdieseKriterien,dieineinerersten,prinzipiellanalogenFormvonderAPAbereits1986pu‐

bliziertwurden,nochnichtdurchsetzenkonnten.Schoenfeld (1989,S.20)meintedazu: „Thus

far, little reaction fromeither test users or test/softwarepublishers hasbeen received…”. Bisdato scheintdieReaktionsbereitschaftnurbedingt größer gewordenzu sein,wobei sicherlich

einigeAusnahmenaufgeführtwerdenkönnten.

Andererseitszeigtsich,dassdasInteresseanderErforschungderBedingungenfürÄquiva‐lenznichtbesondersgroßist.Linnetal.(2002)formulierenaufBasisderErgebnisseeinesCol‐

loquiums(„Computer‐BasedTesting:BuildingtheFoundationforFutureAssessment“,Philadel‐

phia,1998)eineForschungsagenda.Abgesehendavon,dassdieForschungsthemenvorwiegendaufdieindenUSAtypischenLeistungstests,diedurchTestzentrenkonstruiertundadministriert

werden,bezogensind,findensichnurzweiStellen,andenenFragestellungen,dieaufdasThema

Äquivalenzbezogenwerdenkönnen,thematisiertwerden(S.293f.):

Isitpossibletouseitemstatisticsfrompaper‐and‐penciladministrationstoobtainitemsta‐tistics forCBTadministrations?Withwhich typesof itemswill item statistics frompaper‐and‐pencil administrations be the least usefulwith CBT administrations? […]How do thetest‐takingstrategiesofexamineesdifferunderCBT,CAT,andpencil‐and‐papertestingcon‐ditions?Howdothesedifferencesaffectscores?

DieersteFragelässtsichleichtbejahen,sobaldÄquivalenzderbeidenDarbietungsmodigewähr‐

leistet ist;dassdiesmöglich ist,wurdebereitsaufgeführt.Die zweiteFragemuss inderdeut‐schenTesttraditioninhaltlichumgekehrtwerden.EsliegteineVielzahlanTestsalsPBVvor.Wie

müssenalsodie ItemsderCVgeschaffen sein,umdie ItemparameterderPBVnutzenzukönnen

bzw.damitÄquivalenzvorliegt?DiedritteFragewirdindieserArbeitgestreiftwerden,ihreBe‐arbeitungistjedochkeinvorrangigesAnliegen.Diezweite,neuformulierteFragestelltdieBasis

derfolgendenUntersuchungendar.

Page 50: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag
Page 51: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DieComputerversiondesneuenLPS·51

5. DieComputerversiondesneuenLPS

AufBasisderÜberarbeitungdesLPSwurdedieComputerversion(CV)fürmöglichstuniversaleEinsetzbarkeitzurNutzungmittelsBrowser indenProgrammiersprachenhtmlund JavaScript

(www.w3.org) sowiephp (www.php.net) umgesetzt.Die Itemsdesoriginalen LPS‐Testbogens

wurdeneingescanntundimProgrammInkscape(Version0.46,www.inkscape.org)alsVektor‐grafikaufgearbeitet,sodassesmöglichwurde,dieDarstellungderItemsbeihöchstmöglichem

Kontrast ohneQualitätsverlust jederGröße anzupassen.DieUmsetzungderCV ermöglicht es,

dieTestungan jedemPCdurchzuführen.ZurDatenerhebungwar jedochzusätzlicheine Inter‐netanbindung notwendig, da die Daten in einer zentralen Datenbank (MySql, www.mysql.de)

gespeichertwurden.IneinerVorstudiewurdenzunächstnurBedingungenuntersucht,indenen

die Itemseinzelnpräsentiertwurden.DieHauptuntersuchungwurdeumdieDarstellungallerItemsalsAnalogiezurPapier‐Bleistift‐Version(PBV)erweitert.

5.1 BedingungenderComputerversion

ZurUntersuchungderEffekteverschiedenerDarstellungendesTestsamComputerwurdediePräsentationderItemsnachdreiBedingungenvariiert:

1. Menge:Einzelitempräsentationvs.Gesamtpräsentation

2. Bearbeitbarkeit:EinmaligesAnklickenvs.BestätigungderLösungvs.KorrigierbarkeitbiszumSubtestende

3. Zeitvorgabe:KeineAnzeigevs.AnzeigederGesamtzeitvs.Zeitbeschränkungfürjedes

ItemDerAspektderDarstellungderItemsamPCin ihrerGesamtheit,alsoanalogzurPBV, imVer‐

gleich zur Präsentation jedes Items einzeln ist insbesondere aus zwei Gründen relevant. Zum

einenwird in aktuellen Umsetzungen von bestehenden Tests als CV in der Regel die Einzeli‐temdarstellung gewählt. ZumanderenwäredieÄquivalenzderEinzelitemdarstellungaber im

Hinblick auf die Möglichkeit, adaptive Testdurchführung zu nutzen, wünschenswert. Es stellt

sichhierbeiaberdieFrage,obdurchdieseoffensichtlichdeutlicheVeränderungdesUmfeldsdesItemseineBeeinflussungderTestleistungzuerwartenist.WährendinderPBVeinItemzumin‐

dest vondenvorhergehendenundnachfolgenden Itemsumgeben ist, imLPS sogar von Items

deranderenSubtests,wirdinderCVinderEinzelitemdarstellungdasItemdemBegriffentspre‐chend alleine abgebildet. Es fehlen somit vermeintlich störende Reize. Andererseits wird der

RückgriffaufbereitsbearbeiteteItemserschwert.AufeinbereitsangewandtesLösungsschema

kannnurmehrüberdessenmentaleRepräsentationzurückgegriffenwerden.InderPBVisteshingegenleichtmöglich,sicheinbereitsbearbeitetesItemwiederholtzuvergegenwärtigen.Au‐

ßerdembestehtinderPBVdieMöglichkeit,ohnegroßenZeitverlustItemsauszulassenunderst

späterzubearbeiten. InderCVvielerTestsgibteskeineMöglichkeit,dieAntwortvonbereitsbearbeitetenItemszuändern;ineinigenTestsistdasÄnderndesletztenodervorletztenItems

erlaubt.AberauchinTestsmitCV,dieprinzipielldasÄndernvonAntwortenzulassen,istdiese

ÄnderungbeiEinzelitemdarstellungmiteinemgrößerenZeitverlustverbundenalsineinerPBV.WerdenalleItemsanalogzurPBVauchinderCVgesamtdargestellt,ergibtsichinderRegeldas

Page 52: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

52·DieComputerversiondesneuenLPS

Problem,dassbeivielenTests(insbesonderedemLPS)dieZahlderItemssogroßist,dasseine

gleichzeitigeDarstellungallerItemsnichtmöglichist,dadieItemsindiesemFallsokleinska‐liert seinmüssten, dass sie nicht oder nur kaum lesbarwären (zumindest aufMonitoren der

üblichenGröße).NurdurchScrollenkönnendanndieerstenoderletztenItemsgesehenwerden.

AuchdiesstellteinevermeintlicheEinschränkungimVergleichzurPBVdar,wobeidieserEffektals nicht besonders groß erachtetwerden kann. Ein Nachteil der Gesamtdarstellung sei noch

erwähnt: ImGegensatzzurEinzelitemdarstellungkanneshierbeipassieren,dass Itemsverse‐

hentlichvergessenbzw.ausgelassenwerden.InsbesonderebeiTests,derenPBVineinTestheftundeinenAntwortbogenunterteiltist,kanneszudempassieren,dassdurchdasVerrutschenauf

demAntwortbogenalleabdiesemZeitpunktbeantworteten Itemsals falschgewertetwerden.

BeiderEinzelitemdarstellunghingegenistnureinbewusstesAuslasseneinesItemsmöglich.Der zweite Faktor, die Variation der Bearbeitungsmöglichkeiten, ist insofern relevant, als

dasshierinverschiedenenUmsetzungenvonPBVjeweilsGebrauchgemachtwird.InderMehr‐

heitderCV,diedieItemseinzelndarstellen,isteineLösungauszuwählenundzubestätigen,umzumnächstenItemzugelangen.EinigeVerfahrenverzichtenjedochaufdieBestätigung.Fallszu

bereitsbearbeitetenItemszurückgekehrtwerdenkann,istdiesinderRegelmitderMöglichkeit

der Korrektur verbunden. Diese dritte Variante entspricht am ehesten dem Prozedere in derPBV,woindenmeistenTestverfahrenÄnderungenbereitsabgegebenerLösungenzulässigsind.

IneinerCVmitEinzelitemdarstellungisteinesolcheKorrekturjedochmiteinemgewissenAuf‐

wand verbunden, daman ja erst zu dem entsprechenden Item zurückfindenmuss. Durch dieVerhinderungdieserMöglichkeitwirdsomiteinderartigerRessourcenverbrauchunterbunden,

wasdazuführenkann,dassstattdessenmehrereItemsbearbeitetwerdenundsomitzumindest

dieWahrscheinlichkeit, weitere richtige Lösungen bzw. Rohpunkte zu sammeln, erhöhtwird.Andererseits kann insbesondere die Bedingung, in der ohne Bestätigung zum nächsten Item

gewechselt wird, zu Frustration führen, wenn sich der Proband lediglich verklickt und somit

seinenFehlerunmittelbarbemerkt.DieswiederumkannzueinerErhöhungderAufmerksam‐keitunddamit zumehrkorrektenLösungen führen.HinsichtlichdesAnwendungsaspektsdes

adaptivenTestensgiltfernerzubedenken,obdasZulassenvonKorrekturenüberhauptumsetz‐

barist.DadiePräsentationvonspäterenItemsvonderrichtigenbzw.falschenBearbeitungdervorhergehendenItemsabhängt,führteineÄnderungeinerbereitsabgegebenLösungzurÄnde‐

rungdesbereitsbeschrittenenEntscheidungsbaumes.DurchunmittelbareBerechnungderPer‐

sonenfähigkeitnachjedemItemsolltedieseSituationzwarprinzipiellhandhabbarsein,dieÄn‐derungenderParamaterderindenzwischendererstenLösungundderKorrekturbearbeiteten

ItemsstellenjedocheinengewissenAufwanddar,sodassindiesemSinneÄquivalenzohneKor‐

rekturmöglichkeitwünschenswerterwäre.Insbesondere der Aspekt der Aufmerksamkeit und Konzentration wird durch den dritten

Faktorberührt:dieVorgabederBearbeitungszeit.AlledreiBedingungenhabenVor‐undNach‐

teile.KeineZeitangabeentspricht inderRegelderBearbeitungderPBV. ImUnterschieddazuhatderProband inderEinzelitemdarstellung(aberauchbedingt inderGesamtdarstellung) in

derCVdenNachteil,dassereinenschlechtenÜberblicküberdiebereitsbearbeitetenundnoch

zubearbeitendenItemshat.DerVorteilist,dassdieProbandenzumEndedesTestsnichtbegin‐nenkönnenzuraten.DiesstelltsichvornehmlichalsProblemderVariantederCVdar,inderdie

restlicheoderabgelaufeneZeitwährendderBearbeitungangezeigtwird.Anderseitskönnendie

Page 53: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DieComputerversiondesneuenLPS·53

Items,dienichtunmittelbarzumSchlussbearbeitetwerden,ohnedenStressdervermeintlich

ablaufendenBearbeitungszeitgelöstwerden.DurchdieVorgabederBearbeitungszeitproItemwirdeingewisserDruckaufgebaut,sobalddieSchwierigkeitderItemseineproblemloseBear‐

beitungohneZeitnotnichtmehrzulassen.DemgegenüberforcierteineBegrenzungderBearbei‐

tungsdauer einzelner Items die Beschäftigungmit einer größerenAnzahl von Items, die dannaberteilweiseheuristischoderdurchRatengelöstwerdenmüssen.

5.2 AbleitungvonHypothesenaufGrundlagederBedingungenderComputerversiondesLPS

AusdemvorhergehendenKapitelwirddeutlich,dassdievariiertenBedingungendersozusagen

unterschiedlichenComputerversionenzumeistsowohlförderlichealsauchhinderlicheAspektebezüglichderÄquivalenzderbeidenModi(CVundPBV)habenkönnen.Esistzuerwarten,dass

die Relevanz des Einflusses zudem abhängig von den speziellen Eigenschaften der jeweiligen

Subtestsist.UmeineFlutvonHypothesenformulierungen,dieimExtremfallin165Paarverglei‐chen(3311 3211 99 66 165)bezüglichCVvs.PBVplusdendiversenInteraktions‐

und Haupteffekten resultieren würde, zu vermeiden, wird die Forschungsfrage der Arbeit in

allgemeinerFormgestellt,ohnedabeizuprüfendeeinzelneHypothesenauszuformulieren.HinsichtlichderderzeitigenPraxisderÜbertragungvonPBVeinesTestsaufdenComputer

wärederIdealfall,dassunabhängigvonderFormderCV,alsounterallenBedingungen,Äquiva‐

lenzvorliegt.ImRahmenderKTTbedeutetÄquivalenz,dassdiebeidenTestungen(CVundPBV)parallel sind. Zur Nutzung derselben Normen muss strenge Parallelität gefordert werden. Es

müssendaherMittelwertundVarianzüberprüftwerdenundfolgendenZusammenhangerfüllen

(vgl.(8‐8)):

(5‐1) ,

AußerdemmussdieKorrelationderErgebnisse indenModiausreichendhochsein.NachLie‐

nert undRaatz (1998, S.269) ist eine angemesseneUntergrenze für die Re‐ und Paralleltest‐ReliabilitätvonstandardisiertenLeistungstests.80,also:

(5‐2) .80

BeiderUmsetzungderPBVaufdenComputeristzuerwarten,dasseinefast identischeAbbil‐dungdesTests,sprichalsGesamtdarstellungmitKorrekturmöglichkeitundohnesichtbareZeit‐

angabe, am ehesten zu äquivalenten Ergebnissen führt, da hierbei lediglich den Computer als

solches betreffende Faktoren (z.B. Ängste, Skepsis, Eingabemodalitäten) verzerrend wirkenkönnen;dieseEinflüssewirken jedoch in jeder anderenBedingungderCVauch.Dementspre‐

chendwirdindieserBedingungamehestenÄquivalenzerwartet.

Page 54: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag
Page 55: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

InferenzstatistischeMethoden·55

6. InferenzstatistischeMethoden

IndiesemKapitelwerdendiefürdieAuswertungderUntersuchunggenutztenstatistischenVer‐fahrenvorgestelltund ihreAuswahlbegründet.Ausgespartbleibendie fürdieÄquivalenzprü‐

fungrelevantenVerfahren,dieimfolgendenKapitelgesondertbeschriebenwerden.

6.1 Mittelwertsvergleiche

Neben denWithin‐Vergleichen der beiden Durchführungsmodiwerden auch unterschiedliche

Gruppenzuvergleichensein,z.B.eineGruppe,diePBVzuT1durchführt,mitderGruppe,diedie

PBVzuT2durchführt.ÜblicherweisewerdenfürMittelwertsvergleicheunabhängigerStichpro‐ben ‐Testsberechnet.AufgrundderÜberlegungenvonKubinger,RaschundModer(2009),dass

derWelch‐TestwegenseinergrößerenRobustheitdem ‐Testvorzuziehensei,sollendiemögli‐

chenstatistischenVerfahrenkurzbeleuchtetwerden.DiehlundArbinger(2001)stellenfürdenMittelwertsvergleich zweier unabhängiger Stichproben den ‐Test, den ‐Test und den

Welch‐Testvor.FürsehrkleineStichprobenempfehlensiedenFisherRandomisationstest.Vom

Wilcoxon‐RangsummentestwirdinsbesonderebeiintervallskalierteDateneherabgeraten.Fürden ‐TestgeltendiestrengstenVoraussetzungen fürdiezuprüfendenStichproben.Es

wirdangenommen,dassdieMessgröße inbeidenPopulationenunabhängignormalverteilt ist.

DieVarianzderMessgrößewirdalsinbeidenGrundgesamtheitenidentisch(homogen)angese‐hen. Bei ‐Test und ‐Testwird die Gleichheit der Varianzen nicht vorausgesetzt. Im ‐Test

müssendieeigentlichbenötigtenVarianzenderGrundgesamtheitdurchdieStichprobenvarianz

geschätztwerden (sofern sienichtdochbekannt sind).Der ‐Test basiert prinzipiell auf derSchätzung durch die Stichprobenvarianzen. Für die valide Wahl des ‐Tests müsste also die

NormalverteilungderMessgröße in denbeiden StichprobenunddieGleichheit derVarianzen

überprüftwerden.Kubingeretal. (2009)argumentierennunentsprechenddenAusführungenvonDiehlundArbinger(2001),dassesdadurchzueinerHäufungvonSignifikanztestsundso‐

mitzueinerKumulierungdes ‐Fehlerskommt.DabeiVorliegenderVoraussetzungenfürden

‐Test bei gleichenStichprobengrößendieselbenund selbst bei stark abweichendenStichpro‐bengrößen approximativ die gleichenErgebnisse für ‐Test und ‐Test resultieren, sollte auf

die Prüfung der Varianzhomogenität verzichtet werden und generell der ‐Test angewandt

werden.DiehlundArbinger (2001) führenzudeman,dassder ‐TestzwarbeigleichenStich‐probengrößen robust gegenüber dieser Verletzung ist, auf ungleiche Fallzahlen allerdings äu‐

ßerstempfindlichreagiere.FürgroßeStichproben( 30, 30)empfehlenDiehlundAr‐

binger(2001)den ‐Test,dadessenPrüfgrößestandardnormalverteiltistundsomitkeineFrei‐heitsgradeberücksichtigtwerdenmüssen.ZudemnäheresichdieStudent ‐Verteilungfürgroße

Fallzahlen ohnehin der Normalverteilung an. Für kleinere Fallzahlen empfehlen auch sie den

‐Test.DiePrüfgrößeistfürbeideVerfahrendieselbe(Diehl&Arbinger,2001):

(6‐1) | | | | | |

AufgrundderdenVoraussetzungenentsprechendunterschiedlichenAnnahmenhinsichtlichder

GültigkeitderSchätzungderPopulationsvarianzdurchdieStichprobenvarianzwerdenfür und

Page 56: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

56·InferenzstatistischeMethoden

unterschiedlich Verteilungen angenommen. wird als standardisierteMittelwertsdifferenz

zweier normalverteilter Variablen als standardnomalverteilt angesehen, so dass die Wahr‐scheinlichkeitdesresultierendenWertesunterderH0: durchdiekumulierteNormalver‐

teilung angegebenwerdenkann ( 1 Φ | | ).DieApproximationderVerteilungderPrüf‐

größe aneine ‐VerteilungwirddurchdieBestimmungdesFreiheitsgradesdurch

(6‐2)

erreicht.HiermitkanndieWahrscheinlichkeit,dassdieresultierendeDifferenzvon0verschie‐

denist,mittelsder ‐Verteilungbestimmtwerden( 1 | || |

,wobei derDichte‐

funktionderStudent ‐Verteilungbei Freiheitsgradenentspricht).BeimVergleichvonzweiStichprobenmit je sechsVersuchspersonen entspricht dieApproximation der exaktenVertei‐

lung auf drei Nachkommastellen.Mit zunehmender Stichprobengrößewird die Schätzung zu‐

nehmendexakter(Welch,1949).Diehl und Arbinger (2001) ziehen folgende Schlüsse aus den Studien zur Robustheit von

Tests zur Prüfung desMittelwertsunterschieds zweier unabhängiger Stichproben: Die Abwei‐

chung von der Normalverteilung ist unbedenklich, sofern annähernd symmetrische Populati‐onsverteilungenvorliegen.GrößereundgleichgroßeStichprobenkönnendieEinbußenanRo‐

bustheit aufgrundschieferVerteilungen teilweiseausgleichen.Bei schiefenVerteilungensollte

dasSignifikanzniveaustrengergewähltwerden,dadas tatsächlicheRisikodes ‐Fehlersüberdemnominellenliegenkann.

6.2 SchiefeundKurtosis

SollalsoaufeinenTestaufNormalverteilungverzichtetwerden,solltenwenigstensdieSchiefeder Stichprobenverteilung betrachtet werden. Es gibt verschiedene Möglichkeiten, die Asym‐

metrieeinerVerteilungzuberechnen.HopkinsundWeeks(1990)empfehlendasstandardisier‐

teMomentdritterOrdnung,dasdurchdieFormel

(6‐3) ∑

erwartungstreuundfür 150approximativnomalverteiltistmitdemStandardfehler 6⁄ ,

sodassdiePrüfungderH0: 0möglichwäre.DerVorteilderStandardisierungist,dass,da

die Größe der Ausprägungmaßstabsunabhängig ist, auf die Signifikanztestung und somit dieKumulierungdes ‐Fehlersverzichtetwerdenkann;stattdessenwirddasAusmaßderSchiefe

anhandderBeurteilungenvonHopkinsundWeeks(1990)qualitativbetrachtet.Sieformulieren

zwarkeinedirekteBenennungderBeträgederSchiefe, sowieCohen (1988)dieshinsichtlichderBewertungderEffektstärke inspeziellenFällenvornahm,ineinigenGrafikenwerdenun‐

terschiedlicheWerte jedoch klassifiziert. Eine Schiefe von ‐0.33wird als „slight negative“ be‐

zeichnet, „moderate“werdendiebeidenWerte0.58und‐0.71gewertet;1.15nennensie„sub‐stantial“,1.76„extreme“und1.88„veryextreme“.AnalogzurEffektstärkekönntendiequalitati‐

Page 57: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

InferenzstatistischeMethoden·57

venGrenzenalsobei.3und.8gesetztwerden,wodurchSchiefenkleiner.3alsgering,zwischen

.3und.8alsmittelundüber.8alshochbezeichnetwürden4.Ein zweiter Index,der insbesonderedieAbweichungvonderNormalverteilungbeschreibt,

istdieKurtosis(imdeutschenLehrbüchernauchExzessgenannt).Siewirdgeschätztdurchdie

Funktion

(6‐4) ∑ 3 ,

wodurch dieses zentraleMoment vierterOrdnung für große approximativ nomalverteilt ist

mitdemStandardfehler 24⁄ (Hopkins&Weeks,1990).Gilt 0,wirddieVerteilungals

leptokurtischbezeichnet.ImVergleichzurStandardnormalverteilungtretendieäußerenBerei‐chehäufigerauf.ZurWahrungderVarianz(diejaauf1normiertwurde)folgtinderRegelein

höhererPeakderVerteilung(DeCarlo,1997).EineVerteilungmitwenigerextremenWertenals

dieNormalverteilungheißtplatykurtisch.DemensprechendhabenplatykurtischeVerteilungen,insbesondere beiVorliegender Symmetrie, immittleren und im extremenBereichmeist eine

geringereDichtealsdieNormalverteilung.SchiefeVerteilungensindinallerRegelleptokurtisch.

Für den Vergleich vonMittelwerten bestehen die Konsequenzen bei Vorliegen von SchiefeundKurtosis inderbeeinflusstenRobustheitdesTestsdurcheineVerschiebungdes tatsächli‐

chen ‐Fehlers.LiegteineplatykurtischeVerteilung ( 0)vor, folgtdaraus,dassderdas

‐Niveau definierende kritischeWert einen höheren ‐Value aufweist als . DieWahrschein‐lichkeit,einenFehlerersterArtzumachen,erhöhtsichalso.DerEinflusseinerpositivenKurto‐

sishängtbeimMittelwertsvergleichvonderSymmetriederzuvergleichendenStichprobenab.

PositiveSchiefewertewerdenalslinkssteilbezeichnet,negativealsrechtssteil.DurchdiedrittePotenz kommt der Differenz zumMittelwert von extremenWerten ein stärkeres Gewicht zu,

weshalbbeieinerrechtssteilenVerteilungdienachderStandardisierungnegativenlinkenWer‐

tedenentsprechendenAusschlaggeben(Bortz,2005).

4EntsprechendedemvomHopkinsundWeeks(1990)formuliertenSignifikanztestist.8derkritischeWert,andemdieH0: 0mitdem ‐Risikovon5%abgelehntwerdenmuss,wenn 25;derWert .3bildetbei 181dieGrenzefürdas ‐Niveauvon5%.

Page 58: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

58·InferenzstatistischeMethoden

a: 2.4, 1.3, 1.6, 1.4, 1.6, 1.1

b: 2.4, 1.3, 1.6, 1.4, 1.6, 0.7

Abbildung6.1: SchiefeVerteilungen(Fisher‐Tippett‐Verteilungen)zurIllustrationdesEinflus‐sesderSchiefe

Abbildung6.1veranschaulichtdenEinflussderSchiefeeinerVerteilungbeimVergleichderMit‐

telwerte. Der obere rechte Graph einer rechtssteilen Verteilung ( 1.1) zeigt aufgrundseinernegativenSchiefebeigleichemMittelwertundgleicherVarianzeinendeutlichgeringeren

Überschneidungsbereich als der untere. Ist die Verteilung der Stichprobemit dem deskriptiv

größerenMittelwert also rechtssteil (a), liegt das tatsächliche ‐Risiko über demnominellen.WerdenAussagenalsoaufdem5%Signifikanzniveaugetroffen,istdasRisiko,dieNullhypothe‐

sefälschlichabzulehnen,tatsächlichhöher.Analogistderwahre ‐Valuehöher,alservomSta‐

tistikprogrammangegebenwird.UmgekehrtkönnenbeieinerlinkssteilenVerteilung(b)Aussa‐gen auf dem 5% Signifikanzniveau als konservativer betrachtetwerden. Hopkins undWeeks

(1990)schlagenfür(a)eineVerringerungder ‐Grenzevor.IstdieVerteilungdererstenStich‐

probebzw.dieStichprobemitdemkleinerendeskriptivenMittelwertrechtssteil,hatdiesimmereineErhöhungdestatsächlichen ‐RisikoszurFolge.

0

0,1

0,2

0,3

0,4

‐6 ‐5 ‐4 ‐3 ‐2 ‐1 0 1 2 3 4

0

0,1

0,2

0,3

0,4

‐6 ‐5 ‐4 ‐3 ‐2 ‐1 0 1 2 3 4

Page 59: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

VerfahrenzurÜberprüfungderÄquivalenz·59

7. VerfahrenzurÜberprüfungderÄquivalenz

Zwei Verfahren sind dann äquivalent,wenn sie im Sinne der Klassischen Testtheorie parallelsind(ITC,2005).IndervorliegendenUntersuchungwerdendieelfSubtestsdesLPS‐neubezüg‐

lich ihrer Äquivalenz in Papier‐Bleistift‐Version (PBV) und Computerversion (CV) überprüft.

Mittels der CVwerden unterschiedlicheBedingungen zurÜberprüfung derenEinflusses reali‐siert.VariiertwerdennebendemDurchführungsmodusdieBearbeitungsreihenfolge(entweder

erst CV, dann PBV oder erst PBV, dann CV), die Präsentationsart (Einzelitemdarstellung oder

Gesamtdarstellung),dieBearbeitungsmodalität(nicht,einmaligoderbisTestendekorrigierbar)unddieVisualisierungderZeitvorgabe(ohne,gesamtoderZeitbegrenzungproItem).Diesefünf

unabhängigenBedingungenwerdenbeijedemProbandenjeSubtestvariiert,sodassjederSub‐

testalsabhängigeVariablebetrachtetwerdenmuss.DieVariationderBedingungenderCVüberdieSubtestshinweghateinenVor‐undeinenNachteil.DerNachteilbestehtdarin,dassessomit

nichtmehrmöglich ist,diegängigenmultivariatenVerfahrenanzuwenden,dahierfür für jede

abhängigeVariabledieselbenFaktorausprägungenvorausgesetztwerden.DerVorteil ist aller‐dingsdarinzusehen,dassdurchdieVariationdieKonfundierungvonStichprobeundEffekten

aufeinMinimumreduziertwird.DajedeVersuchspersonelfder15Faktorkombinationenrand‐

omisiertausgesetztwird,könnendieEffektederunabhängigenVariablenquasianhandvonelfMessungenuntersuchtwerden.

7.1 UnterschiedlichkeitderBedingungenderCV

BevordieÄquivalenzvonCVundPBVbetrachtetwird, soll zuerstdieUnterschiedlichkeitderBedingungenderCVuntersuchtwerden.ZunächstwerdenunivariateVarianzanalysenmitden

vierFaktorenBearbeitungsreihenfolge,Präsentationsart,BearbeitungsmodalitätundZeitvorga‐

befürjedenSubtestberechnet.FürdieInterpretationderEffektesolleinEffektmaßdienen.Daesnichtpraktikabelerscheint,übereineVielzahlvonPaarvergleichendieklassischenMaßeder

standardisiertenMittelwertsunterschiede (Cohen, 1969, 1988; Glass, 1976; Hedges, 1981) zu

be‐ und schließlich zu verrechnen,wird stattdessenderAnteil der erklärtenVarianz jeEffekt

betrachtet. Die drei üblichenMaße hierfür sind (Pearson, 1905, zit. nachOlejnik&Algina,

2000), (Kelley,1935)und (Hays,1963); und dienenzurSchätzungdesPopulations‐

effektes,wobei eineAdjustierungvon darstellt. beschreibtdenEffekt innerhalbeiner

Stichprobe(Olejnik&Algina,2000).DaindieserArbeitdieEffektederBedingungenhinsichtlichderelfSubtestsdesLPS‐neudiskutiertwerden, isteineAdjustierungbzgl.derPopulationvor‐

erstunnötig,sodassdieVerrechnungenfüreineerwartungstreueSchätzungzugunstenderdi‐

rektenInterpretationdesAnteilserklärterVarianzunterbleibenkann.Pierce,BlockundAguinis

(2004)weiseninihrerArbeitdaraufhin,dassinvielenStudiendaspartielle mitdemklassi‐

schen verwechseltwirdundessozueinerÜberschätzungdertatsächlichenEffektekommt.

Cohen(1973),dervermutlichdieBegriffe„klassisch“undinsbesondere„partiell“begründethat,beschreibt,fürwelchenZweckwelchesEffektmaßgeeignetist.WerdenVariablensystematisch

variiert,kannihrEinflussnichtalsFehlergesehenwerdenundfindetsomitkeinenEingang in

dieResidual‐(oderFehler‐)Varianz.DahersollteineinemSettingfürdieEffekteeinzelnerFak‐

Page 60: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

60·VerfahrenzurÜberprüfungderÄquivalenz

torenundFaktorkombinationendaspartielle genutztwerden,dadannderEinflussderübri‐

genFaktorenentfernt („auspartialisiert“)undsoeinVergleichdesEffektesüberverschiedeneExperimentehinwegermöglichtwird.AuchderEinflusskonstantgehaltenerVariablensollaus‐

partialisiertwerden,daauchsiedieResidualvarianznichtbeeinflussen.WerdenhingegenVari‐

ablenalsKontrollvariableneingeführt,gehörensiejaperDefinitionzur(allerdingskontrollier‐

ten)ResidualvarianzimexperimentellenSetting.IndiesemFallistdasklassische zuverwen‐

den.IngemischtenDesignsmitexperimentellenFaktorenundKontrollvariablensolltedement‐

sprechend ein demDesign angepasstes („custom‐tailored partial “, Cohen, 1983, S.111) Ef‐

fektmaßgenutztwerden. istdasVerhältnisderQuadratsummedesFaktorszurSummeder

QuadratsummendiesesFaktorsundderResidual‐Quadratsumme(z.B.Cohen,1973):

(7‐1) .

DieserLogikfolgendwerdenzumVergleichderEffektederDurchführungsbedingungderCVdie

partiellen berechnet.DassdieSchätzungvon zurÜberschätzungtendiert,wobeiderFehler

fürgroßeStichprobengeringerwird (Grissom&Kim,2005), führt imKontextdesZiels,mög‐lichstdieGleichheitzubelegen,zuunkritischenKonsequenzen,dadieSchlussfolgerungensomit

konservativerwerden.

Tabelle7.1: Designmatrix

Modus PBV CVPräsentation Einzeln AlleAntwortfor‐

mat Einmalig Weiter Korrigierbar Einmalig Weiter

Korrigier‐bar

Zeitvorgabe Oh‐ne

Ge‐samt

ItemOh‐ne

Ge‐samt

I‐tem

OhneGe‐samt

ItemOh‐ne

Ge‐samt

OhneGesamtOhneGesamt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Reihen‐folge

T1

T2

Bemerkungen: PBV:Papier‐Bleistift‐Version;CV:Computer‐Version;Einzeln: JedesItemwirdfürsichdargestelltundbe‐arbeitet;Alle:AlleItemsdesSubtestswerdenanalogzurPBVdargestellt;Einmalig:MitderAuswahlderLö‐sungerscheintdasnächsteItem;Weiter:ErstnachderBestätigungderEingabeerscheintdasnächsteItem;Korrigierbar:ÜbereinMenüistwährenddergesamtenTestbearbeitungjedesItemaufrufbar;Ohne:DieVpsiehtkeineZeitvorgabe;Gesamt:DieVpsiehtdieverbleibendeBearbeitungszeit;Item:DieVpsiehteinebe‐grenzteBearbeitungszeitproItem.

ObwohldieDarstellungeineVerschachtelungvonAntwortformatundZeitvorgabeimpliziert,giltdiesenuraufderEbenederPräsentation,dabeiderGesamtdarstellungkeineItembearbeitungszeitumgesetztwurde.

Der Übersichtlichkeit halberwurde darauf verzichtet, alle Kombinationen bezüglich der Reihenfolge desTestmodusaufzuschlüsseln.Unabhängigdavon,obdieSValsersteoderzweiteTestungdurchgeführtwur‐de,wurdenalledarunterstehendenBedingungeningleicherWeisevariiert.

InderKonsequenzergebensich imerstenSchrittaufdieseWeiseproSubtest15Effekte(vierHaupteffekte,sechs2‐fach,vier3‐fachundeine4‐fachInteraktion,vgl.Tabelle7.1).Fürdieein‐

zelnenEffektebzw.die derBedingungenbzw.Bedingungskonstellationenistesjedochmög‐

lich,Konfidenzintervalleanzugeben.HierfürwirddieTheoriederaufNichtzentralitätbasieren‐den IntervallschätzungdenAusführungen von Steiger undFouladi (1997) und Steiger (2004)

folgendeingeführt.

Die ‐Verteilung ist ein Spezialfall der nichtzentralen ‐Verteilung, in dem der Zen‐tralitätsparameter gleich Null ist. Die nichtzentrale ‐Verteilung hat neben den beiden Frei‐

heitsgradenvonZählerundNennereinenweiterenParameter,denZentralitätsparameter .Das

Page 61: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

VerfahrenzurÜberprüfungderÄquivalenz·61

Besonderean ist,dassunterGültigkeitderH0 gleichNullist;jeunwahrscheinlicherderinH0

postulierteZusammenhangist,destogrößerwird ,solangedasα‐NiveauunddieStichproben‐

größe gleich bleiben. Für dieBestimmung einesKonfidenzintervalls für kann nundadurch

das ProblemderAbhängigkeit der Verteilung der Stichprobenschätzungen von demWert der

Populationsgröße (Fisher, 1928;Wishart, 1932) umgangenwerden. Dies ermöglicht das Kon‐fidenzintervall‐Transformationsprinzip und das Konfidenzintervall‐Inversionsprinzip (Steiger,

2004,S.167f):

Konfidenzintervall‐Transformationsprinzip (confidence interval transformationprinciple): SeieinestrengmonotoneFunktionvon , und untereundobereGrenzeeines1 Kon‐

fidenzintervallsvon .Wennnun strengmonotonsteigendist,sind und untere

undobereGrenzeeines1 Konfidenzintervallsvon .Wenndagegen strengmono‐tonfallendist,sind und untereundobereGrenzeeines1 Konfidenzintervallsvon

.

AlsBeispiel führtSteiger (2004)dasKonfidenzintervall für eineVarianzschätzungan. FallsnunanstattderVarianzdieStandardabweichungangegebenwerdensoll, genügt es somit,die

WurzelderIntervallgrenzenzuziehen.

Konfidenzintervall‐Inversionsprinzip(inversionconfidenceintervalprinciple):Sei dieRealisa‐tion der Zufallsvariable mit der kumulierten Verteilungsfunktion , | für

einbeliebigesnumerisches .Seien mit0 1festeWerte.Wenn , streng

monotonfallendistfür beifestem ,wähle und so,dass 1

und .Wenn , strengmonotonsteigendistfür beifestem ,

wähle und so, dass und 1 .

Dann ist das Intervall ; ein 1 Konfidenzintervall von .DerBeweis für diesen

Satzwird vonCasella undBerger (2008, S.430ff) unter demTitel „Pivoting theCDF“ (also inetwa „Ausbalancieren der kumulierten Dichteverteilung“) geführt. Da die nichtzentrale ‐

Verteilung für konstante Freiheitsgrade strengmonoton fallend in ist, kann damit ein Kon‐

fidenzintervallfür bestimmtwerden.DaderZusammenhang

(7‐2) bzw.

füreinenFaktor gilt (Fleishman,1980),wobei fürdieGesamtzahlderBeobachtungen(in

der Regel die Stichprobengröße) steht, kann aufgrund des Konfidenzintervall‐

Transformationsprinzips ein Konfidenzintervall für bestimmt werden. Wie üblich wird

/2gesetzt,sodassdieIrrtumswahrscheinlichkeitumdasIntervallherumsymmet‐

risch ist.DasIntervallselbsthingegenwirdumsounsymmetrischer, jeunwahrscheinlicherdie

H0wird.BasierendaufseinemBuchstelltSmithson(2003)Syntax‐SkriptezurBerechnungder

Intervallgrenzenvon bzw. mittelsSPSSzurVerfügung,die fürdieseArbeitgenutztwer‐

den5.

EskonnteninderLiteraturkeineMethodenzurgleichzeitigenErfassungmehrerer(Varianz‐)Effekte verschiedener Variablen einer Stichprobe – und damit abhängige Effekte – gefunden

werden.WederindenklassischenLehrbüchernzuMeta‐Analysen(Hedges&Olkin,1985;Hun‐

ter & Schmidt, 1990; Rosenthal, 1984), noch in neueren Auflagen und Zusammenstellungen

5http://psychology3.anu.edu.au/people/smithson/details/CIstuff/CI.html[Stand:02.07.2010]

Page 62: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

62·VerfahrenzurÜberprüfungderÄquivalenz

(Raudenbush&Bryk,2006;Rustenbach,2003;Schulze,2004)werdenentsprechendeMethoden

abgehandelt.DerMittelwertderEffekteüberalleelfSubtestsbelegtzumindest, inwieweitdergenerelleEinflusseinerBedingungbzw.BedingungskonstellationüberhaupteineRollespielen

könnte. Der zentrale Grenzwertsatz der Statistik (z.B. Olkin, Gleser & Derman, 1980) besagt,

dassdieSummevonunabhängigenZufallsvariablen(unddamitauchderMittelwert)unabhän‐gigvonihrerursprünglichenVerteilungapproximativnormalverteilt ist.Diesbezüglichmüssen

jedoch zwei Einschränkungen inKauf genommenwerden. Zum einen kann nur in denBedin‐

gungskonstellationender3‐fachundder4‐fachInteraktionvonunabhängigenZufallsvariablenausgegangenwerden,zumanderensinddieelfZiehungenresp.SubtestseineetwasgeringeAn‐

zahlfürdieApproximation.DennochwirdderBemerkungvonConover(1999,S.58),dass„so‐

metimeswhen isassmallas5or10thenormalapproximationcanbequitegood“,folgendundinErmangelungeinerAlternativevondiesemSatzGebrauchgemachtunddaraufbasierendein

Konfidenzintervalldergemittelten proEffektbestimmt,also:

(7‐3) 1 KIvon Effekt EffektEffekt

∙ /

√,

mitdessenHilfedieBedeutsamkeitderBedingungsvariationabgeschätztwerdenkann.

7.2 UnterschiedlichkeitvonPBVundCV

DafürdenFaktor„Modus“außerderTestungsreihenfolgenur inderCVdieübrigenFaktoren

variiertwerden,spieleninderVarianzanalysehinsichtlichderÄquivalenznurdieHaupteffekte

ModusundReihenfolgeeineRolle.DiebezüglichderCVrelevantenEffektebetreffenstattdessenimmereineInteraktionmitdenFaktorenModusundTestreihenfolge(vgl.Tabelle7.2).

Zur Überprüfung der Frage, ob die Itempräsentation unabhängig von Antwortformat und

Zeitvorgaben einen Effekt bezüglich der Äquivalenz hat, muss beispielsweise die Interaktion

ModusReihenfolgePräsentation bezüglich der Subtests betrachtet und gegebenenfalls hin‐sichtlichderReihenfolgeaufgeschlüsseltwerden.Insgesamtwirdeshäufignotwendigsein,füreinzelneAspektegesonderteBerechnungenanzustellen,dainsbesondereaufSubtestebeneauch

dieunivariateBetrachtungvonInteresseist.

Page 63: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

VerfahrenzurÜberprüfungderÄquivalenz·63

Tabelle7.2: AufteilungderStichprobengruppe(G1bisG15)hinsichtlichderDurchführungderSubtestsindenjeweiligenBedingungenderCV

Modus PBV CVPräsentation Einzeln AlleAntwortfor‐

mat Einmalig Weiter Korrigierbar Einmalig Weiter Korrigier‐

barZeitvorgabe OhneGesamt ItemOhneGesamt Item OhneGesamt Item OhneGesamtOhneGesamtOhneGesamtBedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Subtest

1 A G1 G2 G3 G4 G5 G6 G7 G8 G9 G10 G11 G12 G13 G14 G152 A G15 G1 G2 G3 G4 G5 G6 G7 G8 G9 G10 G11 G12 G13 G143 A G14 G15 G1 G2 G3 G4 G5 G6 G7 G8 G9 G10 G11 G12 G134 A G13 G14 G15 G1 G2 G3 G4 G5 G6 G7 G8 G9 G10 G11 G125 A G12 G13 G14 G15 G1 G2 G3 G4 G5 G6 G7 G8 G9 G10 G116 A G11 G12 G13 G14 G15 G1 G2 G3 G4 G5 G6 G7 G8 G9 G107 A G10 G11 G12 G13 G14 G15 G1 G2 G3 G4 G5 G6 G7 G8 G98 A G9 G10 G11 G12 G13 G14 G15 G1 G2 G3 G4 G5 G6 G7 G89 A G4 G8 ‐ G11 G9,G12 ‐ G10,G13 G14 ‐ ‐ ‐ G1,G15G2,G5G3,G6 G710 A G7 G4 ‐ G6 G8,G11 ‐ G9,G12 G10,G13 ‐ ‐ ‐ G14 G1,G15 G2 G3,G511 A G2 G3 G4 G5 G6 G7 G8 G9 G10 G11 G12 G13 G14 G15 G1

Bemerkungen: AsymbolisiertdieDurchführungderPBVdurchalleVpn.ZusätzlichmussnochinnerhalbderGruppenzwi‐schendenjenigen,diediePBV,unddenjenigen,diedieCVzuerstbearbeitethaben,unterschiedenwerden.DieserFaktorwirdzugunstenderÜbersichtlichkeitnichtabgebildet.

NichtsignifikanteEffektestellenin ihrerKonsequenz(keinMittelwertsunterschied)eineners‐tenHinweis aufÄquivalenzdar.DadieDurchführungsbedingungen fürdieeinzelnenSubtests

desLPS‐neu für eineVersuchspersonunterschiedlichwaren, könnendieErgebnisse nichtmit

derklassischenmultivariatenMethodikuntersuchtwerden.Stattdessenwerdendiestandardi‐siertenMittelwertsunterschiedehinsichtlichderPBVundderCVnacheinemmultivariatenMo‐

dellvonHedgesundOlkin(1985,S.206ff)betrachtet.DasModellsollimFolgendenstarkverein‐

fachtundaufdasgegebeneSettingangepasstvorgestelltwerden:FürdiejeweiligenDurchführungsbedingungenwirdbasierendaufTabelle7.3undTabelle7.4

derEffektvektorwiefolgtberechnet:

(7‐4) , … , , … ,

mit

(7‐5) ,mit 1 ,

1, … , , … 15, 1, … , , … ,11,

wobei und dieMittelwertederCVundderPBVvonSubtest inBedingung , das ‐

teDiagnonalelement der gepooltenKovarianzmatrix (also die Varianz) und einKorrek‐

turfaktorfürkleineStichprobengrößen,derfürgrößereStichprobengegen1strebt,sind.

Page 64: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

64·VerfahrenzurÜberprüfungderÄquivalenz

Tabelle7.3: Datenlayout(nachHedges&Olkin,1985,S.207,angepasstandievorliegendeUntersuchung)

CV PBV Subtest Subtest

Bedingung Vp 1 ⋯ p ⋯ 11 Vp 1 ⋯ p ⋯ 111 1 ⋯ ⋯ 1 ⋯ ⋯ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮

1 ⋯ ⋯ ⋯ ⋯

⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮k 1 ⋯ ⋯ 1 ⋯ ⋯ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮

k ⋯ ⋯ ⋯

⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮15 1 ⋯ ⋯ 1 ⋯ ⋯⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮

15 ⋯ ⋯ ⋯ ⋯

Tabelle7.4: Parameterschätzer(nachHedges&Olkin,1985,S.208,angepasstandievorlie‐gendeUntersuchung)

Mittelwerte Kovarianzmatrix

Korrelationsmatrix

Bedingung CV PBV

1 ,… , , … , ′, … , , … , ′

⋮ ⋮ ⋮

k , … , , … , ′, … , , … , ′

⋮ ⋮ ⋮

15 , … , , … , ′, … , , … , ′

Bemerkungen: istdiegepoolteKovarianzmatrixderelfSubtestsbezüglichderBedingung ausdenbeidenKovarianz‐

matrizenderCVundderPBV.DiemittlereStreuungwirddurch berech‐

net.

Alsnächstesmussgeprüftwerden,obdieEffektgrößeneinerBedingungfüralleSubtestsgleich

sind,alsoob

(7‐6) ⋯ ⋯ ∗

gilt.Hierfürkanndiemit 1Freiheitsgradeapproximativ ‐verteiltePrüfgröße

(7‐7) ,mit

berechnetwerden. ist ein ‐(hieralso11‐)dimensionalerEinheitsvektor; istdie Inverse

derKovarianzmatrix ,derenElementedurch

(7‐8) und

(7‐9) ,

Page 65: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

VerfahrenzurÜberprüfungderÄquivalenz·65

berechnetwerden,wobei fürdieKorrelationzwischenSubtest undSubtest inBedingung

(durch geschätzt), fürdieDiagonalederMatrix , alsodieVarianzenderSubtests

und fürdieKovarianzenderSubtests und stehen.DieKovarianzmatrix kanndurch

dasProduktderKorrelationsmatrixmitderDiagonalmatrix derStandardabweichungender

Elementevon geschätztwerden:

(7‐10) ,

Anstatt die Forderung, dass in jeder Bedingung die Korrelationsmatrix gleich sein muss, zuüberprüfen,wirdderEmpfehlungvonHedgesundOlkin(1985,S.209)nachgekommenundes

werden für dieKorrelationsmatrix die Interkorrelationender Subtests der PBV genutzt.Da

dannalleVersuchspersonendenTestinderselbenBedingungdurchgeführthabenunddiePBVimmernochalsReferenzhinsichtlichderÄquivalenzdient,erscheintdiesesVorgehenangemes‐

sen.DainvorliegenderArbeit 1 10ist,liegtderkritischeWertfür beieinem von.10

bei15.99.KanndieHomogenitätderEffektstärkengezeigtwerden,kannfüreineBedingungeineinzigerParameterbestimmtwerden.„DiepräzisesteSchätzungdergemeinsamenEffektgröße

∗istgegebendurch

(7‐11) ⋯ ,

mitdemGewichtungsvektor

(7‐12) , … , “(Hedges&Olkin,1985,S.212,übersetzt).

istapproximativnormalverteilt;dieVarianzkanndurch

(7‐13)

geschätztwerden,womitdieKonstruktioneinesKonfidenzintervallsmöglichwird(vgl.Formel

(7‐3)).Beinhaltendas80%‐KonfidenzintervallnichtdieNull, sokannmiteiner Irrtumswahr‐scheinlichkeitvon10%davonausgegangenwerden,dassderEffektgrößerNullist,womitvon

einemdieÄquivalenzbeeinflussendenEffektausgegangenwerdenmüsste.WirddieNulldurch

das Intervalleingeschlossen, istdieWahrscheinlichkeiteinergravierendenBeeinflussungehergering; somitkanndannvonderGleichheitderMittelwerte fürdieseBedingungausgegangen

werden.

7.3 VergleichderVarianzen

IneinemzweitenSchrittwirdfürdieseFälledieGleichheitderVarianzmittelsT‐2V‐Testgeprüft

(nachMorgan,1939,vereinfachtdurchDiehl&Arbinger,2001).DieserTestistzurÜberprüfung

derGleichheitderVarianzenzweiabhängigerStichprobenkonstruiert.DiePrüfgröße

(7‐14) | || |

ist ‐verteiltmit 2Freiheitsgraden.DasSignifikanzniveauwirdmit .10etwashö‐hergewählt,dajadieGleichheitderVarianzenbestätigtwerdensoll(Liebert&Liebert,1995);

DiehlundArbinger(2001)empfehlensogar .20.

Page 66: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

66·VerfahrenzurÜberprüfungderÄquivalenz

7.4 AnalysederZusammenhänge

NebenderGleichheitvonMittelwertundVarianzistdieGleichheitderReihenfolgederProban‐denhinsichtlichderbeidenTestungen, sprichdieKorrelationenvonPBVundCV, relevant.Da

die Testwerte als intervallskaliert angenommen werden, wird der Produkt‐Moment‐

Korrelationskoeffizient von Pearson (z.B. 1907) genutzt, der bekanntlich das Verhältnis vonKovarianz zu den Standardabweichungen der beiden betrachteten Variablen darstellt. Hedges

undOlkin(1985)zeigen,wieanalogzudenEffektstärkenüberprüftwerdenkann,obdieKorre‐

lationenüberdieSubtestshinweginnerhalbeinerBedingunghomogensindundwiesieindie‐semFallentsprechendderStichprobengrößegewichtetzusammengefasstwerdenkönnen.Hier

müssen die Korrelationskoeffizienten mittels Fisher’s ‐Transformation konvertiert werden:

.5 1 1 ,um zunormalisieren.DergewichteteMittelwertder trans‐

formiertenKorrelationenwirddanndurch

(7‐15) ⋯ mit 3 /Σ 3

berechnet. Analog zur Überprüfung der Homogenität der Effektstärken kann die

1 ‐verteilteStatistik

(7‐16) Σ 3 z z

zurÜberprüfungderHomogenitätderKorrelationenüberdieelfSubtestshinwegjeBedingungbestimmtwerden,womitdieMittelungderKoeffizientenerstgerechtfertigtwerdenkann.Unter

derAnnahmederNormalverteilung von kann dann entsprechend zu Formel (7‐3) einKon‐

fidenzintervallfür bestimmtwerden:

(7‐17) 1 KIvon/

.

DieRückrechnungvon nach erfolgtüberdieFormel 1 / 1 .

7.5 GleichzeitigerVergleichvonMittelwert,VarianzundKovarianz

FürgrößereStichproben( 60)bestehtdieMöglichkeit,mitWilks(1946) Mittelwerte,

VarianzenundKovarianzenvonzweibzw.prinzipiell Testversionengleichzeitigzuüberprü‐

fen:

(7‐18)| |

∑.

| | istdieDeterminantederKovarianzmatrix, diemittlereVarianzund diemittlereInter‐

korrelationderTestversionenberechnetdurch 1 ∑ . istdieKovari‐

anzzwischenTest undTest ,dieprinzipiellauchdurch berechnetwerdenkann.

LienertundRaatz(1998)gebeneinevereinfachteFormelvon fürdenVergleichvonzwei

Testsan(S.302):

(7‐19) .

Page 67: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

VerfahrenzurÜberprüfungderÄquivalenz·67

Für größere Stichproben ist – approximativ ‐verteilt mit 3 3, also beim

VergleichvonzweiTests 2Freiheitsgraden,wobeiWilks(1946)für 60eineGenauig‐

keitvonzweiNachkommastellenangibt.DerVergleichvonVarianzenundKovarianzenohneBerücksichtigungderMittelwerteistmit‐

telsWilks möglich:

(7‐20)| |

.

– istapproximativ ‐verteiltmit 1 2, indiesemFallmit 1Freiheitsgra‐

den.Für 2Testversionenvereinfach sichauf

(7‐21) ,

wobeihierbesondersdeutlichwird,dass 1ist,wenndieVarianzengleichsind6.

Für den Fall, dass durch die zweite Testung eine Leistungssteigerung erfolgt, müssen für

äquivalenteVerfahrendennochdieVerteilungengleichsein.Dieskanndurch(7‐21)überprüftwerden.

6Beibeispielsweise 2 resultiert .89unddie 1 ‐verteiltePrüfgröße0.12 ;daderkritischeWertfür .05beieinemFreiheitsgrad3.841ist,müsstesomitN>33sein,damitderUnterschiedalsstatistischsignifikantbezeichnetwerdenkann.

Page 68: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag
Page 69: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

TesttheoretischeGrundlagen·69

8. TesttheoretischeGrundlagen

Die indenvorherigenKapiteln formuliertenKriterien fürÄquivalenzbasierenaufdenAnnah‐menderklassischenTesttheorie,wenngleichsiebeiderBetrachtungderFragestellungimKon‐

text anderermesstheoretischerGrundlagen (probabilistischerTesttheorienoderderGenerali‐

zabilityTheoryvonCronbach,Gleser,NandeundRajaratnam(1972))ebensoGültigkeithabenmüssen.Lord(1980) legt ineindrucksvollerKürzedieGrundlagenderKTTdar.DieseAusfüh‐

rungenliegendemnächstenAbschnittzugrunde.

8.1 TrueScore

Ausgehend von der Annahme, man hätte viele ( ) parallele Versionen eines Tests, kann der

wahre(Roh‐)Wert(TrueScore, )einerPersonalsErwartungswertderAnzahlrichtiggelöster

AufgabendurchdenMittelwertdieser Testergebnisse( )geschätztwerden.AusdieserDefi‐nition( Ε )könnennunfolgendeSchlussfolgerungenabgeleitetwerden:

DieDiskrepanzzwischenTrueScoreundMesswertwirdalsMessfehlerbeschrieben:

(8‐1) ≡ .

Da alsErwartungswertvon definiertist,istderErwartungswertvon null:

(8‐2) | ≡ | ≡ | | 0.

Gleichung (8‐2) zeigt, dass der Messfehler erwartungstreu ist. Ebenso ist der Mittelwert alsSchätzerfürdenTrueScoreerwartungstreu:

≡ ≡ .

Gleichung(8‐2)kannalsRegressionvon auf verstandenwerden.Da | unabhängigvon

konstant0ist,hatauchdieseRegressionsgleichungdieSteigungnull.SomitsindTrueScoreundMessfehlerunkorreliert:

(8‐3) 0.

DieVarianzderMesswertelässtsichnunaufgrundderUnkorreliertheitvon und (dahergilt0)wiefolgtdarstellen:

(8‐4) ² ≡ ≡ 2 .

DieKovarianzvon und istsomit:

(8‐5) ≡ ≡ .

DieTestreliabilität,alsodiequadrierteKorrelationzwischen und (Gulliksen,1950)lässtsich

nach(8‐5)somitbestimmendurch:

(8‐6) ≡ 1 .

Page 70: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

70·TesttheoretischeGrundlagen

8.2 Paralleltests

DieGleichungen(8‐1)bis(8‐6)könnendurchkeineStichprobewiederlegtwerden.Sieerlauben

aberauchkeineBestimmungvon , oder .UmdieseMaßeschätzenzukönnen,müssennunAnnahmenüberdieZusammenhängederDatengemachtwerden.Üblicherweisewirdbei

AnwendungderKTTangenommen,dassdieMessfehlerwedermitdemTrueScorenochunter‐

einanderkorreliertsind.FürTest und sollalsogelten:

(8‐7) 0, 0,

DesWeiteren ist es üblich, dieReliabilität einesTestverfahrensdurch zwei parallele Tests zu

schätzen.ZweiTestswerdendannalsparallelbezeichnet,wennProbandeninbeidendenselben

TrueScoreunddieselbebedingteFehlervarianz | haben(Lord&Novick,1968):

(8‐8) , | |

AusdengetroffenenzweiAnnahmenlassensichbeiVorliegenparallelerTestsTrueScore‐undMessfehlervarianzschätzenundsomitauchdieReliabilität:

(8‐9)

(8‐10) 1

(8‐11)

EineMessungimSinnederKTTstelltalsodieSchätzungdesTrueScoresdurchdenMesswertdar,derimFallevonLeistungstestsinderRegeldieAnzahlrichtiggelösterAufgabendarstellt.

EinenNutzenderBetrachtungderMessfehlertheoriestelltLord(1980)anhandeinesBeispiels

heraus:EinLeistungstestwirdeinergrößerenAnzahlvonKindernvorgelegt.DieKindermitdenniedrigsten Punktzahlen werden für ein Training ausgewählt. Eine Woche später erfolgt die

ÜberprüfungdesTrainingserfolgsdurcheinewiederholteTestung.EntsprechendderKTTgibt

eszweiGründe,warumeinTestwertniedrigseinkann:EntwederistderTrueScorederPersonniedrigoderderBetragdesMessfehlershochoderbeides.DieGruppederKindermitdennied‐

rigstenWertenhabenamwahrscheinlichstennichtnurniedrigeTrueScores,sondernauchhohe

Messfehlerbeträge.DieChance,dassbeieinerzweitenTestungderMessfehlerwiederhochaus‐fällt,istgering.Daheristzuerwarten,dassdieseSubstichprobeimMitteleinenhöherenMess‐

wert bekommenwird, der ohneBerücksichtigung derKTT als Trainingseffekt erklärtwerden

würde.„Thiseffecthascausedmanyeducationalinnovationstobemistakenlylabeled‚success‐ful‘“(Lord,1980,S.5).

Auch indenprobabilistischenTesttheorienwirdderErwartungswertdesMesswertesTrue

Score genannt. Ebenso bezeichnet derMessfehler die Abweichung desMesswertes vom TrueScore.DahersinddieMessfehlernotwendigerweiseerwartungstreuundvomTrueScoreunab‐

hängig. Annahme (8‐7) wird ebenso erfüllt wie alle anderen Gleichungen (Lord, 1980). Zum

SchlussdieserDarstellungderKTTwerdennocheinigeSchlussfolgerungendargestellt,diespe‐zifischfürdieKTTsind.

Page 71: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

TesttheoretischeGrundlagen·71

8.3 Attenuitäts‐Korrektur(correctionforattenuation)

Die als praktische Anwendung durchaus umstrittene Minderungskorrektur der KorrelationzweierMerkmalehatinderKTTeineandereImplikation.Seien und derjeweiligeTrueScore

derTests und .Wiein(8‐5)gilt .Daherundwegen(8‐10)gilt:

(8‐12) .

DurchUmformenerhältman

(8‐13) .

Da 0 1musswegender zwingendenVerringerungdesProdukts durchdiesen

Faktor

(8‐14)

gelten,damitGleichung(8‐13)stimmenkann.DieUngleichung(8‐14)besagt,dassdieValidität

einesTestsbezüglicheinesKriteriumsimmerkleineroderhöchstensgleichderWurzelderReli‐abilitätdesTestsseinkann.

Gulliksen (1950) beschreibt die Bedeutung der Anwendung der correction for attenuation

nochdeutlicher. wirdnichtnurals„wahreKorrelation“vonTestundKriteriumbeschrieben;

GulliksenbenutztdafürdasSymbol ,umdeutlichzumachen,dassdurchdieKorrekturle‐diglicheinWertangegebenwird,derzuerwartenwäre,würdenTestundKriteriummitunend‐

lichvielenItemsgetestet.ZimmermanundWilliams(1997)zeigenineinerMonte‐Carlo‐Studie,

inwelchenFällendieAnwendungdercorrectionforattenuationzusinnvollenErgebnissenfüh‐renkann:NurbeiVorliegenhoherReliabilitätsowohldesTestsalsauchdesKriteriums(r .8)

sowie einer relativ hohen Stichprobenzahl (n 80) streuen die korrigierten Korrelationen in

akzeptablerWeiseumeinenMittelwertnahedemTrueScore.

8.4 Testzerlegung

WennmansicheinenTestauseinzelnen(parallelen)Subtestszusammengesetztvorstellt,führt

diesimExtremfalldazu,dassjedesItemalsSubtestbetrachtetwerdenkann.DerTestscorewirdüblicherweiseausderSummeder„Subtests“gebildet( ∑ ).DieVarianzvon lässtsich

daherauchdurchdieVarianzderSubtestsbestimmen:

(8‐15) ∑ ∑∑ .

FürdieReliabilitätgiltdannentsprechend

(8‐16)∑ ∑

´´.

UnterderBedingungparallelerSubtestsresultiertdieSpearman‐Brown‐Formel:

(8‐17) .

Aus (8‐15) und (8‐16) unterBerücksichtigungderCauchy‐Schwarz‐Ungleichung (dasQuadrat

derSummederProduktevon und istkleinerodergleichderdemProduktderQuadrateder

Page 72: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

72·TesttheoretischeGrundlagen

jeweiligenSummen und ) zeigt sich,dassderKoeffizient (Cronbach, 1951)eineuntere

GrenzederReliabilitätdarstellt:

(8‐18) 1∑

≡ .

8.5 Reliabilitäts‐Validitäts‐Optimierungsparadoxon

Betrachtetmannun(8‐18)unddendarausableitbarenValiditätskoeffizienten

(8‐19)∑

∑ ∑,

wird deutlich, dass zurMaximierung derReliabilität in (8‐15) und (8‐18) dieKorrelation derItemsuntereinandermöglichst hoch seinmuss. ZurMaximierungderValidität (8‐19)müssen

dieItemshingegenmöglichsthochmitdemKriteriumundmöglichstgeringuntereinanderkor‐

relieren.

8.6 Itemanalyse

InderKTTbezeichnetdasVerhältnisderrichtigenLösungeneinerAufgabe( , ) inBezugzu

allen Antworten auf die gestellte Aufgaben ( ) die Itemschwierigkeit ( , ⁄ ). Jemehr

ProbandeneineAufgaberichtiggelösthaben,destoleichtergiltsie.DieserWertistjedochoffen‐

sichtlichabhängigvondergetestetenStichprobe.Gulliksen(1950)beschreibthierzueinigeMe‐

thoden,wie die Schwierigkeit einer Aufgabe in Abhängigkeit der getesteten Stichprobe trans‐formiert werden kann. Ein weiterer Itemparameter ist die Trennschärfe, die als korrelativer

Zusammenhang zwischen Itemwert und Testwert definiert ist (item‐test‐correlation). Obwohl

„thebiserialcorrelationshouldnotchangeastheitemdifficultychangeswithvariationsingroupability level” (Gulliksen, 1950, S. 393), konnte dies bereits damals beobachtet (Carroll, 1945;

Ferguson,1941;Gulliksen,1945;Richardson,1936),abernichtsorechterklärtwerden.Ausder

FormelfürdiepunktbiserialeKorrelation,diezurBerechnungderTrennschärfebeidichotomenItemsdient:

(8‐20) 1 ,

wobei der Testmittelwert der Probanden, die Item richtig beantwortet haben, der

TestmittelwertderProbanden,dieItem falschbeantwortethaben, dieStandardabweichung

desGesamttestsund dieItemschwierigkeitsind,wirdjedochdeutlich,dassdieTrennschärfe

vonderItemschwierigkeitunddamitebensovonderProbandenstichprobeabhängt.Exkurs:Lord(1980)zeigt,wieTrennschärfe undItemschwierigkeit imModellderpro‐

babilistischenTesttheorie (PTT)approximativmitderTrennschärfe derKTTzusammen‐

hängen.DenAusführungen liegenaberBedingungenzugrunde,derenAufführungzuvielPlatzbeanspruchen würde, weshalb nur die Quintessenz genannt werden soll: Die Anordnung der

ItemsnachSchwierigkeit ergibteineandereReihenfolgealsdieAnordnungnachSchwierig‐

keit .AndersalsinderKTTsinddieParameterderPTTwenigstensderTheorienachinvariant

Page 73: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

TesttheoretischeGrundlagen·73

gegenüber der Testung in verschiedenen Gruppen. DieWahrscheinlichkeit, dass ein Proband

einebestimmteAufgaberichtiglöst,hängtnurvonderAusprägungseinerFähigkeit ab,nichtabervonderAnzahlderLeute,diedenTestmitgleicherFähigkeitsausprägungbearbeitethaben

und auch nicht von derAnzahl der Personen, die denTest bearbeitet haben und eine andere

Fähigkeitsausprägunghaben.DieSchwierigkeiteinesItems bleibtgleich,unabhängigdavon,wiefähigdieProbandenderStichprobesind.InderKTTistdieSchwierigkeiteinesItemsinei‐

nerfähigenGruppegeringeralsineinerwenigerfähigen.EbensoisteineFünfkilohantelfürei‐

nenBodybuilderleichteralsfüreinenDoktorandenderPsychologie,obwohldasGewichtjaim‐mergleichist.

Page 74: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag
Page 75: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung1:VortestunganStudenten·75

9. Untersuchung1:VortestunganStudenten

ZurÜberprüfungderFunktionalitätderComputerversion(CV),desneudesigntenFragebogensundderpsychometrischenEigenschaftenderSubtestssowiedergewähltenZeitvorgabenwurde

die überarbeitete Version des LPS an einer studentischen Stichprobe getestet. In Tabelle 9.1

werdenStichprobengrößeunddieAltersstrukturder 38Studierendendargestellt.

Tabelle9.1: StichprobengrößeunddieAltersstrukturderstudentischenStichprobe(Unter‐suchung1)

PBC‐ CV CV‐ PBV

weiblich männlich weiblich männlich

n10 5 19 4

15 2338

24;6(2;7) 22;11(1;1) 24;8(3;11) 24;11(0;11)

24;0(2;3) 24;8(3;7)24;5(3;1)

Bemerkung: AltersangabeninderFormJahre;Monate

DieTeilstichprobe,diezuerstdieCVdurchführte,wurdezwischenMärzundApril2007ineinerEinzeltestung in einemLabor anderUniversität unter standardisiertenBedingungengetestet.

Im Mai 2007 wurden in vier Gruppentestungen alle Probanden mittels der Papier‐Bleistift‐

Version(PBV)untersucht.DiezweiteGruppe führtedieCVEnde JuniundAnfang Juli ineinerunkontrolliertenBedingungaus,indemsiemittelseinesZugangscodesdenTestsindenWochen

nachderTestungmittelsderPBVaneinembeliebigenPCausfüllenkonnten.DieZeitzwischen

denbeidenTestungenschwanktedabei insgesamtsehrstarkzwischendreiund74TagenundliegtimMittelbei40( 18)Tagen.

Page 76: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

76·Unte

0

2

4

6

8

10

12

0

5

10

15

20

0

5

10

15

20

0

5

10

15

20

ersuchung1:

0 5 10 1

Subtes

0 5 1

Subtes

0 5 1

Subtes

0 5 1

Subtes

Vortestunga

15 20 25 30 3

st 1 PBV S

10 15 20

st 3 PBV S

10 15 20

t 5  PBV S

10 15 20

st 7 PBV S

anStudenten

5 40 45 50 55

Subtest 1 PC

25 30 35

Subtest 3 PC

25 30 35

Subtest 5  PC

25 30 35

Subtest 7 PC

5 60

0

5

10

15

40

0

5

10

15

20

25

30

40

0

2

4

6

8

10

12

40

0

5

10

15

20

25

30

0 5 10

Subtest 

0 5 10

Subtest 

0 5 10

Subtest 6

0 5 10

Subtest 

15 20 25

2 PBV Sub

15 20 25

4 PBV Sub

15 20 25

6  PBV Sub

15 20 25

8 PBV Sub

5 30 35 4

btest 2 PC

5 30 35 4

btest 4 PC

5 30 35 4

btest 6  PC

5 30 35 4

btest 8 PC

40

40

40

40

Page 77: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Abbil

9.1

Die 38

LPS‐neudieinTa

Zeitwu

ziehenuten.Esz

keinStu

Diehohlängera

ebenso

ximalenDieV

Aufgabe

innerhadenübr

eineger

lysenbe

0

5

10

15

20

25

0

5

10

15

20

dung9.1:

Papier‐

studentisch

ugetestet.Habelle2.32

rdendie St

undanschliezeigtesich,

udentsieinn

heAnzahldeandauernde

fürSubtest

nBearbeitunVerteilungen

enfüreines

lb der ZeitrigenSubtes

ringeVarian

ezüglichSch

0

Subtes

0 5 1

Subtest 

Histogramversion degenenZeitv

Bleistift‐

hen Proband

Hierbeiwur(Seite30)v

udenten geb

eßenddieredassdieAu

nerhalbder

erAufgabenKonzentrat

9dieFrage

ngszeitenwenfürdieSu

tudentische

alle Items tsts lässtsich

nz–prinzipi

hiefeundwe

5 10

st 9 PBV S

10 15 20 2

11 PBV S

meder elf Ser studentischvorgaben

‐Testung

denwurden

den ihnen fvorgeschlage

beten, einen

estlichenAuufgabenvon

maximalvo

n inSubtesttionsleistung

nacheiner

erdeninTabbtests1,2,

eStichprobe

teilweise soh–eingesch

ielleineNor

eitererVerte

15 2

Subtest 9 PC

25 30 35

Subtest 11 PC

ubtestsderPhen Stichpro

derstud

n in vier Gr

fürdieBearenenZeiten

n Strich hin

ufgabendesnSubtest4

orgegebene

t11gründegerhobenw

Gesamtbea

belle9.2auf6und8der

etendenziel

ogar fehlerfrhränktdurc

rmalverteilu

eilungsmaße

20

0

5

10

15

20

40

Bem

Ein

AbsSubzah

InSDur

InSfün

InS

Untersuchu

Papier‐Bleistobe unterBer

dentische

uppenmitt

rbeitungderzurVerfügu

nter der zule

Subtestsnaund5 insge

nZeitvonz

etaufdemUwerdensoll.

arbeitungnic

fgelistet.rPBV(vgl.A

lzuleichtsi

rei bearbeitchdiegering

ungausmach

e,ebensoin

0 5 10 15

Subtest 1

merkungen:

teilungderAb

szissenmaximubtests9und11hl.

Subtest9liegtrchgängebei1

Subtest9betrufundderCVd

Subtests11we

ung1:Vortest

tift‐Versionurücksichtigun

enStichp

els der neu

rAufgabenunggestellt

etzt beantw

achderMaresamtsosch

zehnMinute

Umstand,daDamitstellt

cht.Diemin

Abbildung9

ind.Einzug

ten (siehe ageFallzahlu

hen.Genaue

nHinblickau

20 25 30 35 4

0 PBV Su

szissein5Roh

um entspricht1dermaximal

diemaximale6.

ugdieBearbeireiMinuten.

erden80Items

tunganStude

undderComngder vorge

probe

u erstellten

jeSubtest zt.NachAblau

wortetenAu

rkierungzuhwierigwar

enallelösen

assdamit zutsichfürdie

nimalenund

9.1)zeigen,

großerAntei

auchTabelleundteilwei

erestatistis

ufdieItemk

40 45 50 55 6

btest 10 PC

hwertpunkte.

ht außer inmöglichenPu

Punktzahlfür

itungszeitder

svorgegeben.

enten·77

puter‐eschla‐

PBV des

zunächstufdieser

fgabe zu

bearbei‐ren,dass

nkonnte.

usätzlichesenund

ddiema‐

dassdie

ilkonnte

e 9.2). Insedurch

cheAna‐

kennwer‐

60

denunkt‐

drei

PBV

Page 78: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

78·Untersuchung1:VortestunganStudenten

te,werdenaufgrundderStichprobengrößeausgespartundnurfürdieHauptuntersuchungbe‐

rechnet.

Tabelle9.2: BearbeitungsmerkmalederPBVdervierGruppenderstudentischenStichprobe

Subtest t Min Max item(min) 1 180 90 350 26 192 120 140 450 20 83 240 210 490 17 **Nr.394 240 ‐ *600 0 ** Nr.275 240 ‐ *600 0 ** Nr.326 120 100 330 19 77 180 170 350 26 98 180 80 310 23 249 300 ‐ *300 ‐ ‐10 120 150 310 20 111 300 ‐ *300 ‐ ‐

Bemerkungen: ZeitangabeninSekunden;t:geplanteZeitvorgabe;item(min):geringsteAnzahlbearbeiteterItems; :An‐zahlderVpn,diealleItemsbearbeiteten;*maximaleBearbeitungszeitdesSubtests;**keineVpschafftealleItems,dieAngabestehtfürdasletzteItem,dasvoneinerVpbearbeitetwurde

9.2 Computer‐TestungderstudentischenStichprobe

Für den Vorversuch wurden nicht alle in Kapitel 5.1 formulierten Bedingungen variiert. Die

Itemswurden alle nur einzeln dargestellt, da sich damit die Zahl derBedingungen prinzipiell

halbiert. Es resultierte somit ein133‐Design, das inTabelle9.3 veranschaulichtwird.Beider Durchführung wurde die Reihenfolge der Bedingungen konstant gehalten. Dafür ändertesich jenachVersuchspersonennummerdererste zubearbeitendeSubtest.DieVersuchsperso‐

nen1,12,23und34begannenmitSubtest1,Versuchspersonen2,13,24und35mitSubtest2

usw.;mitdenSubtests9und10wurdewegenihresDesigns,dasnichtfürdieZeitmessungbeieinzelnenItemsgeeignetist,nichtbegonnen,weshalbdieVersuchspersonen9,10,11,20,21,22

usw.mitSubtest11begannen.FürdieSubtests9und10wurdedieBedingungstattdessenüber

alleVersuchspersonenkonstantgehalten.DabeideVerfahrenItemsbeinhalten,beidenenkeine

Antwortmöglichseinmuss,wurdedasAntwortformat„weiter“gewählt.Esgabalsoeinen„wei‐ter“‐Button,dernachderAuswahleinerLösunggeklicktwerdenmusste.AuchdieBeschränkung

der Bearbeitungszeit einzelner Itemsmacht für diese Subtests keinen Sinn. Daher wurde die

BearbeitungszeitfürdenGesamttestvorgeben.

Page 79: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung1:VortestunganStudenten·79

Tabelle9.3: ÜbersichtderBedingungenderPräsentationderSubtestsderComputerversioninderstudentischenStichprobe

Präsentation EinzelnAntwortformat Einmalig Weiter KorrigierbarZeitvorgabe Ohne Gesamt Item Ohne Gesamt Item Ohne Gesamt ItemBedingung 1 2 3 4 5 6 7 8 9

Gruppe

1 1 2 3 4 5 6 7 8 112 2 3 4 5 6 7 8 11 13 3 4 5 6 7 8 11 1 24 4 5 6 7 8 11 1 2 35 5 6 7 8 11 1 2 3 46 6 7 8 11 1 2 3 4 57 7 8 11 1 2 3 4 5 68 8 11 1 2 3 4 5 6 79 11 1 2 3 4 5 6 7 8

Bemerkungen: DieSubtests9und10wurdenfüralleGruppenimAntwortformat„weiter“undmitZeitvorgabe„Gesamt“präsentiert.

JedeVersuchspersonhattefürdieBearbeitungderSubtests1bis8jeweilsmaximal10MinutenZeitundwurdeinderInstruktiondarüberinformiert.VorjedemSubtesterhieltendieVersuchs‐

personen eine der Bedingung angepasste Instruktion, die auf den ausführlichen Angaben der

Instruktion der PBV basierte (vgl. Anhang 15.2). DieMöglichkeiten, Aufgaben auszulassen, zuwiederholenunddgl.,waren aufgrundder unterschiedlichenBedingungender CV amPC teil‐

weisegrößer,teilweiseeingeschränkter,sodasseindirekterVergleichmitdenselbenAngaben

wieinTabelle9.2nichtsinnvollist.AuchhierwurdenjedochindenSubtests4,5,9und11vonkeinem Probanden alle Items bearbeitet. Die Umsetzung von Subtest 9 gelang nicht wie ge‐

wünscht.DiekurzenBearbeitungszeiten(vgl.Tabelle9.4)sindeinmalbedingtdurcheinenPro‐

grammierfehler, derdieZeit anstatt auf fünf auf dreiMinutenbegrenzte; zumanderenwurdevoneinigenProbandenderSubtestnacheinemDurchgang(jedeachte„Null“zählen)offensicht‐

lichirrtümlichbeendet.

Subtest10waraufvierMinutenbegrenzt,dasichbeiderKonstruktiongezeigthatte,dassei‐ne längere Zeitvorgabe eher langsameres Arbeiten zur Folge hatte. Während der Erstellung

wurdenauchnieannäherndvierMinutenbenötigt.DennocherwiessichdiesesLimitfür22Pro‐

bandenalszuniedrig.AndererseitsbeendetenzehnVersuchspersonendenTestvorzeitigvoll‐ständigbearbeitet,dierestlichensechsProbandenhattenSubtest10ebenfallsvollständigbear‐

beitet, allerdings die Bearbeitungszeit vollständig genutzt bzw. abgewartet. Da für Subtest 11

ohnehindavonausgegangenwird,dassdie80Itemsauchin10Minutennichtallegelöstwerdenkönnen,wurdedieserSubtestvonvornhereinauffünfMinutenbegrenzt.

Page 80: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

80·Untersuchung1:VortestunganStudenten

Tabelle9.4: BearbeitungszeitenderCVdervierGruppenderstudentischenStichprobe

Subtest t Min Max M SD1 180 139 484 298 902 120 90 *607 302 993 240 134 581 307 954 240 73 *607 552 1165 240 308 *607 530 896 120 115 310 194 467 180 178 510 297 838 180 97 440 208 839 **180 73 186 145 4610 120 165 242 234 1611 300 293 323 301 4

Bemerkungen: Zeitangaben in Sekunden; t: geplante Zeitvorgabe; Wertungenauigkeiten aufgrund von Rundungen;*systembedingtesMaximumvon607Sekunden(10Minuten); **wegeneinesTippfehlers inderProgram‐mierungistdieBearbeitungszeitinderCVnurdreianstattfünfMinuten

DieVerteilungenderSubtestsderCVweiseneinedeutlichgrößereAusgewogenheit aufals in

derPBV;eineAusnahmestelltSubtest8dar,derinderCVebensoeindeutigzuleichtfürdieVer‐

suchspersonen gewesen zu sein scheint (vgl. Abbildung 9.1). Aufgrund der unbeabsichtigtenZeitverkürzungbeiSubtest9überraschtdierelativeSymmetrie.DieErgebnissevonSubtest10

variierennichtsostark;auchhierkanndieZeitbegrenzungalsmöglicheUrsacheangeführtwer‐

den.

9.3 VergleichderDurchführungsmodiundKonsequenzenderVorstudie

Bezüglich der Bearbeitungszeiten zeigte sich, dass die angepassten Vorgaben in denmeistenFällenangemessenerscheinen.UnterBerücksichtigungdesUmstandes,dassdieProbandenStu‐

denten waren, deren Fähigkeiten in allen getesteten Bereichen zumindest vorwiegend über‐

durchschnittlichseinsollten, istderteilweisehoheAnteilderer,diedieSubtestsinnerhalbdervorgegebenZeitabsolvierten,erwartbar.DieSubtests4und5stellensichallerdingsinsgesamt

als zu schwierig heraus, um in der vorgegeben Zeit vollständig bearbeitetwerden zu können,

weshalbdieBearbeitungszeitauffünfMinutenverlängertwird.ZumAusgleichwurdedieBear‐beitungsdauervonSubtest3aufdreiMinutenreduziert.

DiedirekteVergleichbarkeitderbeidenModalitäten(Tabelle9.5)warnichtZielderVorstu‐

die.EineGegenüberstellung ist insofernschwer interpretierbar,alsdassdieunterschiedlichenBedingungenderCVverschiedeneEffektezurFolgehabenkönnen.InsbesonderedieKorrelati‐

onen der beiden Verfahren zeigen jedoch, dass zumindest bedingt ähnliche Reihenfolgen der

Versuchspersonen resultieren. Die statistisch signifikanten Mittelwertsunterschiede der Sub‐tests1, 2, 6und10weisendaraufhin (ebensowie alle anderenMittelwertsdifferenzen),dass

sichdiePBVfürdieMehrheitderStudentenalsleichtererwiesenhatte.DerEffektist lediglich

fürSubtest8gering.InallenanderenSubtestsunterscheidensichPBVundCVmittelbisstark.

Page 81: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung1:VortestunganStudenten·81

Tabelle9.5: Mittelwerte und Standardabweichungen der elf Subtests der Papier‐Bleistift‐Version und der Computer‐Version der studentischen Stichprobe, bivariateKorrelation, Mittelwertsdifferenzen, Effektstärke und ‐Tests der korrespon‐dierendenSubtests

PBV CV Vergleich

Subtest1 48.42 8.20 36.63 10.62 .32 .05 11,79 11.14 1.06 5.42 <.01

Subtest2 31.05 5.90 23.74 7.81 .32 .05 7,32 8.14 0.90 4.61 <.01Subtest3 29.16 4.69 27.89 4.76 .54 <.01 1,26 4.51 0.28 1.17 .25Subtest4 18.76 2.75 17.89 2.91 .41 .01 0,87 3.09 0.28 1.34 .19Subtest5 21.50 3.48 20.39 2.89 .40 .01 1,11 3.52 0.31 1.51 .14Subtest6 29.39 7.35 24.89 6.13 .45 .01 4,50 7.14 0.63 2.90 <.01Subtest7 31.26 4.54 29.53 3.87 .45 .01 1,74 4.47 0.39 1.79 .08

Subtest8 36.16 5.31 35.39 4.38 .54 <.01 0,76 4.73 0.16 0.68 .50Subtest9 9.00 3.52 7.87 2.64 .27 .11 1,13 3.79 0.30 1.59 .12Subtest10 37.42 7.61 30.89 4.15 .33 .04 6,53 7.35 0.89 4.64 <.01Subtest11 19.53 6.56 18.00 6.07 .66 <.01 1,53 5.23 0.29 1.05 .30

InAbbildung9.2wirddeutlich,dassdieverschiedenenBedingungenderCVzueinergewissen

Bandbreite an unterschiedlichen Ergebnissen führt, die bei einigen Subtests unter der durch‐

schnittlichenLeistunginderPBVliegen(Subtests1,2,6und10),beieinigenaberauchumdiedurchschnittlicheLeistungderPBVstreuen(3,4,5,7,8,9,11).

Abbildung9.2: MittelwertederSubtestsunddesGesamtwertsderCVindenunterschiedlichenBedingungen(vgl.Tabelle9.3)sowiedieMittelwertederentsprechendenPBV

DieinTabelle9.6dargestelltenZusammenhängederSubtestergebnissemitderAbiturnotezei‐

gen, dass das LPS‐neu bivariat nur geringe Erklärungskraft bezüglich schulischer Leistungen

aufweist.DieSubtests1und2,dieAllgemeinbildungabbildensollen,korrelierensogarentgegen

5

10

15

20

25

30

35

40

45

50

1 2 3 4 5 6 7 8 9 10 11

1

2

3

4

5

6

7

8

9

Gesamt

PBV

Page 82: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

82·Untersuchung1:VortestunganStudenten

dererwartetenRichtung.DerGesamtscorekorreliertnurgeringnegativ.AlsbestePrädiktoren

erweisensichlogischesDenken(Subtests3,4und5)undräumlicheWahrnehmung(Subtest7und8).Esistdabeijedochzuberücksichtigen,dassdieAbiturnotenvonPsychologiestudieren‐

denrelativhomogensind( 1.73, 0.49).FürdieCVgiltzudem,wiebeimVergleichmit

derPBV,dassdieunterschiedlichenBedingungenverschiedeneEffekteundsomitVerzerrungenaufweisenkönnen.AndererseitssinddieKorrelationenvonPBVundCVmitderAbiturnoteähn‐

lich,waszumindestalsIndikatorfürexterneundKonstruktvaliditätgewertetwerdenkann.

Tabelle9.6: BivariateKorrelationderelfSubtestergebnisseunddesGesamtscoresderPa‐pier‐Bleistift‐Version,derComputer‐VersionunddesMittelwertesbeiderTes‐tungenderstudentischenStichprobemitderAbiturnote( 38)

PBV CV &

r p r p r pSubtest1 .16 .34 .28 .09 .28 .09Subtest2 .17 .32 .06 .72 .13 .44Subtest3 ‐.31 .06 ‐.42 .01 ‐.41 .01Subtest4 ‐.16 .35 ‐.10 .55 ‐.15 .36Subtest5 ‐.38 .02 ‐.37 .02 ‐.45 <.01

Subtest6 .00 .99 ‐.08 .65 ‐.04 .81Subtest7 ‐.25 .14 ‐.34 .04 ‐.34 .04Subtest8 ‐.52 <.01 ‐.47 <.01 ‐.56 <.01Subtest9 .02 .89 ‐.20 .23 ‐.09 .59Subtest10 .01 .98 ‐.31 .06 ‐.13 .45Subtest11 ‐.05 .78 ‐.14 .41 ‐.10 .55

Gesamt ‐.13 .43 ‐.18 .28 ‐.18 .27

InderVorstudiewurdedieReihenfolgederbearbeitetenModivariiert.23Studentenbearbeite‐tenzuerstdieCV,15StudentenzuerstdiePBV(vgl.Tabelle9.1).ZurÜberprüfungderEffekte

bezüglichderReihenfolgeunddesModuswurdeeine22VarianzanalysemitMesswiederho‐lungberechnet.InTabelle9.7wirddiedeskriptiveStatistikdargestellt.Bereitshierwerdenei‐

nigeEffektaugenscheinlich.InAbbildung9.3werdendieUnterschiedegrafischveranschaulicht.

DaslinkehelleQuadratentsprichtderPBVvonVersuchspersonen,diezuerstdiePBVbearbeitethaben,dasrechteQuadratderenCV.EntsprechendwirddieersteTestungderVersuchsperso‐

nen, die zuerst die CV bearbeitet haben, durchdie rechte dunkleRaute dargestellt. Chronolo‐

gischsinddiedunklenWertealsovonrechtsnachlinkszulesen.

Page 83: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung1:VortestunganStudenten·83

0

10

20

30

40

50

60

Subtest 1 PBV Subtest 1 PC

CV‐PBV PBV‐CV

0

10

20

30

40

Subtest 2 PBV Subtest 2 PC

CV‐PBV PBV‐CV

0

10

20

30

40

Subtest 3 PBV Subtest 3 PC

CV‐PBV PBV‐CV

0

10

20

30

40

Subtest 4 PBV Subtest 4 PC

CV‐PBV PBV‐CV

0

10

20

30

40

Subtest 5 PBV Subtest 5 PC

CV‐PBV PBV‐CV

0

10

20

30

40

Subtest 6 PBV Subtest 6 PC

CV‐PBV PBV‐CV

0

10

20

30

40

Subtest 7 PBV Subtest 7 PC

CV‐PBV PBV‐CV

0

10

20

30

40

Subtest 8 PBV Subtest 8 PC

CV‐PBV PBV‐CV

Page 84: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

84·Untersuchung1:VortestunganStudenten

Abbildung9.3: DiagrammederMittelwertederelfSubtestsunddesGesamtwertsdesLPS‐neuderstudentischenStichprobeaufgeschlüsseltnachModusundReihenfolge

IndenDiagrammenwerdenbei jedemSubtest(außer9)unddemGesamtwert Interaktionsef‐

fektesichtbar(vgl.Tabelle9.8).FürdieSubtests2,3,4,5,6,7und11istdieseInteraktionsozuinterpretieren,dassdieVersuchspersoneninderzweitenTestungeinebessereLeistungzeigen

alsinderersten,unabhängigdavon,inwelchemModusdieersteBearbeitungstattfand.Beiden

Subtests 1, 6 und 10 liegen hingegen deskriptiv Verschlechterungen der Leistung der CV vor,wenndieProbandenzuerstdiePBVbearbeiteten.DieInteraktionbegründetsichhierbeidarin,

dassdieGruppe,diemitderCVbegann,sichbeiderzweitenTestungdeutlichverbesserte,sich

inderanderenGruppehingegennurgeringeÄnderungenergaben.Insgesamtkönnenalsobes‐sereLeistungeninderPBVidentifiziertwerden.DieleistungssteigerndenEffekteeinerzweiten

TestungwerdenbeivierSubtestsdurchleistungsreduzierendeEffektederCVkompensiert.

0

10

20

30

40

Subtest 9 PBV Subtest 9 PC

CV‐PBV PBV‐CV

0

10

20

30

40

50

60

Subtest 10 PBV Subtest 10 PC

CV‐PBV PBV‐CV

0

10

20

30

40

Subtest 11 PBV Subtest 11 PC

CV‐PBV PBV‐CV

200

250

300

350

Gesamt PBV Gesamt PC

CV‐PBV PBV‐CV

Page 85: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung1:VortestunganStudenten·85

Tabelle9.7: MittelwerteundStandardabweichungenderelfSubtestsunddesGesamtwertsdesLPS‐neuderstudentischenStichprobegetrenntnachModusundReihenfol‐ge

Reihenfolge PBV‐CV( ) CV‐PBV( )Modus PBV CV PBV CV

Subtest1 45.60 7.80 40.93 9.68 50.26 8.09 33.83 10.45Subtest2 28.87 6.32 29.67 5.56 32.48 5.27 19.87 6.57Subtest3 28.40 4.81 29.80 4.86 29.65 4.65 26.65 4.35Subtest4 17.33 2.13 18.40 2.77 19.70 2.74 17.57 3.01Subtest5 19.53 2.45 21.27 3.41 22.78 3.49 19.83 2.41Subtest6 27.53 7.13 27.13 6.57 30.61 7.38 23.43 5.49Subtest7 28.93 5.12 30.67 4.59 32.78 3.45 28.78 3.22Subtest8 33.93 6.22 36.93 4.57 37.61 4.15 34.39 4.03Subtest9 9.20 3.51 8.00 2.42 8.87 3.60 7.78 2.83Subtest10 36.00 6.97 32.67 3.52 38.35 8.01 29.74 4.19Subtest11 17.07 5.50 19.80 6.56 21.13 6.80 16.83 5.56Gesamt 292.40 35.21 295.27 31.36 324.22 33.84 258.70 30.03

Es liegtkeinHaupteffekt fürdenFaktorReihenfolgevor.ÜberbeideTestungenhinwegunter‐scheiden sich die beiden Gruppen also nicht voneinander. Für Subtest 9 liegt ebenfalls keine

Interaktion der beiden Faktoren vor. Für diesen Subtest zeigte sich lediglich, dass in der PBV

etwasmehrItemsgelöstwurdenalsinderCV.DiesignifikantenHaupteffektedesFaktorsModus(Subtests1,2,6,7,9,10undGesamt)be‐

gründensichdarin,dassdieVersuchspersoneninderPBVimMitteleinebessereLeistungzeig‐

tenalsinderCV.BeiBerücksichtigungderInteraktionenzeigtsichsomitsowohleinleistungs‐mindernderEinflussderCValsaucheineLeistungssteigerungbeiderzweitenTestungalsPBV.

IndenSubtests3,4,5,8und11scheintderleistungsförderlicheEffektderzweitenTestunghin‐

gegen inbeidenModizuwirken;der leistungsminderndeEffektderCV tritthiernichtbzw. insehrbegrenztemMaßeauf.

Tabelle9.8: ‐Wert, Signifikanzniveau und partielles und klassisches der 22 Vari‐anzanalysemitMesswiederholungbezüglichderFaktorenModus(within)undReihenfolge(between)derelfSubtestsunddesGesamtwertsdesLPS‐neuderstudentischenStichprobe( 38)

Modus Reihenfolge Modus×Reihenfolge ² ² ² ² ² ²

Subtest1 43.66 <.01 .55 .23 0.23 .64 .01 <.01 13.58 <.01 .27 .07Subtest2 55.45 <.01 .61 .15 2.92 .10 .07 .04 71.50 <.01 .67 .20Subtest3 1.45 .24 .04 .01 0.47 .50 .01 .01 10.96 <.01 .23 .05Subtest4 1.43 .24 .04 .01 0.94 .34 .03 .02 12.87 <.01 .26 .08Subtest5 1.88 .18 .05 .01 1.04 .31 .03 .02 27.66 <.01 .43 .13Subtest6 12.76 <.01 .26 .07 0.03 .87 <.01 <.01 10.21 <.01 .22 .06Subtest7 3.81 .06 .10 .02 0.68 .42 .02 .01 24.37 <.01 .40 .11Subtest8 0.03 .86 <.01 <.01 0.16 .69 <.01 <.01 26.44 <.01 .42 .10Subtest9 3.21 .08 .08 .03 0.11 .74 <.01 <.01 0.01 .93 <.01 <.01Subtest10 26.68 <.01 .43 .19 0.03 .86 <.01 <.01 5.21 .03 .13 .04Subtest11 1.44 .24 .04 <.01 0.08 .78 <.01 <.01 28.81 <.01 .44 .08Gesamt 114.73 <.01 .76 .15 0.05 .82 <.01 <.01 136.69 <.01 .79 .18

Page 86: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

86·Untersuchung1:VortestunganStudenten

Eszeigtsichalso,dassäquivalenteBedingungennichtaprioriangenommenwerdenkönnenund

dassderBearbeitungsmodusinallerRegeleineRollespielt.Andererseitsbesteht,wieausAbbil‐dung9.2ersichtlich,dieChance,durchdieVariationderBedingungenderCVzweiäquivalente

Durchführungsmodalitäten zu finden. Aufgrund der Anmerkungen der Studierenden wurden

kleineÄnderungenbeieinzelnen ItemsdesLPS‐neuvorgenommen. InsgesamtschienaberdieNeufassunghinsichtlichderDurchführbarkeit gelungen.Die unterschiedlicheBearbeitungsrei‐

henfolgederSubtestsirritierteeinwenigbeiderzweitenTestung,weshalbinderHauptunter‐

suchungdasLPS‐neu inbeidenModimit Subtest1begonnenwurde.AuchwenndieBearbei‐tungszeiteneinigerSubtestsetwaszulangerschienen,wurdebeschlossen,diemeistoriginalen

ZeitvorgabenbeizubehaltenundeinediesbezüglicheRevidierungbasierendaufdenErgebnissen

derHauptuntersuchung,sofernnötig,vorzunehmen.

Page 87: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·87

10. Untersuchung2:TestunganBerufsschülern

10.1 Design

Die Hauptuntersuchung wurde an der Städtischen Berufsschule I Regensburg ‐ Berufliches

SchulzentrumGeorgKerschensteinerdurchgeführt7. Insgesamtnahmen298Schülerinnenund

Schüler andenTestungen teil.Die Papier‐Bleistift‐Version (PBV) bearbeiteten insgesamt279,vollständig273Schüler;sechsSchülergabenunvollständige,nichtverwertbareoderoffensicht‐

lichnichtimSinnederTestungbearbeiteteTestbögenab.Von273SchülernwurdedieCompu‐

terversion(CV)gestartet,223bearbeitensievollständig.EinigeSchülerbeendetendieTestungvorzeitig(was jedemTeilnehmendenoffenstand),einigeSchüler ließeneinzelneSubtestsaus,

indemsieeinenSubtestbeendeten,ohnebeieinemeinzigenItemeineLösungangeklicktzuha‐

ben.205SchülerbearbeitetenbeideVersionenvollständig(vgl.Tabelle10.1).

Tabelle10.1: AnzahlderbearbeitetenSubtests

Bemerkung: *0Subtestsbedeutet,dassderTestbogenbzw.dieAnmeldungamPCzwarausgefüllt,aberkeinSubtestbe‐arbeitetwurde.

DieStichprobenstrukturwirdinTabelle10.2dargestellt.Deutlichwird,dassderSchülerinnen‐

anteil sehr gering ist. Dies liegt an den Fächerschwerpunkten der Berufsschule (Metall‐ und

Elektrotechnik).DiegetestetenKlassenwerdenindeninTabelle10.3zusammengestelltenBe‐rufenausgebildet.

Tabelle10.2: Stichprobengröße und Altersstruktur der Berufsschülerstichprobe (Untersu‐chung2)

PBC‐ CV CV‐ PBV

weiblichmännlich unbek. weiblich männlich unbek.

n18 98 10 15 136 21

126 172298

M(SD)

19;1(1;10) 19;8(3;6)

19;8(1;10)

19;3(2;4) 18;3(1;9)

18;4(1;1)

19;7(3;2) 18;4(1;9)18;11(2;6)

Bemerkung: AltersangabeninderFormJahre;Monate

7AndieserStellemöchtemichbeidenSchülern,dieanderUntersuchungteilgenommenhaben,denLehrern,diemirihreZeitliehen,undinsbesonderebeiOSTDSiegfriedUllmannbedanken,dermichbeimeinerUntersuchunginseinerSchuleuneingeschränktunterstützte.

0* 4 5 6 7 8 9 10 11 Vpn Fehlend Gesamt

PBV6

(2.01)‐ ‐ ‐ ‐ ‐ ‐ ‐

273(91.61)

279(93.62)

19(6.38)298(100)

CV 2(0.67)

1(0.34)

1(0.34)

1(0.34)

2(0.67)

11(3.69)

5(1.68)

27(9.06)

223(74.83)

273(91.61)

25(8.39) 298(100)

PBV&CV

205(68.79)

93(31.21)

298(100)

Page 88: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

88·Untersuchung2:TestunganBerufsschülern

DieDurchführung der CV in denKlassen hing zumT1 von den Zugangsmöglichkeiten zu den

ComputerräumenderSchuleab.DieAuswahlderKlassenerfolgteaufGrundlagederMöglichkei‐ten, Lehrer zu finden, die zeitliche Ressourcen für die Testung erübrigen konnten. Insgesamt

solltendieAuswahlunddieZuordnungderVersuchspersonenzudenBedingungenalsoalszu‐

fälligerachtetwerdenkönnen.DieKlasseMFM10AwurdehinsichtlichdesModusgeteilt,dazumTestzeitpunkt nur ein Computerraum für 15 Schüler zur Verfügung stand und der Zugang zu

einemweiterenRaumentgegen der Planung nichtmöglichwar.Die Testungen fanden in den

WochenvorundnachdenPfingstferien2007statt,sodasseineausreichendgroßeZeitspannezwischen den beiden Testungen liegt ( 38 , 13.6 ; / 10 42 ,

/ 10 8.4 ).DieKlasseMME10AwurdeaufgrundeinesMissverständnissesimAb‐

standvonzweiTagengetestet(vgl.Tabelle10.3).DiesesSettingsollzurÜberprüfungeinesmög‐lichen Gedächtniseffektes später genauer betrachtet werden. Insgesamt begannen 172

SchülerzuT1mitderCV, 126SchülermitderPBV.

Tabelle10.3: Ausbildungsrichtung,Klassen,Testmodi,DelayundKlassengrößenderBerufs‐schülerstichprobe( 298)

Ausbildung Klasse T1 T2 (T1,T2)

Elektroniker/in

EGE10C CV PBV 33 28

95

23

69NGE10C CV PBV 34 30 13EBT12B PBV CV 49 19 18NEG12 PBV CV 49 18 15

Fertigungsmechaniker/inMFM10A1 CV PBV 46 15

2512

18MFM10A2 PBV CV 46 10 6

Informations‐undTelekommuni‐kationssystemelektroniker/in

NIT11 PBV CV 58 29 29 19 19

Mechatroniker/in

MME10A PBV CV 2 25

102

18

66MME10B CV PBV 47 23 9MME11A CV PBV 33 27 21MME11B CV PBV 35 27 18

Mikrotechnolog(e)/inNMI10 PBV CV 36 25

4722

33NMI11 CV PBV 35 22 11

Bemerkung: –AnzahlderProbanden,diebeideModivollständigbearbeitethaben(∑ 205)

Esistklar,dassnichtjederProbandjedenSubtestinjederBedingungderCVbearbeitenkann.

Innerhalb der inKapitel 5.1 und 7.1 beschriebenenBedingungenwurden die elf Subtests desLPS‐neuwieinTabelle10.4dargestelltsystematischvariiert.MitAusnahmederSubtests9und

10werdensoalleSubtestsinjederBedingungderCVdurchgeführt.FürdieStichprobederBe‐

rufsschülerwurdenichtwie bei den Studenten dieReihenfolge derBedingungen sonderndieReihenfolgederSubtestskonstantgehalten.DieDarstellungenundBegrifflichkeitenvonTabelle

10.4sollennochkurzanBeispielenerläutertwerden:Gruppe1bearbeiteteSubtest1inBedin‐

gung1:eswurdealsojedesItemeinzelnpräsentiert,durchAnklickenderLösungerschiendasnächste Item und es waren keine Zeitvorgaben ersichtlich. Analog bearbeitete beispielsweise

Gruppe9Subtest4inBedingung12:alleItemswurdenineineKolonnepräsentiert,dieLösung

bliebersichtlich,konnteabernichtmehrverändertwerdenunddieGesamtzeitfürdenSubtestwurdeangezeigt.Esistdaraufzuachten,dassmit„Bedingung“immerdieKonstellationvonPrä‐

sentationsform,AntwortformatundZeitvorgabegemeint ist.„Gruppe“bezeichnetdementspre‐

chenddasBedingungsgefügederelfSubtests.

Page 89: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·89

Tabelle10.4: ZuweisungsschlüsselderSubtestsdesLPS‐neuzudenBedingungenderCom‐puterversion

Präsentation Einzeln AlleAntwortformat Einmalig Weiter Korrigierbar Einmalig Weiter KorrigierbarZeitvorgabe OhneGesamtItemOhneGesamtItemOhneGesamtItemOhneGesamtOhneGesamt Ohne GesamtBedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Gruppe

1 1 2 3 4 5 6 7 8 ‐ ‐ ‐ 9 10 ‐ 112 11 1 2 3 4 5 6 7 8 ‐ ‐ ‐ 9 10 ‐3 ‐ 11 1 2 3 4 5 6 7 8 ‐ ‐ ‐ 9 104 9 10 11 1 2 3 4 5 6 7 8 ‐ ‐ ‐ ‐5 ‐ ‐ ‐ 11 1 2 3 4 5 6 7 8 9 ‐ 106 ‐ ‐ ‐ 10 11 1 2 3 4 5 6 7 8 9 ‐7 10 ‐ ‐ ‐ ‐ 11 1 2 3 4 5 6 7 8 98 ‐ 9 ‐ ‐ 10 ‐ 11 1 2 3 4 5 6 7 89 8 ‐ ‐ ‐ 9 ‐ 10 11 1 2 3 4 5 6 710 7 8 ‐ ‐ ‐ ‐ 9 10 11 1 2 3 4 5 611 6 7 8 9 10 ‐ ‐ ‐ ‐ 11 1 2 3 4 512 5 6 7 8 9 ‐ 10 ‐ ‐ ‐ 11 1 2 3 413 4 5 6 7 8 ‐ 9 10 ‐ ‐ ‐ 11 1 2 314 3 4 5 6 7 8 ‐ 9 ‐ ‐ ‐ 10 11 1 215 2 3 4 5 6 7 8 ‐ ‐ ‐ ‐ 9 10 11 1

DasichUnterschiedehinsichtlichderGruppenaufdieEffektederBedingungenniederschlagen

könnten,dietrotzderzufälligenZuordnungzudenGruppenaufgrundderrelativgeringenFall‐zahlproZelleauftretenkönnen(vgl.Tabelle10.5),werdendiebetrachtetenParametersoweit

möglichsowohlnachdenBedingungenalsauchdenGruppensortiertzupräsentierensein.Mit‐

telsdes ‐Koeffizienten(Kreuzpointner,Simon&Theis,2009)kannüberprüftwerden,obdieunterschiedlichenGruppengrößenzufälligodersystematischumdenMittelwertvariieren.

Tabelle10.5: Gruppengrößender15Test‐Bedingung‐KonstellationenderCVunterteiltnachTestzeitpunkt der jeweiligen Modi bzgl. aller vollständigen Datensätze( 205)

Gruppe PBVzuT1 % PBVzuT2 %1 7 7.14 9 8.412 8 8.16 6 5.613 7 7.14 9 8.414 7 7.14 5 4.675 8 8.16 5 4.676 7 7.14 8 7.487 8 8.16 10 9.358 5 5.10 8 7.489 7 7.14 5 4.6710 7 7.14 7 6.5411 6 6.12 7 6.5412 4 4.08 7 6.5413 5 5.10 8 7.4814 7 7.14 6 5.6115 5 5.10 7 6.54

Gesamt 98 100.00 107 100.00

Page 90: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

90·Untersuchung2:TestunganBerufsschülern

EsergibtsicheinWertvon .974;derkritischeWert,unterdemeinesystematischeVariati‐

onangenommenwerdensollte,beträgt.966.SomitkönnendieAbweichungenalsrelativunkri‐tischerachtetwerden.

10.2 PsychometrischeGütederPapier‐Bleistift‐Version

BezüglichderAnalysenderpsychometrischenEigenschaftenderPapier‐Bleistift‐Version(PBV)werdeninsbesonderediebeidenBedingungen„PBVzuT1“und„PBVzuT2“unterschieden.Im

Idealfall ergeben sich keine Unterschiede hinsichtlich der untersuchtenMerkmale. Eine erste

Voraussetzung für psychometrische Güte ist die Objektivität (z.B. Lienert&Raatz, 1998). IhrVorliegen kann im gegebenen Setting nur argumentativ gerechtfertigt werden. Die Durchfüh‐

rungsobjektivitätwurdedurcheineschriftlicheFormderInstruktion,gleichesTestmaterialfür

alleProbanden,dieAufsichtwährendderTestungdurchdenVersuchsleiterundeinerLehrkraftsowiedasannäherndgleicheSettingimjeweiligenKlassenzimmerderBerufsschulklassenher‐

zustellenversucht.DieAuswertungerfolgtedurchSchablonenunddieEingabederLösungder

einzelnen Items als richtig oder falsch in eine Datenmatrix. Da in denweiteren Analysen dieRohwerte betrachtetwerden, erübrigt sich eine Diskussion der Interpretationsobjektivität, so

dass die wichtigsten Merkmale des Gütekriteriums Objektivität als gegeben erachtet werden

können.DieBestimmungderReliabilitätdurchParalleltestsistbeideralleinigenBetrachtungderPBV

nichtmöglich,dakeineechteparalleleVersiongenutztwurde.DurchHalbierungderSubtestsin

gerade und ungerade nummerierte Items können zwei pseudoparallele Versionen geschaffenwerden, deren Parallelität (gleicheMittelwerte undVarianzen) noch zu prüfen seinwird. Die

BestimmungderRetestreliabilitätwirderstbeider späterenBerücksichtigungderComputer‐

version(CV)unterUmständenmöglich,fallssichdiebeidenModiimIdealfallalsparallelerwei‐sen und somit Äquivalenz vorliegt. Als Untergrenze der Reliabilität wird der Koeffizient

(Cronbach,1951;vgl.Formel(8‐18))bestimmt.

273der279bearbeitetenTestbögenwarenvollständigausgefüllt.SechsTeilnehmerverspä‐teten sich, so dass der erste Subtest fehlte. Es werden für die folgenden Analysen nur die

273vollständig bearbeitetenTests genutzt. Tabelle10.6 gibt einen erstenÜberblicküber

diedeskriptiveStatistik.

Page 91: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·91

Tabelle10.6: DeskriptiveStatistikderelfSubtestsdesLPS‐neuindergesamtenBerufsschü‐lerstichprobe( 273)undderAufteilunginPBVzuT1( 114)undPBVzuT2( 159)

Gesamt( ) PBVzuT1( ) PBVzuT2( )

Subtest1 7 60 28.33 9.80 7 58 28.12 9.64 9 60 28.48 9.95 ‐0.36Subtest2 4 40 22.78 7.57 7 38 22.49 7.35 4 40 22.99 7.74 ‐0.50Subtest3 10 38 27.01 3.73 10 32 25.82 3.10 17 38 27.86 3.91 ‐2.03Subtest4 8 25 16.68 2.84 11 22 16.43 2.34 8 25 16.86 3.14 ‐0.43Subtest5 12 30 19.06 3.28 12 27 18.86 2.80 12 30 19.21 3.59 ‐0.35Subtest6 2 40 22.43 7.70 2 40 21.99 7.33 5 40 22.74 7.96 ‐0.75Subtest7 11 40 30.57 5.16 13 38 30.02 4.67 11 40 30.97 5.47 ‐0.95Subtest8 4 40 34.43 5.56 15 40 33.29 5.57 4 40 35.25 5.42 ‐1.96Subtest9 0 24 11.23 4.33 0 23 11.21 4.02 0 24 11.25 4.56 ‐0.04Subtest10 3 60 33.15 7.22 3 53 32.34 6.93 11 60 33.72 7.39 ‐1.38Subtest11 0 44 15.99 6.96 0 37 16.25 6.83 0 44 15.81 7.07 0.43

Bemerkungen: ‐Signifikanzniveau .01,‐Signifikanzniveau .05,jeweilshinsichtlichdesPaarvergleichsderMit‐telwertemittels ‐Test(vgl.Tabelle10.7)

InTabelle10.7werdendieinferenzstatistischenKennwertezumVergleichderbeidenStichpro‐benteileaufgeführt.LediglichdieSubtests3und8weisenstatistischsignifikanteMittelwertsun‐

terschiede auf, so dass ein allgemeiner Gedächtniseffekt durch diewiederholte Durchführung

zwaralsvorhandenallerdingsalsbegrenzterachtetwerdenkann(nurinSubtest11istdieDif‐ferenznichtnegativ).DieErgebnisseohneBerücksichtigungderKlasseMME10a,derenTestun‐

gennurzweiTageauseinanderliegen,ändernsichkaum.

DieVerteilungenderSubtests3und8werdeninAbbildung10.1veranschaulicht;dieVertei‐lungenallerSubtestsfindensichinAnhang15.3und15.4.InderGrafikwirddeutlich,dassdie

wiederholteTestungvonSubtest3alsPBVinsgesamtzueinembesserenErgebnisderStichpro‐

beführt.FürdensignifikantenMittelwertsunterschiedunddieextremenSchiefeparameterbeiSubtest8dürfteeinDeckeneffektverantwortlichsein.AlsLösungfürdiesesProblemkönntedie

Verkürzung der Bearbeitungsdauer von drei auf zweiMinuten dienen. Dieswird in weiteren

Untersuchungenzuprüfensein.

Page 92: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

92·Untersuchung2:TestunganBerufsschülern

Tabelle10.7: ‐TestundEffektstärkezumVergleichderPBVzuT1undzuT2sowieSchiefeundKurtosisderelfSubtestsdesLPS‐neuindergesamtenBerufsschülerstich‐probe( 273)unddenAufteilungeninPBVzuT1( 114)undPBVzuT2( 159)

PBVzuT1vs.PBVzuT2

Gesamt( )

PBVzuT1( )

PBVzuT2( )

′ Schiefe Kurtosis Schiefe Kurtosis Schiefe KurtosisSubtest1 0.30 .76 0.04 0.34 ‐0.25 0.40 ‐0.02 0.30 ‐0.37Subtest2 0.54 .69 0.07 ‐0.05 ‐0.66 ‐0.02 ‐0.67 ‐0.07 ‐0.65Subtest3 4.78 <.01 0.58 ‐0.09 1.42 ‐1.20 4.98 0.05 ‐0.03Subtest4 1.30 .34 0.16 ‐0.20 0.59 ‐0.20 ‐0.51 ‐0.27 0.62Subtest5 0.90 .53 0.11 0.34 0.17 0.06 0.05 0.38 ‐0.03Subtest6 0.81 .58 0.10 0.13 ‐0.37 0.20 ‐0.02 0.08 ‐0.54Subtest7 1.54 .24 0.19 ‐0.95 1.40 ‐0.63 0.83 ‐1.16 1.80Subtest8 2.90 .01 0.36 ‐1.55 3.64 ‐1.01 0.45 ‐2.08 7.34Subtest9 0.08 .80 0.01 0.07 0.00 0.08 0.52 0.06 ‐0.25Subtest10 1.58 .23 0.19 ‐0.03 2.51 ‐0.68 3.08 0.32 2.05Subtest11 0.51 .70 0.06 0.51 1.38 0.26 1.14 0.67 1.64

Bemerkungen: ‐Statistikdes ‐TestsaufGleichheitderMittelwerte;

′‐EffektstärkenachCohen(1988): ′ | |/ ′mit /2;

‐Signifikanzniveau .01,‐Signifikanzniveau .05,

StandardfehlerderSchiefe: .15, 1 .23, 2 .19;

StandardfehlerderKurtosis: .29, 1 .45, 2 .38;

FürdiemeistenSubtestsliegtzudenbeidenTestzeitpunktenSymmetrie,alsoeingeringerSchie‐feparameter vor. Bei Subtest 2 ist der Exzess auffällig. Trotz Symmetrie ist die Verteilung

platykurtisch,d.h.breiterverteiltalseineNormalverteilung.Analogesgilt fürSubtest4zuT1

undSubtest6zuT2.DieVerteilungenderSubtests9und11zuT1unddesSubtests4zuT2sindhingegen leptokurtisch;dieLeistungvielerVersuchspersonen liegt somit gehäuftumdenMit‐

telwert bei einigen Ausreißern in beide Richtungen. Die Verteilung von Subtest 1 ist leicht

rechtssteil,wobeihierfürwohlehereine leichteTendenzzurBimodalitätursächlicherscheint(vgl.Anhang15.3).Die linkssteilenVerteilungenvonSubtest7undSubtest3 inT1resultieren

vermutlichamehestendaher,dasseseinigeVersuchspersonengab,diesehrgutabschnitten,ein

„Totalversagen“andererseitsaufgrunddererstensehrleichtenAufgabenhöchstunwahrschein‐lich ist und daher nicht vorkam. Die rechtssteilen Verteilungen der Subtests 5 und 11 zu T2

könntendurchdieZeitbegrenzungbedingt sein, die einegeringereDifferenzierungunddamit

denstärkerenAbfallrechtsvomMittelwertzurFolgehabenkann.

Page 93: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·93

Abbildung10.1: VerteilungendenErgebnissederSubtests3und8inderBerufsschul‐SPunter‐teiltinPBVzuT1undPBVzuT2

AufdieHöhederKennwertederReliabilitäthabendieUnterschiedederbeidenGruppenPBVzuT1undPBVzuT2nurteilweiseEinfluss(Subtest3,PBVzuT1: .67, .59, 13.01,

12.82; PBV zu T2: .78, .71, 13.92, 13.94; Subtest 8, PBV zu T1:

.90, .86, 16.84, 16.45; PBV zu T2: .91, .86, 17.69,

17.57),insbesondereführtdiegemeinsameBetrachtungnurineinemFall(Subtest3,PBV

zuT1)zueinerÜberschätzung(vgl.Tabelle10.8).DaherwerdendieReliabilitätskennwerteder

PBVfürdieGesamtstichprobebetrachtet.AußerfürdieSubtests3,4und5liegendieReliabili‐

tätskennwerteimgutenbissehrgutenBereich.FürdieSubtests2,5und6istdurchdieHalbie‐rungingeradeundungeradeItemsdieParallelitätjedochnichtganzangemessen( 0.2).Die

ReliabilitätderSubtests3,4und5bewegtsichineinemfürdieEndfassungeinesLeistungstests

nichtangemessenenBereichvon.58bis.76;dienachderSpearman‐Brown‐FormelkorrigiertenSplit‐Half‐IndizesgebenjedochAnlasszuHoffnung,dassdieserpsychometrischeMangelinder

Endfassungkorrigiertwerdenkann.

Tabelle10.8: Cronbach’s , Split‐Half‐Reliabilität undÜberprüfung der Parallelität der Tei‐lung der Subtests in die Hälften ungerade ( ) und gerade ( ) nummerierteItems( 273)

Subtest1 .92 .89 .94 14.17 4.77 14.16 5.31 0.01 5.05 0.00 30Subtest2 .90 .87 .93 11.85 3.81 10.93 4.02 0.92 3.92 0.23 20Subtest3 .76 .69 .82 13.54 1.97 13.47 2.08 0.07 2.03 0.03 20Subtest4 .65 .58 .74 8.48 1.54 8.21 1.65 0.27 1.60 0.17 20Subtest5 .74 .71 .83 9.92 1.70 9.15 1.84 0.77 1.77 0.43 20Subtest6 .93 .94 .97 11.76 3.88 10.67 3.93 1.09 3.91 0.28 20Subtest7 .86 .81 .90 15.18 2.63 15.40 2.79 ‐0.22 2.71 ‐0.08 20Subtest8 .90 .86 .93 17.33 2.87 17.10 2.89 0.23 2.88 0.08 20Subtest9 .80 .89 .94 17.10 2.89 5.65 2.27 0.06 2.60 0.02 20Subtest10 .93 .97 .99 16.78 3.62 16.37 3.65 0.41 3.63 0.11 30Subtest11 .91 .92 .96 8.23 3.58 7.76 3.52 0.47 3.55 0.13 40

Bemerkung: ‐nachderSpearman‐Brown‐Formel( 2 1⁄ ,Lienert&Raatz,1998)korrigierteHal‐bierungsreliabilität

0

10

20

30

40

50

0 4 8 12 16 20 24 28 32 36 40

Subtest 3 PBV zu T1 Subtest 3 PBV zu T2

0

10

20

30

40

50

60

70

0 4 8 12 16 20 24 28 32 36 40

Subtest 8 PBV zu T1 Subtest 8 PBV zu T2

Page 94: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

94·Untersuchung2:TestunganBerufsschülern

Die ItemindizesTrennschärfeundSchwierigkeitdereinzelnenItems(vgl.Kapitel8.6undFor‐

mel (8‐20))werden ihres Umfangswegen in Anhang 15.5 aufgeführt. Tabelle 10.9 stellt eineZusammenfassungdar.BeidenSubtests3,7und8sinddieAufgabenimMitteldeutlichzuleicht.

Für Subtest 3 sind insbesondere die ersten elf Items von fast allen Versuchspersonen gelöst

worden. Im75%‐Quartil kommenoffensichtlichnurFlüchtigkeitsfehler vor.Ähnlichesgilt fürdieSubtests5,7,8und10.DortweisenjedochmehrItemseinzelneFalschlösungenauf.DieZahl

der100%richtiggelöstenItemsistindiesenSubtestsdeutlichgeringer.Die25%‐Quartileder

Subtests4und5zeigen,dassdieAnzahlzuschwierigerItemsdeutlichzugroßist.FürSubtest8istsiehingegenzuklein.DieniedrigenWerteder25%‐QuartilederSubtests9,10und11resul‐

tierenhingegeneherausderBesonderheitderAufgabenstellung.IndiesendreiSubtests istes

insbesondereso,dassdieSpeedkomponentestärkerrepräsentiertistundsomitdieAnzahlderbearbeitetenItemseinegewichtigereRollespielt.SomitisthierdieZahlderVersuchspersonen,

diedieItemsdesletztenDrittelsbearbeiten,ohnehingeringerundsomitderWertderSchwie‐

rigkeitderItemskleiner.DieKorrelationderPositionenderItemsmitdenRängenaufgrundderSchwierigkeit fürSubtest1 istmit r=.73zuniedrig.FürdiesenSubtestwerdenumfangreiche

Umstellungenundevtl.derAustauscheinigerItemsnotwendigsein.DieWertederKorrelatio‐

nenderübrigenSubtestsdeuten,wennüberhaupt,nurbedingtaufdieNotwendigkeiteinesEin‐griffsindieReihenfolgehin.

Tabelle10.9: Lageparameter der Schwierigkeitskennwerte ( ) und Trennschärfen ( ) derelfSubtestsdesLPS‐neubzgl.derBerufsschul‐Stichprobe( 273)

% % %

%

Subtest1 .44 .47 .33 .04 .99 .17 .71 .73 .39 .40 .24 .02 .72 .21 .54Subtest2 .61 .57 .27 .07 .98 .38 .81 .91 .36 .41 .20 .02 .66 .31 .54Subtest3 .82 .68 .36 .03 1.00 .29 .99 .95 .21 .22 .16 ‐.08 .52 .12 .29Subtest4 .36 .48 .42 .00 1.00 .04 .97 .97 .13 .14 .15 ‐.23 .44 .01 .25Subtest5 .36 .48 .42 .00 1.00 .04 .97 .97 .16 .18 .16 ‐.07 .41 .02 .34Subtest6 .61 .56 .34 .07 .99 .21 .87 .98 .51 .48 .25 .00 .76 .33 .58Subtest7 .89 .76 .27 .11 .99 .64 .96 .94 .33 .33 .14 .01 .50 .23 .45Subtest8 .92 .86 .16 .39 1.00 .81 .98 .94 .42 .41 .21 ‐.05 .66 .30 .53Subtest9 .14 .28 .32 .00 .94 .01 .52 .95 .23 .22 .20 ‐.10 .51 .01 .39Subtest10 .71 .55 .42 .02 1.00 .05 .97 .98 .43 .42 .21 ‐.06 .69 .32 .52Subtest11 .19 .35 .34 .00 .89 .03 .76 .98 .42 .44 .18 .00 .68 .36 .54

IndenSubtests3,4und5sindzuvieleItemszuschwerundzuleicht;dasichextremeWertederItemschwierigkeitnegativhinsichtlichderTrennschärfeauswirken(vgl.Formel(8‐20)),weisen

dieseSubtestsentsprechendsowohl imMittelalsauchindenbeidenäußerenQuartilsgrenzen

geringeWerteauf.DienegativenWertetretenindenSubtests4und5beiItemsauf,diejenseitsderGrenzeliegen,innerhalbdererdieProbandendieItemswirklichbearbeitethatten,sindalso

insofernunkritischunddurchRateeffektezuerklären.DernegativeWertinSubtest8resultiert

ausdereinzigenfalschenLösungdesviertenItemsdurcheineVersuchsperson,derenSubtest‐wertüberdemMittelwertliegt.DieskannalsFlüchtigkeitsfehlerundalssolchesebensounkri‐

tischerachtetwerden.FürSubtest10liegtdereinzigenegativeWertfürItem7vor,beidemvon

siebenProbandeneine falscheZiffernichtmarkiertwurde.Ein speziellerGrundhierfür ist je‐dochnichtersichtlich.DieTrennschärfenfürSubtest10sindaufgrunddesSpeedcharaktersder

Page 95: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·95

TestsunddessenlinearenAufbausallgemeinrechthoch.FürSubtest9sinddieWerteinsbeson‐

derefürdieItemsgut,beidenenEinser,Zweier,DreierundViererzuzählenwaren.DiehöherenZiffernwurdennursehrseltenerreicht,dienegativenTrennschärfewerteabItem33resultieren

wohl aufgrundvonRaten, da sie vonnurmehrhöchstens zweiVersuchspersonen angekreuzt

wurden.DieTrennschärfenderübrigenSubtestsliegeninsbesondereinAnbetrachtderSpeed‐komponente derAufgaben in angemessenenQuartilsgrenzen,wobei eineVerschiebung insbe‐

sonderedes75%‐QuartilsvonVorteilwäre, sodassdieZahlder sehr leichten Itemsnicht zu

hochist.Insgesamthabensichsowohldieübernommenen(3,6,7,8,9und10),alsauchdieveränder‐

tenSubtests(1,2und11)psychometrischbewährt. IndenSubtests4und5müssenvoreiner

NormierungnochÄnderungenandenzuschwerenItemsvorgenommenwerden,damitsichdieReliabilität andasNiveauderübrigenSubtestsundsomitandiegeforderteHöhebewegt.Die

zweite Testung als PBV führt imMittel nur zu geringfügig höherenRohwerten. Für Subtest 8

könntedieVerkürzungderBearbeitungszeit sowohldieUnterschiede zweierDurchführungenverringern, als auch die Verteilung der Leistungen über die Stichprobe verbessern. Subtest 3

zeigtbeiderTestungalsPBVzuT1einevermeintlichpassendeVerteilung(vgl.Abbildung10.1).

DurcheinigeWerte imunterenBereichunddasMaximumvon32Rohwertpunkten liegendieAusprägungen von Schiefe und Kurtosis jedoch deutlich über den geeigneten Ausprägungen

( 1.20, 4.98). Die platykurtische rechtssteile Verteilung zu T1 im Vergleich zur

relativsymmetrischenVerteilungzuT2,aufgrunddessender ‐Valueverteilungsbedingtniedri‐gerausfällt,lässtjedochhoffen,dassessichindiesemKontextumeinestichprobenzufälligeAb‐

weichung handelt, die inweiterenUntersuchungen und bei größeren Stichproben nichtmehr

vorkommenwird.MitAusnahmevonSubtest8alsPBVzuT2scheinenalleSubtestszudenbei‐denMesszeitpunkten einigermaßen angemessen verteilt zu sein (vgl. Anhang 13.4). Dennoch

zeigeneinigeSubtests(insbesondere7,10und11)auffälligeVerteilungsparameter(vgl.Tabelle

10.7),dieauchbeidergemeinsamenBetrachtung(undsomitderErhöhungderFallzahl)nichtgänzlichverschwinden.FürSubtest7wäreeineVerkürzungderBearbeitungszeiteinemögliche

Lösung,daauchhierdieTendenzzueinemDeckeneffektauszumachen ist.Der leptokurtische

VerlaufvonSubtest10wirdwohlaufgrundderTestkonstruktionhingenommenwerdenmüs‐sen. Veränderungen in der Bearbeitungszeit hätten bei einer Verkürzung eine noch stärkere

Bündelung umdenMittelwert und bei einer Verlängerung vermutlich eine einfacheVerschie‐

bungmitdemRisikoeinesDeckeneffektszurFolge.FürSubtest11hätteeineVerlängerungderBearbeitungszeit voraussichtlich positive Effekte hinsichtlich der Verteilung. Eswürdenmehr

WertegrößeralsderMittelwertresultieren,diedieSchiefeundimIdealfalldieKurtosisverrin‐

gern.GenerellscheintderAnteilderSpeedkomponentemitderVerzerrungderVerteilungwegvon

symmetrischundnormaleinherzugehen.Dennochzeigtsich,dassdieSubtestsüberzweiTes‐

tungenhinwegvergleichbareErgebnisseerwartenlassen.InwieferndiesinderTestungalsCVderFallist,wirdimFolgendendargestellt.

Page 96: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

96·Untersuchung2:TestunganBerufsschülern

10.3 PsychometrischeGütederComputer‐Version

AufgrundderunterschiedlichenDurchführungsbedingungen isteinezusammenfassende Inter‐pretationderSubtestergebnissederCVhinsichtlich ihrerReliabilität erstdannzulässig,wenn

nachgewiesenist,dasssichdieResultatederSubtestsindenverschiedenenBedingungennicht

unterscheiden.AuchdieObjektivität ist ingewisserWeisedurchdieVariationderDarstellungbetroffen.HinsichtlichderDurchführungsobjektivitätkönnendienotwendigenUnterschiededer

BeschreibungenderBedingungenEinflussaufdieLösungsstrategiengenommenhaben.Dieser

EinflussistjedochmitdenBedingungenverschränktundkanndurchdasgewählteSettingnichtkontrolliertwerden.DadasvornehmlicheZiel jedochdieÄquivalenzmitderPBVist, istesge‐

rechtfertigt,dieObjektivitätdereinzelnenBedingungenzubetrachten.Diesekannfüralledrei

Aspektealsgegebenerachtetwerden.AlleProbandenhattenhinsichtlichderDurchführungimselbenSettingdieselbeInstruktion,dieamComputervorgegebenwurde.DieErgebnissewurden

durch den PC aufgezeichnet und ausgewertet, wodurch eine zufällige Falschkodierung ausge‐

schlossenist.DieRohwertsummealszuvergleichenderMesswertisthinsichtlichderInterpreta‐tionunkritisch.

WegendergeringenFallzahlenproSubtestproBedingungistdiemessfehlerunkritischeBe‐

stimmungderReliabilitätundderItemkennwerteerschwert.Fürjededer15Bedingungenste‐hen zwischen elf und 18 Datensätze zur Verfügung (vgl. Tabelle 10.5). Die Betrachtung der

Kennwerte der einzelnen Items erscheint aufgrund der zu erwartendenMessfehler alswenig

aussagekräftig.DieMittelwertederSchwierigkeits‐undTrennschärfeparameterkönnenhinge‐gen einen ersten deskriptivenÜberblick über die Ähnlichkeit derDurchführungsbedingungen

derCVebensowiehinsichtlichderPBVgeben.

Tabelle10.10: Cronbach’s derSubtestsdesLPS‐neuinden15Vpn‐Gruppen(definiertdurchdieBedingungskombinationenindeneinzelnenSubtests)derCV

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 PBV

Subtest1 .97 .90 .95 .95 .93 .92 .94 .94 .94 .95 .94 .92 .96 .94 .93 .92

Subtest2 .92 .89 .92 .93 .89 .93 .92 .94 .86 .94 .94 .88 .93 .95 .90 .90

Subtest3 .88 .53 .75 .80 .74 .73 .78 .75 .54 .84 .73 .70 .72 .64 .73 .76

Subtest4 .79 .57 .66 .70 .80 .48 .61 .41 .53 .76 .63 .62 .69 .78 .38 .65

Subtest5 .73 .85 .84 .78 .78 .52 .75 .61 .58 .83 .77 .61 .43 .42 .73 .74

Subtest6 .91 .87 .94 .89 .91 .92 .93 .84 .95 .93 .91 .93 .87 .96 .92 .93

Subtest7 .81 .74 .78 .81 .89 .76 .85 .91 .57 .84 .90 .86 .82 .87 .67 .86

Subtest8 .89 .83 .85 .84 .94 .96 .92 .95 .82 .90 .87 .72 .86 .88 .81 .90

Subtest9 .47 .64 .56 .59 .77 .73 .68 .93 .81 .86 .87 .89 .87 .89 .47 .80

Subtest10 .91 .94 .92 .89 .94 .90 .91 .90 .98 .97 .93 .98 .98 .92 .92 .93

Subtest11 .93 .87 .95 .95 .91 .91 .90 .91 .93 .91 .89 .85 .91 .92 .89 .91

Bemerkungen: DieBerechnungberücksichtigtnichtdieReihenfolgederTestmodi(PBV‐CVbzw.CV‐PBV).

.70graumarkiert

AuchfürdieBetrachtungderinternenKonsistenzdarfdiegeringeStichprobengrößezwischen

16und20Versuchspersonen(ungeachtetdesMesszeitpunktes)nichtaußerAchtgelassenwer‐

den.KeineGruppefälltdurchkonsistentgeringereWerteimVergleichzudenanderenGruppen

Page 97: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·97

auf(vgl.Tabelle10.10),sodassdieWertekleiner.70durchdieInteraktionTestundBedingung

verursachtscheinenoderStichprobeneffektesind.InwieferndieseInteraktionengruppenspezi‐fischsind,kanndurchdieBetrachtungvonTabelle10.11erschlossenwerden.FürSubtest1re‐

sultieren in jeder Bedingung angemesseneWerte, der kleinsteWert ergibt sich für Gruppe 2.

AnalogesgiltfürSubtest2,wobeihierBedingung3durchGruppe2durchlaufenwurde.FürSub‐test3zeigensichgroßeSchwankungen;dasSpektrumreichtvon .95bis .53(Gruppe2!),wäh‐

renddiePBVein von.76aufweist.ÄhnlicheErgebnissestelltensichfürdieSubtests4und5

ein,eszeigtsichjedochkeinMusterhinsichtlichderBedingungen.FürdieBedingungen7und8weistdieCVtendenziellhöhereWertealsdiePBVauf.

Tabelle10.11: Cronbach’s derSubtestsdesLPS‐neuinden15BedingungenderCV

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 PBV

Subtest1 .97 .90 .95 .95 .93 .92 .94 .94 .94 .95 .94 .92 .96 .94 .93 .92

Subtest2 .90 .92 .89 .92 .93 .89 .93 .92 .94 .86 .94 .94 .88 .93 .95 .90

Subtest3 .64 .73 .88 .53 .75 .80 .74 .73 .78 .75 .54 .84 .73 .70 .72 .76

Subtest4 .69 .78 .38 .79 .57 .66 .70 .80 .48 .61 .41 .53 .76 .63 .62 .65

Subtest5 .61 .43 .42 .73 .73 .85 .84 .78 .78 .52 .75 .61 .58 .83 .77 .74

Subtest6 .91 .93 .87 .96 .92 .91 .87 .94 .89 .91 .92 .93 .84 .95 .93 .93

Subtest7 .84 .90 .86 .82 .87 .67 .81 .74 .78 .81 .89 .76 .85 .91 .57 .86

Subtest8 .82 .90 .87 .72 .86 .88 .81 .89 .83 .85 .84 .94 .96 .92 .95 .90

Subtest9 .59 .93 ‐ .87 .86 ‐ .86 .87 ‐ ‐ ‐ .47 .71 .65 .68 .80

Subtest10 .91 .89 ‐ .90 .91 ‐ .98 .98 ‐ ‐ ‐ .92 .92 .94 .92 .93

Subtest11 .87 .95 .95 .91 .91 .90 .91 .93 .91 .89 .85 .91 .92 .89 .73 .91

Bemerkungen: DieBerechnungberücksichtigtnichtdieReihenfolgederTestmodi(PBV‐CVbzw.CV‐PBV).

.70graumarkiert

AuchdieSubtests6,10und11weisengenerellrelativhoheundderPBVentsprechendeWerte

auf.FürSubtest9schwankendieWertesehrstark.EinigeBedingungenweisenrelativniedrige

Werteauf.InvielenBedingungenresultierenhingegensehrguteKonsistenzwerte.Insgesamt findet sichalsodasBildderPBVbestätigt, dass sichdiebestehendenund leicht

verändertenSubtestsdesLPS‐neubewährthaben.EinschränkungenmüssennurfürSubtest4,5

und9undeinigeeinzelneBedingungskonstellationengemachtwerden.KeinederGruppefälltdadurchauf,dassdieItemsallerSubtestsfürsiebesondersschwero‐

derleichtwaren,wobeidocheinigeTendenzenersichtlichsind(vgl.Tabelle10.12).DieGruppen

2,3,4,5und12weisenbeiderCVzuT1beidenmeistenSubtestsmittlereItemschwierigkeitenüberdemDurchschnittallerGruppenauf.BeidenGruppen2und3istdieDifferenzvonfünf,bei

5und12vondreiundbei4vonzweiSubtestsgrößeralseineStandardabweichung.DieGrup‐

pen 6, 11 und 14 haben in der CV zu T1 einige Schwierigkeitswerte, diemehr als eine Stan‐dardabweichungkleineralsderMittelwertsind(6sechs,11und14 jevier).DieübrigenSub‐

testsdieserGruppensind jedochdurch‐oder teilweisedeskriptivüberdurchschnittlich. Inder

CVzuT2zeigtsichdieserEffektnurbeiGruppe12.DieWertederGruppen2liegenhiereherunterundimDurchschnitt.DiemittlereSchwierigkeitderGruppe3liegtbeineunderelfSub‐

testsleichtüber,beizweiSubtestsdeutlichunterdemDurchschnitt.DesWeiterenfallendurch

eherniedrigeWerteinderCVzuT2dieGruppen4,8und13auf.DieGruppen1und14zeigen

Page 98: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

98·Untersuchung2:TestunganBerufsschülern

hier hingegen je fünf überdurchschnittlicheWerte, allerdings auch einige unterdurchschnittli‐

che.

Tabelle10.12: MittlereSchwierigkeitderCVundderPBVderSubtestsdesLPS‐neuinden15Vpn‐GruppenderCV

CV PBV

1 2 3 4 5 6 7 8 9 10111213 14 15 M 1 2 3 4 5 6 7 8 9 101112131415 M

CVzuT1,PVBzuT2

1 .26.31.41.28.30.30 .29.32.26.33.31.43.39 .33 .31.32(.05)

.40.45 .52 .46 .44 .44 .53.44 .47 .50.43.55.50.46.53.47(.04)

2 .44.55.47.49.46.37 .47.49.39.44.39.48 .31 .40 .52.44(.06)

.60.73 .69.61 .65 .45.55 .55 .60 .57.53.78.51.51.63.60(.09)

3 .65.69.69.64.67.59 .59.64.65.63.59.64.64 .66 .65.64(.03)

.68.76 .78 .65.76 .65.70 .74 .71 .69.67.73.69.73.70.71(.04)

4 .40.42.46.41.42.37.41.40.43.41.36.42.40 .41 .40.41(.02)

.43.45 .47 .44 .42 .42 .41 .43 .44 .44.39.48.41.46.47.44(.03)

5 .45.53.48.49.48.43.46.43.45.42.46.48.49 .45 .47.46(.03)

.47.56.54 .51 .56.47 .44.47 .52 .48.48.52.48.46.54.50(.04)

6 .44.53.50.47.52.49 .43.46.54.46.31.49 .42 .31 .46.45(.07)

.60.69.64 .67 .66 .70.59 .52.63 .53.42.58.52.37.69.59(.10)

7 .68.71.74.71.77.69.74.68.83.70.60.74.66.75 .73.71(.05)

.81.88.83 .77 .84 .78 .84 .78 .89.81.73.80.76.77.76.80(.05)

8 .76.84.82.78.80.73 .79.73.77.78.80.83.77 .73 .80.78(.04)

.90.93 .88 .88 .91 .86 .93 .93 .86 .89.85.94.87.88.87.89(.03)

9 .29.31.34.39.39.37 .39.21.27.13.24.27 .11 .13 .39.28(.10)

.53.50 .49 .62 .69.51 .59 .48 .64.60.56.58.41.51.56.55(.07)

10.27.25.28.32.33.38 .46.40.44.39.39.45 .40 .26 .27.35(.07)

.54.59 .63 .62 .68 .52.59 .60 .53 .57.54.55.54.54.59.58(.04)

11.27.21.37.35.35.18 .30.21.33.26.27.29 .27 .31 .33.29(.06)

.39.48 .51.43 .52 .37 .36.39 .45 .44.45.44.37.45.53.44(.06)

PBVzuT1,CVzuT2

1 .72.43.54.47.54.47 .46.53.44.60.51.56.42 .60.49.52(.08)

.62.40.50 .41.47 .45 .52 .45 .44 .52.45.53.45.51.50.48(.06)

2 .76.69.69.56.63.63 .69.66.54.69.63.80.57 .78.64.66(.08)

.69.63 .67.56 .58 .50.55 .57 .54 .58.53.71.51.56.59.58(.06)

3 .66.71.71.69.73.70 .70.65.68.69.74.71.74 .73 .73.70(.03)

.66.71 .73 .65 .69 .65 .68 .69 .65 .68.66.69.69.70.62.68(.03)

4 .48.46.38.43.44.39 .45.44.43.45.44.48.47 .50.41.44(.03)

.43.44 .43 .43 .41 .43 .41 .41 .41 .44.40.45.42.44.43.43(.01)

5 .58.41.52.46.48.47 .50.41.50.54.52.54.49 .50 .46.49(.05)

.50.52 .53 .48 .48 .46 .47 .46 .48 .48.48.53.47.48.49.49(.02)

6 .59.57.60.49.56.68.60.50.59.57.53.61.43.61 .66.57(.06)

.60.63.61 .57 .58 .66.57 .53 .57 .53.39.57.49.48.68.56(.07)

7 .78.76.81.73.77.79 .79.76.76.77.84.84.77 .76 .81.78(.03)

.76.80 .83 .75 .76 .77 .82 .75 .81 .76.76.81.75.75.75.78(.03)

8 .89.84.90.82.83.90 .92.93.90.91.89.94.88 .86 .93.89(.04)

.78.90 .88 .82 .85 .84 .91 .89 .83 .85.87.92.86.85.88.86(.04)

9 .36.38.35.38.37.36 .35.31.29.23.37.34 .22 .24 .37.33(.06)

.49.54 .47.53 .53 .56 .57 .49 .56 .57.59.59.46.51.51.53(.04)

10.34.26.29.31.33.45 .45.47.59.54.55.61.57 .35 .36.40(.09)

.57.51 .59 .57 .59 .55 .55 .57 .54 .51.54.55.55.56.60.56(.03)

11.56.29.46.38.44.47 .44.28.37.43.45.52.41 .55 .34.43(.08)

.50.38 .50.39 .45 .41 .40 .38 .39 .42.44.48.40.47.46.43(.04)

Bemerkungen: FarblichhinterlegteWerteweichenauffälligvomMittelwertderentsprechendenPBVab;CVzuT1wirdmitdenMittelwertenderPBVzuT1verglichen;entsprechendCVzuT2mitPBVzuT2;

.1:dunkelgrau; .05:hellgrau;

.05:hellorange; .1:dunkelorange

FürdieOrdnungdermittlerenItemschwierigkeitennachdenDurchführungsbedingungenlassen

sich fast keineHäufungen von abweichendenWerten pro Bedingung ausmachen. Lediglich in

derCVzuT2 indenBedingungen6und9 liegendieWertenurvierbzw. zweiMalüberdemDurchschnitt.DieübrigenmittlerenSchwierigkeitenderSubtestssindentwedernuretwasoder

inzweibzw.dreiFällensogarmehralseineStandardabweichungkleineralsderDurchschnitt

(vgl.Tabelle10.13).

Page 99: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·99

EszeigensichsomitsogutwiekeinesystematischenBedingungseffektehinsichtlichdermitt‐

lerenSchwierigkeitenderItemsinnerhalbderCV.FüreinigeGruppenerweisensichdieItemsimMitteletwasleichter,wobeidieslediglichfürGruppe12inbeidenReihenfolgepositionender

Fall ist.Obdies eine zufälligeKumulierung stärkererProbanden ist oderdemderGruppe zu‐

grunde liegenden Bedingungsgefüge geschuldet ist, wird im Rahmen des Vergleichs der Leis‐tungswertederSubtestdiskutiert.

Tabelle10.13: MittlereSchwierigkeitderCVundderPBVderSubtestsdesLPS‐neuinden15BedingungenderCV

CV PBV

1 2 3 4 5 6 7 8 9 10111213 14 15 M 1 2 3 4 5 6 7 8 9 101112131415 M

CVzuT1,PVBzuT2

1 .26.31.41.28.30.30.29 .32.26.33.31.43.39 .33 .31 .32(.05) .40 .45 .52 .46 .44 .44 .53 .44 .47 .50.43.55.50.46.53 .47(.04)

2 .52.44.55.47.49.46.37 .47.49.39.44.39.48 .31 .40 .44(.06) .63 .60 .73 .69 .61 .65 .45 .55 .55 .60.57.53.78.51.51 .60(.09)

3 .66.65.65.69.69.64.67 .59.59.64.65.63.59 .64 .64 .64(.03) .73 .70 .68 .76 .78 .65 .76 .65 .70 .74.71.69.67.73.69 .71(.04)

4 .40.41.40.40.42.46.41 .42.37.41.40.43.41 .36 .42 .41(.02) .41 .46 .47 .43 .45 .47 .44 .42 .42 .41.43.44.44.39.48 .44(.03)

5 .48.49.45.47.45.53.48 .49.48.43.46.43.45 .42 .46 .46(.03) .52 .48 .46 .54 .47 .56 .54 .51 .56 .47.44.47.52.48.48 .50(.04)

6 .31.49.42.31.46.44.53 .50.47.52.49.43.46 .54 .46 .45(.07) .42 .58 .52 .37 .69 .60 .69 .64 .67 .66.70.59.52.63.53 .59(.10)

7 .70.60.74.66.75.73.68 .71.74.71.77.69.74 .68 .83 .71(.05) .81 .73 .80 .76 .77 .76 .81 .88 .83 .77.84.78.84.78.89 .80(.05)

8 .77.78.80.83.77.73.80 .76.84.82.78.80.73 .79 .73 .78(.04) .86 .89 .85 .94 .87 .88 .87 .90 .93 .88.88.91.86.93.93 .89(.03)

9 .39.21 ‐ .24.27 ‐ .12 .13 ‐ ‐ ‐ .34.35 .36 .39 .28(.10) .62 .48 ‐ .56 .61 ‐ .51 .51 ‐ ‐ ‐ .55.60.50.59 .55(.07)

10.46.32 ‐ .38.40 ‐ .45 .40 ‐ ‐ ‐ .26.27 .25 .28 .35(.07) .59 .62 ‐ .52 .57 ‐ .54 .56 ‐ ‐ ‐ .54.57.59.63 .58(.04)

11.21.37.35.35.18.30.21 .33.26.27.29.27.31 .33 .40 .29(.06) .48 .51 .43 .52 .37 .36 .39 .45 .44 .45.44.37.45.53.43 .44(.06)

PBVzuT1,CVzuT2

1 .72.43.54.47.54.47.46 .53.44.60.51.56.42 .60 .49 .52(.08) .62 .40 .50 .41 .47 .45 .52 .45 .44 .52.45.53.45.51.50 .48(.06)

2 .64.76.69.69.56.63.63 .69.66.54.69.63.80 .57 .78 .66(.08) .59 .69 .63 .67 .56 .58 .50 .55 .57 .54.58.53.71.51.56 .58(.06)

3 .73.73.66.71.71.69.73 .70.70.65.68.69.74 .71 .74 .70(.03) .70 .62 .66 .71 .73 .65 .69 .65 .68 .69.65.68.66.69.69 .68(.03)

4 .47.50.41.48.46.38.43 .44.39.45.44.43.45 .44 .48 .44(.03) .42 .44 .43 .43 .44 .43 .43 .41 .43 .41.41.41.44.40.45 .43(.01)

5 .54.49.50.46.58.41.52 .46.48.47.50.41.50 .54 .52 .49(.05) .53 .47 .48 .49 .50 .52 .53 .48 .48 .46.47.46.48.48.48 .49(.02)

6 .53.61.43.61.66.59.57 .60.49.56.68.60.50 .59 .57 .57(.06) .39 .57 .49 .48 .68 .60 .63 .61 .57 .58.66.57.53.57.53 .56(.07)

7 .77.84.84.77.76.81.78 .76.81.73.77.79.79 .76 .76 .78(.03) .76 .76 .81 .75 .75 .75 .76 .80 .83 .75.76.77.82.75.81 .78(.03)

8 .90.91.89.94.88.86.93 .89.84.90.82.83.90 .92 .93 .89(.04) .83 .85 .87 .92 .86 .85 .88 .78 .90 .88.82.85.84.91.89 .86(.04)

9 .38.31 ‐ .37.32 ‐ .23 .24 ‐ ‐ ‐ .37.38 .36 .35 .33(.06) .53 .49 ‐ .59 .58 ‐ .52 .51 ‐ ‐ ‐ .50.54.52.57 .53(.04)

10.45.31 ‐ .45.51 ‐ .60 .56 ‐ ‐ ‐ .35.35 .26 .29 .40(.09) .55 .57 ‐ .55 .56 ‐ .55 .53 ‐ ‐ ‐ .56.59.51.59 .56(.03)

11.29.46.38.44.47.44.28 .37.43.45.52.41.55 .34 .48 .43(.08) .38 .50 .39 .45 .41 .40 .38 .39 .42 .44.48.40.47.46.43 .43(.04)

Bemerkungen: FarblichhinterlegteWerteweichenauffälligvomMittelwertderentsprechendenPBVab;CVzuT1wirdmitdenMittelwertenderPBVzuT1verglichen;entsprechendCVzuT2mitPBVzuT2;

.1:dunkelgrau; .05:hellgrau;

.05:hellorange; .1:dunkelorange

BeiderBetrachtungderTrennschärfenüberalleBedingungenhinwegresultierenfüralleSub‐

tests vorwiegend akzeptableWerte (vgl. Tabelle 10.14). Die negativenWerte derMinima derSubtests4und9könnenalsunkritischgesehenwerden,dabeideItemsamEndederSubtests

standenundvonnurmehreinigenVersuchspersonenbearbeitetwurden,wobeidieDurchsicht

derentsprechendenAntwortmuster zeigt,dasshierbeioffensichtlichauchgeratenwurde.Ma‐ximaund75%‐Quartilezeigen,dassdieTrennschärfenbeieinerBetrachtungderSubtestsüber

Page 100: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

100·Untersuchung2:TestunganBerufsschülern

alle Bedingungen hinweg durchaus hoch sind. Die Berücksichtigung beider Quartilsgrenzen

führtzudemSchluss,dassdieMehrheitderItemsbeieinerGesamtbetrachtungeineangemes‐seneTrennschärfeaufweist.

Tabelle10.14: LageparameterderTrennschärfenderSubtestsdesLPS‐neufürdieCVeinzelnberechnetfürdie15Gruppen

% % Subtest

1 .41 .41 .21 .10 .80 .26 .592 .46 .44 .14 .19 .68 .38 .623 .37 .38 .16 .06 .67 .28 .524 .27 .25 .10 ‐.01 .41 .18 .345 .32 .31 .15 .07 .55 .20 .476 .44 .43 .15 .19 .73 .34 .587 .57 .49 .17 .08 .77 .40 .678 .58 .51 .09 .35 .71 .50 .629 .28 .30 .25 ‐.06 .66 .08 .4710 .68 .59 .15 .23 .84 .55 .8211 .50 .42 .15 .00 .63 .40 .55

Bemerkungen: ZurBerechnungderMittelwerteundStandardabweichungenwurdendieTrennschärfeparameterderein‐zelnenItemsmittelsFisher‐Transformationumgerechnet(vgl.Kapitel7.4);dieErgebnissewurdenfürdiebessere Interpretierbarkeit wieder zurückgerechnet; die Perzentilwerte basieren auf den unverändertenKorrelationen

Werden die Trennschärfeparameter unter Berücksichtigung der unterschiedlichen Durchfüh‐rungsbedingungen berechnet, fällt zunächst auf, dass sie teilweise deutlich höhereWerte an‐

nehmen,allerdingsauchdeutlichstärkerstreuen(vgl.Tabelle10.15undTabelle10.16).Umdie

BedeutungderstarkenSchwankungenundderteilshohennegativenWertebessereinordnenzukönnen, soll kurz auf die Berechnung der Trennschärfe eingegangen werden (vgl. Formel

(8‐20)).DieTrennschärfewirddannnegativ,wennderGesamtscoredesSubtestsderProban‐

den,diedasItemnichtgelösthaben,höheristalsderGesamtscorederProbanden,diedasItemgelösthaben.DieWurzelderVarianzderItemschwierigkeit istmaximal .50,wenndieSchwie‐

rigkeitimMittel,also.50,ist.FürsehrschwereItemsresultiertebensowiefürsehrleichteItems

eindeutlichgeringererWert.Beimaximal18VersuchspersonenineinerGruppewärederFak‐

torbeieinerFalschlösungbeispielsweise 17/18 1 17/18 17/324 .23,fürdiekleinste

Gruppemit 12liegtderkleinsteFaktorbeird..28.JenachItemschwierigkeitwirddieDiffe‐renzderSubtestscoressomitaufeinViertelbiszurHälftereduziert.DesWeiterenwirddieses

ErgebnisdurchdieStandardabweichungdesSubtestsgeteilt. JegrößerdieStreuung,destoge‐

ringerdieTrennschärfe.DurchdieVerringerungderStichprobengrößebeiderBetrachtungderGruppen hinsichtlich der Durchführungsbedingungen resultieren starke Unterschiede in den

Streuungender Itemsundsomit teilweiseeineVerringerungund teilweiseeineErhöhungdes

BetragsderTrennschärfe.DieskanndiedeutlichgrößereBandbreitederWerteinTabelle10.15undTabelle10.16erklären.DieunterschiedlichenItemskönnenjedochauchunterschiedlichin

deneinzelnenBedingungenreagierenundsomitfürdiejeweiligenKonstellationenunterschied‐

lich,aberdennochjeweilsgutsein.BeidergemeinsamenBetrachtungresultiertinderFolgeeinniedrigerWertderTrennschärfe.

Page 101: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·101

Tabelle10.15: LageparameterderTrennschärfederSubtestsderCVdesLPS‐neuunterteiltindie15GruppenderCV

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1.62(.44)[‐.10;.91]{.36;.76}

.34(.37)[‐.53;.79]{.00;.53}

.51(.42)[‐.33;.86]{.27;.74}

.49(.40)[‐.10;.84]{.10;.65}

.38(.38)[‐.38;.83]{.00;.66}

.36(.37)[‐.15;.80]{.00;.57}

.47(.48)[‐.07;.89]{.00;.75}

.47(.41)[‐.23;.85]{.00;.70}

.52(.32)[‐.10;.74]{.39;.68}

.46(.46)[‐.45;.86]{.00;.71}

.41(.41)[‐.38;.84]{.00;.60}

.42(.43)[‐.40;.87]{.00;.70}

.48(.34)[‐.14;.75]{.22;.70}

.45(.39)[‐.15;.82]{.00;.66}

.44(.32)[‐.07;.79]{.28;.60}

2.51(.45)[‐.36;.88]{.26;.73}

.43(.28)[‐.09;.71]{.28;.62}

.48(.33)[‐.05;.83]{.29;.63}

.52(.38)[‐.03;.84]{.30;.78}

.46(.32)[‐.19;.71]{.19;.65}

.53(.33)[.00;.82]{.33;.74}

.51(.37)[‐.09;.85]{.26;.68}

.53(.28)[‐.18;.79]{.38;.65}

.35(.36)[‐.44;.71]{.00;.62}

.53(.29)[.00;.80]{.36;.66}

.55(.25)[.00;.76]{.44;.62}

.43(.41)[‐.25;.87]{.00;.62}

.48(.31)[‐.38;.79]{.33;.62}

.61(.30)[.00;.85]{.45;.73}

.39(.38)[‐.68;.78]{.03;.62}

3.46(.38)[‐.39;.83]{.23;.66}

.18(.35)[‐.34;.84]{.00;.34}

.27(.31)[‐.07;.72]{.00;.45}

.23(.32)[‐.16;.81]{.00;.43}

.16(.24)[‐.11;.69]{.00;.28}

.24(.27)[‐.09;.69]{.00;.44}

.27(.28)[‐.07;.79]{.00;.41}

.19(.28)[‐.17;.67]{.00;.35}

.18(.25)[‐.48;.58]{.00;.38}

.31(.34)[‐.19;.82]{.00;.48}

.22(.31)[‐.03;.78]{.00;.36}

.21(.35)[‐.32;.77]{.00;.48}

.21(.32)[‐.29;.82]{.00;.40}

.18(.29)[‐.33;.73]{.00;.41}

.25(.33)[‐.31;.72]{.00;.37}

4.26(.31)[‐.04;.73]{.00;.50}

.19(.34)[‐.48;.80]{.00;.37}

.22(.29)[‐.15;.70]{.00;.45}

.14(.29)[‐.46;.69]{.00;.28}

.25(.33)[‐.30;.80]{.00;.48}

.11(.26)[‐.45;.62]{.00;.25}

.18(.27)[‐.42;.61]{.00;.38}

.16(.31)[‐.54;.79]{.00;.27}

.19(.29)[‐.12;.75]{.00;.28}

.22(.30)[‐.07;.81]{.00;.40}

.17(.30)[‐.55;.67]{.00;.35}

.17(.29)[‐.04;.76]{.00;.32}

.24(.35)[‐.66;.67]{.00;.50}

.19(.31)[‐.48;.74]{.00;.35}

.14(.22)[‐.16;.58]{.00;.27}

5.24(.27)[‐.25;.66]{.00;.40}

.41(.38)[‐.21;.80]{.03;.63}

.32(.30)[.00;.75]{.00;.50}

.24(.32)[‐.30;.71]{.00;.50}

.23(.32)[‐.02;.82]{.00;.43}

.18(.24)[‐.21;.62]{.00;.37}

.22(.26)[‐.21;.62]{.00;.44}

.17(.38)[‐.81;.81]{.00;.30}

.19(.26)[‐.13;.73]{.00;.31}

.26(.32)[.00;.75]{.00;.49}

.20(.26)[‐.01;.66]{.00;.34}

.16(.30)[‐.13;.78]{.00;.27}

.17(.27)[‐.38;.68]{.00;.34}

.16(.21)[‐.23;.62]{.00;.33}

.18(.29)[‐.24;.68]{.00;.42}

6.43(.37)[‐.27;.81]{.00;.66}

.38(.25)[‐.29;.70]{.26;.52}

.45(.48)[‐.26;.86]{.00;.77}

.34(.34)[.00;.76]{.00;.56}

.43(.41)[‐.45;.84]{.01;.66}

.50(.41)[‐.46;.82]{.16;.76}

.50(.35)[‐.19;.82]{.30;.65}

.34(.32)[‐.01;.83]{.01;.53}

.39(.47)[‐.21;.88]{.00;.70}

.39(.38)[.00;.78]{.00;.68}

.43(.40)[‐.27;.83]{.00;.67}

.35(.40)[‐.21;.80]{.00;.62}

.36(.38)[‐.52;.75]{.00;.61}

.62(.31)[.00;.80]{.51;.76}

.43(.41)[‐.10;.84]{.00;.61}

7.33(.36)[‐.57;.71]{.00;.57}

.28(.30)[‐.23;.74]{.00;.47}

.27(.37)[‐.44;.80]{.00;.49}

.28(.34)[‐.29;.79]{.00;.49}

.29(.33)[‐.09;.80]{.00;.41}

.22(.27)[‐.12;.67]{.00;.44}

.23(.30)[‐.25;.75]{.00;.46}

.44(.36)[‐.21;.78]{.13;.62}

.19(.30)[‐.35;.75]{.00;.27}

.26(.30)[‐.30;.74]{.00;.46}

.40(.38)[‐.35;.81]{.00;.64}

.30(.33)[‐.01;.80]{.00;.55}

.40(.35)[‐.10;.80]{.12;.61}

.18(.34)[‐.38;.80]{.00;.38}

.20(.26)[‐.15;.72]{.00;.38}

8.41(.32)[.00;.79]{.05;.54}

.32(.30)[.00;.77]{.00;.51}

.30(.35)[‐.27;.78]{.00;.54}

.36(.35)[.00;.75]{.00;.62}

.55(.41)[‐.15;.85]{.32;.76}

.65(.37)[.00;.87]{.51;.76}

.27(.31)[‐.25;.79]{.00;.48}

.40(.35)[.00;.83]{.00;.57}

.34(.32)[.00;.80]{.00;.54}

.39(.38)[.00;.78]{.00;.65}

.34(.39)[‐.32;.83]{.00;.58}

.24(.33)[‐.22;.74]{.00;.43}

.31(.31)[‐.09;.80]{.00;.46}

.31(.38)[‐.28;.86]{.00;.45}

.27(.35)[‐.14;.82]{.00;.53}

9.21(.28)[‐.54;.62]{.00;.42}

.24(.36)[‐.46;.85]{.00;.50}

.19(.36)[‐.46;.75]{.00;.45}

.24(.42)[‐.54;.78]{.00;.50}

.29(.37)[‐.35;.72]{.00;.62}

.15(.29)[‐.28;.83]{.00;.28}

.19(.29)[‐.52;.66]{.00;.41}

.32(.39)[.00;.79]{.00;.65}

.24(.28)[.00;.68]{.00;.52}

.29(.37)[.00;.81]{.00;.45}

.29(.31)[.00;.69]{.00;.52}

.16(.25)[‐.12;.63]{.00;.28}

.27(.40)[‐.19;.86]{.00;.57}

.28(.35)[.00;.83]{.00;.53}

.16(.37)[‐.49;.79]{.00;.38}

10.25(.41)[‐.05;.85]{.00;.40}

.31(.39)[‐.29;.78]{.00;.65}

.24(.35)[‐.10;.76]{.00;.56}

.28(.43)[‐.78;.78]{.00;.57}

.19(.34)[.00;.84]{.00;.16}

.33(.40)[.00;.81]{.00;.67}

.29(.40)[‐.30;.90]{.00;.44}

.30(.44)[‐.64;.77]{‐.02;.62}

.68(.54)[.00;.91]{.26;.91}

.60(.58)[‐.11;.91]{.00;.89}

.27(.41)[‐.12;.85]{.00;.51}

.60(.61)[‐.22;.91]{.00;.89}

.65(.56)[‐.15;.94]{.16;.82}

.25(.36)[.00;.76]{.00;.49}

.23(.40)[‐.27;.86]{.00;.44}

11.44(.40)[‐.06;.83]{.00;.68}

.31(.35)[‐.36;.72]{.00;.56}

.47(.40)[‐.01;.80]{.00;.72}

.59(.33)[‐.15;.84]{.44;.71}

.49(.40)[‐.31;.83]{.34;.57}

.38(.43)[‐.15;.82]{.00;.69}

.37(.33)[‐.46;.75]{.00;.58}

.35(.39)[‐.37;.79]{.00;.65}

.35(.37)[‐.05;.77]{.00;.59}

.35(.41)[‐.42;.83]{.00;.60}

.37(.40)[‐.35;.74]{.00;.69}

.44(.43)[‐.40;.79]{.03;.69}

.39(.38)[‐.30;.74]{.00;.63}

.40(.35)[‐.45;.73]{.00;.63}

.40(.40)[‐.34;.80]{.00;.70}

Bemerkungen: Anordnung:Mittelwert(Standardabweichung)[Minimum;Maximum]{25%‐Quartil;75%‐Quartil}

ZurBerechnungderMittelwerteundStandardabweichungenwurdendieTrennschärfeparameterderein‐zelnenItemsmittelsFisher‐Transformationumgerechnet;dieErgebnissewurdenfürdiebessereInterpre‐tierbarkeitwiederzurückgerechnet;diePerzentilwertebasierenaufdenunverändertenKorrelationen

DerVergleichderMinimamitden25%‐QuartilenunterBerücksichtigungderMittelwertezeigt,dassmeistnurvereinzeltnegativeWerteauftreten.FürdieSubtests4,5,9,10und11 istdies

wegendervielenunbearbeiteten Items,derenTrennschärfe gleichNull ist, schwierigereinzu‐

schätzen.InTabelle10.16wirddaherdieAnzahlnegativerTrennschärfeparameteraufgeführt.Im Mittel weisen die Subtests 2.5 (0.85) negative Werte auf, wobei in 25 Subtest‐

DurchführungskonstellationenalleWertegrößerNullsind.FürSubtest10inGruppe8(Bedin‐

gung5)liegenmit15diemeistennegativenWertevor.

Page 102: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

102·Untersuchung2:TestunganBerufsschülern

Tabelle10.16: TrennschärfederSubtestsderCVdesLPS‐neuunterteiltindie15BedingungenderCV

Einzeln Alle Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Ohne GesamtEinzeln Ohne GesamtEinzeln Ohne Gesamt Einzeln Ohne Gesamt Ohne Gesamt Ohne Gesamt1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1.62(.44)[‐.10;.91]{.36;.76}

.34(.37)[‐.53;.79]{.00;.53}

.51(.42)[‐.33;.86]{.27;.74}

.49(.40)[‐.10;.84]{.10;.65}

.38(.38)[‐.38;.83]{.00;.66}

.36(.37)[‐.15;.80]{.00;.57}

.47(.48)[‐.07;.89]{.00;.75}

.47(.41)[‐.23;.85]{.00;.70}

.52(.32)[‐.10;.74]{.39;.68}

.46(.46)[‐.45;.86]{.00;.71}

.41(.41)[‐.38;.84]{.00;.60}

.42(.43)[‐.40;.87]{.00;.70}

.48(.34)[‐.14;.75]{.22;.70}

.45(.39)[‐.15;.82]{.00;.66}

.44(.32)[‐.07;.79]{.28;.60}

2.39(.38)[‐.68;.78]{.03;.62}

.51(.45)[‐.36;.88]{.26;.73}

.43(.28)[‐.09;.71]{.28;.62}

.48(.33)[‐.05;.83]{.29;.63}

.52(.38)[‐.03;.84]{.30;.78}

.46(.32)[‐.19;.71]{.19;.65}

.53(.33)[.00;.82]{.33;.74}

.51(.37)[‐.09;.85]{.26;.68}

.53(.28)[‐.18;.79]{.38;.65}

.35(.36)[‐.44;.71]{.00;.62}

.53(.29)[.00;.80]{.36;.66}

.55(.25)[.00;.76]{.44;.62}

.43(.41)[‐.25;.87]{.00;.62}

.48(.31)[‐.38;.79]{.33;.62}

.61(.30)[.00;.85]{.45;.73}

3.18(.29)[‐.33;.73]{.00;.41}

.25(.33)[‐.31;.72]{.00;.37}

.46(.38)[‐.39;.83]{.23;.66}

.18(.35)[‐.34;.84]{.00;.34}

.27(.31)[‐.07;.72]{.00;.45}

.23(.32)[‐.16;.81]{.00;.43}

.16(.24)[‐.11;.69]{.00;.28}

.24(.27)[‐.09;.69]{.00;.44}

.27(.28)[‐.07;.79]{.00;.41}

.19(.28)[‐.17;.67]{.00;.35}

.18(.25)[‐.48;.58]{.00;.38}

.31(.34)[‐.19;.82]{.00;.48}

.22(.31)[‐.03;.78]{.00;.36}

.21(.35)[‐.32;.77]{.00;.48}

.21(.32)[‐.29;.82]{.00;.40}

4.24(.35)[‐.66;.67]{.00;.50}

.19(.31)[‐.48;.74]{.00;.35}

.14(.22)[‐.16;.58]{.00;.27}

.26(.31)[‐.04;.73]{.00;.50}

.19(.34)[‐.48;.80]{.00;.37}

.22(.29)[‐.15;.70]{.00;.45}

.14(.29)[‐.46;.69]{.00;.28}

.25(.33)[‐.30;.80]{.00;.48}

.11(.26)[‐.45;.62]{.00;.25}

.18(.27)[‐.42;.61]{.00;.38}

.16(.31)[‐.54;.79]{.00;.27}

.19(.29)[‐.12;.75]{.00;.28}

.22(.30)[‐.07;.81]{.00;.40}

.17(.30)[‐.55;.67]{.00;.35}

.17(.29)[‐.04;.76]{.00;.32}

5.16(.30)[‐.13;.78]{.00;.27}

.17(.27)[‐.38;.68]{.00;.34}

.16(.21)[‐.23;.62]{.00;.33}

.18(.29)[‐.24;.68]{.00;.42}

.24(.27)[‐.25;.66]{.00;.40}

.41(.38)[‐.21;.80]{.03;.63}

.32(.30)[.00;.75]{.00;.50}

.24(.32)[‐.30;.71]{.00;.50}

.23(.32)[‐.02;.82]{.00;.43}

.18(.24)[‐.21;.62]{.00;.37}

.22(.26)[‐.21;.62]{.00;.44}

.17(.38)[‐.81;.81]{.00;.30}

.19(.26)[‐.13;.73]{.00;.31}

.26(.32)[.00;.75]{.00;.49}

.20(.26)[‐.01;.66]{.00;.34}

6.43(.40)[‐.27;.83]{.00;.67}

.35(.40)[‐.21;.80]{.00;.62}

.36(.38)[‐.52;.75]{.00;.61}

.62(.31)[.00;.80]{.51;.76}

.43(.41)[‐.10;.84]{.00;.61}

.43(.37)[‐.27;.81]{.00;.66}

.38(.25)[‐.29;.70]{.26;.52}

.45(.48)[‐.26;.86]{.00;.77}

.34(.34)[.00;.76]{.00;.56}

.43(.41)[‐.45;.84]{.01;.66}

.50(.41)[‐.46;.82]{.16;.76}

.50(.35)[‐.19;.82]{.30;.65}

.34(.32)[‐.01;.83]{.01;.53}

.39(.47)[‐.21;.88]{.00;.70}

.39(.38)[.00;.78]{.00;.68}

7.26(.30)[‐.30;.74]{.00;.46}

.40(.38)[‐.35;.81]{.00;.64}

.30(.33)[‐.01;.80]{.00;.55}

.40(.35)[‐.10;.80]{.12;.61}

.18(.34)[‐.38;.80]{.00;.38}

.20(.26)[‐.15;.72]{.00;.38}

.33(.36)[‐.57;.71]{.00;.57}

.28(.30)[‐.23;.74]{.00;.47}

.27(.37)[‐.44;.80]{.00;.49}

.28(.34)[‐.29;.79]{.00;.49}

.29(.33)[‐.09;.80]{.00;.41}

.22(.27)[‐.12;.67]{.00;.44}

.23(.30)[‐.25;.75]{.00;.46}

.44(.36)[‐.21;.78]{.13;.62}

.19(.30)[‐.35;.75]{.00;.27}

8.34(.32)[.00;.80]{.00;.54}

.39(.38)[.00;.78]{.00;.65}

.34(.39)[‐.32;.83]{.00;.58}

.24(.33)[‐.22;.74]{.00;.43}

.31(.31)[‐.09;.80]{.00;.46}

.31(.38)[‐.28;.86]{.00;.45}

.27(.35)[‐.14;.82]{.00;.53}

.41(.32)[.00;.79]{.05;.54}

.32(.30)[.00;.77]{.00;.51}

.30(.35)[‐.27;.78]{.00;.54}

.36(.35)[.00;.75]{.00;.62}

.55(.41)[‐.15;.85]{.32;.76}

.65(.37)[.00;.87]{.51;.76}

.27(.31)[‐.25;.79]{.00;.48}

.40(.35)[.00;.83]{.00;.57}

9.24(.42)[‐.54;.78]{.00;.50}

.32(.39)[.00;.79]{.00;.65}

‐.29(.31)[.00;.69]{.00;.52}

.20(.26)[‐.12;.68]{.00;.52}

‐.28(.39)[‐.19;.86]{.00;.57}

.28(.35)[.00;.83]{.00;.53}

‐ ‐ ‐.19(.33)[‐.54;.79]{.00;.42}

.26(.37)[‐.46;.85]{.00;.62}

.17(.32)[‐.46;.83]{.00;.45}

.19(.29)[‐.52;.66]{.00;.41}

10.29(.40)[‐.30;.90]{.00;.44}

.28(.43)[‐.78;.78]{.00;.57}

‐.33(.40)[.00;.81]{.00;.67}

.29(.42)[‐.64;.85]{‐.02;.62}

‐.64(.57)[‐.22;.91]{.00;.91}

.62(.57)[‐.15;.94]{.00;.89}

‐ ‐ ‐.25(.36)[.00;.76]{.00;.49}

.24(.40)[‐.27;.86]{.00;.44}

.31(.39)[‐.29;.78]{.00;.65}

.21(.35)[‐.10;.84]{.00;.56}

11.31(.35)[‐.36;.72]{.00;.56}

.47(.40)[‐.01;.80]{.00;.72}

.59(.33)[‐.15;.84]{.44;.71}

.49(.40)[‐.31;.83]{.34;.57}

.38(.43)[‐.15;.82]{.00;.69}

.37(.33)[‐.46;.75]{.00;.58}

.35(.39)[‐.37;.79]{.00;.65}

.35(.37)[‐.05;.77]{.00;.59}

.35(.41)[‐.42;.83]{.00;.60}

.37(.40)[‐.35;.74]{.00;.69}

.44(.43)[‐.40;.79]{.03;.69}

.39(.38)[‐.30;.74]{.00;.63}

.40(.35)[‐.45;.73]{.00;.63}

.40(.40)[‐.34;.80]{.00;.70}

.26(.31)[‐.04;.73]{.00;.50}

Bemerkungen: Anordnung:Mittelwert(Standardabweichung)[Minimum;Maximum]{25%‐Quartil;75%‐Quartil}

ZurBerechnungderMittelwerteundStandardabweichungenwurdendieTrennschärfeparameterderein‐zelnenItemsmittelsFisher‐Transformationumgerechnet;dieErgebnissewurdenfürdiebessereInterpre‐tierbarkeitwiederzurückgerechnet;diePerzentilwertebasierenaufdenunverändertenKorrelationen

Andererseitsweisendie75%‐QuartileunddieMaximadaraufhin,dassunterBerücksichtigungderDurchführungsbedingungeneinGroßteilder ItemshinsichtlichderTrennschärfeguteund

sehrguteWerteaufweisen.In58%der161Konstellationensind25%derWertegrößerals.50

undimmerhin14%größerals.70.DerkleinsteWertfüreineobereQuartilsgrenzebeträgt.16(Subtest10,Gruppe5,Bedingung15),wobeidasMaximumbei .84unddieQuartilsgrenzevon

Gruppe3,dieebenfallsSubtest10inBedingung15bearbeitet,bei.56liegen.

InsgesamtzeigendieTrennschärfewertederCValso,dasseszwar indeneinzelnenBedin‐gungenItemsgibt,dienurbedingtfunktionieren.InvielenFällenergebensichaberbeiBerück‐

sichtigungderDurchführungsbedingungguteWerte.

Page 103: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·103

Tabelle10.17: AnzahlnegativerTrennschärfenderSubtestsderCVdesLPS‐neuunterteilt indie15GruppenderCV

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 M SD1 1 4 5 1 3 2 2 2 2 6 3 6 1 3 3 2.931.672 4 2 1 1 2 0 2 1 5 0 0 1 1 0 2 1.471.463 1 10 3 2 3 2 1 6 4 2 3 3 4 6 3 3.532.334 1 8 2 4 3 6 6 5 2 1 2 1 4 2 2 3.272.155 3 2 0 1 1 3 3 6 2 0 1 3 5 2 1 2.201.706 1 1 5 0 3 1 1 1 1 0 3 2 2 0 2 1.531.367 5 4 3 3 2 1 4 1 3 1 2 1 5 7 1 2.871.858 0 0 2 0 1 0 1 0 0 0 1 3 1 2 3 0.931.109 5 5 9 7 2 4 4 0 0 0 0 2 1 0 7 3.073.0310 1 1 1 3 0 0 2 15 0 7 1 4 2 0 3 2.673.9011 3 6 1 2 2 3 1 3 1 5 4 8 2 2 3 3.071.98

10.4 VergleichderpsychometrischenIndizesvonPBVundCVzudenbeidenErhebungszeitpunkten

Hinsichtlich des Vergleichs dermittleren Itemschwierigkeiten der unterschiedlichen Gruppen

bzw.BedingungenstelltsichdieFrage,wiegroßeinUnterschiedzuseinhat,umbedeutsamzu

sein.Da hierfür imKontext derKTT keineRichtlinien undAbhandlungen über die VerteilungvonmittlerenItemschwierigkeitenzu findenwaren,soll folgendeÜberlegungdieGrenzenvon

±5%und±10%rechtfertigen:AusgehendvoneinembeliebigenWertinderrelativenGesamt‐

gruppebedeuteteineVeränderungderSchwierigkeitvon.05,dassineinerGruppevon 20Versuchspersonenüber40ItemshinwegeineVersuchspersonproItembesserindereinenbzw.

schlechter inderanderenBedingungabgeschnittenhat(beikleinerenGruppenoderkleineren

Abweichungenentsprechendmehr).DieswirdalsnochakzeptableAbweichungimKontextdie‐serBewertungangesehen,insbesonderedadieVarianzderItemschwierigkeitennichtunerheb‐

lichist,wasaufeineguteVerteilungüberdenBereichdermöglichenWerteschließenlässt.

DerVergleichdermittleren ItemschwierigkeitenderPBVderbeidenGruppen (vgl.Tabelle10.12),diedieVersionentwederzuT1oderzuT2bearbeiteten,zeigt,dasssichdieSchwierig‐

keitswertederItemsbeiderzweitenBearbeitungimMittelnurgeringfügigerhöhen(dieItems

alsonurunerheblich leichterwerden). Somitwird eineZusammenfassungderErgebnissederPBVunabhängigvonderTestpositionausdieserSichtalsgerechtfertigterachtet.DieSchwierig‐

keitenderCVzuT1entsprechennurfürdieSubtests3,4und5denWertenderPBVzuT1.Der

VergleichderModideranderenSubtestshinsichtlichderTestungzuT1weistkonsistentniedri‐gereWerteinderCVauf,dieItemssindinderCValsoschwieriger.FürSubtest10erweisensich

dieItemsinderCVimMittelalskonsistentschwieriger.DieSubtests1und2sindinderCVzu

T2leichteralszubeidenZeitpunkteninderPBV.Insgesamtentsprechensichjedochdiemittle‐renSchwierigkeitenderSubtestsinderPBVundderCVzuT2innochangemessenerWeise;die

mittlerenWertederItemschwierigkeitenderSubtests inderCVzuT1erweisensichhingegen

mitAusnahmederSubtests3,4und5alsdurchwegsniedriger.DiemittlerenItemschwierigkeitenderSubtests9,10und11sindinderCVzuT1durchwegs

deutlichgeringeralsinderPBVzuT1.FürdieSubtests1und2giltdiesebensomitAusnahme

Page 104: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

104·Untersuchung2:TestunganBerufsschülern

vonGruppe12(Subtest1 inBedingung12)undGruppe2(Subtest2 inBedingung3).Diege‐

ringstenWerteüberalleSubtestshinwegzeigensichbeiGruppe6.In Tabelle 10.13werdendiemittleren Itemschwierigkeiten nach denDurchführungsbedin‐

gungen(Tabelle10.4)sortiert,umderenEffektveranschaulichenzukönnen.BezüglichderSub‐

testsgibteskeineVeränderung.Bedingung12(alleItems,nachdemLösensichtbarabernichtmehränderbar,ohneZeitanzeige)bedingtimMittelbeifastallenSubtestsinderCVkonsistent

schwerereItemsalsinderPBV.EbensofälltbeiBedingung10(alleItems,nachdemLösenun‐

sichtbar,ohneZeitangabe)auf,dassinallenaußerdenohnehinrelativunauffälligenSubtests3,4und5,geringereItemschwierigkeitswerteauftreten.

Insgesamt deuten die Itemschwierigkeitsindizes darauf hin, dass die Beeinflussung der

psychometrischenEigenschaften der Subtests eher durch denModus als durch die Erst‐ oderZweitdurchführungbedingtist.DieSubtests9und10,dieeinenerhöhtenAnteilderSpeedkom‐

ponenteaufweisen,sindfüreinenModalitätseffektanfälligeralsdieübrigenSubtests.DieSub‐

tests3,4und5,diedenhöchstenAnteillogischenDenkensundauchLösungszeitproItemauf‐weisen, zeigen sich dagegen am wenigsten durch Modus und Testzeitpunkt hinsichtlich der

psychometrischenKennwertebeeinflusst(vgl.auchTabelle10.9undTabelle10.15hinsichtlich

der relativenKonstanz der Trennschärfeindizes der drei Subtests in demBereich, in demdieWertederPBVliegen).KeineBedingungerzeugtesoauffälligabwegigeWerte,alsdasssieindie

folgendenAnalysennichtaufgenommenwerdenkönnte.

10.5 VergleichderMittelwertederDurchführungsbedingungenderCV

In Tabelle 10.18, Tabelle 10.19 und Tabelle 10.20 werden zunächst die Mittelwerte, Stan‐dardabweichungenundGruppengrößendereinzelnenBedingungskonstellationensowiederen

Zusammenfassungenaufgeführt.Deskriptiv fällthierbereitsauf,dass inmanchenSubtestsdie

mittlerenLeistungenüberdieBedingungenhinwegstarkschwanken,währendsiesichbeiande‐renSubtestsdurchgängig imGrößenordnungderPBVbewegen.AuchdieStreuungenschwan‐

kenjenachBedingungfürdieeinzelnenSubtests.AufdenerstenBlicklassensichkeinesyste‐

matischenVariationenausmachen.MitdenfolgendeninferenzstatistischenAnalysenwirddiesüberprüft.

Page 105: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·105

Tabelle10.18: Mittelwerte, StandardabweichungenundFallzahlen je Subtest in jederBedin‐gungskonstellationunabhängigvomErhebungszeitpunkt

Präsen‐tation

PBVn=273

Einzeln Alle

Antwortwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigier‐bar

Zeitvor‐gabe Ohne Ge‐samt

Ein‐zeln Ohne

Ge‐samt

Ein‐zeln Ohne Ge‐

samtEin‐zeln Ohne Ge‐

samt OhneGe‐samtOhne

Ge‐samt

Bedin‐gung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Subtest

1 28.33(9.80)

26.28(14.68,18)

22.13(8.18,15)

27.59(11.62,17)

21.35(10.05,17)

25.38(8.82,16)

24.00(8.91,17)

21.32(9.08,19)

24.53(10.45,15)

20.87(10.13,15)

25.95(9.97,19)

24.53(10.71,15)

27.93(13.25,14)

26.63(11.73,16)

26.35(9.47,17)

23.81(10.11,16)

2 22.78(7.57)

20.94(6.69,16)

22.11(8.25,18)

24.80(7.73,15)

23.29(7.56,17)

21.18(8.28,17)

21.81(7.15,16)

19.06(8.80,17)

22.16(8.23,19)

22.20(8.39,15)

18.47(9.52,15)

21.79(8.32,19)

19.33(6.67,15)

24.00(8.03,13)

18.24(10.18,17)

22.94(9.84,17)

3 27.01(3.73)

26.82(3.32,17)

26.38(3.54,16)

25.94(6.11,18)

27.53(3.20,15)

28.00(3.76,17)

25.88(4.26,17)

27.38(2.92,16)

26.29(3.85,17)

25.21(4.18,19)

25.40(2.56,15)

26.43(2.68,14)

26.05(3.56,19)

26.27(3.92,15)

26.85(3.44,13)

26.88(3.28,17)

4 16.68(2.84)

16.94(3.34,17)

17.71(3.70,17)

15.88(2.45,16)

17.17(3.81,18)

17.20(3.08,15)

17.12(3.31,17)

16.82(1.74,17)

16.31(4.09,16)

15.71(2.34,17)

16.95(2.46,19)

16.73(2.79,15)

17.33(3.38,15)

16.79(2.97,19)

15.93(2.38,15)

17.86(2.71,14)

5 19.06(3.28)

20.07(2.50,14)

19.41(2.35,17)

18.94(2.41,17)

17.56(3.20,16)

19.72(3.68,18)

18.13(5.55,15)

19.81(4.34,16)

19.06(3.60,17)

18.38(3.79,16)

17.94(3.44,16)

18.79(2.99,19)

16.60(2.64,15)

18.67(2.67,15)

18.74(3.31,19)

19.60(3.36,15)

6 22.43(7.70)

16.47(6.56,15)

21.07(6.53,14)

18.18(5.54,17)

18.12(9.37,17)

20.38(7.02,16)

19.39(7.10,18)

21.47(6.50,15)

21.75(7.10,16)

18.35(5.74,17)

20.80(7.74,15)

23.94(7.39,17)

19.95(5.59,19)

18.60(6.90,15)

20.93(5.99,15)

19.47(6.54,19)

7 30.57(5.16)

28.79(4.21,19)

28.64(6.12,14)

30.79(5.13,14)

28.53(4.57,17)

28.53(5.81,17)

30.38(3.16,16)

28.72(4.40,18)

29.20(4.46,15)

30.81(4.21,16)

29.08(5.96,13)

29.50(5.04,14)

29.75(4.67,16)

29.79(4.09,19)

28.20(2.74,15)

31.33(4.91,15)

8 34.43(5.56)

33.20(4.87,15)

33.89(5.39,19)

33.57(5.08,14)

34.86(3.51,14)

33.53(4.69,17)

31.12(6.22,17)

33.69(4.24,16)

32.17(5.86,18)

33.00(5.32,15)

34.31(4.99,16)

32.18(4.77,17)

32.14(8.84,14)

32.59(8.35,17)

32.84(5.93,19)

32.80(6.18,15)

9 11.23(4.33)

15.00(3.48,17)

10.67(5.67,15)

‐12.08(4.57,13)

11.31(4.05,29)

‐6.70(4.31,30)

7.21(4.68,14)

‐ ‐ ‐13.63(3.16,32)

13.93(4.26,30)

14.72(3.12,33)

14.72(3.12,18)

10 33.15(7.22)

29.72(9.43,18)

18.38(4.33,16)

‐25.59(6.96,17)

29.71(8.48,28)

‐26.79(5.68,28)

26.91(9.52,32)

‐ ‐ ‐18.79(5.09,14)

17.90(5.47,31)

18.33(4.65,14)

18.33(4.65,30)

11 15.99(6.96)

13.00(6.67,15)

17.38(8.56,16)

15.25(10.35,16)

17.21(6.99,14)

13.41(6.32,17)

15.28(6.93,18)

10.46(6.57,13)

15.54(6.09,13)

14.13(7.22,16)

15.15(7.48,13)

17.83(6.72,12)

14.29(7.05,14)

18.07(7.02,14)

14.50(7.92,12)

15.82(7.04,17)

InTabelle10.21werdendieEintretenswahrscheinlichkeitenderH0: ⋯ fürdiejewei‐

ligenHaupt‐undInteraktionseffektesowiedasklassischeundpartielle alsZusammenfassung

derelfunivariatenVarianzanalysendargestellt.DieausführlicheErgebnisdarstellungderQuad‐ratsummen,Freiheitsgradeund ‐WertekönneninAnhang15.6nachgelesenwerden.Fürden

FaktorBearbeitungszeitpunkt,alsoobdieCVzuT1oderzuT2absolviertwurde,ergebensich

durchgängigstatistischsignifikanteEffekte;fürjedenSubtestistdiemittlereLeistungzuT2bes‐ser.FüralleanderenHaupt‐undInteraktionseffektezeigtsichkeingenerellesMuster.Zurbes‐

serenBewertungderUnterschiedlichkeitenwerdenimFolgendendiepartiellen betrachtet.

Page 106: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

106·Untersuchung2:TestunganBerufsschülern

Tabelle10.19: Mittelwerte, Standardabweichungen und Fallzahlen je Subtest zusammenge‐fasstfürdieBedingungenAntwortformatundZeitvorgabe

PräsentationPBVn=273

Einzeln Alle Einzeln AlleZeitvorgabe/Antw.format

Zeitvorgabe AntwortformatOhne Gesamt Einzeln Ohne Gesamt Einmal Weiter Korr. Einmal Weiter Korr.

Bedingung 1,4,7 2,5,8 3,6,9 10,12,1411,13,15 1,2,3 4,5,6 7,8,9 10,11 12,13 14,15

Subtest

1 28.33(9.80)

22.98(11.54,54)

24.04(9.09,46)

24.29(10.44,49)

26.64(10.71,50)

25.00(10.87,47)

25.48(11.96,50)

23.54(9.25,50)

22.16(9.76,49)

25.32(10.71,34)

27.23(11.73,30)

25.12(10.11,33)

2 22.78(7.57)

21.10(7.79,50)

21.83(8.10,54)

22.91(7.70,46)

18.66(8.05,47)

22.78(8.97,49)

22.55(7.62,49)

22.10(7.58,50)

21.14(8.43,51)

20.32(8.32,34)

21.50(8.03,28)

20.59(9.84,34)

3 27.01(3.73)

27.23(3.10,48)

26.90(3.73,50)

25.67(4.85,54)

26.06(3.53,47)

26.54(3.18,46)

26.37(4.49,51)

27.12(3.82,49)

26.23(3.76,52)

25.90(2.68,29)

26.15(3.92,34)

26.87(3.28,30)

4 16.68(2.84)

16.98(3.05,52)

17.08(3.63,48)

16.24(2.76,50)

16.76(2.80,49)

17.08(2.83,48)

16.86(3.25,50)

17.16(3.36,50)

16.28(2.85,50)

16.85(2.79,34)

17.03(2.97,34)

16.86(2.71,29)

5 19.06(3.28)

19.11(3.58,46)

19.40(3.22,52)

18.50(3.98,48)

17.84(2.91,50)

19.00(3.14,49)

19.44(2.40,48)

18.53(4.23,49)

19.08(3.88,49)

18.40(2.99,35)

17.63(2.67,30)

19.12(3.36,34)

6 22.43(7.70)

18.66(7.79,47)

21.07(6.78,46)

18.65(6.09,52)

20.51(7.26,49)

20.71(6.81,51)

18.50(6.33,46)

19.27(7.80,51)

20.46(6.51,48)

22.47(7.39,32)

19.35(6.90,34)

20.12(6.54,34)

7 30.57(5.16)

28.69(4.31,54)

28.78(5.40,46)

30.65(4.11,46)

29.02(4.61,44)

30.19(4.59,48)

29.34(5.09,47)

29.12(4.65,50)

29.55(4.36,49)

29.30(5.04,27)

29.77(4.09,35)

29.77(4.91,30)

8 34.43(5.56)

33.89(4.22,45)

33.20(5.30,54)

32.48(5.58,46)

33.12(6.36,49)

32.51(6.68,49)

33.58(5.04,48)

33.06(5.15,48)

32.92(5.14,49)

33.21(4.77,33)

32.39(8.35,31)

32.82(6.18,34)

9 11.23(4.33)

10.22(5.51,60)

10.16(4.88,58)

‐13.98(3.15,65)

14.23(3.86,48)

12.97(5.06,32)

11.55(4.17,42)

6.86(4.38,44)

‐13.77(3.70,62)

14.47(3.11,51)

10 33.15(7.22)

27.30(7.32,63)

26.14(9.22,76)

‐17.04(6.20,28)

18.11(5.04,61)

24.38(9.35,34)

28.16(8.11,45)

26.85(7.90,60)

‐18.18(5.31,45)

17.36(5.57,44)

11 15.99(6.96)

13.62(7.14,42)

15.39(7.17,46)

14.90(8.10,50)

14.64(6.04,39)

17.12(7.42,43)

15.26(8.69,47)

15.18(6.77,49)

13.43(6.85,42)

16.44(6.72,25)

16.18(7.02,28)

15.28(7.04,29)

DerMesszeitpunkt(CVzuT1oderT2)stellt für jedenSubtesteinenrelevantenEffektdar.DieübrigenFaktorenzeigenfüreinzelneSubtestsHaupteffekte.DieInteraktionenhabennurmehr

vereinzeltstatistischbedeutsameAusmaße.FürdieSubtests6,8und11zeigensichüberhaupt

keineInteraktionen.DieSubtests2,4,7und10weisenjenureinerelevanteInteraktionauf.ImFolgendenwirdaufdenEinflussderBedingungsvariationeneingegangen.DieRollederBeschaf‐

fenheitderSubtestswirderstbeiderInterpretationderÄquivalenzweitergehendeBeachtung

finden.

Page 107: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·107

Tabelle10.20: Mittelwerte, Standardabweichungen und Fallzahlen je Subtest zusammenge‐fasstfürdiedreiBedingungensowieinsgesamt

FaktorPBVn=273

PC

Präsentation Zeitvorgabe Antwortformat

Stufen Einzeln Alle Ohne Gesamt Einzeln Einmalig Weiter Korr.Bedin‐gung

1‐9 10‐151,4,7,

10,12,142,5,8,

11,13,153,6,9

1,2,3,10,11

4,5,6,12,13

7,8,9,14,15

Subtest

128.33(9.80)

24.57(10.58,246)

23.74(10.42,149)

25.85(10.77,97)

24.74(11.25,104)

24.53(9.99,93)

24.29(10.44,49)

25.42(11.41,84)

24.93(10.33,80)

23.35(9.95,82)

222.78(7.57)

21.47(8.21,246)

21.92(7.86,150)

20.76(8.73,96)

19.92(7.97,97)

22.28(8.50,103)

22.91(7.70,46)

21.64(7.94,83)

21.88(7.70,78)

20.92(8.97,85)

327.01(3.73)

26.47(3.78,245)

26.57(4.03,152)

26.30(3.36,93)

26.65(3.36,95)

26.73(3.47,96)

25.67(4.85,54)

26.20(3.91,80)

26.72(3.87,83)

26.46(3.58,82)

416.68(2.84)

16.83(3.02,247)

16.77(3.16,150)

16.92(2.80,97)

16.87(2.92,101)

17.08(3.24,96)

16.24(2.76,50)

16.86(3.05,84)

17.11(3.19,84)

16.49(2.80,79)

519.06(3.28)

18.77(3.40,245)

19.01(3.59,146)

18.41(3.06,99)

18.45(3.29,96)

19.21(3.17,101)

18.50(3.98,48)

19.00(2.70,83)

18.19(3.72,79)

19.10(3.65,83)

622.43(7.70)

19.91(6.97,245)

19.42(6.94,145)

20.61(7.00,100)

19.60(7.55,96)

20.88(6.76,97)

18.65(6.09,52)

20.13(7.02,78)

19.31(7.41,85)

20.32(6.49,82)

730.57(5.16)

29.45(4.64,238)

29.34(4.68,146)

29.63(4.61,92)

28.84(4.43,98)

29.50(5.02,94)

30.65(4.11,46)

29.32(5.04,74)

29.39(4.42,85)

29.63(4.55,79)

834.43(5.56)

33.04(5.69,243)

33.19(5.08,145)

32.82(6.50,98)

33.49(5.43,94)

32.87(5.98,103)

32.48(5.58,46)

33.43(4.91,81)

32.80(6.55,79)

32.88(5.56,83)

911.23(4.33)

12.10(4.83,231)

10.19(5.18,118)

14.09(3.45,113)

12.18(4.81,125)

12.00(4.87,106)

‐12.97(5.06,32)

12.88(4.03,104)

10.95(5.34,95)

1033.15(7.22)

23.20(8.56,228)

26.67(8.40,139)

17.78(5.42,89)

24.14(8.43,91)

22.57(8.61,137)

‐24.38(9.35,34)

23.17(8.46,90)

22.84(8.42,104)

1115.99(6.96)

15.15(7.28,220)

14.67(7.49,138)

15.94(6.87,82)

14.11(6.61,81)

16.22(7.30,89)

14.90(8.10,50)

15.67(8.04,72)

15.55(6.83,77)

14.18(6.94,71)

InTabelle10.22werdendiegemittelten derHaupt‐undInteraktionseffekteaufgeführt(vgl.

Formel(7‐3)).DerBearbeitungszeitpunktzeigtmitrd.11%dengrößtenEffekt,wobeidie In‐

tervallgrenzendaraufhinweisen, dassderwahreWertmit 95‐prozentigerWahrscheinlichkeit

größerals.066undsomitsehrbedeutsamist.DennochzeigtsicheinegroßeStreuungüberdieSubtestshinweg.DieSubtests1,2,3und6habenWertegrößer.10,fürdieSubtests4,5und10

sinddieWertekleiner.05.DieoberenKonfidenzintervallgrenzenvon derSubtests5und10

unterschreitensogardieseUntergrenzedesgemitteltenWertes.

Page 108: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

108·Untersuchung2:TestunganBerufsschülern

Tabelle10.21: ‐Value, und der Haupt‐ und Interaktionseffekte der univariaten Vari‐anzanalysenderelfSubtestsderLPS‐neuhinsichtlichderFaktorenPräsentati‐on,Antwortformat,ZeitvorgabeundBearbeitungszeitpunkt

1 2 3 4 5 6 7 8 9 10 11

Präsentation,,

.04,.018,.012

.64,.001,<.001

.30,.004,.003

.89,<.001,<.001

.02,.022,.018

.66,.001,<.001

.64,.001,<.001

.14,.009,.008

<.01,.217,.163

<.01,.291,.251

.04,.019,.015

Antwortformat,,

.16,.015,.010

.72,.003,.002

.73,.003,.002

.28,.011,.009

.03,.028,.022

.82,.002,.001

.97,<.001,<.001

.58,.005,.004

<.01,.104,.068

.02,.036,.023

.50,.007,.005

Zeitvorgabe,,

.62,.004,.003

.02,.031,.022

.08,.021,.017

.13,.017,.014

.03,.031,.024

.22,.013,.010

.01,.037,.032

.22,.013,.011

.08,.013,.008

.02,.025,.016

.01,.039,.033

Zeitpunkt,,

<.01,.253,.215

<.01,.254,.233

<.01,.127,.113

<.01,.047,.040

.01,.025,.020

<.01,.128,.117

<.01,.083,.074

<.01,.095,.089

<.01,.053,.033

.08,.013,.008

<.01,.094,.083

PräsentationAntwortformat,,

.33,.009,.006

.42,.007,.005

.25,.012,.009

.22,.012,.010

.42,.007,.006

.35,.009,.007

.88,.001,<.001

.40,.008,.007

<.01,.086,.055

.60,.001,<.001

.86,.001,.001

PräsentationZeitvorgabe,,

.43,.003,.002

.08,.012,.009

.19,.007,.006

.87,<.001,<.001

.12,.010,.008

.24,.006,.005

.13,.010,.008

.68,.001,<.001

.63,.001,<.001

.69,.001,<.001

.74,.001,<.001

PräsentationZeitpunkt,,

.31,.004,.003

.34,.004,.003

.83,<.001,<.001

.21,.006,.005

.95,<.001,<.001

.58,.001,.001

.02,.025,.021

.64,.001,<.001

<.01,.062,.039

.44,.003,.002

.26,.006,.005

AntwortformatZeitvorgabe,,

.17,.026,.017

.64,.010,.007

.68,.010,.008

.63,.011,.009

.05,.038,.031

.13,.029,.024

.90,.005,.004

.67,.010,.009

<.01,.039,.024

<.01,.095,.064

.60,.013,.010

AntwortformatZeitpunkt,,

.35,.009,.006

.95,<.001,<.001

.08,.021,.017

.24,.012,.010

.17,.015,.012

.92,.001,<.001

.22,.013,.011

.94,.001,<.001

.12,.018,.011

.22,.013,.008

.59,.005,.004

ZeitvorgabeZeitpunkt,,

<.01,.049,.032

.34,.009,.006

.75,.002,.002

<.01,.040,.034

.52,.005,.004

.50,.006,.005

.94,.001,<.001

.94,.001,<.001

.52,.002,.001

.24,.006,.004

.17,.017,.014

PräsentationAntwortformatZeitvorgabe

,,

.07,.022,.015

.20,.014,.009

.64,.004,.003

.16,.015,.013

.53,.005,.004

.87,.001,<.001

.51,.006,.005

.72,.003,.002

.93,<.001,<.001

.19,.008,.005

.21,.014,.012

PräsentationAntwortformatZeitpunkt

,,

.16,.015,.010

.57,.005,.003

.04,.027,.022

.47,.006,.005

.06,.023,.018

.35,.009,.007

.23,.013,.011

.84,.001,.001

.29,.005,.003

.15,.009,.006

.64,.004,.003

PräsentationZeitvorgabeZeitpunkt

,,

.64,.001,<.001

.44,.002,.002

.19,.007,.006

.85,<.001,<.001

.94,<.001,<.001

.90,<.001,<.001

.64,.001,<.001

.47,.002,.002

.95,<.001,<.001

.77,<.001,<.001

.23,.007,.006

AntwortformatZeitvorgabeZeitpunkt

,,

.17,.027,.017

.59,.012,.008

.56,.012,.010

.47,.015,.012

<.01,.072,.059

.26,.022,.018

.62,.011,.010

.85,.006,.005

.32,.010,.006

.53,.006,.003

.88,.006,.005

Präs.Antw.f.ZeitvorgabeZeitpunkt

,,

.03,.029,.019

.42,.007,.005

.89,.001,<.001

.13,.017,.014

.39,.008,.006

.68,.003,.003

.95,<.001,<.001

.26,.012,.010

.23,.006,.004

.88,<.001,<.001

.51,.006,.005

Gesamt .366 .315 .218 .176 .231 .200 .179 .150 .414 .389 .201

Bemerkung: Effektemit .10sindgrauhinterlegt.

DerzweitesehrhoheWertfindetsichfürdenHaupteffektPräsentation( Präs. .053);hier‐

beiistallerdingsdienochhöhereVarianz,diesichindenbeidenextremhohen indenSub‐

tests9und10(vgl.Tabelle10.21)begründet,zubeachten.ZudemhängtesvomSubtestab,wel‐cheBedingung(einzelnvs.alle)diehöherenLeistungenprovoziert:IndenSubtests1,9und11

erzielendieProbanden,diealleItemssehen,bessereLeistungen;indenSubtests5und10die

Page 109: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·109

Probanden, diedie Items einzeln sehen (vgl. Tabelle10.20).DieseUmständebegründenwohl

auch,dassdieUntergrenzedesKonfidenzintervallsnurmarginalgrößerNullist.FürdenHaupteffektZeitvorgabezeigensichzwarniedrigeWerte,dieaberkonsistentgrößer

.01sind;imMittelklärtderFaktor2.2%Varianz,siebenderelfSubtestweisensignifikanteMit‐

telwertsunterschiede auf. Nur auf Subtest 1 scheinen die Variationen der Zeitvorgabe keinenEinflusszuhaben.AusTabelle10.20istersichtlich,dasseskeineSystematikdahingehendgibt,

dass in einer Bedingung für jeden Subtest bessere oder schlechtere Werte erbracht werden.

ZweiTrendssindjedochauszumachen.DieAnzeigederGesamtzeitführt,außerindenSubtests9und10,nichtzudenniedrigsten,sonderninfünfFällenzudenhöchstenundinvierFällenzu

denzweithöchstenLeistungen.DieBegrenzungderBearbeitungszeitauf10Sekunden führt in

fünf der neun angewandten Subtests zu den niedrigsten Rohwerten, in den Subtests 2 und 7hingegenzudenhöchsten.

DerFaktorAntwortformathatimMitteleinenochgeringereEffektgrößevon.019,dieVari‐

anzistjedochdeutlichgrößeralsbeiderZeitvorgabe.BeidenmeistenSubtestsspieltdasAnt‐wortformatkaumeineRolle.LediglichdieSubtests5,9und10weisenbedeutsamvonNullver‐

schiedene Effekte auf.Mit 10.4%Varianzklärung ist die Relevanz für Subtest 9 am höchsten,

wobei–ebensowiebeiSubtest10–dieMöglichkeit,einItemnureinmalbeantwortenzukön‐nen,zudenhöchstenErgebnissenführt.DieKorrekturoptionhingegenproduziertdiegeringsten

Werte.BeiSubtest5 führtdie „weiter“‐OptionzueinerdeutlichenVerringerungdermittleren

Leistungen(vgl.Tabelle10.20).

Tabelle10.22: Mittelwert, Standardabweichung, und Intervallgrenzen des 90%‐Konfidenz‐intervallsderpartiellen bezüglichderelfSubtestsdesLPS‐neu

Effekt Effekt Effekt Effekt

Präsentation .053 .101 .003 .103

Antwortformat .019 .030 .004 .035

Zeitvorgabe .022 .011 .017 .028

Zeitpunkt .107 .082 .066 .147

PräsentationAntwortformat .014 .024 .002 .026

PräsentationZeitvorgabe .005 .004 .003 .007

PräsentationZeitpunkt .010 .019 .001 .019

AntwortformatZeitvorgabe .026 .026 .013 .039

AntwortformatZeitpunkt .010 .007 .006 .013

ZeitvorgabeZeitpunkt .013 .017 .004 .021

PräsentationAntwortformatZeitvorgabe .008 .007 .005 .012

PräsentationAntwortformatZeitpunkt .011 .008 .007 .015

PräsentationZeitvorgabeZeitpunkt .002 .003 .000 .003

AntwortformatZeitvorgabeZeitpunkt .018 .019 .009 .028

Präs.Antw.f.ZeitvorgabeZeitpunkt .008 .009 .004 .012

Die einzige Interaktion, deren Konfidenzintervall über demWert für einen relevanten Effekt

liegt,betrifftdieFaktorenAntwortformatundZeitvorgabe(90%‐KIvon . . .

Page 110: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

110·Untersuchung2:TestunganBerufsschülern

.013; .039 ,vgl.Abbildung10.2).DiesliegtinsbesondereanSubtest10,aberauchandenSub‐

tests5und9,weshalbderHaupteffektAntwortformatauchunterdiesemGesichtspunktrelati‐

viertwerdenmuss.FürSubtest5begründetsichdieInteraktionalleineineinergeringerenLeis‐tungderBedingungskonstellationWeiter‐Button‐KlickenundkeineZeitangabe.FürdieSubtests

9und10zeigt sich,dassdieProbanden,diekeineZeitvorgabensahenund jedes Itemeinzeln

nur einmalig bearbeiten konnten, im Schnitt die höchstenWerte erzielten; demgegenüber er‐reichtenProbandenimselbenAntwortformatabermitEinblendungderGesamtzeitdiegerings‐

teLeistung.

Abbildung10.2: Darstellung der statistisch signifikanten Interaktion Antwortfor‐matZeitvorgabederSubtests5,9und10

BeidergemeinsamenBetrachtungvonZeitvorgabeundBearbeitungszeitpunkt liegenzwei,al‐

lerdingsebenfallskonträreInteraktionenfürdieSubtests1und4vor(vgl.Abbildung10.3).BeiSubtest1wirdderstarkeHaupteffektdesErhebungszeitpunktesderCVzuT1oderT2deutlich.

Zudemzeigen sichbeiderTestung zuT2diebestenWerte,wennkeineZeitangabengemacht

werden.FindetdieDurchführunghingegenzuT1statt,erzielenProbandenindieserBedingungimMittel die niedrigsten Ergebnisse.Während bei Subtest 4 bei keiner oder der Anzeige der

Gesamtzeit nur der Haupteffekt des Erhebungszeitpunktes greift, führt eine Begrenzung der

Bearbeitungszeitauf10SekundenzueinerEgalisierungdiesesUnterschiedes.ÜberalleSubtests

8

10

12

14

16

18

20

einmalig weiter korrigierbar

Subtest 5

ohne Zeitanzeige

Gesamtzeitanzeige

10sec/Item

4

6

8

10

12

14

16

einmalig weiter korrigierbar

Subtest 9

18

20

22

24

26

28

30

einmalig weiter korrigierbar

Subtest 10

Page 111: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·111

hinweg ist die Höhe der Effektes jedoch mit relativer Sicherheit marginal größer als Null

(90%‐KIvon Zeitv. Zeitp. .004; .021 ).

Abbildung10.3: Darstellung der statistisch signifikanten Interaktion ZeitvorgabeZeitpunktderSubtests1und4

DiebeidensignifikantenInteraktionenderSubtests7und9hinsichtlichderDarstellungsartder

ItemsunddesBearbeitungszeitpunktesbegründensich inbeidenFällenaufeinemgeringerenUnterschiedderLeistungenzuT1undT2,wenndie Itemsallezusammenpräsentiertwerden.

HierbeiübertrifftdiemittlereAnzahl richtiggelöster ItemszuT1beiSubtest9sogardieZahl

derLösungenzuT2,wenndieItemseinzelndargestelltwerden.InsofernistderHaupteffektdesErhebungszeitpunktesfürSubtest9zurelativieren,daernurimschlechterenAbschneidender

Probanden,diedieItemszuT1einzelnbearbeitethaben,begründetist.

Abbildung10.4: Darstellung der statistisch signifikanten Interaktion PräsentationZeitpunktderSubtests7und9

Die beiden Interaktionen PräsentationZeitvorgabe von Subtests 2 und Präsentati‐

onAntwortformatvonSubtest9(vgl.Abbildung10.5)stellenfürdieBedingungskonstellatio‐nenjeweilseineAusnahmedar,dafürdierestlichenSubtestssogutwiekeineEffektebeobacht‐barsind.BeiSubtest2führtdieGesamtpräsentationderItemsohnevisuelleZeitvorgabezuei‐

15

20

25

30

35

ohne gesamt einzeln

Subtest 1

CV zu T1

CV zu T2

0

5

10

15

20

ohne gesamt einzeln

Subtest 4

25

27

29

31

33

35

einzeln alle

Subtest 7

CV zu T1

CV zu T2

8

10

12

14

16

18

einzeln alle

Subtest 9

Page 112: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

112·Untersuchung2:TestunganBerufsschülern

nemverringertenMittelwertderLeistungen.FürSubtest9stelltdiekorrigierbareVersion für

dieohnehinzugeringerenLeistungen führendeEinzelpräsentationeinweiteresHemmnisdar.ÜberalleSubtestshinwegzeigensichjedochkeineweiterenderartigenEffektevonrelevantem

Ausmaß.

Abbildung10.5: DarstellungderstatistischsignifikantenInteraktionPräsentationZeitvorgabevonSubtests2undPräsentationAntwortformatvonSubtest9

Die letzte statistisch signifikante 2‐fach InteraktionAntwortformatZeitpunkt vonSubtests3

weistentsprechenddemgeringenEffektvon2.1%(80%‐KIvon Antw.f. Zeitp. 0; .045 nur

geringeAbweichungen bzgl. des bereits festgestelltenHaupteffekts des Erhebungszeitpunktes

auf(vgl.Abbildung10.6).DieBedingung,dassnachAnklickenderLösungdasnächsteItemfolgt,führtnurbeiderBearbeitungdesSubtests3zuT2zueinergeringerenmittlerenLeistung.ZuT1

ergebensichlediglichmarginaleUnterschiede.

Abbildung10.6: DarstellungderstatistischsignifikantenInteraktionAntwortformatZeitpunktvonSubtest3

Insgesamtbleibtalsofestzuhalten,dassüberdieSubtestshinwegnurdieHaupteffektestatisti‐scheRelevanz aufweisen.Die vereinzelten signifikanten Interaktionenkönnen imKontextder

meistelffachenTestungentwederalszufälligangesehenodereinerdemjeweiligenSubtest in‐

15

17

19

21

23

25

ohne gesamt einzeln

Subtest 2

einzeln

alle

5

7

9

11

13

15

einmalig weiter korrigierbar

Subtest 9

20

22

24

26

28

30

einmalig weiter korrigierbar

Subtest 3

CV zu T1

CV zu T2

Page 113: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·113

härentenEigenschaftzugeschriebenwerden.AufdieBesonderheitenderSubtestswirdimFol‐

gendenimKontextderÄquivalenznocheingegangen,sodassdieserAbschnittmitderFeststel‐lungbeendetwerdenmuss,dassdieRealisierungmöglichstunterschiedlicherBedingungender

CVnuralsbedingterfolgreichgewertetwerdenkann.

10.6 VergleichderMittelwertederPBVundderCV

Tabelle 10.23 zeigt deutlich, dass für alle Subtests eine Interaktion bezüglich der Reihenfolge

(zuerstCVoderzuerstPBV)unddemModusderDurchführung(PBVoderCV)zusätzlichzum

Haupteffekt desModus vorliegt. Lediglich für die Subtests 3 und 4 liegt keinHaupteffekt derDurchführungsbedingungvor.DieausführlichenDarstellungenderMittelwerte,Streuungenund

Teilstichprobengrößenwerden inAnhang15.7,dieKennwertederVarianzanalysen inAnhang

15.8bereitgestellt.

Tabelle10.23: EffektstärkenderHaupt‐und InteraktionseffektederunivariatenVarianzana‐lysenderelfSubtestsderLPS‐neuhinsichtlichderFaktorenModus,Präsentati‐on,Antwortformat,ZeitvorgabeundBearbeitungszeitpunkt

Subtest

Effekt 1 2 3 4 5 6 7 8 9 10 11Modus .162 .043 .004 .002 .023 .139 .073 .091 .067 .676 .048 .121 .191ModusBearbeitungszeitpunkt .378 .494 .369 .151 .102 .259 .238 .333 .064 .074 .137 .236 .143ModusPräsentation <.001 .003 .006 .006 .001 <.001 .004 .013 .204 .316 .003 .051 .107ModusAntwort .019 .010 .001 .010 .016 .001 .007 .018 .119 .040 .012 .023 .034ModusZeit .015 .012 .024 .011 .048 .005 .005 .027 .012 .018 .015 .017 .012ModusZeitpunktPräsentation <.001 .023 .001 <.001<.001<.001 .007 <.001 .021 .004 <.001.005 .009ModusZeitpunktAntwort <.001 .020 .006 .014 .011 .014 .003 .004 .002 .008 .003 .008 .006ModusZeitpunktZeit .029 .009 .030 .029 .006 .009 .015 .031 .002 .003 .005 .015 .012ModusPräsentationAntwort .003 .002 .029 <.001 .011 .029 .009 .001 .026 .001 <.001.010 .012ModusPräsentationZeit .002 <.001<.001<.001 .001 .009 <.001<.001 .004 .012 .003 .003 .004ModusAntwortZeit .007 .011 .033 .011 .018 .009 .008 .004 .021 .120 .017 .023 .033ModusZeitpunktPräs.Antwort .003 .007 .008 .023 .006 .002 <.001 .008 .010 <.001 .014 .007 .007ModusZeitpunktPräs.Zeit <.001 .010 <.001<.001<.001<.001<.001 .004 <.001 .018 <.001.003 .006ModusZeitpunktAntwortZeit .009 .012 .036 .024 .074 .007 .015 .045 .003 .002 .019 .022 .022ModusPräs.AntwortZeit .009 .011 .004 .002 .003 .008 .002 <.001<.001<.001 .004 .004 .004ModusZeitpkt.Präs.Antw.Zeit .003 .017 .010 <.001 .007 .022 .006 .005 .005 <.001<.001.007 .007

Bemerkung: HinterlegteFelderentsprechenSignifikanzniveauvon .15

Zunächst werden die Interaktionen zwischenModus und Bearbeitungsreihenfolge betrachtet,auchwennsieprinzipiellnichtgänzlichunbeeinflusstvon3‐und4‐fachInteraktioneninterpre‐

tiertwerdenkönnen.DennochstelltdieseInteraktiondeneinzigenEffektdar,derfürjedenSub‐

testRelevanzhat.InwieferndieRichtungkonsistentist,wirddurchAbbildung10.7veranschau‐licht.

Page 114: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

114·Untersuchung2:TestunganBerufsschülern

171921232527293133

PBV CV

Subtest 1

PBV zu T1CV zu T2

CV zu T1PBV zu T2

141618202224262830

PBV CV

Subtest 2

PBV zu T1CV zu T2

CV zu T1PBV zu T2

202224262830323436

PBV CV

Subtest 3

PBV zu T1CV zu T2

CV zu T1PBV zu T2

68

10121416182022

PBV CV

Subtest 4

PBV zu T1CV zu T2

CV zu T1PBV zu T2

68

10121416182022

PBV CV

Subtest 5

PBV zu T1CV zu T2

CV zu T1PBV zu T2

141618202224262830

PBV CV

Subtest 6

PBV zu T1CV zu T2

CV zu T1PBV zu T2

202224262830323436

PBV CV

Subtest 7

PBV zu T1CV zu T2

CV zu T1PBV zu T2

202224262830323436

PBV CV

Subtest 8

PBV zu T1CV zu T2

CV zu T1PBV zu T2

Page 115: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·115

Abbildung10.7: InteraktionzwischendemModus (PBVundCV)undderBearbeitungsreihen‐folgederelfSubtestsdesLPS‐neu

GenerellähnelnsichdieErgebnissederBerufsschulstichprobeundderstudentischenStichpro‐

be(vgl.Abbildung9.3).DiezweiteTestungführtmiteinerAusnahme(Subtest10)zueinembes‐serenErgebnis.FürdieSubtests1,2,6und11ergebensichfürdiezweiteTestungalsPBVim

MitteldieselbenErgebnissewie fürdiePBVzuT1,währenddieCVzuT2zueinergeringeren

VerbesserungdeserstenResultatsführtalsderVergleichderCVzuT1mitderPBVzuT2.DiezweiteTestungalsPBVergibtfürdieSubtests3,4,5,7und8bessereWertealsdieersteTes‐

tung als PBV. Ebenso liegt eine Steigerung der Leistung der zweiten Testung als CV für diese

Subtestsvor.DiebeidenErgebnissederGruppe,diezuerstdieCVunddanndiePBVvonSubtest9bearbeiteten,unterscheidensich imMittelnicht, lediglichdieCVzuT2zeigteinenerhöhten

Wert.Subtest10istdereinzigeSubtest,beidemdieCVunabhängigvomBearbeitungszeitpunkt

niedrigereWerte liefert als diePBV.Die zweiteTestung führt aberdennoch jeweils zu einemhöherenErgebnis.

MitAusnahmevonSubtest9führtdieTestungalsPBVimMittelzubesserenErgebnissenals

dieTestunginderCV(vgl.auchTabelle10.20).MitNachsichtbezüglichdieses„AllesübereinenKammscheren“werden zuletzt die Ergebnisse einermultivariateVarianzanalyse nurmit den

FaktorenModusundBearbeitungszeitpunktvorgestellt.AlsTestparameterwurdedenAusfüh‐

rungenOlsons(1976)folgendmitdemPillaiTrace dierobustestedervonSPSSberechnetenTeststatistiken ausgewählt. Multivariat bestätigt sich die Interaktion der beiden Faktoren

( 0.76, 11, 193 56.71, .01, .76).AuchdieHaupteffektebezüglichderBearbei‐

tungsreihenfolge ( 0.15, 11, 193 3.16, .01, .15) und Modus ( 0.63,

11, 193 30.20, .01, .63) werdenmultivariat statistisch signifikant. Dabei ist zu

beachten,dassdieVoraussetzungderGleichheitderKovarianzmatrizenverletztist(

468

101214161820

PBV CV

Subtest 9

PBV zu T1CV zu T2

CV zu T1PBV zu T2

202224262830323436

PBV CV

Subtest 10

PBV zu T1CV zu T2

CV zu T1PBV zu T2

468

101214161820

PBV CV

Subtest 11

PBV zu T1CV zu T2

CV zu T1PBV zu T2

Bemerkung:

Es wird für jeden Subtest ein Skalenausschnittvon 16 Rohwertpunkten angezeigt, um die Ver‐gleichbarkeitderabsolutenUnterschiedeüberdieSubtestshinwegzuermöglichen.

Page 116: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

116·Untersuchung2:TestunganBerufsschülern

434.05, 253,123586 1.52, .01),wobeidieshöchstenhinsichtlichderEffektgrößeder

ReihenfolgeRelevanzhat,dadiebeidenanderenEffekteinsgesamtzudeutlichvorliegen.DiezweiteTestunghat–erwartungsgemäß–somitimmereinenpositivenEffekthinsichtlich

derHöhe dermittleren Rohwertsumme. Je nach Subtest undModus fällt dieser Effekt jedoch

unterschiedlichaus.FürdieSubtests1,2,6,7,8,9und11scheintdiezweiteTestungalsPBVeinendeutlichstärkerenAnstieginderLeistungzuverursachenalsdiezweiteTestungalsCV.Es

kanndarausgeschlossenwerden,dassdieCVimVergleichzurPBVindiesenTestseinennegati‐

venEinflussaufdieLeistungderProbandenhat.FürSubtest10wirddiesernegativeEinflusseindeutig.DennochzeigtsichauchhierderVorteilderzweitenTestung.NurdieSubtests3,4

und5weisenlediglichsehrschwacheTendenzeninderobenbeschriebenenFormauf.Fürdiese

Subtests istderModuseffekt imVergleichzudenübrigenSubtestsgering (vgl.Tabelle10.23).MitAusnahmederSubtests7und11zeigensichfürdieSubtestsweiterebedeutsameInterakti‐

onenmitderDurchführungsbedingung.DiesewerdennunvorderendgültigenDiskussionder

RollederSubtesteigenschaftenberichtet.Weitere2‐fach‐InteraktionenmitdemDurchführungsmodusliegeninsbesonderefürdieSub‐

test8,9und10vor(Tabelle10.23).Abbildung10.8machtdenUnterschieddesEinflussesauf

diedreiSubtestsdeutlich.WährenddergeringeEffektvon .013beiSubtest8indergrafi‐

schenAufbereitungkaumersichtlich ist,zeigtsich,dassdiePräsentationaller Items inderCV

fürSubtest9förderlichist,fürSubtest10hingegeneinnochgrößeresHindernisdarstelltalsdie

BearbeitungderItemseinzelninderCV.

Abbildung10.8: InteraktionzwischendemModus (PBVundCV)undderPräsentationsartderSubtests8,9und10desLPS‐neu

18202224262830323436

PBV CV

Subtest 8

einzeln

alle

02468

1012141618

PBV CV

Subtest 9

einzeln

alle

17192123252729313335

PBV CV

Subtest 10

einzeln

alle

Bemerkung:EswirdfürjedenSubtesteinSkalen‐ausschnittvon18Rohwertpunktenangezeigt,umdie Vergleichbarkeit der absoluten UnterschiedeüberdieSubtestshinwegzuermöglichen.

Page 117: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·117

InAbbildung10.9wirddie InteraktionvonModusundAntwortformatderCVdargestellt.Für

Subtest1entsprechensichdieGruppeninderPBVinetwa,inderCVresultierenjedochfürdieVersuchspersonen,dieKorrekturmöglichkeitenhatten,dieniedrigstenWerte,währendsichdie

Versuchspersonen in den beiden anderen Bedingungen etwas weniger verschlechterten. Bei

Subtest8zeigendieProbanden,dieinderCVkeineÄnderungenihrerEingabenmehrmachendurften,inbeidenModidieselbeLeistung.DieanderensindinderPBVetwasbesser,habenda‐

fürindenCVetwasgeringereWerte.InSubtest9zeigensichkonstanteErgebnissefürdieKor‐

rekturbedingungüberdieModi.IndenbeidenanderenAntwortformatenweisendieVersuchs‐personenhöhereWerteinderCVauf.FürSubtest10zeigtsicheinegenerelleVerschlechterung

durch die Bearbeitung am Computer; die Interaktion wird durch höhere Abnahme der Ver‐

suchspersoneninder„weiter“‐Bedingungbegründet.

Abbildung10.9: Interaktion zwischen demModus (PBVundCV) unddemAntwortformat derSubtests1,8,9und10desLPS‐neu(Skalierungauf12Punkte)

Mit Ausnahme von Subtest 10 zeigt sich bei den signifikanten Interaktionen bezüglichModus

undZeitvorgabe,dasskeineZeitangabeoderdieAnzeigederGesamtzeitzuannäherndgleichenErgebnissenindenbeidenModiführt(vgl.Abbildung10.10).DieVorgabevon10Sekundenpro

Item führt indenSubtests3, 5und8 zu relativenVerschlechterungenderCV imKontextder

beidenanderenBedingungen.Die Interaktion indenSubtests9und10 liegt inderÜberkreu‐zungderbeidenReihenfolgeninnerhalbderModibegründet.DieAnzeigederGesamtzeitführt

jeweilszuetwasschlechterenErgebnissen,wobeidieseEffekterelativgeringsind(vgl.Tabelle

10.23).

18

20

22

24

26

28

30

PBV CV

Subtest 1

einmal

weiter

korrigierbar 25

27

29

31

33

35

37

PBV CV

Subtest 8

einmal

weiter

korrigierbar

2

4

6

8

10

12

14

PBV CV

Subtest 9

einmal

weiter

korrigierbar 22

24

26

28

30

32

34

PBV CV

Subtest 10

einmal

weiter

korrigierbar

Page 118: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

118·Untersuchung2:TestunganBerufsschülern

Abbildung10.10: InteraktionzwischendemModus(PBVundCV)undderZeitvorgabederSub‐tests3,5,8,9und10desLPS‐neu

Die 3‐fach‐Interaktion zwischendemModus, derBearbeitungsreihenfolge undderPräsentati‐

onsartbeiSubtest2unterscheidetsichgrafischnurgeringfügigvonder2‐fachInteraktionMo‐dus Bearbeitungsreihenfolge(vgl.Abbildung10.7undAbbildung10.11). InderCVzuT1 ist

derUnterschiedzurPBVbeiderEinzelitempräsentationgeringeralsbeiderGesamtpräsentati‐

on.FürdieCVzuT2zeigensichfastkeineUnterschiede.DiePBVvonSubtest9unterscheidetsichindenvierGruppenfastnicht.WerdeninderCValleItemsgezeigt,istesegal,obderSub‐

testzumT1oderT2bearbeitetwurde.DieEinzelpräsentationzuT1führtzueinemschlechteren

ErgebnisalsdiePBV.ZwischenPBVundderEinzelpräsentationzuT2bestehthingegenfastkeinUnterschied.

18

20

22

24

26

28

30

PBV CV

Subtest 3

ohne

gesamt

einzeln

10

12

14

16

18

20

22

PBV CV

Subtest 5

ohne

gesamt

einzeln

24

26

28

30

32

34

36

PBV CV

Subtest 8

ohne

gesamt

einzeln

3

5

7

9

11

13

15

PBV CV

Subtest 9

ohne

gesamt

22

24

26

28

30

32

34

PBV CV

Subtest 10

ohne

gesamt

Bemerkung:EswirdfürjedenSubtesteinSkalen‐ausschnittvon12Rohwertpunktenangezeigt,umdie Vergleichbarkeit der absoluten UnterschiedeüberdieSubtestshinwegzuermöglichen.

Page 119: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·119

Abbildung10.11: Interaktion zwischendemModus (PBVundCV), derBearbeitungsreihenfolgeundderPräsentationsartderSubtests2und9desLPS‐neu(Skalierungauf12Punkte)

Die einzige signifikante 3‐fach‐Interaktion zwischen demModus, der BearbeitungsreihenfolgeunddemAntwortformatliegtfürSubtest2vor.DieseInteraktionist jedochvorwiegendinun‐

terschiedlichenLeistungenderProbandeninderPBVzuT2begründet,währendsiesichinder

CVzuT1nurgeringfügigunterscheiden.WurdediePBVzuT1durchgeführt,zeigtsichlediglichderBearbeitungseffekthinsichtlicheinerVerbesserungbeiderzweitenTestung.

Abbildung10.12: Interaktion zwischendemModus (PBVundCV), derBearbeitungsreihenfolgeunddemAntwortformatvonSubtest2desLPS‐neu(Skalierungauf12Punkte)

DieInteraktionenzwischenModus,BearbeitungsreihenfolgeundZeitvorgabederSubtests1,3,

4und8deutenalledie2‐fach‐InteraktionModus Reihenfolgean(Abbildung10.13).FürSub‐test 1 zeigt sich für die PBV eine stichprobenbedingte auffällige Streuung. Die Steigerung der

LeistungistinderGruppederVersuchspersonen,diedieCVzuT1bearbeitete,relatividentisch;

wurde die CV zu T1 ohne Zeitangabe bearbeitet, ist sie etwas größer als bei BearbeitungmitAnzeigederGesamtzeit.DieSteigerungderLeistunginderGruppe,diedieCVzuT2bearbeite‐

ten, istetwasgeringer, insbesonderewenndieCVmiteinerZeitbegrenzungvon10Sekunden

proItemabsolviertwurde.DieSubtests3und4zeigenähnlicheVerläufe,wenngleichdieUnter‐schiededersechsGruppennichtsogravierendausfallen.InSubtest3sindalleGruppen,diedie

PBVzuT2absolvierten,imMittelbesseralsdieGruppenderPBVzuT1.DieInteraktionbegrün‐

det sichvorwiegenddurchdas relativ schlechtereAbschneidenderVersuchspersonen,diedie

16

18

20

22

24

26

28

PBV CV

Subtest 2

CV zu T1einzeln

CV zu T1alle

CV zu T2einzeln

CV zu T2alle 5

7

9

11

13

15

17

PBV CV

Subtest 9

CV zu T1einzeln

CV zu T1alle

CV zu T2einzeln

CV zu T2alle

16

18

20

22

24

26

28

PBV CV

Subtest 2

CV zu T1 einmal

CV zu T1 weiter

CV zu T1 korr.

CV zu T2 einmal

CV zu T2 weiter

CV zu T2 korr.

Page 120: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

120·Untersuchung2:TestunganBerufsschülern

CVzuT2mitZeitbegrenzungproItembearbeiteten;zudem„überholten“dieVersuchspersonen,

diedieGesamtzeitangezeigtbekamen,dieVersuchspersonenohneZeitangabe.BeidenSubtests4und8fälltjenureineGruppeausdeminder2‐fach‐InteraktionfestgestelltenZusammenhang.

Versuchspersonen, die die CV zu T2 mit Einzelzeitbegrenzung bearbeiteten, blieben in ihrer

Leistunglediglichstabil.

Abbildung10.13: Interaktion zwischendemModus (PBVundCV), derBearbeitungsreihenfolgeundderZeitvorgabederSubtests1,3,4und8desLPS‐neu(Skalierungauf19Punkte)

FürSubtest3zeigensichimVergleichzudenSubtests6und9nurgeringeSchwankungen,diedie signifikante Interaktion zwischen den Faktoren Modus, Präsentation und Antwortformat

begründenkönnen(Abbildung10.14).WerdendieItemsvonSubtest3einzelnundnureinmalig

bearbeitbarpräsentiert,ergebensichfürdieCVleichthöhereWertealsfürdiePBV,fürdiefünfanderenGruppenistdiesumgekehrt.DieleichtunterschiedlichenDifferenzenvonPBVundCV

begründenwohldenEffekt.FürSubtest6weisenallesechsGruppenbessereWerteinderPBV

auf;werdendieItemsinderCVjedochalleaufeinmalpräsentiertundbleibensiekorrigierbar,istdieDifferenzrelativgeringer.InsgesamtzeigtsicheinestarkestichprobenbedingteStreuung

inderPBV.BeiSubtest9fälltdiemittlereLeistungderCV,wenndieItemseinzelnpräsentiert

werden,allerdingskorrigierbarbleiben,imVergleichzurPBVab.WerdendieItemseinzelnprä‐sentiertunddieVersuchspersonengenötigt,einen„weiter“‐Buttonzuklicken,bleibtsieinetwa

gleich.FürdierestlichendreiGruppenistdieLeistunginderCVhingegenbesseralsinderPBV.

15171921232527293133

PBV CV

Subtest 1

CV zu T1 ohne

CV zu T1 gesamt

CV zu T1 einzeln

CV zu T2 ohne

CV zu T2 gesamt

CV zu T2 einzeln 15171921232527293133

PBV CV

Subtest 3

CV zu T1 ohne

CV zu T1 gesamt

CV zu T1 einzeln

CV zu T2 ohne

CV zu T2 gesamt

CV zu T2 einzeln

10121416182022242628

PBV CV

Subtest 4

CV zu T1 ohne

CV zu T1 gesamt

CV zu T1 einzeln

CV zu T2 ohne

CV zu T2 gesamt

CV zu T2 einzeln 21232527293133353739

PBV CV

Subtest 8

CV zu T1 ohne

CV zu T1 gesamt

CV zu T1 einzeln

CV zu T2 ohne

CV zu T2 gesamt

CV zu T2 einzeln

Page 121: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·121

Abbildung10.14: Interaktion zwischen dem Modus (PBV und CV), der Präsentation und demAntwortformatderSubtests3,6und9desLPS‐neu

DieInteraktionModus Präsentation Zeitvorgabe(Abbildung10.15)desSubtests10begrün‐

det sich in dem umgekehrten Verhältnis der Leistungen innerhalb der Ausprägungen einzeln

undalle.WerdendieItemseinzelnpräsentiert,zeigtsicheinkleinerVorsprung,wennkeineZeitangezeigtwird.BeiderPräsentationaller Itemsaufeinmal istdermittlereRohwertetwashö‐

her,wenndieGesamtzeitangezeigtwird.AllerdingsbegründetsichdieserEffektaufdenUnter‐

schiedinderPBV;zudemistermitderkleinstesignifikanteEffekt( .012).

Abbildung10.15: InteraktionzwischendemModus(PBVundCV),derPräsentationundderZeit‐vorgabevonSubtest10desLPS‐neu

Diewohlkomplizierteste signifikante3‐fach‐Interaktion liegt zwischenModus,AntwortformatundZeitvorgabebeidenSubtests3,9und10vor.AllerdingszeigtAbbildung10.16deutlich,dass

21

23

25

27

29

PBV CV

Subtest 3

einzeln‐einmal

einzeln‐weiter

einzeln‐korr.

alle‐einmal

alle‐weiter

alle‐korr.

17

19

21

23

25

PBV CV

Subtest 6

einzeln‐einmal

einzeln‐weiter

einzeln‐korr.

alle‐einmal

alle‐weiter

alle‐korr.

6

8

10

12

14

PBV CV

Subtest 9

einzeln‐einmal

einzeln‐weiter

einzeln‐korr.

alle‐weiter

alle‐korr.

1618202224262830323436

PBV CV

Subtest 10

einzeln‐ohne

einzeln‐gesamt

alle‐ohne

alle‐gesamt

Bemerkung:EswirdfürjedenSubtesteinSkalen‐ausschnitt von 9 Rohwertpunkten angezeigt, umdie Vergleichbarkeit der absoluten UnterschiedeüberdieSubtestshinwegzuermöglichen.

Page 122: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

122·Untersuchung2:TestunganBerufsschülern

dieEffektedurcheinjeweilsunterschiedlichesZusammenwirkenderFaktorenbedingtsindund

sichnurvereinzeltAnalogienzwischenzweiderdreiSubtestsfindenlassen.Dahersolldieaus‐führlicheBeschreibungdieser, ebensowiederhöheren Interaktionenaußenvorbleiben.Her‐

vorgehobenwirdlediglicheinegemeinsameBesonderheitvonSubtest9und10:Dieeinmalige

BearbeitungeinesItemsohneAnzeigederZeitführtjeweilszumbestenErgebnisinderCV;dasschlechteste Ergebnis der CV wird hingegen erbracht, wenn die Gesamtzeit angezeigt wird.

Spannendhierbei istzudem,dassdieVersuchspersonen,die inSubtest9diesenbestenMittel‐

wert erzeugen (einmal –ohne), in Subtest10denniedrigstenMittelwert aufweisen (einmal –gesamt, vgl. Tabelle 10.4). Ein Stichprobeneffektwird somit höchst unwahrscheinlich. ImFol‐

gendenwirdaufgrundderHöhedesEffektsexemplarischdie4‐fach‐InteraktionModus Rei‐

henfolge Antwortformat ZeitvorgabeinAbbildung10.17dargestelltunderläutert.

Abbildung10.16: InteraktionzwischendemModus (PBVundCV),demAntwortformatundderZeitvorgabederSubtests3,9und10desLPS‐neu

Eine4‐fach‐Interaktion ist nie leicht zu interpretieren, insbesonderewennnichtdieÜberprü‐

fungeinerkonkretenHypothese imVordergrundsteht. IndenGruppenohneAnzeigederZeit

scheint fürSubtest3 inder InteraktionzwischenModusundBearbeitungsreihenfolgevorwie‐genddiezweiteTestungzueinerLeistungssteigerungzuführen.IstdieBearbeitungszeithinge‐

genauf10SekundenproItembegrenzt,fallendieLeistungeninderCVgeringerausundkom‐

menüberdasNiveauderPBVzuT1nichthinaus.IndenGruppen,diedieGesamtzeitangezeigtbekommen, unterscheiden sich die Leistungen in der PBV insgesamt sehr auffällig. Lässtman

diesenStichprobenunterschiedaußerAcht,zeigtsichdieselbeStruktur,wieindenGruppenoh‐

neZeitanzeige.ÄhnlichesgiltfürSubtest8indenBedingungenohneundmitGesamtzeitanzeige.InSubtest5fälltindenBedingungenohneZeitanzeigelediglichdieGruppe„CVzuT2‐weiter“

25,025,526,026,527,027,528,0

PBV CV

Subtest 3einmal‐ohneeinmal‐gesamteinmal‐einzelnweiter‐ohneweiter‐gesamtweiter‐einzelnkorr.‐ohnekorr.‐gesamtkorr.‐einzeln

10

12

14

16

PBV CV

Subtest 9

einmal‐ohne

einmal‐gesamt

weiter‐ohne

weiter‐gesamt

korr.‐ohne

korr.‐gesamt 182022242628303234

PBV CV

Subtest 10

einmal‐ohne

einmal‐gesamt

weiter‐ohne

weiter‐gesamt

korr.‐ohne

korr.‐gesamt

Page 123: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·123

ausdemRahmen,dieinbeidenModiunterdurchschnittlicheWerteerzielte.DieErgebnissedie‐

serGruppe („CV zuT2 –weiter“) sindmit dieserundderEinzelitemzeitbegrenzungüber alleanderenSubtestsundBedingungenkonstant:DiezweiteTestungalsCVführtzuetwasbesseren

WertenalsdieersteTestung.DasselbeMusterfindetsichfürdieGruppe„CVzuT2–korrigier‐

bar“;dieAusnahmestellthierSubtest8mitZeitbegrenzungproItemdar.DieAntwortbedingung„einmal“beiderCVzuT2zeigtbeiBegrenzungderBearbeitungszeitproItemfüralleSubtests

keinenAnstiegderLeistung,währenddiesbeidenanderenBedingungeninunterschiedlichem

Ausmaßbeobachtbarist.WurdedieCVzuT1inderAntwortbedingung„weiter“bearbeitet,zeigtsichfürjedenSubtestundjedeZeitbedingungeinAnstieginderzweitenTestungalsPBV.Dies

giltmitAusnahmevonSubtest5beiderZeitangabegesamtebensofürdiebeidenanderenAnt‐

wortformate.DieAusnahmezeigtsichingleichenMittelwertenbeiderCVundderPBV.

Abbildung10.17: InteraktionzwischendemModus(PBVundCV),derBearbeitungsreihenfolge,demAntwortformatundderZeitvorgabederSubtests3,5und8desLPS‐neu(Skalenausschnittvon8Rohwertpunkten)

222324252627282930

PBV CV

Subtest 3 ‐ ohne

222324252627282930

PBV CV

Subtest 3 ‐gesamt

222324252627282930

PBV CV

Subtest 3 ‐ einzeln

CV zu T1 einmal

CV zu T1 weiter

CV zu T1 korr.

CV zu T2 einmal

CV zu T2 weiter

CV zu T2 korr.

151617181920212223

PBV CV

Subtest 5 ‐ ohne

151617181920212223

PBV CV

Subtest 5 ‐gesamt

151617181920212223

PBV CV

Subtest 5 ‐ einzeln

CV zu T1 einmal

CV zu T1 weiter

CV zu T1 korr.

CV zu T2 einmal

CV zu T2 weiter

CV zu T2 korr.

293031323334353637

PBV CV

Subtest 8 ‐ ohne

293031323334353637

PBV CV

Subtest 8 ‐gesamt

293031323334353637

PBV CV

Subtest 8 ‐ einzeln

CV zu T1 einmal

CV zu T1 weiter

CV zu T1 korr.

CV zu T2 einmal

CV zu T2 weiter

CV zu T2 korr.

Page 124: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

124·Untersuchung2:TestunganBerufsschülern

InsgesamtzeigtdieseInteraktion,dassvorallemdasFehlenderAnzeigederGesamtzeitzuEr‐

gebnissen führt,dieder2‐fach‐InteraktionModus Bearbeitungszeitpunktamnächstenkom‐men.DieBegrenzungderBearbeitungszeitauf10SekundenproItemführtsowohldirekt,alsoin

derCV,alsauchindirekt,durchdiePBVzuT2,zustarkenStreuungenderMittelwertederjewei‐

ligenBedingungskonstellationen.DieAnzeigederGesamtbearbeitungsdauerhatnureinensehrgeringenEffektindieseRichtung.

Allgemein kann festgestelltwerden, dass sich die Effekte, die sich als signifikant erweisen,

nichtimmerfüralleSubtestgeneralisierenlassen.Dieskannnundaran,dassdieEffektezufälligsogroßsind,oderandenSubtesteigenschaftenliegen.HinsichtlichderPräsentationistesnach‐

vollziehbar, dass die Gesamtansicht aller Items das Zählen jeder achten Ziffer (erst 0, dann 1

usw.; Subtest 9) erleichtert ‐ insbesonderewennder Subtest zum erstenMal bearbeitetwird(vgl. Abbildung 10.11). Vor allem dieNotwendigkeit, einen „weiter“‐Button zu klicken, ist bei

Subtest 9 hinderlich (vgl. Abbildung 10.14). Für Subtest 10 führt die Isolierungder einzelnen

ItemszueinemVorteil,dadiesoffenbardenVergleichvon linkerundrechterSeiteerleichtert(vgl.Abbildung3.4,S.36).FürSubtest2zeigtsichdieserVorteilebenso,allerdingsnurfürdie

TestungzuT1(vgl.Abbildung10.11).DiedreiunterschiedlichenArtenderAntwortabgabezei‐

genfürsichbetrachtetnureinengeringenEinfluss.Esfälltlediglichauf,dassindenSubtests1,9und10dieBedingung,inderdieMöglichkeitgegebenwird,übereinenKlickzubereitsbearbei‐

teten Aufgaben zu gelangen, durchwegs zu den niedrigsten Ergebnissen führt (vgl. Abbildung

10.9).Wird jedochderBearbeitungszeitpunkt kontrolliert, fällt auf, dassdieserEffekt bei denSubtests3,5und8nurinderCVzuT1auftritt.WerdendieSubtestszuT2inderCVbearbeitet,

resultierthäufigderbesteWert.FürdieSubtests9und10scheintdieZeitersparnis,wennsofort

zum nächsten Item gewechselt wird, von besonderem Vorteil gewesen zu sein, insbesonderewennkeineZeitvorgabegemachtwurde(vgl.Abbildung10.16).

DieZeitvorgabeerweistsichohnehinalsderammeistenVarianzerzeugendeFaktor,sofern

dieAnzahlstatistischsignifikanterEffektebesondereRelevanzhabenkann.FürsichgenommenführtdieBegrenzungauf10SekundenproItembeidenSubtests3,5und8zugeringerenWer‐

ten (vgl. Abbildung 10.10). Auch bei Berücksichtigung des Bearbeitungszeitpunktes lässt sich

dieserEffektrelativzudenbeidenanderenBedingungenzubeidenMöglichkeitenfürdieSub‐tests1,3,4und8beobachten(vgl.Abbildung10.13).

InTabelle10.24werdendieErgebnissederUntersuchung2hinsichtlichderÄquivalenzun‐

terdemAspektder 15 verschiedenenBedingungen, die sich ausdendrei variierten Faktorenbilden,zusammengefasst.DieTabellekannebensoquerbezüglichdesjeweiligenSubtestsgele‐

senwerden.FürSubtest1zeigensichüberdieBedingungenhinwegvorwiegendmittlereEffek‐

te,wobei inderPBV immerbesserabgeschnittenwurde.EinähnlichesBildergibtsich fürdieSubtest2,6und11;hierkönneneinigeBedingungenalsdurchausäquivalentbzgl.derMittel‐

werte angesehenwerden. Für Subtest 3 ergeben sich vorwiegend leicht negativeWerte (PBV

besser),allerdingsaucheinigeWerteumNullundeinhoherpositiverWert.BeiSubtest4liegendiemeisten Effektgrößen im sehr geringen Bereich. Bei der Einzelpräsentation der Items hat

scheinbardiePBVleichteVorteile;werdenalleItemspräsentiert,zeigensichehergeringe,aber

positiveWerte (CVbesser).BeidenSubtests5,7und8kommennurwenigeWertenaheNullvor.DiemeistenEffektekönnenalsmittelstarkbezeichnetwerdenundsindmeistnegativ;ins‐

besondereSubtest5weist jedochaucheinigekleinepositiveEffekteauf.FürSubtest9zeigen

Page 125: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·125

sichsowohlstarkepositive(besonderswennalleItemsinderCVpräsentiertwerden)alsauch

starkenegativeEffekte;danebenkommenineinigenBedingungenfastkeineUnterschiedevor.FürSubtest10zeigensichbeiallenBedingungen,insbesonderebeiderPräsentationallerItems

inderCV,extremeVorteilefürdiePBV.MitAusnahmevonSubtest9könnendieMittelwerteder

EffektstärkenüberdieBedingungenhinwegdurchausalsMaßzahl fürdieMöglichkeit,äquiva‐lenteBedingungenzuschaffen,gesehenwerden.

Bei Betrachtung der Effektgrößen der Subtests in den einzelnen Bedingungen in Tabelle

10.24 fallen die stärkstenAbweichungen hinsichtlich eines augenfälligenMusters in den Sub‐tests9und10auf.DiesbestätigtsichinderÜberprüfungderHomogenitätderEffekte.Derkriti‐

scheWertfürdieχ ‐verteiltePrüfgröße liegtbeiBetrachtungallerSubtestsbeiχ . 90; 11

1 15.99.DieserWertwirdinzehnder15Bedingungenüberschritten.InvierderfünfBedin‐gungenmit homogenenEffektstärkenwurdendie Subtests 9 und10wegen ihrer besonderen

Beschaffenheitjedochnichtdurchgeführt.EszeigensichsomitnurineinerBedingunghomoge‐

neEffektebeiBeachtungallerSubtests.DiegewichteteEffektgröße(unterBerücksichtigungderInterkorrelationen, vgl. Tabelle 11.1) hat in diesem Fall eine mittlere Höhe von ‐0.43

( 0.04).

Page 126: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

126·Untersuchung2:TestunganBerufsschülern

Tabelle10.24: EffektstärkenjeSubtestjeBedingungsowiedazugehörigeMittelwerteundPa‐rameterdermultivariatenBetrachtung

Präsentation Einzeln Alle

Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

OhneGe‐samt

OhneGe‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ∙

Subtest

1 ‐0.32 ‐0.28 ‐0.30 ‐0.46 ‐0.18 ‐0.57 ‐1.33 ‐0.39 ‐0.74 ‐0.46 ‐0.37 ‐0.53 ‐0.36 ‐0.72 ‐0.63 ‐0.51 0.28

2 ‐0.28 ‐0.40 ‐0.06 ‐0.59 ‐0.11 ‐0.28 ‐0.09 0.06 ‐0.20 ‐0.32 ‐0.25 ‐0.51 ‐0.68 ‐0.50 0.00 ‐0.28 0.22

3 ‐0.20 0.71 ‐0.11 ‐0.14 ‐0.35 ‐0.15 ‐0.03 0.11 ‐0.56 ‐1.11 0.00 ‐0.14 ‐0.14 ‐0.34 ‐0.47 ‐0.20 0.38

4 0.05 0.04 ‐0.25 0.00 ‐0.18 ‐0.10 ‐0.05 ‐0.02 ‐0.83 0.50 0.13 0.24 0.00 0.00 0.04 ‐0.03 0.28

5 ‐0.28 ‐0.07 ‐0.40 ‐0.51 0.27 ‐0.58 ‐0.40 0.20 ‐0.25 ‐0.18 0.22 ‐0.77 ‐0.21 ‐0.15 0.16 ‐0.20 0.31

6 ‐0.01 ‐0.44 ‐0.66 ‐0.24 ‐1.13 ‐0.68 ‐0.68 ‐0.55 ‐0.82 ‐0.56 ‐0.44 ‐0.66 ‐0.33 ‐0.21 ‐0.23 ‐0.51 0.28

7 ‐0.19 ‐0.42 ‐0.38 ‐0.69 ‐0.38 0.11 ‐0.99 ‐0.68 ‐0.78 ‐0.21 ‐0.06 ‐0.41 ‐0.62 ‐0.74 ‐0.17 ‐0.44 0.31

8 0.13 ‐0.08 ‐0.33 ‐0.90 ‐0.36 ‐0.91 ‐0.22 ‐0.35 ‐0.71 ‐0.24 ‐0.29 ‐0.27 ‐0.25 ‐0.55 ‐0.62 ‐0.40 0.29

9 1.54 0.05 ‐ ‐0.16 ‐0.25 ‐ ‐1.49 ‐1.01 ‐ ‐ ‐ 1.58 0.76 1.27 1.26 0.35 1.09

10 ‐0.52 ‐4.95 ‐ ‐1.60 ‐0.63 ‐ ‐1.48 ‐0.57 ‐ ‐ ‐ ‐4.45 ‐4.12 ‐4.95 ‐5.03 ‐2.83 2.02

11 ‐0.39 ‐0.36 0.04 0.06 ‐0.30 ‐0.08 ‐0.93 ‐0.10 ‐0.43 ‐0.34 ‐0.30 ‐0.28 0.10 ‐0.63 ‐0.09 ‐0.27 0.27

Param

eter

∙ ‐0.04 ‐0.56 ‐0.27 ‐0.48 ‐0.33 ‐0.36 ‐0.70 ‐0.30 ‐0.59 ‐0.32 ‐0.15 ‐0.56 ‐0.53 ‐0.68 ‐0.53 ‐0.48 0.19

∙ 0.56 1.49 0.21 0.48 0.35 0.34 0.58 0.38 0.25 0.42 0.23 1.44 1.25 1.52 1.58 0.82

28.49 72.10 4.45 25.74 13.91 13.16 41.70 16.52 7.14 21.9 5.06 95.0 128.1 83.4 137.4

0.02 0.26 ‐0.27 ‐0.37 ‐0.43 ‐0.33 ‐1.07 ‐0.48 ‐0.68 ‐0.25 ‐0.21 0.60 0.12 0.47 0.16

0.04 0.05 0.05 0.05 0.04 0.05 0.04 0.04 0.05 0.05 0.05 0.04 0.04 0.04 0.05

‐0.08 0.16 ‐0.39 ‐0.48 ‐0.52 ‐0.44 ‐1.17 ‐0.58 ‐0.79 ‐0.36 ‐0.33 0.50 0.02 0.37 0.06

0.13 0.37 ‐0.16 ‐0.26 ‐0.33 ‐0.22 ‐0.97 ‐0.37 ‐0.56 ‐0.14 ‐0.10 0.70 0.22 0.57 0.27

∙ 16.45 16.09 16.00 15.91 18.82 16.78 18.64 17.45 16.22 15.7 15.78 17.0 18.55 17.2 17.55

Param

eter\{9;10}

∙ ‐0.17 ‐0.14 ‐0.27 ‐0.39 ‐0.30 ‐0.36 ‐0.52 ‐0.19 ‐0.59 ‐0.32 ‐0.15 ‐0.37 ‐0.28 ‐0.43 ‐0.22 ‐0.31 0.13

∙ 0.18 0.36 0.21 0.32 0.37 0.34 0.48 0.31 0.25 0.42 0.23 0.30 0.26 0.26 0.29 0.16

2.82 10.96 4.45 9.43 13.11 13.16 21.31 8.88 7.14 21.9 5.06 10.3 6.39 6.35 8.35

‐0.15 ‐0.15 ‐0.27 ‐0.32 ‐0.37 ‐0.33 ‐0.59 ‐0.25 ‐0.68 ‐0.25 ‐0.21 ‐0.31 ‐0.24 ‐0.45 ‐0.34

0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05 0.05

‐0.27 ‐0.27 ‐0.40 ‐0.44 ‐0.49 ‐0.45 ‐0.71 ‐0.37 ‐0.80 ‐0.38 ‐0.34 ‐0.44 ‐0.36 ‐0.58 ‐0.46

‐0.03 ‐0.02 ‐0.15 ‐0.19 ‐0.24 ‐0.21 ‐0.46 ‐0.12 ‐0.55 ‐0.13 ‐0.09 ‐0.19 ‐0.11 ‐0.33 ‐0.22

∙ 16.22 16.22 16.00 16.11 16.67 16.78 16.33 16.22 16.22 15.7 15.78 15.7 15.89 15.8 16.11

Bemerkungen: Da / (vgl.Formel(7‐5)),bedeuteteinenegativeEffektgröße,dassinderPBVdiehö‐here Leistung erzielt wurde. .15 sind grau markiert. Die Homogenität der Effektgrößen muss für

χ . 90; 11 1 15.99bzw. χ . 90; 9 1 13.36abgelehntwerden. kleinerdieserMarkensind grau hinterlegt. –Untergrenze, ‐ Obergrenze des 90%‐Konfidenzintervall von . Teilweise

wurdenfüreinebessereDarstellungWerteaufeineNachkommastellegerundet.

Wegender imVergleich zudenübrigenSubtestsauffälligenErgebnissewurdendieselbenBe‐

rechnungenhinsichtlichderÄquivalenzohnediebeidenSubtests9und10berechnet.IndieserKonstellationkanndieHomogenitätderEffekte in13der15Bedingungenangenommenwer‐

den. Die gewichteten Effekte bewegen sich im Bereich zwischen ‐0.15 und ‐0.68, wobei zwei

Effektealsgering(| | 0.20)unddieMehrheitalsmittel ( ∈ 0.20; 0.50 )zuwertensind.

Kein Konfidenzintervall der homogenen, gewichteten Effekte beinhaltet dieNull (selbstwenn

dieKonfidenzgrenzeauf .05gesetztwerdenwürde).

Page 127: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·127

Tabelle10.25: EffektstärkenjeSubtestjeBedingungsowiedazugehörigeMittelwerteundPa‐rameterdermultivariatenBetrachtungfürdieGruppen,diedieCVzuT1unddiePBVzuT2bearbeiteten

Präsentation Einzeln Alle

Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

OhneGe‐samt

OhneGe‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ∙

Subtest

1 ‐3.27 ‐2.10 ‐0.99 ‐2.85 ‐2.77 ‐1.70 ‐6.27 ‐0.97 ‐1.98 ‐1.69 ‐1.10 ‐0.82 ‐0.62 ‐1.57 ‐1.53 ‐1.69‐1.102 ‐1.06 ‐1.32 ‐2.01 ‐2.60 ‐0.51 ‐2.18 ‐1.06 ‐0.59 ‐0.50 ‐1.04 ‐1.20 ‐3.07 ‐2.71 ‐1.04 ‐0.71 ‐1.04‐1.203 ‐1.12 ‐1.14 ‐0.24 ‐1.06 ‐1.55 ‐0.67 ‐1.48 ‐0.83 ‐1.67 ‐2.73 ‐1.26 ‐1.49 ‐1.14 ‐1.03 ‐1.27 ‐2.73‐1.264 ‐0.14 ‐0.65 ‐0.69 ‐0.62 ‐0.71 ‐0.15 ‐0.22 ‐0.41 ‐1.32 0.14 ‐0.68 0.00 ‐0.12 ‐0.54 ‐0.83 0.14 ‐0.685 ‐0.79 ‐0.31 ‐0.80 ‐1.06 ‐0.50 ‐0.45 ‐0.67 0.17 ‐0.98 ‐0.61 0.34 ‐1.01 ‐1.88 ‐0.67 ‐0.09 ‐0.61 0.346 ‐1.43 ‐0.90 ‐1.13 ‐0.83 ‐2.59 ‐1.35 ‐1.47 ‐0.98 ‐1.84 ‐2.35 ‐2.21 ‐1.27 ‐0.46 ‐1.11 ‐0.63 ‐2.35‐2.217 ‐0.94 ‐1.15 ‐0.82 ‐1.09 ‐0.67 ‐0.33 ‐1.61 ‐1.60 ‐1.41 ‐0.36 ‐0.85 ‐0.92 ‐1.06 ‐2.39 ‐0.48 ‐0.36‐0.858 ‐0.95 ‐1.09 ‐0.54 ‐1.85 ‐0.91 ‐1.76 ‐1.01 ‐1.15 ‐0.89 ‐0.48 ‐1.27 ‐0.55 ‐0.67 ‐1.16 ‐1.49 ‐0.48‐1.279 1.16 ‐0.45 ‐ ‐1.10 ‐0.67 ‐ ‐2.58 ‐2.24 ‐ ‐ ‐ 1.17 0.17 1.38 1.35 ‐ ‐10 ‐0.49 ‐15.8 ‐ ‐1.40 ‐0.83 ‐ ‐1.61 ‐1.26 ‐ ‐ ‐ ‐5.33 ‐4.66 ‐5.78 ‐6.09 ‐ ‐11 ‐0.78 ‐0.51 ‐0.29 ‐1.39 ‐1.77 ‐0.13 ‐1.00 ‐0.66 ‐0.68 ‐1.30 ‐1.00 ‐0.38 ‐0.44 ‐1.77 ‐0.64 ‐1.30‐1.00

Param

eter

∙ ‐0.89 ‐2.32 ‐0.84 ‐1.44 ‐1.23 ‐0.97 ‐1.73 ‐0.96 ‐1.25 ‐1.16 ‐1.02 ‐1.24 ‐1.23 ‐1.42 ‐1.13 ‐1.16 ‐1.02

∙ 1.05 4.51 0.53 0.71 0.83 0.78 1.63 0.63 0.52 0.95 0.67 1.70 1.40 1.72 1.83 0.95 0.67 42.6539.2310.7017.8634.5025.02 58.76 20.67 14.35 41.2 27.03 65.6 80.15 64.0 77.65 ‐0.49 ‐0.17 ‐0.54 ‐1.01 ‐0.68 ‐0.65 ‐1.24 ‐1.05 ‐1.21 ‐0.57 ‐0.83 0.37 0.04 0.12 ‐0.23

0.09 0.08 0.09 0.10 0.07 0.09 0.09 0.09 0.12 0.11 0.11 0.07 0.07 0.08 0.09 ‐0.64 ‐0.31 ‐0.69 ‐1.16 ‐0.81 ‐0.80 ‐1.39 ‐1.20 ‐1.38 ‐0.73 ‐1.00 0.24 ‐0.09 ‐0.02 ‐0.37

‐0.34 ‐0.03 ‐0.40 ‐0.85 ‐0.55 ‐0.50 ‐1.09 ‐0.91 ‐1.04 ‐0.40 ‐0.66 0.51 0.16 0.26 ‐0.08

∙ 9.36 9.27 9.22 8.82 10.45 9.11 10.18 9.18 8.44 8.22 8.44 9.36 10.18 9.64 10.00

Param

eter\{9;10}

∙ ‐1.16 ‐1.02 ‐0.84 ‐1.48 ‐1.33 ‐0.97 ‐1.64 ‐0.78 ‐1.25 ‐1.16 ‐1.02 ‐1.06 ‐1.01 ‐1.25 ‐0.85 ‐1.12 0.24

∙ 0.86 0.52 0.53 0.79 0.88 0.78 1.79 0.50 0.52 0.95 0.67 0.88 0.82 0.57 0.49 0.47 23.3111.9410.7017.7932.2225.02 44.08 12.23 14.35 41.2 27.03 29.8 25.14 13.5 14.79 ‐0.96 ‐0.87 ‐0.54 ‐1.03 ‐0.95 ‐0.65 ‐0.78 ‐0.82 ‐1.21 ‐0.57 ‐0.83 ‐0.63 ‐0.22 ‐1.10 ‐0.97

0.10 0.10 0.09 0.11 0.11 0.09 0.11 0.10 0.12 0.11 0.11 0.10 0.08 0.11 0.09 ‐1.13 ‐1.05 ‐0.71 ‐1.21 ‐1.13 ‐0.82 ‐0.96 ‐1.00 ‐1.39 ‐0.75 ‐1.02 ‐0.80 ‐0.38 ‐1.28 ‐1.14

‐0.78 ‐0.70 ‐0.38 ‐0.85 ‐0.77 ‐0.48 ‐0.60 ‐0.65 ‐1.02 ‐0.39 ‐0.65 ‐0.46 ‐0.06 ‐0.92 ‐0.80

∙ 9.33 9.44 9.22 9.11 9.22 9.11 9.00 8.56 8.44 8.22 8.44 8.56 8.89 9.22 9.44

Bemerkungen: Da / (vgl.Formel(7‐5)),bedeuteteinenegativeEffektgröße,dassinderPBVdiehö‐here Leistung erzielt wurde. .15 sind grau markiert. Die Homogenität der Effektgrößen muss für

χ . 90; 11 1 15.99bzw. χ . 90; 9 1 13.36abgelehntwerden. kleinerdieserMarkensind grau hinterlegt. –Untergrenze, ‐ Obergrenze des 90%‐Konfidenzintervall von . Teilweise

wurdenfüreinebessereDarstellungWerteaufeineNachkommastellegerundet.

UmdieEinflüssevonModusundzweiterTestungverdeutlichenundunterscheidenzukönnen,

wurden in Tabelle 10.25 dieselben Berechnungen nur für die Gruppe der Versuchspersonen

durchgeführt,diedieCVzuT1bearbeiteten,undinTabelle10.26fürdiejenigen,diedieCVzuT2durchführten. Die ‐Werte zeigen, dass es durch die größere Stichprobe und die Beachtung

beiderMesszeitpunktebeiderGesamtbetrachtungzuHomogenisierungseffektenkommt.Wird

die CV zuT1durchgeführt, resultierendie heterogenstenEffekte. Insgesamtwird anhandderEffektwertedeutlich,wasauchschon insbesondere inAbbildung10.7zubeobachtenwar:Der

VorteileinerzweitenTestungistindenmeistenFällengrößer,wennzuerstdieCVunddanndie

PBVbearbeitetwurde.

Page 128: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

128·Untersuchung2:TestunganBerufsschülern

WirddieCVzuT1durchgeführt, zeigtnurSubtest4 inmehrerenBedingungengeringeEf‐

fektstärken. Für Subtest 9 sind als einziger Test die Effektstärken bei der Präsentation allerItemspositiv,d.h.dieErgebnissesindbeidererstenTestungalsCVimMittelbesseralsbeider

zweitenTestungalsPBV;diesistzudemauchinBedingung1derFall.DiegewichtetenEffekte

derstatistischalshomogenannehmbarenBedingungenweisenmittlerebishoheAusprägungen

auf( 0.87, 0.54, 0.82).KeinKonfidenzintervallbeinhaltetdieNull.

Tabelle10.26: EffektstärkenjeSubtestjeBedingungsowiedazugehörigeMittelwerteundPa‐rameterdermultivariatenBetrachtungfürdieGruppen,diediePBVzuT1unddieCVzuT2bearbeiteten

Präsentation Einzeln Alle

Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

OhneGe‐samt

OhneGe‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ∙

Subtest

1 1.12 0.51 0.14 0.61 0.65 0.09 ‐0.30 0.31 ‐0.03 0.90 0.30 0.54 0.42 0.55 0.28 0.41 0.362 0.68 1.05 0.87 0.60 0.55 0.64 0.25 1.70 0.58 0.26 0.69 2.35 1.30 0.74 1.48 0.92 0.573 1.70 1.99 ‐0.02 0.89 0.59 0.53 1.94 1.58 0.65 0.36 1.12 1.18 1.93 2.25 2.13 1.25 0.734 0.43 1.69 1.12 0.60 1.07 ‐0.05 0.23 0.49 ‐0.49 1.28 1.31 0.55 0.19 0.89 1.98 0.75 0.675 0.43 0.35 0.19 0.29 1.71 ‐0.67 0.10 0.25 0.71 0.44 0.00 ‐0.43 0.58 1.29 0.61 0.39 0.596 1.44 0.20 0.03 0.13 ‐0.23 ‐0.10 ‐0.11 0.12 0.11 0.20 0.46 0.60 ‐0.14 0.68 0.32 0.25 0.427 0.99 1.11 0.24 0.73 0.50 2.42 0.60 0.28 ‐0.20 0.00 0.62 0.29 0.12 1.44 0.28 0.63 0.668 1.82 1.46 ‐0.04 0.78 0.46 0.35 0.56 2.15 ‐0.45 0.24 1.34 0.34 0.60 0.75 1.64 0.80 0.739 1.75 0.88 ‐ 0.45 0.35 ‐ ‐0.85 ‐0.21 ‐ ‐ ‐ 2.19 1.67 1.09 1.06 0.84 0.9310 ‐0.56 ‐2.93 ‐ ‐1.76 ‐0.17 ‐ ‐1.35 0.10 ‐ ‐ ‐ ‐3.90 ‐3.50 ‐3.68 ‐3.79 ‐2.15 1.5911 0.11 ‐0.09 0.28 0.45 0.53 0.00 ‐0.69 0.17 ‐0.08 0.34 0.26 ‐0.22 0.58 ‐0.04 0.52 0.14 0.34

Param

eter

∙ 0.90 0.57 0.31 0.34 0.55 0.36 0.04 0.63 0.09 0.45 0.68 0.32 0.34 0.54 0.59 0.38 0.23

∙ 0.76 1.33 0.41 0.73 0.53 0.87 0.88 0.79 0.46 0.40 0.48 1.65 1.43 1.51 1.61 0.90 29.3153.92 7.41 27.0412.1022.70 35.14 28.10 12.22 7.98 9.61 80.1 89.11 47.4 102.2 0.83 0.81 0.16 0.42 0.17 0.08 ‐0.51 0.08 ‐0.15 0.47 0.62 1.07 0.44 0.91 0.22

0.11 0.12 0.12 0.11 0.08 0.11 0.08 0.09 0.10 0.11 0.12 0.10 0.09 0.09 0.11 0.67 0.64 ‐0.01 0.25 0.03 ‐0.08 ‐0.65 ‐0.07 ‐0.31 0.30 0.45 0.91 0.29 0.76 0.06

1.00 0.98 0.33 0.58 0.31 0.24 ‐0.37 0.23 0.01 0.64 0.79 1.22 0.59 1.06 0.38

∙ 7.09 6.82 6.78 7.09 8.36 7.67 8.45 8.27 7.78 7.44 7.33 7.64 8.36 7.55 7.55

Param

eter\{9;10}

∙ 0.97 0.92 0.31 0.56 0.65 0.36 0.29 0.78 0.09 0.45 0.68 0.58 0.62 0.95 1.03 0.61 0.28

∙ 0.60 0.72 0.41 0.24 0.52 0.87 0.74 0.79 0.46 0.40 0.48 0.81 0.64 0.64 0.77 0.35 12.1115.50 7.41 2.33 9.58 22.70 16.15 23.82 12.22 7.98 9.61 23.5 12.97 8.27 16.31 0.94 0.76 0.16 0.59 0.39 0.08 0.18 0.43 ‐0.15 0.47 0.62 0.38 0.19 0.65 0.47

0.12 0.13 0.12 0.12 0.11 0.11 0.11 0.12 0.10 0.11 0.12 0.11 0.11 0.13 0.12 0.75 0.56 ‐0.03 0.41 0.21 ‐0.10 ‐0.01 0.24 ‐0.33 0.29 0.43 0.20 0.01 0.46 0.27

1.14 0.96 0.35 0.78 0.57 0.26 0.37 0.62 0.02 0.65 0.81 0.56 0.38 0.85 0.66

∙ 6.89 6.78 6.78 7.00 7.44 7.67 7.33 7.67 7.78 7.44 7.33 7.11 7.00 6.56 6.67

Bemerkungen: Da / (vgl.Formel(7‐5)),bedeuteteinenegativeEffektgröße,dassinderPBVdiehö‐here Leistung erzielt wurde. .15 sind grau markiert. Die Homogenität der Effektgrößen muss für

χ . 90; 11 1 15.99bzw. χ . 90; 9 1 13.36abgelehntwerden. kleinerdieserMarkensind grau hinterlegt. –Untergrenze, ‐ Obergrenze des 90%‐Konfidenzintervall von . Teilweise

wurdenfüreinebessereDarstellungWerteaufeineNachkommastellegerundet.

DieEffektefürdieGruppen,diedieCVzuT2bearbeiteten,sinddeutlichgeringer.NurbeiSub‐test10sinddieErgebnissederPBVmiteinerAusnahme(Bedingung8)konsistentbesser.Die

anderenBedingungskonstellationenmitnegativenEffektstärken(20von145Vergleichen,also

Page 129: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·129

rd.14%)tretengehäuftauf,wenndasAntwortformatkorrigierbarwar;zudemisteineHäufung

bei derZeitbeschränkungvon10 Sekundenpro Item zubeobachten. InBedingung8 (Einzeli‐tempräsentation,korrigierbar,10sBeschränkung)resultiertauchdereinzigenegativegewichte‐

temittlere Effekt bei Beibehaltung der Homogenitätshypothese ( 0.15 , wobei die Sub‐tests2,3,5und6positiveEffekteaufweisen.InsgesamtzeigenmehrereBedingungenhomogene

Effekte über die Subtests hinweg, wenn die CV zu T2 bearbeitet wird. Neben dem negativenWertreichtdasSpektrumvon0.16bis0.94;dieeinzigehomogeneBedingung füralleelfSub‐

tests istBedingung5;dabeiergibtsicheingewichteterEffektvon 0.17.WerdendieSub‐tests9und10außenvorgelassen,erhöhtsichdieserWertjedochauf0.39.OhnediebeidenSub‐

tests sind die Effekte für Bedingung 3 ( 0.16) und Bedingung 9 ( 0.15 statistischnichtvonNullverschieden.

Tabelle10.27: Effektstärken je Subtest und Bedingung sowie dazugehörigeMittelwerte undParameterdermultivariatenBetrachtungdesVergleichsPBVvs.CVzuT1

Präsentation Einzeln Alle

Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe OhneGe‐samt

Ein‐zeln Ohne

Ge‐samt

Ein‐zeln Ohne

Ge‐samt

Ein‐zeln Ohne

Ge‐samt Ohne

Ge‐samt Ohne

Ge‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ∙

Subtest

1 ‐6.55 ‐1.16 ‐0.66 ‐1.35 ‐4.93 ‐2.39 ‐5.61 ‐0.91 ‐1.90 ‐1.47 ‐1.18 ‐0.53 0.42 ‐1.74 ‐1.14 ‐2.07 2.002 ‐0.48 ‐2.28 ‐0.17 ‐1.89 ‐0.03 ‐0.97 ‐2.11 ‐0.57 ‐0.36 ‐0.98 ‐1.11 ‐2.11 ‐1.04 ‐0.54 ‐0.88 ‐1.03 0.743 ‐0.71 2.97 ‐0.28 0.03 0.44 ‐0.73 ‐0.12 ‐0.95 ‐1.12 0.57 0.52 ‐0.84 ‐0.58 0.32 ‐0.47 ‐0.06 1.014 0.04 ‐0.34 0.46 ‐0.63 ‐0.49 1.13 ‐0.21 ‐0.41 ‐1.68 ‐0.13 0.38 0.58 ‐0.59 ‐0.69 0.34 ‐0.15 0.675 ‐1.04 0.26 ‐0.91 0.46 ‐1.47 0.21 ‐0.34 0.39 0.00 ‐0.35 ‐0.71 0.21 ‐0.42 ‐0.72 ‐0.16 ‐0.31 0.586 ‐0.17 ‐1.49 ‐0.20 ‐2.03 ‐1.61 ‐1.66 ‐0.84 ‐0.53 ‐0.79 ‐0.72 ‐1.45 ‐0.95 ‐0.53 ‐0.60 ‐0.68 ‐0.95 0.567 ‐0.63 ‐1.45 ‐1.34 ‐0.64 ‐0.32 ‐0.05 ‐0.83 ‐0.48 ‐1.28 ‐0.09 ‐0.10 ‐0.86 ‐0.91 ‐0.40 0.66 ‐0.58 0.578 ‐0.17 ‐0.39 ‐0.88 ‐1.04 ‐0.19 ‐0.93 ‐0.01 ‐0.19 ‐0.81 ‐0.54 0.49 ‐0.26 ‐0.60 ‐1.16 ‐0.66 ‐0.49 0.459 1.91 ‐0.54 ‐ ‐1.49 ‐0.75 ‐ ‐2.69 ‐2.08 ‐ ‐ ‐ 1.39 0.53 1.55 1.45 ‐0.07 1.6610 0.03 ‐12.4 ‐ ‐2.30 ‐0.49 ‐ ‐1.96 ‐0.97 ‐ ‐ ‐ ‐5.01 ‐4.24 ‐4.52 ‐4.29 ‐3.61 3.5711 ‐0.01 ‐0.33 ‐0.15 ‐0.13 ‐2.18 ‐0.76 ‐0.70 0.00 ‐0.39 ‐0.85 ‐2.23 ‐1.02 ‐1.01 0.44 ‐1.67 ‐0.73 0.79

Param

eter

∙ ‐0.71 ‐1.55 ‐0.46 ‐1.00 ‐1.09 ‐0.68 ‐1.40 ‐0.61 ‐0.93 ‐0.51 ‐0.60 ‐0.85 ‐0.81 ‐0.73 ‐0.68 ‐0.91 0.31

∙ 2.08 3.83 0.54 0.90 1.49 1.03 1.66 0.64 0.63 0.59 0.98 1.66 1.25 1.53 1.48 1.07 47.4482.8810.1434.9848.6336.19 56.88 22.03 24.31 10.2 22.77 55.7 53.69 66.2 69.31 0.42 ‐0.06 ‐0.32 ‐0.87 ‐0.21 ‐0.77 ‐1.11 ‐0.74 ‐0.93 ‐0.60 ‐0.39 0.34 ‐0.01 0.31 ‐0.23

0.10 0.10 0.12 0.12 0.08 0.13 0.10 0.09 0.12 0.12 0.12 0.09 0.08 0.10 0.12 0.26 ‐0.21 ‐0.49 ‐1.04 ‐0.35 ‐0.94 ‐1.27 ‐0.89 ‐1.10 ‐0.77 ‐0.56 0.19 ‐0.15 0.16 ‐0.40

0.58 0.10 ‐0.14 ‐0.70 ‐0.06 ‐0.59 ‐0.95 ‐0.59 ‐0.76 ‐0.43 ‐0.21 0.49 0.14 0.47 ‐0.06

∙ 7.09 6.82 5.55 7.09 8.36 6.27 8.45 8.27 6.36 7.44 7.33 7.64 8.36 7.55 7.55

Param

eter\{9;10}

∙ ‐1.08 ‐0.47 ‐0.46 ‐0.80 ‐1.20 ‐0.68 ‐1.20 ‐0.40 ‐0.93 ‐0.51 ‐0.60 ‐0.64 ‐0.58 ‐0.57 ‐0.52 ‐0.71 0.27

∙ 2.08 1.51 0.54 0.85 1.64 1.03 1.77 0.42 0.63 0.59 0.98 0.78 0.44 0.67 0.72 0.61 31.9446.4910.1425.2748.1936.19 33.57 10.95 24.31 10.2 22.77 24.4 7.41 13.8 19.43 0.09 ‐0.71 ‐0.32 ‐0.68 ‐0.22 ‐0.77 ‐0.40 ‐0.48 ‐0.93 ‐0.60 ‐0.39 ‐0.47 ‐0.53 ‐0.78 ‐0.53

0.11 0.12 0.12 0.12 0.13 0.13 0.13 0.11 0.12 0.12 0.12 0.11 0.12 0.13 0.13 ‐0.10 ‐0.91 ‐0.51 ‐0.87 ‐0.42 ‐0.96 ‐0.59 ‐0.67 ‐1.12 ‐0.79 ‐0.58 ‐0.65 ‐0.72 ‐0.98 ‐0.72

0.27 ‐0.52 ‐0.13 ‐0.49 ‐0.03 ‐0.57 ‐0.20 ‐0.30 ‐0.74 ‐0.42 ‐0.19 ‐0.28 ‐0.34 ‐0.58 ‐0.33

∙ 6.89 6.78 6.78 7.00 7.44 7.67 7.33 7.67 7.78 7.44 7.33 7.11 7.00 6.56 6.67

Bemerkungen: Da / (vgl.Formel(7‐5)),bedeuteteinenegativeEffektgröße,dassinderPBVdiehö‐here Leistung erzielt wurde. .15 sind grau markiert. Die Homogenität der Effektgrößen muss für

χ . 90; 11 1 15.99bzw. χ . 90; 9 1 13.36abgelehntwerden. kleinerdieserMarkensind grau hinterlegt. –Untergrenze, ‐ Obergrenze des 90%‐Konfidenzintervall von . Teilweise

wurdenfüreinebessereDarstellungWerteaufeineNachkommastellegerundet.

Page 130: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

130·Untersuchung2:TestunganBerufsschülern

InderGesamtbetrachtung(Tabelle10.24)wirddeutlich,dassderleistungshemmendeEffektder

CV stärker ist als der leistungsfördernde Effekt der zweiten Testung. Sowohl die eins‐zu‐einsAbbildungderPBV(Bedingung14)alsauchdieBedingungendermeistenÜbersetzungenbeste‐

henderTestsaufdenComputer(Bedingungen1,2,4und5)lassennichtaufäquivalenteTestun‐

genschließen.DieOverall‐ParameterdesVergleichsder jeweilserstenTestungentwederalsPBVoderals

CVzeigen,dassdieEffektenochheterogenerhinsichtlichderSubtestsausfallenalsindenbishe‐

rigenVergleichen.Dies istnatürlichzumeinenaufdasSettingzurückzuführen,danun jeweilsdie Ergebnisse von zwei verschiedenen Stichproben verglichen werden. Dennoch lassen sich

ÄhnlichkeitenhinsichtlichdesVergleichsderCV zuT1mit derPBV zuT2 ausmachen. Inden

meisten Fällen resultieren bessereWerte für die PBV. Die Ausnahme bildet auch hierwiederSubtest9,wennalleItemszugleichpräsentiertwerden.VermutlichunterstütztdieMöglichkeit,

mit derMaus die Ziffern und Zeichen abzufahren, die Sorgfalt und das Arbeitstempo.Warum

Bedingung1zubesserenWerten inderCV führt,kannsoallerdingsnichterklärtwerden.AlshomogenüberdieSubtestshinwegkönnennurdieEffekte inBedingung3,8und10gewertet

werden,undauchnur,wenndieSubtest9und10außenvorbleiben.FüralledreiBedingungen

zeigensichmittlerenegativegewichteteEffekte.InallendreiBedingungengibtesnurjeeinenSubtest,beidessenVergleichdieCVhöhereWerteerzielt(vgl.Tabelle10.27).AuchdieMehrheit

der übrigen mittleren Effekte (unabhängig davon, ob gewichtet oder nicht) entspricht einer

mittlerenbisstarkenAusprägung.BeimVergleichderModizuT2führtinetwaderHälftederFällederPBVzubesserenErgeb‐

nissen.IndenBedingungen1,2,13und15sindhingegendieLeistungendermeistenSubtestsin

derCVhöher.LediglichSubtest10hatkonsequentnegativeEffekte(vgl.auchAbbildung10.7).

DieeinzigebezüglichderEffektederSubtestshomogeneBedingung(9)weistein von‐0.15

auf,dessenKonfidenzintervalldieNullenthält.Generell muss festgestellt werden, dass sich weder ein Subtest als konsistent äquivalent,

sprichhinsichtlichdervariierendenBedingungenunbeeinflussbar,erwiesenhat,nochdasseine

Bedingungidentifiziertwerdenkonnte,dieÄquivalenzapriorierwartenlässt.Dahererscheintesnotwendig,quasidieInteraktionSubtest Bedingunggenauerzubetrachten,umsozuEmp‐

fehlungen hinsichtlich derUmsetzung vonTests amComputer zu gelangen, die über denRat,

eineeigeneNormierungsstudieaufzulegen,hinausgeht.AlsKriterium füräquivalenteMittelwertesoll | | 0.15dienen.DieseGrenzewurdeaus

folgendem Grund gewählt: Im Kontext von Intelligenz‐ und Leistungstests ist es üblich, die

MesswerteaufIQ‐Wertezunormieren,alsoaufMittelwert100undStandardabweichung15.Einvon0.15bedeuteteinenMittelwertsunterschiedvon2.25IQ‐Punkten.Diesentsprichtinetwa

einemDritteldesMessfehlersbeieinerangenommenenReliabilitätvon.80,wasindiesemKon‐

textzwarwillkürlich,abernichtzuhochgewählterscheint.

Page 131: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·131

Tabelle10.28: Effektstärken je Subtest und Bedingung sowie dazugehörigeMittelwerte undParameterdermultivariatenBetrachtungdesVergleichsPBVvs.CVzuT2

Präsentation Einzeln Alle

Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

OhneGe‐samt

OhneGe‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ∙

Subtest

1 3.91 ‐0.01 ‐0.04 ‐0.04 1.50 0.65 ‐0.37 0.41 ‐0.16 0.75 0.56 0.12 ‐1.48 1.11 0.11 0.47 1.182 0.35 3.75 ‐0.14 0.19 ‐0.15 0.02 0.64 1.94 0.48 0.15 0.65 1.72 0.22 ‐0.16 2.10 0.78 1.113 1.34 0.28 0.01 ‐0.48 ‐0.79 0.66 0.08 1.66 0.26 ‐2.06 ‐0.46 0.57 1.43 ‐0.57 0.87 0.19 0.984 0.27 1.41 ‐1.33 0.77 0.34 ‐1.43 0.23 0.49 ‐0.23 1.87 0.29 ‐0.21 0.92 1.34 0.58 0.35 0.915 1.00 ‐0.27 0.47 ‐1.18 3.21 ‐1.07 ‐0.33 ‐0.14 ‐0.56 0.06 1.70 ‐1.92 ‐0.19 1.54 0.82 0.21 1.306 0.69 1.35 ‐0.76 1.00 ‐0.65 0.29 ‐0.59 ‐0.38 ‐0.74 ‐0.70 ‐0.03 0.28 0.00 0.06 0.43 0.02 0.667 0.58 2.32 1.22 ‐0.25 ‐0.25 1.94 ‐1.26 ‐0.99 ‐0.24 ‐0.40 ‐0.22 0.19 0.01 ‐0.34 ‐1.51 0.05 1.088 0.44 0.51 0.39 ‐0.05 ‐0.12 ‐0.62 ‐0.04 0.11 ‐0.55 0.42 ‐1.36 ‐0.87 0.37 1.14 0.00 ‐0.01 0.639 1.03 1.22 ‐ 0.77 0.53 ‐ ‐0.71 ‐0.34 ‐ ‐ ‐ 2.00 1.07 0.87 0.90 0.73 0.7710 ‐1.51 ‐3.77 ‐ ‐0.77 ‐0.93 ‐ ‐0.94 ‐0.15 ‐ ‐ ‐ ‐4.23 ‐3.93 ‐4.86 ‐5.45 ‐2.65 1.9711 ‐0.84 ‐0.30 0.18 ‐0.01 0.74 0.80 ‐1.28 ‐0.29 ‐0.43 0.03 1.43 0.59 1.07 ‐1.62 1.67 0.12 0.95

Param

eter

∙ 0.66 0.59 0.00 0.00 0.31 0.14 ‐0.42 0.21 ‐0.24 0.01 0.28 ‐0.16 ‐0.05 ‐0.14 0.05 0.02 0.29

∙ 1.36 1.89 0.73 0.67 1.20 1.05 0.62 0.88 0.40 1.07 0.94 1.73 1.52 1.84 2.05 0.93 76.46125.328.8136.7069.0652.05 24.98 45.58 10.13 59.5 35.73 109.4 120.2 80.0 142.5 0.34 0.28 ‐0.10 0.29 ‐0.52 0.43 ‐0.65 ‐0.18 ‐0.15 0.35 0.06 1.38 0.19 0.76 0.87

0.09 0.09 0.09 0.08 0.06 0.09 0.07 0.07 0.10 0.11 0.11 0.07 0.08 0.07 0.08 0.19 0.14 ‐0.25 0.15 ‐0.64 0.28 ‐0.78 ‐0.31 ‐0.31 0.19 ‐0.10 1.24 0.05 0.63 0.73

0.49 0.43 0.05 0.44 ‐0.39 0.58 ‐0.53 ‐0.04 0.00 0.51 0.23 1.51 0.33 0.89 1.01

∙ 9.36 9.27 9.22 8.82 10.45 9.11 10.18 9.18 8.44 8.22 8.44 9.36 10.18 9.64 10.00

Param

eter\{9;10}

∙ 0.86 1.00 0.00 0.00 0.43 0.14 ‐0.33 0.31 ‐0.24 0.01 0.28 0.05 0.26 0.28 0.56 0.24 0.37

∙ 1.29 1.35 0.73 0.64 1.26 1.05 0.65 0.95 0.40 1.07 0.94 1.01 0.85 1.07 1.04 0.26 49.8571.5428.8126.8563.0552.05 21.22 41.91 10.13 59.5 35.73 52.1 33.12 59.9 42.77 0.45 ‐0.13 ‐0.10 0.27 ‐0.52 0.43 ‐0.42 0.12 ‐0.15 0.35 0.06 0.44 0.07 0.24 0.42

0.10 0.09 0.09 0.09 0.09 0.09 0.09 0.10 0.10 0.11 0.11 0.09 0.09 0.10 0.09 0.27 ‐0.30 ‐0.27 0.11 ‐0.68 0.27 ‐0.58 ‐0.05 ‐0.32 0.17 ‐0.11 0.28 ‐0.10 0.07 0.25

0.62 0.04 0.06 0.44 ‐0.35 0.60 ‐0.25 0.29 0.02 0.53 0.24 0.61 0.23 0.41 0.58

∙ 9.33 9.44 9.22 9.11 9.22 9.11 9.00 8.56 8.44 8.22 8.44 8.56 8.89 9.22 9.44

Bemerkungen: Da / (vgl.Formel(7‐5)),bedeuteeinenegativeEffektgröße,dassinderPBVdiehö‐hereLeistungerzieltwurde.DieHomogenitätderEffektgrößenmussfür χ . 90; 11 1 15.99bzw.

χ . 90; 9 1 13.36abgelehntwerden. kleinerdieserMarkensindgrauhinterlegt. –Unter‐

grenze, ‐Obergrenzedes90%‐Konfidenzintervall von .Teilweisewurden füreinebessereDarstel‐

lungWerteaufeineNachkommastellegerundet.

EineMöglichkeitderÜberprüfungderÄquivalenzistes,PBVundCVzuT1zuvergleichen,wo‐

mitimFolgendenbegonnenwird.ZusätzlichwerdendieErgebnissedesVergleichsderModizu

T2eingestreut,dadieLerneffektejaunabhängigvonderBedingungauftretenmüssten.FürSub‐test1resultiereninallenaußerBedingung13inderPBVbessereErgebnisse.AußerfürSubtest

9,dessenBesonderheitbeiderPräsentationsform„alle“bereitserwähntwurde,zeigtBedingung

13beidenübrigenSubtestsVorteilefürdiePBV.KeinWertdavondeutetjedochaufÄquivalenzhin.FürSubtest2istderEffektinBedingung5kleingenug,fürSubtest3derinBedingung4.Die

einzigeBedingungmitzumindestdreiäquivalentenErgebnissenistBedingung1.ZuT2istder

geringsteEffektvonBedingung1jedochmit0.27zugroß.FürSubtest11zeigensichzuT1vieräquivalenteBedingungen(1,3,4und8),fürSubtest7drei(6,10und11).DieSubtests6und9

weisenwieSubtest1keinegeringenEffektezuT1auf;Subtest9zuT2ebenfallsnicht.Subtest4

Page 132: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

132·Untersuchung2:TestunganBerufsschülern

weistzuT1zweiäquivalenteBedingungenauf(1und10); inbeidenwirdkeineZeitangezeigt

undesistnureinmaligesKlickenaufeineLösungmöglich.FürSubtest5führtBedingung9alsjeweils einzige zu einemNulleffekt; dasselbe gilt für Subtest 8 in Bedingung 7. Zu T2weisen

mehrereSubtestsmehrereäquivalenteBedingungenauf;eineBedingungistjedochfürmaximal

dreiSubtestsäquivalent.Werden dieMittelwerte von PBV und CV unabhängig vom Testzeitpunkt betrachtet, quasi

gemitteltüberdenLerneffekt,weisenimmerhindreiBedingungen(2,6und8)Äquivalenzfürje

vierSubtestsauf.Subtest4zeigtindiesendreiundinsechsweiterenBedingungen(1,4,7,13,14und15)nurgeringeMittelwertsunterschiede.EbensoweisendieSubtests2,3und11kleine

EffekteüberalleBedingungskonstellationenhinwegauf.

InsgesamtbetrachtetkannkeineGeneralisierungausdenvorgestelltenErgebnissenabgelei‐tetbzw.gerechtfertigtwerden.Eskannjedochfestgehaltenwerden,dassdieTestungalsCVmit

EinzelitempräsentationkeinespezifischenNachteilegegenüberderPräsentationaller Items in

gleicherWeisewieinderPBVaufweist.KanneinItemnureinmalangeklicktwerden,zeigensichfüreinigealsmittelschwereingeschätzteSubtestsVorteilegegenüberderkorrigierbarenVersi‐

on und der Bedingung, in der einWeiter‐Button geklicktwerdenmuss. Hierfür können zwei

Gründeangeführtwerden.Aufgrundder fehlendenFehlerkorrekturmöglichkeitentstehteiner‐seitsdieNotwendigkeit,sorgfältigerzuarbeiten,waszwangsläufigzuwenigerFlüchtigkeitsfeh‐

lernführt.ZudemwirdZeitgespart,diefürdieBearbeitungvonmehrItemsgenutztwird.Beide

FällewürdensomitdieleistungshemmendenEinflüssederCVetwaskompensierenundsomitzueheräquivalentenErgebnissenführen.DiebeidensprachlichenSubtests(1und2)zeigendiesen

Effektjedochnurbedingt.InsbesonderefürSubtest1resultierenineinzelnenBedingungenEf‐

fekte,diebeiGesamtbetrachtungnuralsstichprobenbedingterklärbarsind.

10.7 VergleichderKorrelationenvonPBVundCV

GleichheitderMittelwertestelltdieeineBedingungfürÄquivalenzdar.EinzweitesKriteriumist

diegleicheReliabilität.Tabelle10.11zeigt,dassdieinterneKonsistenzalsSchätzungderUnter‐grenzederReliabilitätfürdiemeistenBedingungenderCVdurchausvergleichbarist.Diedritte

wichtigeVoraussetzung, imHinblickaufdieKonstruktionäquivalenterVerfahrenvielleichtso‐

garwichtigste, istdieKorrelationderTestungen indenbeidenModi. InTabelle10.29werdendieKorrelationenvonPBVmitderCVunabhängigvomTestzeitpunktangegeben.Eszeigtsich

wiederumeinsehrheterogenesBild.MitAusnahmevonSubtest9weisensowohljederSubtest

alsauchjedeBedingungmindestenseineKorrelationgrößer.70auf.Andererseitsliegenebensofür jedenSubtestsowie jedeBedingungeinigeKorrelationenvor,diestatistischnichtvonNull

verschiedensind.ZudemgibtessogareinigenegativeKorrelationen.

Page 133: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·133

Tabelle10.29: Korrelationen( ‐Value, )vonPBVundCVinden15Bedingungen

Präsentation

PBVn=273

Einzeln Alle Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

Ein‐zeln

OhneGe‐samt

OhneGe‐samt

OhneGe‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Subtest

1 .92.73(<.01,18)

.46(.09,15)

.74(<.01,17)

.29(.27,17)

.66(<.01,16)

.40(.11,17)

.62(<.01,19)

.78(<.01,15)

.46(.08,15)

.47(.04,19)

.74(<.01,15)

.54(.05,14)

.82(<.01,16)

.58(.01,17)

.08(.76,16)

2 .90.43(.10,16)

.70(<.01,18)

.61(.01,15)

.33(.20,17)

.59(.01,17)

.48(.06,16)

.76(<.01,17)

.69(<.01,19)

.78(<.01,15)

.60(.02,15)

.73(<.01,19)

.54(.04,15)

‐.59(.03,13)

.65(<.01,17)

.64(<.01,17)

3 .76.53(.03,17)

‐.26(.33,16)

.31(.21,18)

.45(.09,15)

.45(.07,17)

.62(<.01,17)

.25(.36,16)

.45(.07,17)

.51(.03,19)

.53(.04,15)

.34(.24,14)

.72(<.01,19)

‐.11(.69,15)

.30(.32,13)

.08(.76,17)

4 .65.80(<.01,17)

.56(.02,17)

.11(.69,16)

.17(.50,18)

.38(.16,15)

.85(<.01,17)

.34(.18,17)

.73(<.01,16)

.12(.64,17)

.65(<.01,19)

.12(.67,15)

.64(<.01,15)

.75(<.01,19)

.66(<.01,15)

.02(.94,14)

5 .74.46(.10,14)

.45(.07,17)

.44(.08,17)

.64(<.01,16)

.57(.01,18)

.44(.10,15)

.64(<.01,16)

.78(<.01,17)

.54(.03,16)

.01(.98,16)

.80(<.01,19)

.64(.01,15)

.43(.11,15)

.44(.06,19)

.65(<.01,15)

6 .93.43(.11,15)

.78(<.01,14)

.73(<.01,17)

.86(<.01,17)

.64(<.01,16)

.51(.03,18)

.68(<.01,15)

.78(<.01,16)

.48(.05,17)

.47(.07,15)

.31(.23,17)

.31(.19,19)

.79(<.01,15)

.32(.25,15)

.71(<.01,19)

7 .86.32(.18,19)

.76(<.01,14)

.75(<.01,14)

.44(.08,17)

.07(.78,17)

.69(<.01,16)

.28(.26,18)

.58(.02,15)

.57(.02,16)

.71(<.01,13)

.77(<.01,14)

.54(.03,16)

.86(<.01,19)

.35(.20,15)

.77(<.01,15)

8 .90.45(.10,15)

.52(.02,19)

.73(<.01,14)

‐.02(.96,14)

.70(<.01,17)

.35(.16,17)

.71(<.01,16)

.30(.22,18)

.77(<.01,15)

.69(<.01,16)

.29(.26,17)

.47(.09,14)

.45(.07,17)

.70(<.01,19)

.16(.56,15)

9 .80.20(.44,17)

.41(.13,15)

‐.44(.13,13)

.32(.10,29)

‐.26(.17,30)

.17(.57,14)

‐ ‐ ‐.41(.02,32)

.52(<.01,30)

.59(<.01,33)

.25(.32,18)

10 .93.38(.12,18)

.29(.27,16)

‐.37(.14,17)

.28(.14,28)

‐.64(<.01,28)

.28(.12,32)

‐ ‐ ‐.57(.03,14)

.75(<.01,31)

.71(<.01,14)

.45(.01,30)

11 .91.55(.04,15)

.83(<.01,16)

.83(<.01,16)

.67(<.01,14)

.38(.13,17)

.48(.05,18)

.38(.20,13)

.80(<.01,13)

.57(.02,16)

.63(.02,13)

.74(<.01,12)

.64(.01,14)

.62(.02,14)

.92(<.01,12)

.64(<.01,17)

9.49 20.91 13.50 16.86 9.17 8.68 12.55 18.01 7.93 7.24 15.36 4.47 41.88 13.4317.76 .55 .61 .72 .50 .49 .64 .58 .67 .62 .61 .67 .61 .70 .68 .49 .50 .54 .62 .46 .45 .56 .52 .59 .55 .55 .59 .54 .60 .59 .45 .39 .44 .51 .35 .35 .45 .43 .49 .43 .43 .48 .44 .52 .50 .34 .60 .63 .70 .56 .55 .65 .61 .67 .65 .65 .68 .63 .68 .67 .55

Bemerkungen: Korrelationengrößer .70sindhellgraumarkiert.DieHomogenitätderKorrelationskoeffizientenmuss fürχ . 90; 11 1 15.99 abgelehntwerden. kleiner dieserMarken sind grau hinterlegt. – ge‐

wichtetemittlerefischertransformierteKorrelation. –gewichtetemittlereKorrelation. –Untergren‐ze, ‐Obergrenzedes90%‐Konfidenzintervall von .Teilweisewurden für einebessereDarstellungWerteaufeineNachkommastellegerundet.

Inzehnder15BedingungenkanndieHomogenitätshypothesebeibehaltenwerden( 15.99),so dass eineMittelung der Korrelationskoeffizienten als gerechtfertigt erachtetwerden kann.

DiehöchstenKorrelationenzeigensichfürdieBedingung3( .72).DabeisinddieReihen‐

folgenderProbandeninderPBVaußerfürdieSubtests3,4und5derCVdurchausähnlich.DieübrigengemitteltenKorrelationen liegenzwischen .49und .68. InsgesamtzeigensichdieSub‐

tests 2 und 11 am wenigsten anfällig hinsichtlich Veränderungen der Leistungsreihenfolgen

überdieBedingungenhinweg.DieSubtests3,9und10scheinenamanfälligsten.HöhereWerte

Page 134: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

134·Untersuchung2:TestunganBerufsschülern

zeigensichbeidenSubtests9und10nurbeiBedingungen,indenenalleItemsgleichzeitigdar‐

gestelltwerden.

Tabelle10.30: Korrelationen( ‐Value, )vonPBVundCVfürdieAusprägungenderdreiFak‐toren Präsentation, Zeitvorgabe und Antwortformat sowie ohne Differenzie‐rungderBedingungen(PC)

FaktorPBV

n=273PC

Präsentation Zeitvorgabe Antwortformat

Stufen Einzeln Alle Ohne Gesamt Einzeln Einmalig Weiter Korr.Beding‐ung

1‐9 10‐15 1,4,7,10,12,14

2,5,8,11,13,15

3,6,9 1,2,3,10,11

4,5,6,12,13

7,8,9,14,15

Subtest

1 .92.60(<.01,246)

.59(<.01,149)

.59(<.01,97)

.56(<.01,104)

.65(<.01,93)

.60(<.01,49)

.65(<.01,84)

.60(<.01,80)

.54(<.01,82)

2 .90.59(<.01,246)

.61(<.01,150)

.57(<.01,96)

.59(<.01,97)

.58(<.01,103)

.63(<.01,46)

.64(<.01,83)

.42(<.01,78)

.69(<.01,85)

3 .76.35(<.01,245)

.35(<.01,152)

.36(<.01,93)

.49(<.01,95)

.18(.08,96)

.44(<.01,54)

.20(.07,80)

.52(<.01,83)

.35(<.01,82)

4 .65.51(<.01,247)

.50(<.01,150)

.55(<.01,97)

.56(<.01,101)

.52(<.01,96)

.44(<.01,50)

.51(<.01,84)

.57(<.01,84)

.45(<.01,79)

5 .74.54(<.01,245)

.54(<.01,146)

.54(<.01,99)

.57(<.01,96)

.63(<.01,101)

.45(<.01,48)

.54(<.01,83)

.50(<.01,79)

.60(<.01,83)

6 .93.61(<.01,245)

.68(<.01,145)

.49(<.01,100)

.58(<.01,96)

.65(<.01,97)

.56(<.01,52)

.59(<.01,78)

.62(<.01,85)

.60(<.01,82)

7 .86.54(<.01,238)

.46(<.01,146)

.66(<.01,92)

.38(<.01,98)

.61(<.01,94)

.66(<.01,46)

.63(<.01,74)

.50(<.01,85)

.48(<.01,79)

8 .90.48(<.01,243)

.49(<.01,145)

.46(<.01,98)

.55(<.01,94)

.40(<.01,103)

.55(<.01,46)

.49(<.01,81)

.44(<.01,79)

.54(<.01,83)

9 .80.29(<.01,231)

.26(<.01,118)

.46(<.01,113)

.26(<.01,125)

.34(<.01,106)

‐.28(.13,32)

.36(<.01,104)

.27(<.01,95)

10 .93.28(<.01,228)

.29(<.01,139)

.63(<.01,89)

.42(<.01,91)

.21(.01,137)

‐.23(.19,34)

.33(<.01,90)

.27(<.01,104)

11 .91 .66(<.01,220)

.65(<.01,138)

.67(<.01,82)

.62(<.01,81)

.69(<.01,89)

.66(<.01,50)

.76(<.01,72)

.57(<.01,77)

.63(<.01,71)

66.33 47.89 16.82 20.84 57.65 6.42 36.18 14.29 31.18 .56 .56 .62 .56 .55 .63 .61 .54 .55 .51 .51 .55 .51 .50 .56 .55 .49 .50 .48 .48 .51 .47 .46 .50 .50 .45 .45 .53 .54 .58 .54 .54 .61 .59 .54 .54

Bemerkungen: Korrelationengrößer .70sindhellgraumarkiert.DieHomogenitätderKorrelationskoeffizientenmuss fürχ . 90; 11 1 15.99 abgelehntwerden. kleiner dieserMarken sind grau hinterlegt. – ge‐

wichtetemittlerefischertransformierteKorrelation. –gewichtetemittlereKorrelation. –Untergren‐ze, ‐Obergrenzedes90%‐Konfidenzintervall von .Teilweisewurden für einebessereDarstellungWerteaufeineNachkommastellegerundet.

Durch die zusammenfassende Betrachtung der jeweiligen Faktorenausprägungen lassen sichgewisseStabilisierungstendenzenderZusammenhängeauffürLeistungstestsniedrigemNiveau

ausmachen(Tabelle10.30).DieeinzigeKorrelationgrößer.70liegtfürSubtest11fürdasAnt‐

wortformat„einmalig“vor;nichtsignifikanteKorrelationen( .05)zeigensichhingegennurvier,wobeidreifürebendieseFaktorausprägungvorliegen(Subtests3,9und10).Aufgrundder

größerenStichprobenzahlproSubtestkanndieToleranzhinsichtlichderAbweichungvonder

mittlerenKorrelationnichtmehrsogroßsein.DaherkanndieHomogenitätnurfürzweiKons‐tellationenbeibehaltenwerden(Zeitvorgabe„einzeln“mit .63undAntwortformat„weiter“

mit .54).

Page 135: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·135

10.8 VergleichderVarianzen

DieLeistung in einemSubtestwird indenmeistenBedingungendurchdieWiederholungderTestungbeeinflusst.ImIdealfalllägedieserEffektzwarnichtvor.BeiGleichheitderVarianzund

Rangreihenfolge der Versuchspersonen (also hoheKorrelationen, vgl. Tabelle 10.29)wird die

VerschiebungderMittelwertejedochbeherrschbar.InTabelle10.31werdendieErgebnissederVergleichederVarianzenderPBVundderCVdargestellt.DiedeskriptivenWertederVarianzen

sindinAnhang15.7,S.203tabelliert,zusammenfassendauchinTabelle10.6undTabelle10.18).

In37der155PaarvergleichebleibtdiePrüfgröße (vgl.Formel(7‐14))unterdemjeweiligenkritischenWertfür .10

Tabelle10.31: VergleichderVarianzenvonPBVundCV inden15BedingungendurchMor‐gansT‐2V‐Test(1939;vgl.Formel(7‐14); ,inKlammern ‐Valueund )

Präsentation Einzeln Alle Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe Ohne GesamtEinzeln Ohne GesamtEinzeln Ohne GesamtEinzeln OhneGe‐samt

OhneGe‐samt

OhneGe‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Subtest

1‐37.61(<.01,18)

5.05(<.01,15)

7.89(<.01,17)

‐6.83(<.01,17)

‐4.99(<.01,16)

‐6.35(<.01,17)

9.71(<.01,19)

13.07(<.01,15)

‐17.09(<.01,15)

‐7.39(<.01,19)

‐10.4(<.01,15)

‐1.20(.25,14)

‐0.46(.65,16)

‐15.9(<.01,17)

‐5.60(<.01,16)

2‐0.34(.74,16)

‐12.68(<.01,18)

15.28(<.01,15)

‐4.01(<.01,17)

‐7.39(<.01,17)

2.45(.03,16)

‐11.49(<.01,17)

‐16.11(<.01,19)

‐1.63(.12,15)

‐9.14(<.01,15)

‐4.28(<.01,19)

‐11.0(<.01,15)

‐2.05(.06,13)

‐20.3(<.01,17)

‐13.8(<.01,17)

30.68(.50,17)

5.65(<.01,16)

‐11.81(<.01,18)

1.85(.08,15)

0.04(.97,17)

‐4.09(<.01,17)

2.85(.01,16)

‐2.61(.02,17)

‐4.66(<.01,19)

4.15(<.01,15)

4.01(<.01,14)

‐7.41(<.01,19)

‐2.85(.01,15)

‐1.93(.08,13)

‐1.68(.11,17)

40.28(.78,17)

‐4.60(<.01,17)

3.76(<.01,16)

‐9.49(<.01,18)

‐1.75(.10,15)

0.95(.35,17)

2.09(.05,17)

‐9.43(<.01,16)

1.65(.12,17)

1.25(.23,19)

0.33(.75,15)

‐4.11(<.01,15)

‐4.83(<.01,19)

‐1.40(.18,15)

‐0.36(.72,14)

51.79(.10,14)

4.94(<.01,17)

3.70(<.01,17)

2.97(<.01,16)

‐8.78(<.01,18)

‐6.38(<.01,15)

‐3.81(<.01,16)

‐0.34(.74,17)

‐0.04(.97,16)

1.07(.30,16)

0.34(.74,19)

1.96(.07,15)

1.47(.16,15)

‐5.99(<.01,19)

‐2.99(<.01,15)

62.07(.06,15)

9.10(<.01,14)

7.59(<.01,17)

‐1.73(.10,17)

10.27(<.01,16)

8.72(<.01,18)

4.50(<.01,15)

‐4.28(<.01,16)

9.72(<.01,17)

‐1.50(.15,15)

‐3.01(<.01,17)

4.07(<.01,19)

‐2.48(.03,15)

3.89(<.01,15)

‐3.77(<.01,19)

77.42(<.01,19)

‐16.00(<.01,14)

5.04(<.01,14)

‐8.14(<.01,17)

‐5.49(<.01,17)

11.76(<.01,16)

0.81(.43,18)

5.37(<.01,15)

‐1.49(.16,16)

3.16(<.01,13)

0.65(.53,14)

10.08(<.01,16)

16.73(<.01,19)

7.47(<.01,15)

‐2.71(.02,15)

84.92(<.01,15)

0.10(.92,19)

‐8.12(<.01,14)

0.52(.61,14)

0.60(.56,17)

‐5.11(<.01,17)

2.03(.06,16)

‐3.62(<.01,18)

‐3.74(<.01,15)

14.31(<.01,16)

5.13(<.01,17)

‐12.2(<.01,14)

‐14.2(<.01,17)

‐17.5(<.01,19)

‐1.40(.18,15)

94.92(<.01,17)

‐13.98(<.01,15)

‐2.13(.05,13)

‐1.17(.25,29)

‐0.15(.88,30)

‐0.80(.44,14)

11.70(<.01,32)

1.32(.20,30)

19.03(<.01,33)

10.09(<.01,18)

10‐8.61(<.01,18)

18.48(<.01,16)

0.69(.50,17)

‐23.25(<.01,28)

‐8.12(<.01,28)

‐2.36(.02,32)

9.13(<.01,14)

17.90(<.01,31)

20.81(<.01,14)

22.98(<.01,30)

11‐8.08(<.01,15)

4.09(<.01,16)

‐16.77(<.01,16)

6.49(<.01,14)

‐7.66(<.01,17)

‐1.77(.09,18)

‐3.06(<.01,13)

9.35(<.01,13)

‐9.30(<.01,16)

‐4.74(<.01,13)

‐0.03(.98,12)

0.76(.46,14)

‐2.35(.03,14)

2.82(.02,12)

10.57(<.01,17)

Bemerkungen: NichtsignifikanteVarianzunterschiedemit .10graumarkiert.Negative resultieren,wenn .‐Valuefür| |mit 2.

Page 136: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

136·Untersuchung2:TestunganBerufsschülern

Wird fürdenVergleichderVarianzennichtderenDifferenz betrachtet, sondernmittelsWilks

(1946;vgl.Formel(7‐21))dasVerhältnis,kehrtsichdasVerhältnisvonalsunterschiedlichanzunehmendenVarianz‐Vergleichenum.InTabelle10.32werdendielogarithmiertenPrüfgrö‐

ßenangegeben,diebei25der155VergleichegrößeralsderkritischeWertsind.ImUnterschied

zurPrüfungmit wirdhieralsobei130VergleichenVarianzgleichheitangenommen.Selbstbei.20 kann bei 115 Bedingungskonstellationen die Annahme der Gleichheit der Varianzen

beibehaltenwerden.

Tabelle10.32: VergleichderVarianzenundKovarianzenvonPBVundCVinden15Bedingun‐gendurchWilks ‐Test (1946; vgl. Formel (7‐21)); , 1 , inKlammern ‐Valueund )

Präsentation Einzeln Alle Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe Ohne GesamtEinzeln Ohne GesamtEinzeln Ohne GesamtEinzeln OhneGe‐samt

OhneGe‐samt

OhneGe‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Subtest

13.89(.05,18)

0.30(.58,15)

0.18(.67,17)

0.62(.43,17)

0.20(.66,16)

0.57(.45,17)

0.59(.44,19)

0.48(.49,15)

3.54(.06,15)

0.53(.47,19)

0.47(.49,15)

0.01(.94,14)

0.00(.98,16)

2.53(.11,17)

0.53(.47,16)

20.00(.96,16)

1.42(.23,18)

1.80(.18,15)

0.35(.56,17)

0.62(.43,17)

0.09(.76,16)

0.77(.38,17)

2.47(.12,19)

0.01(.91,15)

0.72(.40,15)

0.12(.73,19)

2.80(.09,15)

0.19(.66,13)

3.07(.08,17)

1.43(.23,17)

30.03(.86,17)

3.35(.07,16)

6.09(.01,18)

0.27(.60,15)

0.00(.99,17)

0.67(.41,17)

0.95(.33,16)

0.47(.49,17)

1.18(.28,19)

1.51(.22,15)

1.78(.18,14)

2.58(.11,19)

1.20(.27,15)

0.43(.51,13)

0.45(.50,17)

40.00(.96,17)

1.39(.24,17)

2.38(.12,16)

13.57(<.01,18)

0.38(.54,15)

0.02(.89,17)

1.21(.27,17)

3.24(.07,16)

0.60(.44,17)

0.13(.71,19)

0.02(.89,15)

1.07(.30,15)

1.29(.26,19)

0.22(.64,15)

0.03(.86,14)

50.40(.53,14)

2.70(.10,17)

1.62(.20,17)

0.44(.51,16)

5.76(.02,18)

1.56(.21,15)

0.52(.47,16)

0.00(.95,17)

0.00(.99,16)

0.15(.70,16)

0.00(.95,19)

0.29(.59,15)

0.26(.61,15)

4.07(.04,19)

0.54(.46,15)

60.09(.77,15)

0.61(.44,14)

0.70(.40,17)

0.01(.93,17)

1.02(.31,16)

0.97(.32,18)

0.23(.63,15)

0.15(.70,16)

1.80(.18,17)

0.03(.85,15)

0.20(.65,17)

0.51(.48,19)

0.05(.83,15)

0.41(.52,15)

0.17(.68,19)

72.42(.12,19)

3.98(.05,14)

0.35(.55,14)

4.06(.04,17)

1.71(.19,17)

4.19(.04,16)

0.04(.85,18)

0.82(.36,15)

0.09(.76,16)

0.13(.72,13)

0.01(.94,14)

2.43(.12,16)

2.70(.10,19)

4.52(.03,15)

0.12(.72,15)

80.77(.38,15)

0.00(.99,19)

1.49(.22,14)

0.04(.85,14)

0.01(.93,17)

0.85(.36,17)

0.10(.75,16)

0.49(.48,18)

0.21(.65,15)

2.75(.10,16)

1.06(.30,17)

2.27(.13,14)

3.54(.06,17)

6.15(.01,19)

0.08(.78,15)

91.90(.17,17)

9.50(<.01,15)

0.23(.63,13)

0.09(.76,29)

0.00(.97,30)

0.04(.84,14)

7.58(<.01,32)

0.07(.79,30)

12.20(<.01,33)

6.65(<.01,18)

101.01(.31,18)

9.05(<.01,16)

0.01(.92,17)

12.65(<.01,28)

1.34(.25,28)

0.07(.79,32)

1.66(.20,14)

3.07(.08,31)

5.13(.02,14)

11.00(<.01,30)

111.39(.24,15)

0.06(.81,16)

0.88(.35,16)

0.41(.52,14)

1.89(.17,17)

0.06(.81,18)

0.26(.61,13)

0.67(.41,13)

1.48(.22,16)

0.29(.59,13)

0.00(1.0,12)

0.01(.93,14)

0.08(.78,14)

0.02(.90,12)

1.07(.30,17)

Bemerkungen: SignifikanteVarianzunterschiedemit .10grau,mit .20hellgraumarkiert.

10.9 SchlussfolgerungenfürdieeinzelnenSubtests

Sowohl aus denMittelwertsvergleichen als auch aufgrundder Zusammenhangsanalysenmussgefolgertwerden,dasssicheinegenerelleBedingungskonstellationalsEmpfehlungfürdieKon‐

Page 137: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·137

struktion einer Computerversion nicht ableiten lässt. Insgesamt ist vielmehr die Schlussfolge‐

rungzuziehen,dasseinleistungsverringernderEffektdurchdieDurchführungeinesLeistungs‐testsamPCentsteht.TrotzdergeringenFallzahlen indenBedingungenproSubtest sollen je‐

dochabschließendfürdieeinzelnenSubtestsbasierendaufihreninhaltlichenMerkmalenEmp‐

fehlungenfürweitereEntwicklungenabgeleitetwerden.ZurÜbersichtwirdinTabelle10.33diegleichzeitigeÜberprüfungvonMittelwert,VarianzundKovarianznachWilks(1946;vgl.Formel

(7‐19)(ohneBerücksichtigungderTestreihenfolge)angeführt.Wiesichbereits inKapitel10.8

zeigte,istdieserTesteherliberalalskonservativ,weshalb .20gewähltwurde.

Tabelle10.33: VergleichderMittelwerte,VarianzenundKovarianzenvonPBVundCVinden15 Bedingungen durch Wilks ‐Test (1946; vgl. Formel (7‐19));

, 1 ,inKlammern ‐Valueund )

Präsentation Einzeln Alle Antwort‐format

Einmalig Weiter Korrigierbar Einmalig Weiter Korrigierbar

Zeitvorgabe Ohne GesamtEinzeln Ohne GesamtEinzeln Ohne GesamtEinzeln OhneGe‐samt

OhneGe‐samt

OhneGe‐samt

Bedingung 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Subtest

16.86(<.01,18)

3.54(.06,15)

3.02(.08,17)

5.20(.02,17)

3.64(.06,16)

4.72(.03,17)

10.32(<.01,19)

3.90(.05,15)

7.38(<.01,15)

7.53(<.01,19)

3.76(.05,15)

2.76(.10,14)

3.67(.06,16)

8.76(<.01,17)

2.71(.10,16)

22.26(.13,16)

5.55(.02,18)

4.46(.03,15)

5.76(.02,17)

1.98(.16,17)

4.13(.04,16)

2.54(.11,17)

3.45(.06,19)

2.30(.13,15)

3.71(.05,15)

6.17(.01,19)

7.13(<.01,15)

2.88(.09,13)

5.67(.02,17)

3.14(.08,17)

33.39(.07,17)

1.40(.24,16)

1.95(.16,18)

3.33(.07,15)

4.39(.04,17)

2.55(.11,17)

3.58(.06,16)

2.37(.12,17)

6.96(<.01,19)

7.44(<.01,15)

2.75(.10,14)

6.68(<.01,19)

2.43(.12,15)

2.23(.13,13)

3.52(.06,17)

40.21(.65,17)

2.51(.11,17)

1.66(.20,16)

4.90(.03,18)

2.51(.11,15)

0.25(.62,17)

0.52(.47,17)

2.70(.10,16)

2.41(.12,17)

0.17(.68,19)

0.78(.38,15)

0.32(.57,15)

0.59(.44,19)

1.38(.24,15)

1.12(.29,14)

51.18(.28,14)

1.05(.30,17)

1.98(.16,17)

3.71(.05,16)

2.36(.12,18)

0.94(.33,15)

3.02(.08,16)

0.39(.53,17)

3.83(.05,16)

0.83(.36,16)

1.39(.24,19)

3.26(.07,15)

3.64(.06,15)

4.25(.04,19)

0.21(.65,15)

62.49(.11,15)

2.96(.09,14)

4.81(.03,17)

3.12(.08,17)

6.52(.01,16)

3.31(.07,18)

5.34(.02,15)

6.16(.01,16)

5.68(.02,17)

4.83(.03,15)

5.01(.03,17)

4.64(.03,19)

1.67(.20,15)

2.50(.11,15)

3.07(.08,19)

72.66(.10,19)

7.36(<.01,14)

2.43(.12,14)

6.30(.01,17)

2.14(.14,17)

1.78(.18,16)

5.93(.01,18)

6.40(.01,15)

4.62(.03,16)

0.96(.33,13)

4.30(.04,14)

3.14(.08,16)

8.78(<.01,19)

6.34(.01,15)

2.45(.12,15)

82.69(.10,15)

4.21(.04,19)

2.32(.13,14)

3.31(.07,14)

3.61(.06,17)

6.94(<.01,17)

3.13(.08,16)

4.22(.04,18)

5.31(.02,15)

2.06(.15,16)

3.97(.05,17)

2.72(.10,14)

4.25(.04,17)

10.25(<.01,19)

3.90(.05,15)

92.71(.10,17)

3.67(.06,15)

1.47(.23,13)

2.19(.14,29)

11.86(<.01,30)

4.47(.03,14)

7.15(<.01,32)

0.31(.57,30)

11.43(<.01,33)

4.58(.03,18)

101.60(.21,18)

15.23(<.01,16)

4.98(.03,17)

9.35(<.01,28)

14.83(<.01,28)

5.66(.02,32)

16.16(<.01,14)

38.34(<.01,31)

19.09(<.01,14)

33.10(<.01,30)

113.67(.06,15)

2.78(.10,16)

1.02(.31,16)

1.69(.19,14)

4.54(.03,17)

0.10(.76,18)

3.13(.08,13)

1.95(.16,13)

3.12(.08,16)

2.87(.09,13)

2.26(.13,12)

0.49(.48,14)

0.68(.41,14)

7.99(<.01,12)

1.50(.22,17)

Bemerkungen: NichtsignifikanteUnterschiedemit .20(wegendesliberalenTests)sindgraumarkiert.

Subtest1:BeiMittelungderbeidenDurchführungsbedingungen(undsomitderReihenfolgeef‐fekte)weistdergeringsteEffektedenWert‐0.18auf,wenndieItemseinzelnpräsentiertwer‐

den,nachAbgabederAntwortein„weiter“‐ButtongeklicktwerdenmussunddieGesamtbear‐

beitungszeitangezeigtwird(Bedingung5,Tabelle10.24).DieTest‐Retest‐Korrelationistindie‐semFall.66( 16,Tabelle10.29).DerVergleichderPBVzuT1mitderCVzuT1resultiertin

Page 138: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

138·Untersuchung2:TestunganBerufsschülern

Bedingung5jedochineinemEffektvon , 4.93(Tabelle10.27).FürdiesenVergleichzei‐

gendieBedingungen12und13diegeringstenWerte(alleItemsgleichzeitig,Antwortenweiter‐

hinsicht‐,abernichtmehrkorrigierbar,mitundohneAnzeigederGesamtbearbeitungsdauer),

allerdingsmitentgegengesetztenVorzeichen( , 0.52; , 0.44).Nachdem ‐Test

mussfürjedeBedingungechteÄquivalenzabgelehntwerden(Tabelle10.33).HinsichtlichKor‐

relation und Varianzgleichheit zwischen PBV und CV zeigt Bedingung 13 jedoch gute Werte(Tabelle 10.29 undTabelle 10.31). Insgesamt zeigt sich, dass dieAnzeige derGesamtbearbei‐

tungsdauerhinsichtlichderÄquivalenzsowohlkorrelativalsauchbzgl.desMittelwertvergleichs

vorteilhaftfürSubtest1ist.Subtest2: ImGesamtvergleich liegen fünfEffektgrößenkleiner .15vor, beimVergleichder

Modi zu T1 ist die Differenz der Mittelwerte lediglich in Bedingung 5 unter dieser Grenze

( , 0.03,Tabelle10.27);PBVundCVkorrelierendannmit.59( 17).VondendreiBe‐

dingungenmitKorrelationengrößer.70(7,9und11)zeigtnurBedingung9nocheinigermaßen

kleineEffektgrößen( , 0.20, 0.36).InsgesamterweistsichSubtest2alsweni‐

geranfällighinsichtlichVerzerrungendurchdenBearbeitungsmodus,wenngleicheineeindeutig

äquivalenteBedingungauchhiernichtbeobachtbarist(Tabelle10.33).Fürdiebeidensprachli‐chenSubtests zeigen sich jedochTendenzen, dassdiebisherigeMethodikderDarstellungder

ItemsamPCzudengeringstenVerzerrungenführt.

Subtest3:DieaufgrundderkognitivenAnforderungerwartbareÄhnlichkeitderpsychomet‐rischenMerkmalederSubtests3,4und5spiegeltsichindenErgebnissennichtwieder.InBe‐

dingung4weistSubtest3sowohlimGesamtvergleich,alsauchindenErgebnissenzuT1kleine

Werteauf( , 0.14, 0.03),allerdingsistauchdieTest‐Retest‐Korrelationklein.In

Bedingung 12 ist die Korrelation von PBV und CV mit .72 ebenso wie der Gesamteffekt

, 0.14akzeptabel;zuT1sinddieWerteinderPBVallerdingsdeutlichhöheralsinder

CV( 0.76).DerOverall‐Test(Tabelle10.33)würdeaufÄquivalenz inBedingung2hin‐

deuten.HierbeiistjedochdieTest‐Rest‐Korrelationdeskriptivnegativ.Eszeigtsicherneut,dassder ‐Test ein eher liberales Kriterium darstellt, insbesondere beim Vergleich von zwei

Tests,dadanndieKorrelationnursehrgeringenEinflussaufdieHöhederPrüfgrößehat.

Subtest4:Der ‐Testwirdfürneunder15Bedingungennichtsignifikant(Tabelle10.33).Bedingung1(Itemswerdeneinzelnpräsentiert,beiBeantwortungerscheintdasnächste Item,

keine Zeitanzeige)weist sowohl in der Gesamtbetrachtung ( , 0.05), als auch im Ver‐

gleich der Testungen zu T1 ( 0.04) sowie in der Korrelation von PBV und CV ( .80,

17)Werteauf,dieaufÄquivalenzhindeuten.DieVarianzensindinbeidenFällenstatistisch

nicht verschieden: 13.03, 5.90, 10,5 2.21, . 20; 11.6,

11.42, | 15 | 0.28, .78 (vgl. Tabelle 10.31). Korrelativ zeigen auch die Bedin‐

gungen6,8und13fürSubtest4Wertegrößer.70(Tabelle10.29).IndiesenBedingungenzei‐

gen sich jedoch inden jeweiligenMittelwertsvergleichen vereinzelt stärkereEffekte. Esbleibtfestzuhalten,dassdieÄquivalenzderSubtests indiesenBedingungskonstellationenprinzipiell

funktionierenkönnte.

Subtest5:Auchhierwerdensiebender15Bedingungenim ‐Teststatistischnichtsigni‐fikant(Tabelle10.33).DieamehestenkongruenteBedingunghinsichtlichderdreiKriterienist

Bedingung9. ImVergleichderTestungzuT1zeigendieModikeinenUnterschied.Überbeide

TestungenhinwegistderUnterschiedjedochzuhoch( , 0.25)unddieKorrelationzu

Page 139: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Untersuchung2:TestunganBerufsschülern·139

niedrig( .54, 19).Test‐Retest‐Korrelationengrößer.70liegenindenBedingungen8und

11 vor; ein geringer Mittelwertsunterschied in Bedingung 2. Insgesamt lässt sich kein Trendidentifizieren,dereinederBedingungenfavorisierenwürde.

Subtest6:DieErgebnissedesOverall‐Testswerden inallenBedingungenstatistischsignifi‐

kant.Bedingung1zeigtfürdenGesamtvergleichquasikeinenUnterschiedzwischenPBVundCV( , 0.01)undfürdenVergleichzuT1zwardengeringsten,aberdennocheinendeutli‐

chenUnterschied( 0.17);dieTest‐Retest‐KorrelationistaberzuniedrigundstatistischnichtvonNullverschieden( .43, 15).InsechsBedingungenliegenKorrelationengrößer

.70 vor (2, 3, 4, 8, 13 und 15). Zu T1 ist der Unterschied in Bedingung 3 noch relativ gering

( 0.20), imGesamtvergleichbetragendiekleinstenEffekte‐0.24(Bedingung4und15).Hinsichtlich der Reihenfolge in PBV und CV scheint die Gesamtzeitanzeige förderlich zu sein.

BezüglichgleicherLeistungenlässtnurBedingung1positivereErwartungenzu.

Subtest7:Der ‐TestwirdfürBedingung10nichtsignifikant,obwohldieVarianzensichhierdem ‐Testnachunterscheiden.Es lassensich jedochzweiweitereBedingungenausma‐

chen,derenErgebnisseaufÄquivalenzhindeuten(6und11),diehinsichtlichderFaktorausprä‐

gungen jedoch nicht unterschiedlicher sein könnten: , 0.11, 0.05, .69,

16; , 0.06, 0.10, .77, 14.FürBedingung6istdieGleichheit

der Varianzen nicht anzunehmen: 13.61, 1.87, 9,5 13.61, .02;

9.98, 23.72,| 14 | 11.76, .01.InBedingung11sinddieVarianzenzwar

höher, jedochwesentlich ähnlicher: 28.99, 32.03, 11,14 1.04,

.42; 25.45, 26.36,| 12 | 0.65, .53, 14 0.01, .94.

Subtest8:DiebeidenBedingungenbeiderGesamtbetrachtung,derenEffekteunterdemKri‐

teriumvon 0.15liegen(1und2),zeigeneinemäßighoheTest‐Retest‐Korrelation.Bedingung7(einzeln, korrigierbar, ohne Zeitanzeige) weist zwar für die Gesamtbetrachtung einen etwas

erhöhtenEffektvon‐0.22auf;imVergleichderModizuT1bestehtjedochfastkeinUnterschied

(‐0.01);zudemistdieKorrelationderModiakzeptabel( .71, 16).Allerdingsunterschei‐

densichdieVarianzenzuT1deutlich( 11.29, 38.97, 9,5 3.45,

.09, 38.74, 20.52,| 14 | 2.03, .06).

Subtest9:Dies istdereinzigeSubtest,beideminderGesamtbetrachtungundimVergleich

derTestungenzuT1inderMehrheitderBedingungenhöhereWerteinderCVerbrachtwurden;außer in den Bedingungen, in denen die Items einzeln präsentiert wurden und ein „weiter“‐

Buttongeklicktwerdenmusste(4,5,7und8).OffenbarspielendieZeitverlustehiereineent‐

scheidendeRolle. InsbesonderedieTest‐Retest‐Korrelationenfallen inallenBedingungensehr

niedrigaus;diehöchstenWertesind indenBedingungen12,13und14,mit .59(

33)alshöchstenWert.DieModiunterscheidensichzuT1inallenBedingungen.NurBedingung2 inderGesamtbetrachtungweistmit0.05einenannehmbarniedrigenWert auf.Hinsichtlich

der Varianz zeigt insbesondere Bedingung 13 akzeptable Werte ( 18.13, 19.63,

| 28 | 1.32, .20, 30 0.07, .79); trotz einer Effektstärke von , .76

deutetsogarder ‐TestaufÄquivalenzhin( 30 0.31, .57 .

Subtest10:ÄhnlichwenigeHinweiseaufÄquivalenzförderlicheBedingungenliegenfürSub‐

test10vor.ObwohlderOverall‐TestfürBedingung1Äquivalenzanzeigt( 18 1.60,

.21), sprechen die einzelnen Parameter eher dagegen ( , .52, | 16 | 8.61,

Page 140: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

140·Untersuchung2:TestunganBerufsschülern

.01, .38); nur beim Vergleich der Leistungen zu T1 liegt eine kleine Effektgröße vor( 0.03).DieGesamtdarstellungamPC führtzuextremenUnterschieden imVergleichzur

PBV.DieskönntedurchdiegrößereDarstellungderItemsamPCunddiedamiteinhergehende

längereBearbeitungsdauerüber alle Itemshinwegbedingt sein. InBedingung13und14 ent‐

sprechen sich immerhin die Probandenreihenfolgen in angemessener Höhe ( .75,

31; .71, 14), die Varianzen unterscheiden sich hingegen deutlich (vgl. Tabelle10.31).Insgesamtbleibtfestzuhalten,dassderSpeedcharakterderSubtests9und10wohldas

größte Problemhinsichtlich der Äquivalenz der beidenModi darstellt (anders als z.B. in den

UntersuchungenvonNeumanundBaydoun(1998)mitdemOST;vgl.Kapitel4.1).Subtest11:HinsichtlichdesMittelwertesliegeninderGesamtbetrachtungundimVergleich

derTestungenzuT1fürdieBedingungen3und8geringeEffekte0.15vor.AuchdieTest‐Rest‐

KorrelationensindindiesenBedingungengrößer .80.JedochunterscheidensichdieVarianzen

dem 2 ‐Test nach deutlich ( 14 16.77, .01, 11 9.35, .01). Der

‐Testwürdehingegen fürÄquivalenzsprechen(Tabelle10.33).Varianzgleichheit liegt für

dieBedingungen11und12vor,wobeidieTest‐Rest‐KorrelationnurfürBedingung11größer

.70 ist. Insgesamt zeigen sich durchwegs einigermaßen hohe Ausprägungen hinsichtlich derKorrelationenundgeringeEffektebeidenMittelwerten,sodassmitSubtest11mitAusnahme

derVarianzendieÄquivalenzkriterien indenmeistenBedingungeneingehaltenwerdenkönn‐

ten.

Page 141: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DieStrukturdesneuenLeistungsprüfsystems·141

11. DieStrukturdesneuenLeistungsprüfsystems

Die inKapitel3vorgestellteEinbettungderStrukturdesLPS‐neuindas IntelligenzmodellvonCarroll (1993) wird im Folgenden auf seine statistische Passung hin überprüft. Während

CarrollsErgebnisseaufdenAnalysenmittelsderexplorativenhierarchischenFaktorenanalyse

nachSchmidundLeimann(1957)basieren,wirddieStrukturdesLPS‐neumitHilfeeinerkon‐firmatorischenFaktorenanalyse(CFA)überprüft.AlsVorlagedientein„Second‐OrderCFAMo‐

del“, das von Byrne (2001) in einem Lehrbuch zur Nutzung von AMOS (Analysis of Moment

Structures;Arbuckle,2008a)vorgestelltwird.ImallgemeinenVorgehenwirddemLehrbuchvonKline(2004)unddenVorgabenfürdieDarstellungvonStrukturgleichungsmodellen(SEM)von

Boomsma(2000)undMcDonaldundHo(2002)gefolgt.

11.1 Datenaufbereitung

NachBoomsma(2000)stehenzuBeginndieDarstellungdesModellsunddietheoretischeFun‐

dierungderlatentenVariablen.DieswurdebereitsinKapitel3abgehandelt.NachderDatener‐

hebung sind die Aufbereitung der Daten und ein Screening erforderlich (Kline, 2004). Da dieRohdatenzurVerfügungstehen,werdendiesedemProgrammeingeben.WeildiefolgendeAna‐

lyseaufeinemvollständigenDatensatzberuhensoll,wirdalsnächstesnachAusreißerngefahn‐

det. Kline (2004) empfiehlt hierfür, die Mahalanobis Distanz, also den Abstand eines ‐dimensionalenPunktesvom ‐dimensionalenMittelwert(Centroid):

(11‐1)

ImvorliegendenFallwirdsomituntersucht,obdasLeistungsprofileinesTeilnehmersauffälligweitvomdurchschnittlichenProfilentferntist.DergrößteAbstandentsprichteinemWertvon

41.98(beieinemdurchschnittlichenAbstandvon17.22,SD=5.43).DieRohwertedesProban‐

den(Subtest1‐11:18,4,24,8,14,11,20,4,1,11,3)weisenihnalsinsgesamtschwachaus,dasProfilerscheintaberwederabsichtlichnochdurchgenerelleUnmotiviertheitverfälscht;eszeigt

vielmehreinDefizitindervisuellenDiskriminationsfähigkeitaufgrunddergeringenLeistungen

inden Subtests2und8 sowie einemangelhafteKonzentrationsfähigkeit (Subtests9und11).Ebenso ergabdie InspektionderweiterenProbandenmit hohenDistanzenkeine zwingenden

Gründe,einender 273Probanden,diediePapier‐Bleistift‐Version(PBV)desLPS‐neuvoll‐

ständigbearbeitethaben,auszuschließen.BeiderKomprimierungderInformationsdarstellungmusszwischenKorrelations‐undKova‐

rianzmatrixentschiedenwerden,wobeiimFallederKorrelationsmatrixdurchAngabederStan‐

dardabweichungenbeideMatrizenineinanderüberführbarsind.ZudemsolltendieMittelwertedermanifestenVariablen(hieralsoderSubtestrohwerte)angegebenwerden,umdieMöglich‐

keitzubieten,ModellemitMittelwertsvergleichenrechnenzukönnen.UmallenAnforderungen

gerechtzuwerden,werdeninTabelle11.1alleAngabenzusammengefasst.

Page 142: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

142·DieStrukturdesneuenLeistungsprüfsystems

Tabelle11.1: Interkorrelationen,Kovarianzen,Mittelwerte,Standardabweichungen,Schiefe‐undKurtosisparameterderelfSubtestsderPBVdesLPS‐neu

1 2 3 4 5 6 7 8 9 10 11Subtest1 96.13 35.67 7.89 5.96 11.98 22.12 10.73 13.68 8.36 23.95 23.48Subtest2 .48 57.36 9.96 8.67 11.95 21.91 12.65 13.13 8.77 22.45 22.16Subtest3 .22 .35 13.88 5.09 6.07 7.35 7.43 8.11 4.07 8.77 6.90Subtest4 .21 .40 .48 8.06 5.10 6.99 4.66 5.64 3.73 6.43 7.25Subtest5 .37 .48 .50 .55 10.76 9.05 7.03 6.69 5.24 7.11 9.88Subtest6 .29 .38 .26 .32 .36 59.27 13.20 11.11 5.83 18.41 15.59Subtest7 .21 .32 .39 .32 .42 .33 26.64 12.27 5.49 8.24 10.20Subtest8 .25 .31 .39 .36 .37 .26 .43 30.93 5.18 11.40 8.02Subtest9 .20 .27 .25 .30 .37 .17 .25 .21 18.79 6.70 10.09Subtest10 .34 .41 .33 .31 .30 .33 .22 .28 .21 52.12 19.39Subtest11 .34 .42 .27 .37 .43 .29 .28 .21 .33 .39 48.45Mittelwert 28.33 22.78 27.01 16.68 19.06 22.43 30.57 34.43 11.23 33.15 15.99SD 9.80 7.57 3.73 2.84 3.28 7.70 5.16 5.56 4.33 7.22 6.96Schiefe 0.34 ‐0.05 ‐0.09 ‐0.2 0.34 0.13 ‐0.95 ‐1.55 0.07 ‐0.03 0.51Kurtosis ‐0.25 ‐0.66 1.42 0.59 0.17 ‐0.37 1.4 3.64 0.00 2.51 1.38

Bemerkungen: DiegraumarkierteDiagonalezeigtdieVarianzenan;überderDiagonalenstehenKovarianzen;unterderDiagonalenKorrelationen; fürn 273sindKorrelationenmitr .16signifikantaufeinemα‐Niveauvon1%

McDonaldundHo(2002)fordernzudemdiestandardisierteDiskrepanzvonvorliegendenund

vorhergesagtenKorrelationen.DadieseabhängigvondernochzuwählendenAnalysemethode

sind,werdensieerstnachderenAuswahlaufgeführt(vgl.Tabelle11.4).AlsnächstessollendieVerteilungendermanifestenVariablen,alsoderSubtestrohwerte,un‐

tersuchtwerden(Kline,2004).DieswurdebereitsinKapitel0ausführlichbehandelt;derÜber‐

sichtlichkeithalberwerdenSchiefeundKurtosis inTabelle11.1 aufgeführt. Curran,WestundFinch(1996)untersuchendieRobustheitverschiedenerSEM‐MethodenimKontextvonkonfir‐

matorischenFaktorenanalysen.AlsmoderatnichtnormalverteiltbezeichnensieeineVerteilung

miteinerSchiefevon2.0undeinerKurtosisvon7.0;dieunnormalsteVerteilungimvorliegen‐denDatensatzliegtfürSubtest8vor,derallerdingsfürbeideWerteunterdiesenGrenzenliegt.

ZudemhabenCurranetal. (1996)gezeigt,dassbeiVorliegeneinersolchenmoderatenVerlet‐

zung der Normalitätsverteilung für 200 nicht zutreffende Modelle dennoch korrekt alsschlechtpassendklassifiziertwerden.

DadiehöchsteKorrelationzwischenSubtest4und5mit .55deutlichniedrigeralsdervon

Kline (2004) formulierte kritischeWert .85 ist,warnicht zu erwarten, dassMultikollinearitätbezüglich der elf Subtests des LPS‐neu besteht. DieÜberprüfung durch Bestimmung der qua‐

driertenmultiplenKorrelation zwischen jederder elfVariablenundden zehn anderen zeigte,

dassmit .50derhöchsteWert fürSubtest5vorlag,dersomitdeutlichunterderkriti‐

schen Grenze von .90 lag. Zudem war in keinem Regressionsmodell die Toleranz (1 )

kleiner .50(kritisch,fallskleiner .10)undderVarianceInflationFactor(VIF, 1 )für

alleSubtestsimmerzwischeneinsundzwei(kritisch,fallsgrößer10).

EinweitererzuüberprüfenderPunktistdieReliabilitätdermanifestenVariablen.Sowohlin‐terneKonsistenzalsauchSplit‐Half‐ReliabilitätwurdenbereitsinTabelle10.8(S.93)angeben.

MitAusnahmevonSubtest4( .65, ´ .58)liegenalleWerteimsehrgutenoderwenigs‐

tensadäquatenBereich.

Page 143: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DieStrukturdesneuenLeistungsprüfsystems·143

11.2 Modellschätzung

DernächsteSchrittistdiemathematischeBestimmungdesModells.PrinzipiellkanndiessowohlaufgraphischealsauchaufformaleArtinFormvonMatrizengeschehen.DadieStrukturvorlie‐

genderCFAnichtsonderlichkomplexist,werdendievermutetenZusammenhängeinAbbildung

3.6 als hinreichend genau dargestellt erachtet. Die darüber hinaus zu formulierenden Fehler‐undResidualvariablen sind in derDarstellungdesErgebnisses derModellprüfung (Abbildung

3.6) ersichtlich. Um die quasi so formulierten linearen Gleichungen lösen zu können,müssen

mindestens so viele Parameter aus den Daten bestimmt werden können, wie Parameter zuschätzensind.DieDatengrundlageistdieKovarianzmatrix,diebeielfSubtests11 11 1 /2

66Werteliefert.GeschätztwerdenimvorliegendenModell26Parameter.SomitbeträgtdieZahl

derFreiheitsgrade( )40.DasModellistsomitidentifizierbar.AufdieZahlderzuschätzendenParameterwird im Folgenden etwas detaillierter eingegangen, da sie nicht ohneweiteres er‐

sichtlichist.

In vorliegenderCFAwerden formaldieLPS‐neuLeistungendurchdie latentenFähigkeitendesStratumII(Carroll,1993)bestimmt,diewiederumvomg‐Faktorabhängen.DerlineareZu‐

sammenhangimsogenanntenMessmodellwirdalsodurch

(11‐2)

bestimmt.AnalogkönnendieGleichungenderübrigenzehnSubtestsmitdenentsprechenden

StratumIIFaktorenkonstruiertwerden(vgl.Abbildung3.6);ebensowirdderZusammenhang

vonStratumIIzuStratumIIIz.B.für durchdieGleichung

(11‐3)

formuliert.WerdennundieSchätzungenderForm(11‐3) indieGleichungenderForm(11‐2)

eingefügt,könnendiedarausresultierendenelfFunktioneninMatrizenformzueinerSchätzglei‐chungzusammengefasstwerden:

(11‐4) X

Aus(11‐4)wirddeutlich,dasssowohldieFehlervarianzen derMessungenalsauchdieRe‐

sidualvarianzen, also die nicht durch erklärbaren Anteile der StratumII Faktoren lediglich

additivwirken.IhrRegressionsparameter,alsoderPfadindergraphischenDarstellung,beträgtsomit1.Damitsindzunächst16RestvarianzenalsunbekannteParameterzuschätzen.

Da fürdie latentenVariablendesStratumIIundStratumIIIkeineSkalierungvorliegt,wird

dieFaktorladungauf jeweilseinemanifesteVariableauf1 festgesetzt,sodassderZusammen‐

Page 144: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

144·DieStrukturdesneuenLeistungsprüfsystems

hangzwischendenmanifestenundder latentenVariable jeweils indiesemVerhältnisgesehen

wird.ÜblicherweisewirdderPfaddererstenVariableauf1gesetzt,prinzipiellistdieAuswahljedoch willkürlich. Auf der ersten Ebene werden somit

1gesetzt.AufderzweitenEbenewirdderPfadvon zu auf1gesetzt,daz.B.Gus‐

tafsson(1984)zeigte,dass ,alsodiefluideIntelligenz,derbestePrädiktorfür ist.Eswerden

somit neun Regressionsparameter geschätzt. Als 26. Parameter muss die Varianz von ge‐schätztwerden.Kline(2004)führtAlternativenfürdieFestsetzungderParameter(constraint)

bzw.umdielatentenVariablenzuskalierenauf;imvorliegendenFallwurdenjedochdieüblichs‐

tenAnnahmenumgesetzt.Vor derWahl der Schätzmethodemussnoch angemerktwerden, dassmit → 11der

Empfehlung, in hierarchischenModellenmindestens zwei Indikatoren pro Faktor erster Ord‐

nung(hier:StratumII)zuformulieren(Kline,2004),nichtgefolgtwerdenkann.DurchdieKon‐stantsetzung der Residualvarianz ( ) auf 0 und des Regressionsparameters ( ) auf 1

wird jedochquasimit gleichgesetztundnurderSystematikwegenangegeben.Formal

wirdderEinflussvon auf direktmodelliert.McDonaldundHo(2002)beispielsweiseempfehlenindiesemFalldieAufteilungderVariableinzweiHälftenundsomitdieKonstruktion

zweier Indikatoren.NebendemUmstand, dassdiesesVorgehen imErgebnis keine relevanten

Veränderungenhervorbringt,wirddiegewählteFormaufgrundderhöhereninhaltlichenPlau‐sibilitätbeibehalten.

AlsSchätzmodellwirddasMaximumLikelihoodVerfahren(ML)gewählt,daessichalsdas

robustesteVerfahrenherausgestellthat,insbesonderewenndieNormalverteilungsannahmealsnurschwachverletztangesehenwerdenkann,undallgemeinalsdieMethodederWahlangese‐

henwird(Blunch,2008).AuchinderMonteCarloStudievonCurranetal.(1996)resultierten

mitderMLfürdievorliegendeStichprobengröße( 273)dieadäquatestenErgebnisse.Hier‐beiwerdennacheinerzufälligenBestimmungderzuschätzendenParameterdiesesolangever‐

ändertundangepasst,bisdieDifferenzfunktionzwischenderKovarianzmatrix,dieausdenDa‐

ten geschätzt wurde, und der Kovarianzmatrix, die aufgrund der Modellparameter bestimmtwird,minimalistundsomitdie„WahrscheinlichkeitderDaten“(MaximumLikelihood)maximal.

AMOSstütztsichdabeiaufdieAlgorithmenvonBrowne(1984;Arbuckle,2008b).

11.3 Modellgüte

Es gibt eineVielzahl von Indizes, die dieModellgüte der Schätzung angeben,wobei es keinen

„magic index“ gibt, der als „gold standard“ (Kline, 2004, S.134) dienen kann. Daher meinenMcDonaldundHo(2002,S.72):„Itissometimessuggestedthatweshouldreportalargenum‐

beroftheseindices,apparentlybecausewedonotknowhowtouseanyofthem.”JederIndexist

fürverschiedeneVerletzungenderfürihngetroffenenAnnahmenunterschiedlichsensibelbzw.dagegenrobust.FitteteinModell inallenIndizes, istdieChance,dasModellausdiesemGrund

irrtümlichnichtabzulehnen,gering.DaherwerdendiemeistenvonAMOSberechnetenIndizes

angegeben. Kline (2004) warnt aber davor, sich lediglich auf die Fit‐Indizes zu verlassen;

Boomsma (2000) und McDonald und Ho (2002) betonen, die Interpretation der geschätztenParameternichtzuvernachlässigen.

Page 145: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DieStrukturdesneuenLeistungsprüfsystems·145

FürdasformulierteModellresultiertein von62.48mit 40und .01. wirdinallenAbhandlungenüberSEMkritischdiskutiert,daesdurchvieleFaktoren(z.B.Stichproben‐

größe, Höhe der Interkorrelationen der manifesten Variablen) beeinflusst werden kann und

nichtalsbesondersaussagekräftiggesehenwird,daseinWertschnellüberdiekritischeGrenzesteigtundsomitdieNullhypothese,dassdiegeschätzteKovarianzmatrixderempirischenent‐

spricht bzw. dasModell passt, abgelehntwerdenmuss.Damit jedemFreiheitsgrad steigt,

wurde ein normiertes ( ) vorgeschlagen ( / ), für das Bollen (1989) Höchstgrenzenvon 2.0, 3.0 oder auch 5.0 angeben hat (Kline, 2004). Hierfür übersteigt das Modell mit

1.56den kleinsten kritischenWert nicht.Da aber in vielender folgendenFitindizesgenutztwird,wirdesindenmeistenPublikationenmitSEMangeben(Kline,2004).

Abbildung11.1: ErgebnisderÜberprüfungdesSEMfürdieEinordnungdesLPS‐neuindasDrei‐Ebenen‐ModellsvonCarroll(1993)

DerRootMeanSquareErrorofApproximation( ;Steiger,1990)berücksichtigtdieKom‐

plexitätdesModells,indemerdenZentralitätsparameter berücksichtigt(vgl.Kapitel7.1)und

insVerhältniszudenFreiheitsgradenundderStichprobengrößesetzt.UnterGültigkeitderH0ist

normal ‐verteilt.JeunwahrscheinlicherH0ist,destonon‐zentralerdieVerteilungunddes‐togrößer .NachBoomsma(2000)sollzum auchdessen90%‐Konfidenzintervallan‐

gegebenwerden. ImvorliegendenModell liegtderberechneteWertvon .045mit90%Wahr‐

Page 146: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

146·DieStrukturdesneuenLeistungsprüfsystems

scheinlichkeitimIntervall[.021;.066];somitbleibenalledreiWerteunterdenalskritischange‐

gebenenGrenzenvon.08und[.05;.10](Kline,2004).DieserFit‐IndexdeutetsomitaufdieMo‐dellgültigkeithin.

Der Comparative Fit Index ( ; Bentler, 1990) vergleicht dasModellmit einemBaseline‐

Modell(independencemodel),dasüblicherweisedavonausgeht,dassdiebeobachtetenVariab‐lenvollständigunabhängigvoneinandersind,alsodieKovarianzenbzw.Korrelationenzwischen

deneinzelnenmanifestenVariablennullist.Da 1 / umsoehereinsist,jezentraler

dieVerteilung von imVergleich zu , sprechenhoheWerte fürdenModell‐Fit.Üblicher‐weisesollte .90sein(Kline,2004),wasfürdasformulierteModellderFallist( .97).

Kline(2004,S.140)merktjedochan,dasseinCFIvoneinsnichteinenperfektenModell‐Fitbe‐

deutet,sondernlediglichdass .EinweiteresMaßzurÜberprüfungderGoodness‐of‐Fit istdasRootMeanSquareResidual

( ;Anderson&Gerbing,1984),dasüberdiemittlereDifferenzderElementederKovarianz‐

matrix desModells und des jeweiligen Elements der empirischen Kovarianzmatrix berechnetwird.Kline(2004)kritisiert,dassdas ,daesaufdenKovarianzenbasiert,nichtunabhängig

vonderSkalierungderbeobachtetenVariablenist,undempfiehltdaherdas (standardi‐

sierter ) zu nutzen, das die Korrelationen vergleicht. Alternativ können die ‐transformierten Variablen eingeben werden, da ja dann Korrelations‐ und Kovarianzmatrix

identischsind.Istder ‐Wertkleinerals.05,bestehteinekleineDiskrepanzzwischenMo‐

dellundWirklichkeit.Istder ‐Wertgrößerals.08wirdvoneinergroßenDiskrepanzaus‐gegangen. Werte zwischen .05 und .08 werden als mittlere Diskrepanz bezeichnet (Bollen,

1989). Für das postulierteModell kann dieDiskrepanz als klein angesehenwerden (

.042; 1.62).AlsletzteswirdvonKline(2004)dasAkaikeInformationCriterion(AIC;Akaike,1987)aus‐

führlicher vorgestellt. Eswird als vorhersagender (predictive) Fit‐Index bezeichnet, da es die

LikelihooddesModells(alsodieWahrscheinlichkeit,dassdievorliegendenDatenaufgrunddespostuliertenModells zustande kamen) lediglich um die Komplexität desModells in Form der

Anzahl der Modellparameter korrigiert ( 2 ). Dieses Maß benötigt jedoch immereinenVergleichsmaßstab,daesabsolutnichtinterpretiertwerdenkann.Dennochgilt,jeniedri‐

gerderWertist,destozutreffenderdasModell.BeivorliegenderModellüberprüfungbeträgtder

desModells114.48;derAICdessaturiertenModells(wennjederParameterfreigeschätztwird, also 0)hingegen132.00.DerReduktionder zu schätzendenParameter folgt somit

einfürdasModellsprechendergeringererAnstiegderLikelihood.AnalogkannderAICgenutzt

werden, um verschiedeneModelle zu vergleichen. Kline (2004, S.144) führt die Formeln undKurzbeschreibungen einigerweiterer Goodness of Fit Indizes an, die an dieser Stelle unkom‐

mentiertbleiben,allerdingsinTabelle11.2dargestelltwerden,umetwaigenVertrautheitenmit

dendiversenIndizesgerechtwerdenzukönnen.

Tabelle11.2: Modell‐Fit‐IndizesderEinordnungdesLPS‐neuindasDrei‐Ebenen‐ModellvonCarroll(1993)

RMSEA (S)RMR AIC BIC CAIC GFI AGFI PGFI NFI RFI IFI TLI PNFIPCFI ECVI62.48

(40,.013).045

[.021;.066].042,1.62

114.48208.33 234.33 .96 .93 .58 .93 .90 .97 .96 .67 .71.42

[.36;.52]

Page 147: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DieStrukturdesneuenLeistungsprüfsystems·147

InsgesamtzeigenalleIndizeseinengutenModell‐Fit.AlsnächstessinddieParameterschätzun‐

gen zu betrachten und zu beurteilen.McDonalds undHo (2002) betonenmehrfach, dass alleParametermit den zugehörigen Standardfehlern tabelliertwerden sollen und die Darstellung

desgraphischenModellssparsamundmöglichstohneAngabederParameterschätzungenerfol‐

gen sollte. Kline (2004) hingegen favorisiert bei der graphischenDarstellung derModelle dieAngabederstandardisiertenPfadkoeffizienten,alsoderSchätzungenderquasibivariatenKorre‐

lationenderverbundenenVariablenbzw.wieimvorliegendenModellderFaktorladungen.Dies

wurdeinAbbildung3.6übernommen.AMOShatdabeidieEigenschaft,stattderFehlervarianzendie durchdiemanifeste Variable erklärteVarianz anzugeben.DieDifferenz zu eins entspricht

dernichtgeklärtenVarianz(Fehlervarianz).InTabelle11.3werdendieunstandardisiertenPa‐

rameterunddieResidual‐undFehlervarianzen(sowohlun‐alsauchstandardisiert)angeben.

Tabelle11.3: UnstandardisierteRegressionsgewichte,Schätzfehler(inKlammern)undResi‐dualvarianzbzw.Fehlervarianz(un‐undstandardisiert)desModells

Residual‐varianz

stand.Resi‐dualvar.

4.45(0.93) .32(.07) 2.30(0.37) 10.49(3.52) .11(.04) 1 1.29(0.45) .09(.03) 1.73(0.28) 4.62(1.93) .08(.03) 0.96(0.16) ‐0.69(0.79) ‐.04(.04) 1.99(0.27) 0 0 1 61.82(6.39) .64(.07)

1.05(0.13) 19.95(4.26) .35(.07)

1 8.09(0.83) .58(.06)

0.83(0.09)

4.09(0.45).51(.06)

1.08(0.11)

4.02(0.55).37(.05)

1 41.12(4.16) .69(.07)

0.76(0.12)

16.13(1.89).61(.07)

0.77(0.12)

20.23(2.17).65(.07)

1 15.36(1.52) .82(.08)

1.99(0.34) 38.67(4.46) .74(.09)

1 30.62(3.04) .63(.06)

MitdernegativenResidualvarianzvon bzw.derdamitverbundenenüberhöhtenKorrelationzwischen und von1.10(vgl.Abbildung3.6)liegteinsogenannterHeywoodFallvor.Esre‐

sultierenWerte,diefaktischnichtmöglichsind,daderML‐Algorithmusallestut,umdasModell

andieDatenanzupassen,unabhängigdavon,wieplausibeldieWertesind (Kline,2004).WirddieResidualvarianzvon aprioriaufnullgesetzt,ergebensichsogutwiekeineÄnderungenin

derModellpassungunddengeschätztenParametern.DieVeränderungderStartparameter,wie

vonKline(2004,S.121)empfohlen,bringt indiesemFall leidernichts.Abgesehenvondiesem

Page 148: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

148·DieStrukturdesneuenLeistungsprüfsystems

einenunschönenWert,resultierendurchwegsgut interpretierbareParameterschätzungen.Die

FaktorladungenderStratumIIFaktorenaufdiebeobachtetenVariablen(Abbildung3.6)weisen

für die visuelle Wahrnehmung (.

6,.

7,.

8), kristalline (.

1,.

2) und fluide (.

3,.

4,.

5) Intelligenz sehr gute Werte auf

(Cohen, 1988). Die Werte für Verarbeitungsschnelligkeit (.

9,.

10 bzw..

9,.

10,wenn 0)könnenebensonochalsgutbezeichnetwerden.Die

Korrelationvon 11mit beträgt .60,wobeidiekognitiveGeschwindigkeitmodellbedingtvollständigdurch determiniertwird.Ebenso„sinkt“dieKorrelationvon auf auf1,wenn

keineResidualstreuungangenommenwird.DieLadungenvon aufdieübrigenBroadAbilities

(Carroll, 1993) entsprechen durchaus der erwarteten Höhe, auch wenn dies insofern einge‐schränkt werdenmuss, dass sich der als verhältnismäßig stärker postulierte Zusammenhang

zwischen und (z.B.Gustafsson,1984)nichtzeigt(.

,.

,.

).

Tabelle11.4: DiskrepanzenderempirischgeschätztenundderdurchdasModellimpliziertenKorrelationen(unterderDiagonalen)undKovarianzen

LPS1 LPS2 LPS3 LPS4 LPS5 LPS6 LPS7 LPS8 LPS9 LPS10 LPS11LPS1 0.00 ‐2.36 ‐2.52 0.90 4.37 ‐2.77 0.05 ‐1.43 4.50 3.05LPS2 .00 ‐0.78 ‐0.21 0.36 3.33 ‐1.49 ‐1.13 ‐1.47 2.10 0.78LPS3 ‐.07 ‐.03 0.32 ‐0.15 ‐0.38 1.54 2.16 ‐0.19 0.31 ‐1.99LPS4 ‐.09 ‐.01 .03 ‐0.05 0.59 ‐0.22 0.72 0.19 ‐0.57 ‐0.11LPS5 .03 .01 ‐.01 ‐.01 0.70 0.67 0.27 0.63 ‐2.03 0.27LPS6 .06 .06 ‐.01 .03 .03 ‐0.52 ‐2.71 ‐1.54 3.76 0.21LPS7 ‐.06 ‐.04 .08 ‐.02 .04 ‐.01 1.73 ‐0.13 ‐2.90 ‐1.52LPS8 .00 ‐.03 .10 .05 .02 ‐.06 .06 ‐0.49 0.14 ‐3.79LPS9 ‐.03 ‐.05 ‐.01 .02 .04 ‐.05 ‐.01 ‐.02 0.00 1.59LPS10 .06 .04 .01 ‐.03 ‐.09 .07 ‐.08 .00 .00 2.53LPS11 .05 .02 ‐.08 ‐.01 .01 .00 ‐.04 ‐.10 .05 .05

DiehöchsteDiskrepanzbeimVergleichderKorrelationenderempirischenDatenundderdurchdasModellgeschätztenDatenbeträgt .10(Tabelle11.4),waseinemUnterschiedvon1%Vari‐

anzaufklärungentspricht.DieinsgesamtgeringenDiskrepanzenspiegelnsichjabereitsimnied‐

rigenunddamitadäquatenSRMRFit‐Index(vgl.Tabelle11.2)wieder,beidessenInterpretationmittlereWertekleiner.05alsguterachtetwerden,wasbei38der55KorrelationenderFallist.

Insgesamtsprichtalsovieles füreinengutenFitdesModells,wennderHeywoodFallnicht

wäre. Daher soll im Folgenden überprüftwerden, ob ein alternativesModell eine adäquatereLösungdarstellt.

11.4 Modellvergleich

DasAlternativmodellentsprichtdemursprünglichenModellindendreiFaktoren , und ;

anstattauf und ladenjedochdieSubtests9,10und11aufeinemFaktor,derdenÜberle‐

gungenvonKapitel3.2zufolgealskognitiveGeschwindigkeit ( )bezeichnetwird(vgl.Abbil‐dung11.2).

Page 149: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DieStrukturdesneuenLeistungsprüfsystems·149

Abbildung11.2: ErgebnisderÜberprüfungdesSEMfürdieEinordnungdesLPS‐neuindasal‐ternativeModell

DiesesModellpasstdenFit‐IndizesnachetwasbesseraufdieDatenalsdasursprüngliche.Ins‐

besonderediegeschätztenParameterstellennuneinetheoretischmöglicheundinhaltlichkon‐

sistenteundsinnvolleModellierungdar.

Tabelle11.5: Modell‐Fit‐IndizesderEinordnungdesLPS‐neuindasAlternativmodell

RMSEA (S)RMR AIC BIC CAIC GFI AGFI PGFI NFI RFI IFI TLI PNFIPCFI ECVI60.39

(40,.020).043

[.018;.065].041,1.71

112.39206.24 232.24 .96 .93 .58 .93 .90 .97 .96 .68 .71 .41[.35;.51]

DieempirischenKorrelationenderVariablenbleibennatürlichdieselben(vgl.Tabelle11.4).Die

DiskrepanzenderKorrelationenverringernsichaugenscheinlicheinwenig;dieswirddurchdenmarginalgeringeren ‐Wertvon.041(imVergleichzu.042)nurbedingtuntermauert.Die

Schätzungenentsprechensichdiesbezüglichebenso.

Page 150: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

150·DieStrukturdesneuenLeistungsprüfsystems

Tabelle11.6: DiskrepanzenderempirischgeschätztenundderdurchdasalternativeModellimplizierten Korrelationen und Kovarianzen, standardisierte Messfehler‐varianzenundzugehörigerStandardmessfehler

LPS1 LPS2 LPS3 LPS4 LPS5 LPS6 LPS7 LPS8 LPS9 LPS10 LPS11 ( )LPS1 0.00 ‐2.36 ‐2.52 0.90 4.37 ‐2.77 0.05 ‐1.43 4.50 3.05 .65(.07)LPS2 .00 ‐0.78 ‐0.21 0.36 3.33 ‐1.49 ‐1.13 ‐1.47 2.10 0.78 .34(.08)LPS3 ‐.07 ‐.04 0.32 ‐0.15 ‐0.38 1.54 2.16 ‐0.19 0.31 ‐1.99 .58(.06)LPS4 ‐.09 ‐.02 .03 ‐0.05 0.59 ‐0.22 0.72 0.19 ‐0.57 ‐0.11 .51(.06)LPS5 .03 .01 ‐.01 ‐.01 0.70 0.67 0.27 0.63 ‐2.03 0.27 .37(.05)LPS6 .06 .05 ‐.02 .02 .02 ‐0.52 ‐2.71 ‐1.54 3.76 0.21 .70(.07)LPS7 ‐.06 ‐.04 .07 ‐.03 .03 ‐.01 1.73 ‐0.13 ‐2.90 ‐1.52 .60(.07)LPS8 .00 ‐.03 .09 .04 .00 ‐.06 .06 ‐0.49 0.14 ‐3.79 .65(.07)LPS9 ‐.02 ‐.02 .00 .03 .06 ‐.03 .01 ‐.01 0.00 1.59 .77(.07)LPS10 .08 .06 .03 ‐.01 ‐.07 .08 ‐.07 .02 ‐.06 2.53 .67(.07)LPS11 .06 .03 ‐.07 .00 .02 .01 ‐.04 ‐.10 .03 .02 .58(.07)

Die Fehlervarianzendermanifesten LPS‐Variablen ändern sich für die Subtests 1 bis 8 kaum,was auchwegen der unverändertenMessmodelle der jeweiligen StratumII Faktoren nicht zu

erwartenist.FürdieSubtests9,10und11hingegensinkendieFehlervarianzen,zumeinenda

nundreimanifesteVariableneinerlatentenVariablealsIndikatordienen,zumanderendasichdieseZusammenfassunginsgesamtalsstimmigerundbesserzudenDatenpassenderweist.Ein

weiteresErgebnis, dasdieAnnahme einesübergeordneten ‐Faktors auf StratumIII rechtfer‐

tigt,sinddiehohenInterkorrelationendervierBroadAbilities(Tabelle11.7).DieResidualvari‐anzensindinsgesamtsehrniedrig,sodassdieModellierungderStratumIIalsangemessenund

der Struktur der Intelligenzleistung, wie sie durch das LPS‐neu erhoben wird, adäquat ange‐

nommenwerdenkann.

Tabelle11.7: Interkorrelationen der Faktoren 2. und 3. Ordnung des alternativen ModellssowiestandardisierteResidualvarianzenundzugehörigerStandardmessfehler

stand.Resi‐dualvar.

1 1 .83 1 .11(.04) .90 .74 1 .08(.03) .88 .72 .79 1 .07(.03) .91 .75 .82 .80 1 .04(.03)

11.5 StrukturdesLPS‐neuinderComputerversion

Es erscheint wenig sinnvoll, aufgrund der Interaktionen zwischen Subtests und Bedingungen

bzw.dergeringenFallzahlenfürjedeBedingungskonstellationdieStrukturderComputerversi‐on (CV)desLPS‐neu zuüberprüfen. EineBestätigungdesModellsderPapier‐Bleistift‐Version

(PBV)durchdiemittelsderCVerhobenenDatenüberalleBedingungenhinweg legthingegen

denSchlussnahe,dassdurchdieunterschiedlichenEinflüssederOperationalisierungamPCdieKovarianzstrukturnurgeringfügigverändertwurdeundsomitdochprinzipielleÄhnlichkeiten

derbeidenErhebungsmethodenbestehen.

Page 151: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

DieStrukturdesneuenLeistungsprüfsystems·151

Tabelle11.8: Modell‐Fit‐IndizesderEinordnungderCVdesLPS‐neuindasAlternativmodell

RMSEA (S)RMR AIC BIC CAIC GFI AGFI PGFI NFI RFI IFI TLI PNFIPCFI ECVI65.05

(40,.007).053

[.028;.076].046,1.87

117.05205.64 231.64 .95 .92 .58 .90 .86 .96 .94 .65 .70.53

[.44;.65]

WieausTabelle11.8ersichtlichist,passendieErgebnissederCVder 223Berufschüler,diedieCVvollständigbearbeiteten,ähnlichgutzudemalternativenModellwiedieErgebnisseder

PBV.DiemeistenFit‐IndizesdeuteneinegeringfügigschlechterePassungan,BICundCAICsogar

einemarginalbessere.DieLadungenderSubtestsaufdieStratumIIFaktoren(Abbildung11.3)unterscheidensichmitAusnahmevonSubtest10nurgering. Subtest10 lädtmit .27 (unstan‐

dardisiert.49)relativgeringauf ;zudemsindmehrals90%Fehlervarianzgegeben.Beiden

ZusammenhängenderStratumIIFaktorenzu fälltlediglichdieetwasgeringereLadungvon auf(.73imVergleichzu.83inderPBV).

Abbildung11.3: ErgebnisderÜberprüfungdesSEMfürdieEinordnungderCVdesLPS‐neuindasalternativeModell

DerVollständigkeithalber sei erwähnt,dassderModell‐FitderErgebnissederCVaufdasur‐sprünglichvorgeschlageneModellähnlichleichtschlechtereWerteliefert,derHeywood‐Fallan

derselbenStellejedochnochstärkerauftritt.

Page 152: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag
Page 153: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Resümee·153

12. Resümee

12.1 UnberücksichtigteAspekte

AnhanddervorliegendenUntersuchunghättennochweitereFragenausführlichdiskutiertwer‐

denkönnen.ImFolgendenwerdeneinigedavonkurzaufgegriffen.

12.1.1 DerEinflussdesGeschlechtsaufdieTestleistung

DieFrage,obMädchenoderJungenbzw.FrauenoderMännerindemeinenoderanderenLeis‐tungsbereich besser abschneiden als die anderen, findet häufig großes Interesse (vgl. Rost,

2009).UnterdemAspektderÄquivalenzbesitztdieFragederInteraktionzwischendenEinflüs‐

senderunterschiedlichenBedingungenderComputerversion(CV)unddemGeschlechtgewisseRelevanz.ZielfürdieKonstruktionäquivalenterVerfahrenmussjedochdieUnabhängigkeitvon

Geschlecht und gewählterDarstellung amPC sein, da es nicht zielführend sein kann, für eine

prinzipiellgleicheTestungunterschiedlicheCVvorzugeben.BedingtdurchdienichtderGrund‐gesamtheitentsprechendeGeschlechterverteilunginderStichprobekönnenGeschlechtereffekte

nichtvalidenachgewiesenwerden.Zudemhandeltessichbeiden33Schülerinneneinertechni‐

schenBerufsschuleumkeinerepräsentativeStichprobeweiblicherProbanden,daAusbildungs‐interessedurchausmitdenStärkenundSchwächenkognitiverFähigkeitenundSchulleistungen

kovariiert(Kreuzpointner,2008;vgl.Kapitel2.3.2).DerMittelwertsvergleichderLeistungenvon

MädchenundJungenzeigt,dassdieSchülerinnenindenmeistenderelfSubtestssowohlinderPapier‐Bleistift‐Version(PBV)alsauchinderCVbessereLeistungenerbrachthaben.Inachtder

22univariatenVergleichewürdederUnterschiedsogarstatistischsignifikant.Multivariatzeigt

sichbeiBerücksichtigungderTestwiederholungundderModusreihenfolgezwardieserVorteilderSchülerinnenalsHaupteffekt,bedeutsameInteraktionenmitdemGeschlecht liegen jedoch

nicht vor. Aufgrund der fehlenden Repräsentativität wird auf den Geschlechtereffekt folglich

nichtweitereingegangen,insbesonderedadieÄquivalenzderbeidenModidavonnursehrbe‐dingtbeeinflussterscheint.

12.1.2 DerZusammenhangderTestleistungmitderSchulleistung

Es kann als Tatsache bezeichnet werden, dass die Leistung in einem Intelligenztest mit der

SchulleistungzusammenhängtunddieallgemeineIntelligenz( )alsbesterEinzelprädiktorge‐sehenwerdenmuss(EinenaktuellenÜberblicküberdieRollederIntelligenzgibtRost,2009.).

EineweitereTatsache ist,dassdieSchulleistungvonBerufsschülernunterschiedlicherAusbil‐

dungsrichtungen nicht ohneWeiteres einheitlich und vergleichbar bestimmtwerden kann. IneinigenZweigenwerdenklassischeFächerwieMathematikunterrichtet,inanderenwerdendie

mathematischen Inhalte inaufdieAusbildungausgerichteteFächereingebunden.Zudemkön‐

nen Berufsschüler keinen, einen Hauptschul‐, Realschul‐ oder gymnasialen Abschluss haben.Vereinzelt besuchen auch Akademiker die Berufsschule, wenn sie nach dem Studium einen

Lehrberufanstreben.

Page 154: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

154·Resümee

DieValiditätderBestimmungderSchulleistungwarsomitnochgeringeralsvonNotenge‐

meinhin angenommenwird. DieNoten der FächerDeutsch und Englisch korrelieren entspre‐chendderErwartungmit denbeiden verbalen Subtests 1 und2 (allerdings nur bedingt hoch

.20 .35).AlleweiterenKorrelationen sind abgesehenvonwenigenAusnahmen zwar

entsprechendderErwartungnegativ,jedochnureinigeimBetraggrößer.20.WiesichschonbeiderstudentischenStichprobezeigte, istderZusammenhangdesLPS‐neumitschulischenLeis‐

tungennicht so stark ausgeprägtwiebei vielen anderen Intelligenztests.Aufgrundder relativ

geringenAusprägungderZusammenhangsmaßekanndieSchulleistungimKontextderÄquiva‐lenzvonPBVundCVnureinegeringeRollespielen.

12.1.3 ProbabilistischeTesttheorie

EswarTeilderPlanungdieserArbeit,dieÄquivalenzsowohlimKontextderKlassischenTest‐

theoriealsaucheinerProbabilistischenTesttheorie(PTT)zuüberprüfen.DieVorteile,beiGül‐tigkeiteinerPTTdieÄquivalenzgetrenntunterdenAspektenderPersonenfähigkeitundAufga‐

benschwierigkeitzuuntersuchen,liegenaufderHand.Eswarjedochnichtmöglich,einfürdas

relativ komplexe Versuchsdesign passendesModell zu finden oder die allgemeinstenModelle(z.B.DeBoeck&Wilson,2004;Embretson,1984;Sheng&Wikle,2007)dahingehendabzuleiten.

DiePassungdereinzelnenSubtestsderPBVfürdasRaschmodellwurdeüberprüftundkannnur

bedingt alsgegebenerachtetwerden.Modelle fürTestsmitZeitbegrenzung,wie siebeispiels‐weisevonVerhelst,VerstralenundJansen(1997)oderbereitsvonLord(1980)vorgeschlagen

wurden,würdenvermutlichdieDatenbessererklärenkönnen.ZurÜberprüfungdieserModelle

sind jedoch sehr große Stichproben und spezielle Programmierungen nötig. Diese Vorausset‐zung ist für dieCVunterdemAspektderDekompositionderBedingungenPräsentation,Ant‐

wortformatundZeitvorgabenichtgegeben,sodassdieForschungsfragenhinsichtlichderTest‐

theoriezurückgestelltwurden.SiesolltenmiteineroderwenigenBedingungenderCV‐ausge‐wähltbasierendaufdenErgebnissendieserArbeit‐genaueruntersuchtwerden.Damitbesteht

danndieMöglichkeit,weiteredenSachverhalthinsichtlichderÄquivalenzkomplizierendeAs‐

pektewiebeispielsweisedieIntelligenzstrukturdesLPSzuberücksichtigen.EineMethodehier‐zuwurdekürzlichvonCheng,WangundHo(2009)vorgestellt.

12.2 ZurRevisiondesLPSundAnwendbarkeitfürdieFragestellung

DieErgebnissederpsychometrischenEigenschaftendesLPS‐neu (Kapitel10.2)deutendaraufhin,dassauchdieRevisiondesLPSeinhinsichtlichderGütekriterienundVerteilungendurchaus

brauchbaresVerfahrenist.DieAnalysenderStrukturdesLPS‐neuimKontextderdreiEbenen‐

TheorievonCarroll(1993;Kapitel11)zeigen,dassKonstruktvaliditätgegebenist.WeitereAs‐pektederValiditätsindnochzuuntersuchen;siesindfürdieFragederÄquivalenzvonCVund

PBV nachrangig. Mit dem LPS‐neu können durch elf unterschiedliche Subtests vier Faktoren

kognitiver Kompetenz zweiter Ordnung (kristalline und fluide Intelligenz, visuelle Wahrneh‐mungundkognitiveGeschwindigkeit)undeinFaktordritterOrdnung (Allgemeine Intelligenz,

)gemessenwerden.

Page 155: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Resümee·155

12.2.1 EigenschaftenderPapier‐Bleistift‐Version

AufgrundderStandardisierungenbeiDurchführung,AuswertungundInterpretationkönnendie

wichtigstenAspektederObjektivitätalsgegebenerachtetwerden.InterneKonsistenzundSplit‐Half‐ReliabilitätsindmitAusnahmederSubtests3,4und5durchwegsgut( .80;vgl.Tabelle

10.8).DieWertevonSubtest3sindfüreinenLeistungstestetwaszuniedrig( .76),wasver‐

mutlichanderzuhohenZahlsehrleichterItemsliegt.DiessollteeinfacherzukorrigierenseinalsdiezuhoheZahlzuschwererItemsindenSubtests4und5.BeidiesenbeidenSubtestsmüs‐

senvorderendgültigenRevisionnocheinige Itemsausgetauschtundneukonstruiertwerden.

DienachderSpearman‐Brown‐FormelkorrigierteReliabilitätvon.74fürSubtest4und.83fürSubtest5lässtjedochohnewesentlicheEinschränkungderGültigkeitAussagenhinsichtlichder

Äquivalenz der beiden Bearbeitungsmodi zu, so dass reliabilitätskorrigierte Schätzungen als

unnötigerachtetwerdenundunterlassenwurden.DerVergleichderPBVderbeidenGruppen,diediePBVentwederzuT1oderzuT2bearbeite‐

ten,zeigt,dassdiezweiteTestungbeiallenaußerSubtest11zudeskriptivbesserenErgebnissen

führte; allerdings ist der Unterschied nur in den Subtests 3 und 8 statistisch bedeutsam( 0.58, 0.36).DerZeitgewinnbeidenrelativvielenleichtenItems,diezuT2einzwei‐

tesMalbearbeitetwurden,könntezudieserVerschiebungdermittlerenLeistunggeführthaben.

BeiSubtest8hatzuT2rundeinDrittelderProbandenalleItemsrichtigbearbeitet.EineVerkür‐zung der Bearbeitungszeit könnte dieses Problem beheben. Für die übrigen Subtests scheint

eineTestungamPCeinigeWochenvorderTestungmittelsPapierbogennureinengeringenEin‐

flussaufdieTestleistunggehabtzuhaben.DieVerteilungenderStichproben fürdieeinzelnenSubtests(Anhang15.4)weisendeutlicheÄhnlichkeitenindenbeidenModiauf.SchiefeundEx‐

zessfallenzudemnurinwenigenFällenauf(Tabelle10.7),sodassinsgesamtdieVoraussetzun‐

genfürdieinKapitel6und7beschriebenenstatischenVerfahrenzurÜberprüfungderÄquiva‐lenzebensowiezurAnalysederStruktur(Kapitel11)alsgegebenerachtetwerdenkönnen.

12.2.2 EigenschaftenderComputerversion

Die Bestimmung der psychometrischen Eigenschaften der CV ist aufgrund der 15 Durchfüh‐

rungsbedingungennichtohneWeiteresmöglich(vgl.Kapitel10.3).DieBetrachtungdermittle‐ren Itemschwierigkeiten und Trennschärfen sowie deren Lageparameter (Tabelle 10.13 und

Tabelle 10.14) und der Vergleich mit den Werten der PBV eingeteilt in die entsprechenden

Gruppenzeigenjedoch,dassdieSubtestsinderCVprinzipiellähnlicheEigenschaftenaufweisen.Ebenso entspricht die interne Konsistenz der Subtests in den einzelnen Bedingungen der CV

weitestgehenddenAusprägungenderPBV.BeiVernachlässigungderunterschiedlichenBedin‐

gungenzeigtesichfürdieCVeineannäherndsogutePassungandasIntelligenzmodellwiefürdie PBV (Kapitel 11.5). Somit ergeben sich zumindest deutliche Hinweise auf experimentelle

Äquivalenz,wiesievonHonacker(1988,vgl.Kapitel4.3.2)formuliertwurde.

DieinKapitel10.5dargestelltenErgebnissehinsichtlichdesVergleichsderBedingungskons‐tellationenzeigen,dassdieVariationderBedingungenunterschiedlicheEffektebegründet.Esist

somitnichttrivial,wieeinTestaufdenComputerübersetztwird.Eswirdjedochauchdeutlich,

dassdieunterschiedlichenSubtestsunterschiedlichstarkaufÄnderungenderDarstellungsform

Page 156: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

156·Resümee

der Items, derAntwortmodalität und der Zeitvorgabe reagieren.Das LPS‐neu und dieUmset‐

zung auf den Computer können somit durchaus als geeignet erachtetwerden, die Frage nachBedingungenderÄquivalenz zuuntersuchen. ImFolgendenwerdendiedrei variiertenBedin‐

gungenseparatdiskutiert.

12.3 BedingungenderÄquivalenz

Bisherige Studien zeigen einuneinheitlichesBildhinsichtlichderÄquivalenz vonPBVundCV

(vgl.Kapitel4.1und4.2).IndenStudienzurVergleichbarkeitderModidesLPS(Frenske,1992;

Klinck,1998;Trocheetal.,2002)warendieLeistungenderverbalenSubtestsinderPBVbesser,währenddieErgebnisseindenanderenSubtestseherinderCVhöherwarenodersichentspra‐

chen.DieKorrelationenderTestungenindenbeidenModiwarendurchwegshoch( .50), für

paralleleVerfahrenjedochmeistzuniedrig( .80).DieMetaanalysen(Mead&Drasgow,1993;Wangetal.,2007)zeigten,dassÄquivalenzfürPowertestsehernachgewiesenwerdenkannals

für Speedtests, es aber viele weitere moderierende Einflussfaktoren gibt. Allerdings wurden

vorwiegendStichprobenmerkmalewiedasAlterderProbandenundderRahmenderTestungberücksichtigtundnichtdieMerkmalederUmsetzungderCV.

12.3.1 Präsentationsform

FürfünfderelfSubtests(1,5,9,10und11)zeigensichinderCVstatistischbedeutsameUnter‐

schiede zwischen der Einzelitempräsentation und der Gesamtdarstellung (vgl. Tabelle 10.21),wobeiindenSubtests1,9und11beiderGesamtdarstellungundindenSubtests5und10inder

Einzelitemdarstellung bessere mittlere Leistungen resultieren (Tabelle 10.20). Für Subtest 9

liegtderVorteilderGesamtdarstellung( .22)vermutlichinderschnellerenBearbeitungs‐

möglichkeitderSubtestaufgabe,dieZeilenzudurchsuchen.FürSubtest10dürftebeimVergleich

derbeidenSeitendasFehlenandererItemsvonVorteilsein( .29).BeidenSubtests1und

11istderUnterschiedderbeidenDarstellungsformenwesentlichgeringer( .02 .Dieetwas

höheremittlereLeistung inderGesamtdarstellung istvermutlichdurchdiehöhereAnzahlder

präsentierten Itemsbegründet, die zu einerhöherenBearbeitungsgeschwindigkeit anregt.Die

besseremittlereLeistung inderEinzelpräsentationbei Subtest5 ( .02)könntedurchdie

bessereFokussierungaufdieeinzelnenItemsbegründetsein.DannstelltsichjedochdieFrage,

weshalbdieserEffektnichtauchbeiSubtest4aufgetretenist,derprinzipiellgleicheundebenso

schwereItemsbeinhaltet.BeimWithin‐VergleichhinsichtlichderÄquivalenzzwischenPBVundCVweisenbeiBerück‐

sichtigungdesModusunddesTestzeitpunktesdieSubtests2und9bedeutsameEffektebezüg‐

lichderPräsentationsformauf(je .02).InAbbildung10.11wirdveranschaulicht,dassdie

einzigeBedingung,diezugleichenmittlerenLeistungenführt,dieBearbeitungvonSubtest9zuT2 als CV mit Einzeldarstellung ist, während die Einzeldarstellung als CV zu T1 zu deutlich

schlechterenLeistungenunddieGesamtdarstellungunabhängigvomTestzeitpunktzudeutlich

besserenLeistungenführt.FürSubtest2zeigtesichlediglicheinegeringfügigbessereLeistung

Page 157: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Resümee·157

der CV zu T1 bei der Einzelpräsentation im Vergleich zur Gesamtdarstellung; für Subtest 2

überwogensomitdieEffektevonModusundBearbeitungszeitpunkt.BeiBetrachtungderVergleichevonPBVundCVderelfSubtestsinden15Bedingungskons‐

tellationen(vgl.Tabelle10.24)könnendieEffektstärkenbeiAusschlussderSubtests9und10

sowohl inderGesamtdarstellungalsauch inderEinzeldarstellungbeiallenbisauf jeeineBe‐dingungzusammengefasstwerden.JedochnurbeiderEinzeldarstellungbleibenzweiBedingun‐

genunter einemEffektbetrag von0.15.AlleEffekte sprechen für einebessereLeistung inder

PBV.ImMittelzeigtsichfürdieEinzeldarstellungeinEffektvon‐0.35,fürdieGesamtdarstellungvon‐0.30.WirddieStichprobenachderBearbeitungsreihenfolgevonCVundPBVdifferenziert

(vgl.Tabelle10.25undTabelle10.26),weistdieGruppe,diediePBVzuT1bearbeitete,einen

mittlerenEffektvon0.38inderEinzel‐undvon0.46inderGesamtdarstellung,unddieGruppe,diedieCVzuT1bearbeitete,einenmittlerenEffektvon‐0.87inderEinzel‐undvon‐0.72inder

Gesamtdarstellungauf.DermittlereEffektdesVergleichsvonPBVundCVzuT1(Tabelle10.27)

beträgtinderEinzeldarstellung‐0.49undinderGesamtdarstellung‐0.55,zuT2(Tabelle10.28)inderEinzeldarstellung0.11,wobeihierfünfEffektenegativundvierEffektepositivsind,undin

der Gesamtdarstellung 0.26 (alle Effekte positiv). Insgesamt ist zu berücksichtigen, dass mit

Ausnahme der Gesamtbetrachtung nur wenige über die Subtests gemittelte Effektstärken sohomogensind,dassdieZusammenfassungstatistischunkritischist.

DennochzeigendieGegenüberstellungen,dassaußerbeimVergleichvonPBVundCVzuT2

die Abweichungen von Einzel‐ und Gesamtdarstellung in ähnlichen Größenordnungen liegen.WirddieCV jedochnachderPBVbearbeitet, trittderEffektderLeistungsverbesserungdurch

einezweiteTestungbeiderGesamtdarstellungkonsistentauf,währendesbeiderEinzeldarstel‐

lung in fünfBedingungenüberalleSubtestsbetrachtetzugeringerenLeistungen inderCV imVergleichzurPBVkommt.

DiemittlerenKorrelationenderErgebnisseindenbeidenModiliegensowohlfürdieEinzel‐

alsauchdieGesamtdarstellungaufeinemmittlerenNiveauvon.51bzw..55,wobeidieHöhefürdieSchlussfolgerungäquivalenterTestsinbeidenFällenzugeringist.

IstderTestbzw.diePBVdesTestsdemProbandenunbekannt,spieltdieFormderDarstel‐

lungderItemsamPCeinegeringeRolle.HabendieProbandenhingegendenTestbogenderPBVbereitseinmalbearbeitet,führtdieÄhnlichkeitderGesamtdarstellungzugeringerenVerzerrun‐

gendermittlerenLeistungdurchdieBearbeitungamComputeralsdiesdurchdieÄnderungder

DarstellungsformalsEinzelitempräsentationgeschieht.

12.3.2 Antwortformat

Die drei Antwortformate weisen in den Subtests 5, 9 und 10 bedeutsame Unterschiede auf

(Tabelle10.21).BeiSubtest5istdiemittlereLeistunginderBedingung„weiter“(nachderAus‐

wahlderLösungmusseinButtongeklicktwerden,umzumnächstenItemzugelangen,bzw.inderGesamtdarstellungistdasItemzwarnochsichtbar,abernichtmehrveränderbar)geringer

alsindenbeidenanderenBedingungen(Tabelle10.20).HierkönntesomitderEffekt( .03),

dasses inderBedingung„einmalig“ (nachderAuswahlderLösungerscheintautomatischdasnächsteItembzw.dasbeantworteteItemverschwindetinderGesamtdarstellung)zugrößerer

Sorgfaltkommt,greifen. InderBedingung „korrigierbar“könnendieProbanden inderEinzel‐

Page 158: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

158·Resümee

präsentationübereineverkleinerteDarstellungderItemsamrechtenBildschirmrandzubereits

bearbeitetenAufgabenzurückkehren, inderGesamtdarstellungentsprichtdieCVderPBV.DieBedingungen„einmalig“und„korrigierbar“unterscheidensichnichtindererbrachtenmittleren

Leistung.BeiSubtest10istdiemittlereLeistunginderBedingung„einmalig“ambesten,undbei

„weiter“geringfügighöheralsbei „korrigierbar“ ( .04).HierkönntederZeitgewinndurch

dasAusbleiben,den„weiter“‐Buttonklickenzumüssen,ursächlichsein.BeiSubtest9ergeben

sichdeutlichgeringeremittlereLeistungen fürdieBedingung „korrigierbar“ ( .10),wobei

hierdieInteraktionmitderPräsentationzuberücksichtigenist( .09).DieserEffektistpri‐

märbegründetineinerdeutlichschlechterenLeistungderProbandenbeiderEinzeldarstellung

(Abbildung 10.5). In der Gesamtdarstellung unterscheiden sich die Antwortformate nicht. Die

KorrekturmöglichkeitüberdieverkleinerteDarstellungkostetevermutlichungleichmehrZeit

alssiehinsichtlichderGesamtzahlrichtiggelösterItemsVorteilebrachte;odersieverwirrtedieProbandensosehr,dassdadurchdieLeistungbeeinträchtigtwurde.

DerWithin‐VergleichderAntwortformatederCVmitderPBVzeigtbeiBerücksichtigungvon

ModusundTestreihenfolgenurfürSubtest2einenbedeutsamenEffekt( .02).Probanden,

die zu T1 die PBV bearbeiteten, unterscheiden sich dabei nicht in den drei Antwortformaten.

WurdedieCVzuT1bearbeitet,erzieltenProbandeninder„weiter“‐Bedingungeineetwasbes‐

seremittlere Leistung als Probanden in der Bedingung „einmal“, und diese waren wiederumetwas besser als die Probanden in der Bedingung „korrigierbar“. Dieser Leistungsunterschied

vergrößertesichbeiderzweitenTestungalsPBV,diefüralledreiGruppengleichwar,sosehr,

dass dies die Signifikanz des Effekts begründet. Anders betrachtet zeigen die Probanden derBedingung„korrigierbar“diegeringsteVerbesserungbeiderzweitenTestungalsPBVunddamit

amehestenÄquivalenz.FürdieübrigenSubtestsscheintdasAntwortformatnurgeringenEin‐

flusshinsichtlichderLeistungsunterschiedezudenbeidenTestzeitpunktenund indenbeidenModizuhaben.

BeiBetrachtungderEffektehinsichtlichdermittlerenLeistungenvonPBVundCVinden15

BedingungskonstellationenüberbeideErhebungszeitpunktehinweg (Tabelle10.24) zeigt sichfürdasAntwortformat„einmalig“einmittlererEffektvon‐0.21, für„weiter“von‐0.31undfür

„korrigierbar“von‐0.46.BeimVergleichderPBVundderCVderGruppe,diedieCVzuT1bear‐

beitete, tretendeutlich stärkeregemittelteEffektevon ‐0.75, ‐0.69und ‐0.98 fürdiedreiAnt‐wortformateauf(vgl.Tabelle10.25).InderGruppederProbanden,diedieCVzuT2bearbeitete,

zeigensichdeutlicheVorteile fürdieCVvon0.59,0.33und0.32(vgl.Tabelle10.26).DerVer‐

gleichderbeidenModizuT1weistunterschiedlichstarkeVorteilefürdiePBVauf(‐0.39,‐0.53und‐0.62;vgl.Tabelle10.27),währendbeimVergleichderModizumT2positivegemittelteEf‐

fekte resultieren (0.13, 0.14, 0.04; vgl. Tabelle 10.28),wobei in jedemAntwortformat sowohl

negativealsauchpositiveWerteauftreten.Zudemistwiedereinzuschränken,dassmitAusnah‐medeserstenVergleichsvieleEffektenichthomogenüberdieSubtestssind.

EsstelltsichsomiteindenEinflussdesAntwortformatsaufdieÄquivalenzbetreffendsehr

heterogenes Bild dar. Die Leistungsreihenfolge der Probanden in den drei Ausprägungen derBedingungisthingegenähnlich(.61,.54und.55),jedochhinsichtlichäquivalenterVerfahrenzu

niedrig.BeimAntwortformat„einmalig“zeigensichdiegeringstengemitteltenEffekte.Wirddie

CVzuT2bearbeitet,erweistsichdiesesAntwortformatalsbesondersvorteilig.DieProbandenprofitierenoffenbarvondemZeitgewinnunddemZwang,ihreAntwortensorgfältigauszuwäh‐

Page 159: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Resümee·159

len,sodassdergenerellnegativeEffektderTestungamComputeretwaskompensiertwird.Das

Antwortformat„korrigierbar“,dasalsPendantzurPBVkonstruiertwurde,scheintdieProban‐den hingegen mehr zu verwirren oder aufzuhalten, als dass es Vorteile brächte. Das Format

„weiter“, das in sehr vielen Umsetzungen von bestehenden Tests auf den Computer genutzt

wird, liegt hinsichtlich seiner Effekte zwischen den beiden anderen Formaten. EinemöglicheSichtweisewäre, dass hierbei somit die geringsteBeeinflussung bzgl. derÄquivalenz vorliegt.

Unterschiede imAntwortformatkönntenauchdieVorteilederCVdes I‐S‐T70 indenStudien

vonBulheller(1994)undWeibel(1991)erklären,dabeidiesemTestdieItemsineinemTest‐heftvorgegebensindunddieLösungenaufeinemAntwortbogenmarkiertwerdenmüssen.Die

durchdiedirekteEingabederLösungamComputergesparteZeitkönntedannzuhöherenmitt‐

lerenLeistungengeführthaben.

12.3.3 Zeitvorgabe

DieDarstellungderBearbeitungszeiterwiessichbeisiebenderelfSubtests(2,3,5,7,9,10und

11)als relevanteEinflussgröße (Tabelle10.21).AllerdingshattendiedreiDarstellungsformen

(„ohne“,„gesamt“und„einzeln“)inunterschiedlichenSubtestsunterschiedlicheEffekte.BeiSub‐

test2führtedasFehlenderZeitangabezueinergeringerenmittlerenLeistung( .03),insbe‐

sondere bei der Gesamtdarstellung der Items. Die Bewusstmachung der Restzeit bzw. der

Zwang,sichdurchdieBegrenzungaufzehnSekundenpro Itemzubeeilen, führtezubesserenLeistungen. Ebensowiesen die Probanden, die Subtest 7mit Zeitbegrenzung der Einzelitems

bearbeiteten,bessereLeistungenauf( .04).BeiSubtest3folgtenderBeschneidungderBe‐

arbeitungszeitproItemjedochgeringereLeistungen( .02).BeidenSubtests5und11hatte

dieBewusstmachungderRestzeitbessereErgebnissezurFolge( .03, .04),währendin

denSubtests9und10dasFehlendieserAnzeigediebesserenLeistungenbedingte,jedochnur

beiAntwortformat„einmalig“( .04, .10;vgl.Abbildung10.2).

EffektederZeitdarstellunghinsichtlichdesVergleichsderPBVundderCVbeiBerücksichti‐gungderBearbeitungsreihenfolgeunddesModusweisendagegendieSubtests1,3,4und8auf

(Tabelle10.23,Abbildung10.13).AmstärkstentratendieEffektebeiSubtest1auf.WirddieCV

zuT2bearbeitet,zeigtsicheinedeutlichereVerbesserungdermittlerenLeistungalsindenbei‐denanderenBedingungsausprägungen,wenndieZeitanzeigefehlt.BeiderBearbeitungderCV

zuT1resultierenhingegenbeiderAnzeigederRestzeithöhereWertealsohneundnochmals

niedrigereWertebei „einzeln“. Insbesondereder letztePunkt zeigte sichebensobeidenSub‐tests3und4.WenndieProbandenalsobereitseineErfahrungmitderTestunggemachthatten,

scheint das erneuteUnwissenumdieBearbeitungszeit zu einer höherenLeistung anregen zu

können,währenddieBegrenzungderBearbeitungszeitproItemindiesenFällenzuäquivalen‐tenBedingungenhinsichtlichdermittlerenLeistungführt,wenndieCVzuT2bearbeitetwurde.

Überdie15DurchführungsbedingungenhinwegzeigendieVergleichevonPBVundCVmit

AusnahmedesVergleichsderLeistungenzuT2mittlereEffekte. InderGesamtbetrachtung istder Unterschied zwischen CV und PBV bei der Anzeige der Restzeit imMittel am geringsten

(‐0.26),fürdieEinzelitemzeitbegrenzungamhöchsten(‐0.43)undfürdasFehlenderZeitanzei‐

gedazwischen(‐.35).BeimVergleichderLeistungeninCVundPBVderProbanden,diedieCVzuT1bearbeiteten,zeigensichfüralledreiBedingungenannäherndgleichstarkeEffekte(„ohne“:

Page 160: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

160·Resümee

‐0.84,„gesamt“:‐0.78,„einzeln“:‐0.80)inRichtungeinerbesserenLeistungindenPBV.Wirddie

CVzuT2bearbeitet, reduziertsichderVorteilderzweitenTestung indenBedingungsausprä‐gungen„ohne“und„gesamt“etwas(0.56,0.51),beiderZeitbegrenzungproItemhingegensehr

stark(0.11).WerdendieLeistungenvonCVundPBVderProbandenzuT1verglichen,ergeben

sichdeutlichbesseremittlereLeistungen inderPBV („ohne“: ‐0.47, „gesamt“: ‐0.48, „einzeln“:‐0.67).BeimVergleichderErgebnissezuT2hatbloßnochdasFehlenderZeitanzeigeeinenge‐

ringenvorteiligenmittlerenEffektfürdieCV(0.22),diebeidenanderenBedingungsausprägun‐

genzeigenhingegenkeineEffektemehr(0.00,0.06),wobeisichauchhierpositiveundnegativeEffekteausgleichen.

Insgesamtzeigtsich,dassdiedurcheineBegrenzungderBearbeitungszeitauf10Sekunden

pro Item intendierte schnellere Bearbeitung der Items nur bei Subtests mit tendenziell sehrleichten Items zu besseren Leistungen führt, dieser Effekt jedoch sehr begrenzt ist. Über alle

Subtests hinweg erweist sich diese Bedingungsausprägung eher als erschwerender Faktor,

wenngleicherzurhöchstenKorrelationzwischenPBVundCVführt(.63).DasFehlenderAnzei‐gederBearbeitungszeit,dasderPBVentspricht,erwiessichnichtkonsistentalsdiebessereBe‐

dingunghinsichtlichderÄquivalenz, zeigte aber einen ähnlichenEinflusswiedieAnzeigeder

Restzeit.

12.3.4 ModusundTestzeitpunkt

Abbildung10.7(S.115)veranschaulichtamdeutlichstendieInteraktionzwischendemBearbei‐

tungsmodusunddemBearbeitungszeitpunkt.FürdiemeistenSubtests (außer3,4, 8und10)

gilt,dasssichdieLeistungenderPBVindenbeidenErhebungszeitpunktenkaumunterscheiden(vgl.auchTabelle10.6undTabelle10.7)8,währenddiemittlerenLeistungenderCVzuT1deut‐

lich unter und zuT2 eher über denErgebnissender PBV liegen.Die Probanden verbesserten

sichsomitjeweilsbeiderzweitenTestung,wobeiProbanden,diedieCVzuT1bearbeiten,sichmeistnuraufdasNiveauderProbanden,diediePBVzuT1bearbeiteten,steigernkonnten.Die

LeistungssteigerungdieserProbandenfielhingegenimMitteldeutlichgeringeraus.

BeidenSubtests3,4undauch5fälltdieserEffektwesentlichwenigerstarkauf.WährendfürSubtest 3 kein Moduseffekt vorliegt, unterschieden sich die mittleren Leistungen in den vier

Vergleichsmaßen(PBVzuT1,CVzuT2,CVzuT1,PBVzuT2)derSubtests4und5generellge‐

ring,wobeisichhierdieobenbeschriebeneInteraktionabzeichnet.AuchbeiBerücksichtigungder Bedingungsvariationen verschwindet dieser Effekt nicht (vgl. z.B. Abbildung 10.13). Die

Reasoning‐Aufgaben der Subtests 4 und 5, die insgesamt eine höhere Powerkomponente auf‐

weisen, zeigen sich also weniger anfällig für einenModuseffekt als leichtere Aufgaben. DieseFeststellungwirddurchdasErgebnis von Subtest 10unterstützt, dessen Items als sehr leicht

undprinzipiellvonjedemlösbarangesehenwerdenkönnen.Hierzeigtesicheinsehrdeutlicher

Moduseffekt dahingehend, dass unabhängig vom Testzeitpunkt im Mittel in der CV wenigerItemsgelöstwurdenalsinderPBV.

AuchwenndieserEffektinderBedingungderEinzelitempräsentationdeutlichgeringerwar

alsbeiderGesamtpräsentationder Items,deutendiesebeidenErgebnissedaraufhin,dass für

8FürdenGesamttestscorederPBVsummierensichdie leichtenVorteilederzweitenTestungsostarkauf,dasseinbedeutsamerUnterschiedzwischendenbeidenGruppenvorliegt( 255 38 , 26841 , 271 2.79, .01).

Page 161: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Resümee·161

dieWahl derUmsetzung eines bestehenden Tests auf den Computer der Aspekt derBearbei‐

tungsdauer der einzelnen Items eine wesentliche Rolle spielenmuss. Die von Franke (1998)zusammengestellten Ergebnisse (vgl. Kapitel 4.1) hinsichtlich der Raven‐Matrizentests unter‐

stützendieseSchlussfolgerung.HäufigwurdeübereinstimmendmitdemhohenPoweranteilund

der relativ langenBearbeitungsdauerder ItemsÄquivalenzberichtet.WennsichUnterschiedezeigten,dannlagderVorteilbeiderPBV.

Für dieMöglichkeit, den Testwiederholungseffekt unkonfundiert quantifizieren zu können,

hättenvonzweiweiterenGruppenTestundRetestimselbenModuserhobenwerdenmüssen.InAnbetrachtdervorliegendenErgebnissewärediesesVorgehen fürweiterediesbezüglicheUn‐

tersuchungenzuempfehlen,sofernderdarausresultierendeMehraufwandeinerverdoppelten

Stichprobengrößeumsetzbar ist. EineAlternativehierfürbietendieParalleltestsdesLPS‐neu,diesichwährendderFertigstellungdieserArbeit inderErprobungbefinden.Damitwürdeso‐

wohldiewiederholteTestungimselbenModusalsauchdieTestwiederholungimanderenMo‐

dusmöglich,sofernjederProbandbeideVersionenzuzweiTestzeitpunktenjeeinmalalsCVundeinmalalsPBVbearbeitenwürde.

12.3.5 Fazit

Insgesamtbleibtfestzuhalten,dassdieDurchführungderTestungamComputerinderRegelzu

geringerenTestergebnissenalsbeiderTestungalsPBVführt(vgl.Tabelle2.24).AbhängigvonderArtderItems,insbesonderedesAnteilsvonPower‐undSpeedkomponenten,undderForm

derAntwortabgabe inderPBV(mitoderohnegesondertemAntwortbogen)könnendieseUn‐

terschiededurchdiegeeigneteAuswahlderDarstellungderItemsunddesAntwortformatsso‐wiedurchdieAnzeigebzw.dasVerbergenderBearbeitungszeitkompensiertwerden,wasins‐

besonderebeidenReasoning‐Subtests4und5(vgl.Tabelle10.33)beobachtbarwar.IstdieBe‐

arbeitungszeitpro Itemgering, solltenVerzögerungenvermiedenwerden;ein „weiter“‐ButtonistindiesemFalleherkontraproduktiv.EssprichtnursehrweniggegendieEinzelpräsentation

der Items, sodassdiebisherigePraxisdiesbezüglichalsunkritischgesehenwerdenkannund

dieChancendererfolgreichenUmsetzungadaptiverTestsnichtdurchdiesesMerkmalgeschmä‐lertwerden.AuchwenndieAnzeige derRestzeit imVergleich zumFehlenderAnzeige kaum

unterschiedlicheEffekteaufweist, sollandieserStelledieEmpfehlungausgesprochenwerden,

dieUmsetzungamComputerdemVorgeheninderPBVanzupassen,dafüreinigeSubtestsdaspermanenteWissen um die verbleibende Bearbeitungsdauer zu ungewollten Effekten führen

kann.

FüreinekorrekteÜbersetzungeinesTestsaufdenComputeristdieÜbereinstimmungvonCVundPVBempirischnachzuweisen.EineunkontrollierteÜbernahmederNormenderPBVwird

unterUmständenzumassivenVerzerrungenderErgebnisseundsomitzugravierendenFehlern

inderEinschätzungderLeistungdesProbandenführen.

Page 162: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag
Page 163: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Zusammenfassung·163

13. Zusammenfassung

DasLeistungsprüfsystem(LPS;Horn,1983)isteinhäufigangewandtesVerfahrenzurÜberprü‐fungderkognitivenLeistungsfähigkeit.AufgrundseinesfortgeschrittenenAltersergabsichdie

Notwendigkeit,übereineRevisionnachzudenken.DieAnalyseeinesgroßenTeilsderPublikati‐

onenzumLPS legteeineNeustrukturierungund theoretischeNeuorientierungdesVerfahrensnahe.Vondenbisher15Subtestswurdenneunüberarbeitetübernommen;zweiNeukonstrukti‐

onen,basierendaufdenPrinzipienalterLPSSubtests,komplettierendieneueLeistungstestbat‐

terieLPS‐neu.DieelfSubtests(Allgemeinwissen(1),Anagramme(2),Figurenfolgen(3),Zahlen‐folgen(4),Buchstabenfolgen(5),MentaleRotation(6),Flächenzahl(7),Linienmuster(8),Achtes

Zeichen (9), Zeilenvergleich (10), Addieren (11))messen – bestätigt durch eine konfirmatori‐

sche Faktorenanalyse – basierend auf der Drei‐Ebenen‐Intelligenztheorie von Carroll (1993)vierFaktorenkognitiverKompetenzzweiterOrdnung(kristalline(1,2)undfluide(3,4,5)Intel‐

ligenz, visuelleWahrnehmung (6, 7, 8) und kognitive Geschwindigkeit (9, 10, 11)) und einen

FaktordritterOrdnung(AllgemeineIntelligenz, ).BisherstandennurdieerstenvierSubtestsdesLPSfüreineTestungamComputerzurVerfü‐

gung.AufgrundderzunehmendenRelevanzdieserTestformwurdeüberprüft,wieeineCompu‐

terversion(CV)derSubtestsdesLPSbeschaffenseinmuss,damitÄquivalenzzwischenderPa‐pier‐Bleistift‐Version(PBV)undderCVvorliegt.Zielwarjedochnichtnur,fürdasLPS‐neuäqui‐

valente Bedingungen zu schaffen, sondern generell Verfahrenshinweise zu geben, wie unter‐

schiedlichbeschaffeneAufgabenartenundTestzusammenstellungenbei ihrerÜbersetzungaufdenPC am ehesten äquivalenteErgebnisse für die beidenModi PBVundCV erzielen können.

HierfürwurdendieDarstellungderItemsamPC,dieFormderAntworteingabeunddieDarstel‐

lungderBearbeitungszeitvariiert.ZurÜberprüfungvonWiederholungseffektenwurdedieRei‐henfolgederBearbeitungvonPBVundCVvariiert(PBV‐CV;CV‐PBV).

Von205BerufsschülernlagenvollständigbearbeiteteTestssowohlderPBValsauchCVdes

LPS‐neuvor(insgesamtnahmen 298SchüleranderUntersuchungteil).DiemittlerenLeis‐tungenderPBVderSubtestszudenbeidenErhebungen(T1undT2)unterschiedensichnurfür

dieSubtests3und8sowiefürdenGesamtscore.IndenübrigenSubtestsführteeinezweiteTes‐

tungimMittellediglichzudeskriptivenVerbesserungen(außerbeiSubtest11,beidembeiderzweitenTestungimMittelwenigerItemsrichtiggelöstwurden).Allgemeinverbessertensichdie

ProbandenzwischenderTestungalsCVzuT1zurPBVzuT2stärkeralsvonderPBVzuT1zur

CVzuT2,worauseingenerellererschwerenderEffektdurchdieCVzufolgernist.DieeinzelnePräsentationjedesItemsinderCVführtvorallemdannzuVerzerrungen,wennderTestbereits

alsPBVbearbeitetwurde.IstderTesthingegenunbekannt,isteszweitrangig,obdieItemsam

PCeinzeln(wiehäufigüblich)oderallegleichzeitig(wie inderPBV)angezeigtwerden. Insge‐samtweistdiePräsentationsartderItemsbeidenmeistenSubtests jedochnureinengeringen

Effekt auf. DieMöglichkeit, trotz Einzelitempräsentation über einAuswahlmenü zu jedembe‐

reitsbearbeitetenItemzurückzukehren,führtewiderErwartenzukeinerErhöhungderÄquiva‐lenz.AuchinderderPBVentsprechendenDarstellungallerItemsamPCmitpermanenterKor‐

rekturmöglichkeitkonntekeinebesondersgeeigneteCVhinsichtlichÄquivalenzgefundenwer‐

den.DiemittlerenLeistungenwerdendurchdieAnzeigeder restlichenBearbeitungszeit bzw.demFehlenderAnzeigenurgeringfügigunterschiedlichbeeinflusst.DieBegrenzungderBear‐

Page 164: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

164·Zusammenfassung

beitungszeiteinesItemsauf10SekundenführtinSubtestsmittendenziellleichtenItemszuei‐

nerLeistungserhöhung;überalleSubtestshinwegreduziertdieseBedingungjedochdiemittlereLeistung.

Für einzelne Bedingungskonstellationen konnte die Äquivalenz einzelner Subtests gezeigt

werden. Jewichtigerdiemöglichst schnelleBearbeitungder Items in einemSubtest ist, destosensibler reagierendieErgebnisse aufdieunterschiedlichenBedingungsvariationen.Bei jeder

ÜbersetzungeinesTestsaufdenComputeristdieÜbereinstimmungvonCVundPVBempirisch

nachzuweisenundkannnichtaprioriangenommenwerden.

Page 165: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Literaturverzeichnis·165

14. Literaturverzeichnis

Akaike,H.(1987).FactoranalysisandAIC.Psychometrika,52,317–332.

Amthauer,R.(1955,1970).ISTIntelligenz‐Struktur‐Test.Hogrefe:Göttingen.

Anastasi,A.(1976).Psychologicaltesting.NewYork:MacMillanPublishing.

Anderson,J.C.&Gerbing,D.W.(1984).Theeffectofsamplingerroronconvergence,impropersolutions,andgoodness‐of‐fit indicies formaximumlikelihoodconfirmatoryfactoranalysis.Psychometrica,49(2),155‐173.

APA,AmericanPsychologicalAssociation.(1986).Guidelinesforcomputer‐basedtestsandinter‐pretations.WashingtonDC:Author.

Arbuckle,J.L.(2008a).Amos(Version17)[ComputerProgram].Chicago:SPSS.

Arbuckle,J.L.(2008b).Amos17User'sGuide.Chicago:SPSS.

Aurin,K. (1968).GleicheChancen imBildungsgang. InKultusministeriumBaden‐Württemberg(Hrsg.),BildunginneuerSicht,ReiheANr.9.Villingen:NeckarVerlag.

Backhaus,K.,Erichson,B.,Plinke,W.&Weiber,R.(2003).MultivariateAnalysemethoden.Berlin:Springer.

Bentler,P.M. (1990).Comparative fit indexes in structuralmodels.PsychologicalBulletin,107(2),238‐246.

Bergemann,N.,Daumenlang,K.& Johann,G.‐K. (1981).ClusteranalytischeBefunde zur Intelli‐genzdifferenzierung.PsychologischeBeiträge,23(3‐4),353‐368.

Biehl,B.,Dangel,S.&Reiser,A.(1981).ProfileofMoodStates.InCollegiumInternationalePsy‐chiatriaeScalarum(CIPS,Hrsg.),InternationaleSkalenderPsychiatrie.Weinheim:Beltz.

Birnbaum,A.(1968).Somelatenttraitmodels.InF.M.Lord&M.R.Novick,Statisticaltheoriesofmentaltestscores(pp.397‐479).ReadingMA:Addison‐Wesley.

Bittner,W.(1960).ÜberdieFaktorenstrukturderIntelligenzbeiJugendlichen.UntersuchungüberdieAbhängigkeitderFaktorenstrukturvonNeurotizismus.UnveröffentlichteHausarbeitUni‐versitätMarburg‐Lahm.

Blunch,N. J. (2008). Introduction toStructuralEquationModellingusingSPSSandAMOS. Sage:LosAngeles.

Bollen,K.A.(1989).Structuralequationswithlatentvariables.NewYork:Wiley.

Boomsma,A.(2000).Reportingonstructuralequationanalyses.StructuralEquationModeling,7(3),461‐483.

Bortz,J.(2005).StatistikfürHuman‐undSozialwissenschaftler.Berlin:Springer.

Brandtstädter,J.(1972).ZurempirischenGrundlegungeinerTheoriederBeziehungenzwischen„Persönlichkeit“ und „Intelligenz“: Ergebnisse einer Erkundungsstudie. Psychologische Bei‐träge,14(4),38‐60.

Brennan,R.L.(2001).Generalizabilitytheory.NewYork:Springer.

Brickenkamp,R.(1972).Testd2,Aufmerksamkeits‐undBelastungs‐Test.Hogrefe:Göttingen.

Briggs,D.C.&Wilson,M.(2003).AnintroductiontomultidimensionalmeasurementusingRaschmodels.JournalofAppliedMeasurement,4(1),87‐100.

Bulheller,S. (1994).UntersuchungenzurÄquivalenzausgewählterSubtestsdes IntelligenzStruk‐tur‐Tests. Wuppertal: Diplomarbeit im Fach Psychologie, Fachbereich Erziehungswissen‐schaften.

Page 166: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

166·Literaturverzeichnis

Byrne,B.M.(2001).StructuralEquationModelingwithAMOS.BasiscConcepts,Applications,andProgramming.Hillsdale,NewJersey:LawrenceErlbaumAssociates.

Calvert,E.J.&Waterfall,R.C.(1982).Acomparisonofconventionalandautomatedadministra‐tionofRaven'sStandardProgressiveMatrices.InternationalJournalofMan‐Machine‐Studies,17,305‐310.

Carroll,J.B.(1945).Theeffectofdifficultyandchancesuccessoncorrelationsbetweenitemsorbetweentests.Psychometrika,10(1),1‐19.

Carroll, J. B. (1993).Human cognitive abilities: A survey of factor‐analytic studies. Cambridge:CambridgeUniversityPress.

Carroll,J.B.(2005).Thethree‐stratumtheoryofcognitiveabilities.InD.P.Flanagan&P.L.Har‐rison(Eds.),Contemporaryintellectualassessment(pp.69‐76).NewYork:Guilford.

Casella,G.&Berger,R.L.(2008).Statisticalinference.PacificGrove:Duxbury.

Cattell,R.B.(1952).Factoranalysis.An introductionandmanual forthepsychologistandsocialscientist.NewYork:HarperandBrothers.

Cheng,Y.‐Y.,Wang,W.‐C.&Ho,Y.‐H.(2009).MultidimensionalRaschanalysisofapsychologicaltestwithmultiplesubtests:Astatisticalsolutionforthebandwidth‐fidelitydilemma.Educa‐tionalandPsychologicalMeasurement,69(3),369‐388.

Cohen,J.(1969).Statisticalpoweranalysisforthebehavioralsciences.NewYork:AcademicPress.

Cohen,J.(1973).Eta‐squaredandpartialeta‐squaredinfixedfactorANOVAdesigns.EducationalandPsychologicalMeasurement,33,107‐112.

Cohen,J.(1988).Statisticalpoweranalysisforthebehavioralsciences(SecondEdition).Hillsdale:Erlbaum.

Conover,W.J.(1999).Practicalnonparametricstatistics.NewYork:Wiley.

Collins,M.&Odell,K.(1986).Computerizationofatraditionaltestfornonverbalvisualproblemsolving.CognitiveRehabilitation,4,16‐18.

Cronbach,L.J.,Gleser,G.C.,Nanda,H.&Rajaratnam,N.(1972).Thedependabilityofbehavioralmeasurements:Theoryofgeneralizabilityforscoresandprofiles.NewYork:Wiley.

Curran, P. J., West, S. G. & Finch, J. F. (1996). The robustness of test statistics to nonnormality and specification error in confirmatory factor analysis. Psychological Methods, 1 (1), 16-29.

Daniels,J.C.(1971).Figurereasoningtest.London:CrosbyLockwood&Son.

DeBoeck,P.&Wilson,M. (2004).Explanatory itemresponsemodels:Ageneralized linearandnonlinearapproach.NewYork:Springer.

DeCarlo,L.T.(1997).Onthemeaninganduseofkurtosis.PsychologicalMethods,2(3),292‐307.

Diehl,J.M.&Arbinger,R.(2001).EinführungindieInferenzstatistik.Eschborn:Klotz.

Düker,H.&Lienert,G.A.(1965).Konzentrations‐Leistungs‐TestK‐L‐T.Göttingen:Hogrefe.

Embretson,S.(1984).Agenerallatenttraitmodelforresponseprocesses.Psychometrika,49(2),175‐186.

Fahrenberg,J.,Hampel,R.&Selg,H.(1994).DasFreiburgerPersönlichkeitsinventarFPl.Revidier‐teFassungFPI‐RundteilweisegeänderteFassungFPl‐A1.Handanweisung.Göttingen:Hogrefe.

Fenske,B.(1992).IntelligenzmessunginderComputerdiagnostik.UnveröffentlichteDiplomarbeitBerlin:Humboldt‐Universität,FachbereichPsychologie.

Page 167: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Literaturverzeichnis·167

Ferguson,G.A. (1941).The factorial interpretationof testdifficulty.Psychometrika6(3),323‐329.

Fischer, G. H. (1974).Einführung indieTheoriepsychologischerTests.GrundlagenundAnwen‐dungen.Bern:Huber.

Fischer,G.H.(1995a).Thelinearlogistictestmodel.InG.H.Fischer&I.Molenaar(Eds.),Raschmodels‐foundations,recentdevelopments,andapplications(pp.131‐155).NewYork:Spring‐er.

Fischer,G.H. (1995b).Linear logisticmodels for change. InG.H.Fischer& I.Molenaar (Eds.),Raschmodels ‐ foundations,recentdevelopments,andapplications (pp.157‐180).NewYork:Springer.

Fisher, R. A. (1928). The general sampling distribution of themultiple correlation coefficient.ProceedingsoftheRoyalSocietyofLondon,SeriesA,containingpapersofamathematicalandphysicalcharacter,121(788),654‐673.

Fleishman,A.I.(1980).Confidenceintervalsforcorrelationratios.EducationalandPsychologicalMeasurement,40(3),659‐670.

Franke,G.H.(1995).SCL‐90‐R.DieSymptom‐ChecklistevonDerogatis‐DeutscheVersion.Göttin‐gen;BeltzTest.

Franke, G. H. (1998). Computerunterstützte klinisch‐psychodiagnostische Selbstbeurteilungsver‐fahrenimÄquivalenztest.Lengerich:Pabst‐Verlag.

Gaensslen,H.&Schubö,W.(1973).EinfacheundkomplexestatistischeAnalyse.München:Rein‐hardt.

Gittler,G.(1990).DreidimensionalerWürfeltest(3DW).Weinheim:Beltz.

Glass,G.V.(1976).Primary,secondary,andmeta‐analysisofresearch.EducationalResearcher,5(10),3‐8.

Greif,S.(1972).Gruppenintelligenztests–UntersuchungenamWIT,IST,LPSundAIT.Frankfurta.M.:Lang.

Grissom,R. J.&Kim,J. J. (2005).Effectsizes forresearch:Abroadpracticalapproach.Mahwah:LawrenceErlbaum.

Groffmann, K.‐J. & Schneevoigt, I. (1964). Vorläufige Ergebnisse einer VergleichsuntersuchunganStudentenmitdemLeistungsprüfsystem(LPS)vonHornunddemIntelligenzstrukturtest(IST)vonAmthauer.SchweizerischeZeitschriftfürPsychologieundihreAnwendungen,23(3),243‐252.

Guilford,J.P.&HoepfnerR.(1976).AnalysederIntelligenz.Weinheim:Beltz.

Gulliksen,H. (1945). The relationof itemdifficulty and inter‐item correlation to test varianceandreliability.Psychometrika,10(2),79‐91.

Gulliksen,H.(1950).Theoryofmentaltests.NewYork:Wiley.

Gustafsson,J.E.(1984).Aunifyingmodelforthestructureofintellectualabilities.Intelligence,8,179–203.

Hänsgen,K.‐D.(1999).ComputereinsatzinderPsychodiagnostik‐StandundmöglichePerspekti‐ven.ForschungsberichtNr.141.Freiburg/Schweiz:Psychologisches InstitutderUniversitätFreiburg.

Hedges,L.V.(1981).DistributiontheoryforGlass'sestimatorofeffectsizeandrelatedestima‐tors.JournalofEducationalStatistics,6(2),107‐128.

Hedges,L.V.&Olkin,I.(1985).Statisticalmethodsformeta‐analysis.Orlando:AcademicPress.

Page 168: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

168·Literaturverzeichnis

Honaker,L.M.(1988).TheequivalencyofcomputerizedandconventionalMMPIadministration:Acriticalreview.ClinicalPsychologyReview,8,561‐577.

Horowitz,L.M.,Strauß,B.&Kordy,H.(1995).InventarzurErfassunglnterpersonalerProbleme‐DeutscheVersion.Göttingen:Beltz‐Test.

Horn, J.L. (1994).Thetheoryof fluidandcrystallized intelligence. InR. J.Sternberg(Ed.),Theencyclopediaofintelligence(pp.443—451).NewYork:Macmillian.

Horn,J.L.&Blankson,N.(2005).Foundationsforbetterunderstandingcognitiveabilities.InD.P. Flanagan & P. L. Harrison (Eds.),Contemporary IntellectualAssessment (pp. 41‐68). NeyYork:TheGuilfordPress.

Horn,W.(1956).BegabungstestsystemB‐T‐S.Göttingen:Hogrefe.

Horn,W.(1962,1983).LeistungsprüfsystemL‐P‐S.Göttingen:Hogrefe.

Horn,W.(1969).PrüfsystemfürSchul‐undBildungsberatungP‐S‐B.Göttingen:Hogrefe.

Horn, W. neu bearbeitet von H. Lukesch, S. Mayrhofer & A. Kormann (2003). Prüfsystem fürSchul‐undBildungsberatungfür6.bis13.Klassen‐RevidierteFassung(PSB‐R6‐13).Handan‐weisung.Göttingen:Hogrefe.

Horst,P.(1941).Anon‐graphicalmethodfortransforminganarbitraryfactormatrixintoasim‐plestructurefactormatrix.Psychometrika,6,79‐99.

Hunter, J.E.,&Schmidt,F.L. (1990).Methodsofmeta‐analysis:Correctingerrorandbias inre‐searchfindings.NewburyPark:Sage.

Hunter, J.E.,Schmidt,F.L.& Jackson,G.B. (1982).Meta‐analysis:cumulatingresearch findingsacrossstudies.BeverlyHills:SagePublications.

Irtel,H.(1996).Entscheidungs‐undtesttheoretischeGrundlagenderPsychologischenDiagnostik.FrankfurtamMain:VerlagPeterLang.

ITC, InternationalTestCommission(2005). InternationalGuidelinesoncomputer‐basedand In‐ternetdeliveredtesting.(Zugriffam01.01.2010überhttp://www.intestcom.org/guidelines).

Jackson,D.N.(1984).Multidimensionalaptitudebattery:Manual.Ontario:ResearchPsychologistPress.

Jäger,A.O.(1963).DerWildeTest,einneuesIntelligenzdiagnostikum.Zeitschriftfürexperimen‐telleundangewandtePsychologie,10,260‐278.

Jäger,A.O.(1982).MehrmodaleKlassifikationvonIntelligenzleistungen.Experimentellkontrol‐lierte Weiterentwicklung eines deskriptiven Intelligenzstrukturmodells. Diagnostica, 28,195–226.

Jäger,A.O.,Süß,H.‐M.&Beauducel,A.(1997).BerlinerIntelligenzstruktur‐TestBIS‐Test,Form4.Göttingen:Hogrefe.

Kaiser,H.F.(1958).TheVarimaxcriterionforanalyticrotationinfactoranalysis.Psychometrika,23,187‐200.

Klinck,D. (1998).Papier‐Bleistift‐versuscomputer‐unterstützteAdministrationkognitiverFä‐higkeitstests:EineStudiezurÄquivalenzfrage.Diagnostica,44(2),61‐70.

Koopmann,W. (1964).Untersuchungüberdie Intelligenzstruktur inAbhängigkeitvonAlterundGeschlecht.UnveröffentlichteVordiplomarbeit,UniversitätHamburg.

Kratzmeier,H.(1976).Raven‐Matrizen‐Test.AdvancedProgressiveMatrices.Weinheim:Beltz.

Kreuzpointner, L. (2008).StatistischeAnalyseneignungsdiagnostischerDaten:Anwendungmul‐tivariaterVerfahren imRahmeneinerUntersuchungderEignungsdiagnostikdesBerufsförde‐rungswerksEckert.Saarbrücken:VDMVerlag.

Page 169: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Kreuzpothewcholo

Kubingefürdtrag.

Kučera,Psych

Kury,H.testv

Květon,testd

Leary,Lpear:387‐4

Langfeldnosti

Langfeldon:P

Lee,J.Amanc

Liebert,logic

Lienert,schrif

Lienert,

Linn,R.LindeFremment

Lord,F.Erlba

Lord,F.son‐W

Lutz,B.matioTrier

Mead,Aabilit

Marks,Ptigke55,4

McDonayses.

ointner,L.,Swithin‐groupogy,Pre‐prin

er,K.D.&FaieComputeZeitschriftf

M. (1992).hodiagnosti

.(1972).VevonAmthau

P.,Jelínek,designandp

L.F.&Doran:Ahistorica413.

dt,H.‐P.(19ica,21(3),1

dt‐Nagel,M.Pädagogisch

A.,Moreno,Kce.Educatio

R.M.&Liebalresearch.

G.A.(1966ftfürexperi

G.A.&Raat

L.,Drasgowen,W.J.(20mer&W.Wats(pp.289‐2

M. (1980).aum.

M.,&NovicWesley.

(1983).Leison und Dokr:ZPID.

A.D.&Drasgtytests:Am

P.,Seeber,AeitdesLeist9‐64.

ald,R.P.&HPsychologic

Simon,P.&p agreemenntarticle,DO

arkas,M.G.r‐Vorgabe:EfürDifferent

Testkoncenika,s.r.o.

ergleichsuntuerunddem

M.,Vobořil,problemofe

ns,N. J.(19alperspectiv

975).EinBe23‐130.

(1979).DereHochschu

K.E.&SympnalandPsyc

bert,L.L.(1Englewood

6).DieFaktomentelleun

tz,U.(1998)

w,F.,Camara02).Compuard(Eds.),C299).Hillsda

Application

ck,M.R.(19

stungsprüfsykumentation

gow,F.(199meta‐analysi

A.&Stümpetungsprüfsy

Ho,M.R.(20calMethods,

Theis,F.J.nt of ratingsOI:10.1348/

(1991).DieEinExperimielleundDia

ntracepozo

tersuchungamLeistungsp

D.&Klimuequivalency

85). Implicaveonanim

eitragzurFa

rEinflussdeleRheinland

pson,J.B.(1chologicalM

1995).ScienCliffs,NJ:Pr

orenstruktudangewand

).Testaufba

a,W.,Crockeuter‐basedteComputer‐baale,NJ:Lawr

nsof itemre

968).Statist

ystemL‐P‐Sn (ZPID) (H

93).Equivals.Psycholog

er,R.(1975stems (LPS)

002).Princip7(1),64‐82

(2009).Thes.British Jo/000711009

eBrauchbarmentamBeiagnostische

ornosti [Test

anPsycholoprüfsystemv

usová,H.(20y.Computers

ations forammediateco

aktorenstru

erSchulbildud.

986).TheeMeasuremen

nceandbeharentice‐Hall

rderIntellidtePsycholog

uundTesta

er,L.,Hambesting:AresasedtestingrenceErlbau

esponse theo

ticaltheorie

(Dok.‐Nr.02Hrsg.), PSYN

lenceofcomgicalBulletin

).Untersuch)vonHorn.

plesandpra2.

eadcoefficieurnal ofMa9X465647.

rkeitderNospielderSPPsychologie,

tofConcent

ogiestudentevonHorn.Ps

007).CompusinHumanB

lteringtheoncern.Revi

kturdesLe

ungaufIntel

ffectsoftest,46(2),46

avior:Anintl.

igenzalsFugie,10,140‐

nalyse.Wein

bleton,R.K.,searchageng:Buildingtum.

ory topract

esofmental

294).InZenNDEX, Segm

mputerizedn,114,449‐4

hungenzum.Problemeu

acticeinrep

Liter

entasadesathematical

rmenvonPPMvonRave,12,257‐26

rationofAt

enmitdemsychologieu

uter‐basedBehavior,23

context inwewofEduca

istungsprüf

lligenztestle

tadministra7‐474.

troductionto

nktiondesN‐159.

nheim:Beltz

Plake,B.S.,da.InC.N.Mthe foundatio

tical testing

testscores.

ntrumfürPsment Tests (

andpaper‐a458.

mGeltungsbundErgebni

ortingstruc

raturverzeich

scriptivemeand Statist

Papier‐Bleistenalskritisc66.

ttention]. Br

IntelligenzsndPraxis,1

tests:Theim3,32‐51.

whichtest itationalRese

fsystem(LP

eistungen.Di

ationontes

omethodsof

Neurotizism

z.

,Stout,W.&Mills,M.Potion for futur

problems.H

Reading,M

sychologisch(Online‐Dat

and‐pencilc

bereichundissederPsy

cturalequat

hnis·169

easureoftical Psy‐

tift‐TestscherBei‐

ratislava:

struktur‐7,57‐67.

mpactof

temsap‐earch,55,

S).Diag‐

issertati‐

stperfor‐

fpsycho‐

mus.Zeit‐

&vandertenza,J.J.reassess‐

Hillsdale:

MA:Addi‐

heInfor‐enbank).

cognitive

zurGül‐ychologie,

ionanal‐

Page 170: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

170·Literaturverzeichnis

McGrew,K. S. (2005). TheCattell‐Horn‐Carroll theory of cognitive abilities: Past, present, andfuture.InD.Flanagan&P.L.Harrison(Eds.),Contemporaryintellectualassessment(pp.136‐181).NewYork:Guilford.

Meili,R.(1966).AnalytischerIntelligenztest(AIT).Bern:Huber.

Morgan,W.A.(1939).Atestforthesignificanceofthedifferencebetweenthetwovariancesinasamplefromanormalbivariatepopulation.Biometrika,31(1),13‐19.

Neisser,U.(1967).Cognitivepsychology.NewYork:Appleton‐CenturyCrofts.

Neubauer,A.C.,Urban,E.&Malle,B.F.(1991).RavensAdvancedProgressiveMatrices:Comput‐erunterstütztePräsentationversusStandardvorgabe.Diagnostica,37,204‐212.

Neuman, G. & Baydoun, R. (1998). Computerization of paper‐and‐pencil tests:When are theyequivalent?AppliedPsychologicalMeasurement,22(1),71‐83.

Norris,M. (1994/1995).Assessing intellectual ability:A comparisonbetween computerbasedand paper‐pencil format using Raven's Standard Progressive Matrices Test. University ofWestminster,SchoolofComputerScience&InformationSystemEngineering:FinalYearPro‐jectReportBSc(Hons)CognitiveScience,Supervisor:BrendaWalter.

Olkin,I.,Gleser,L.J.&Derman,C.(1980).Probabilitymodelsandapplications.NewYork:Macmil‐lanPublishing.

Olson,C.L.(1976).Onchoosingateststatisticinmultivariateanalysisofvariance.PsychologicalBulletin,83,579‐586.

Pearson,K. (1905).Mathematicalcontributions to the theoryofevolution.XIV.On thegeneraltheoryof skewcorrelationandnon‐linear regression.Drapers’CompanyResearchMemoirs.BiometricSeries,II.Cambridge:CambridgeUniversityPress.

Pierce,C.A.,Block,R.A.,&Aguinis,H.(2004).Cautionarynoteonreportingeta‐squaredvaluesfrommultifactor ANOVA designs.EducationalandPsychologicalMeasurement,64 (6), 916‐924.

Raudenbush,S.W.&Bryk,A.S.(2006).Hierarchicallinearmodels.ThousandOaks:Sage.

Rasch,G.(1960;1980).Probabilisticmodelsforsome intelligenceandattainmenttests.Chicago:Univ.ofChicagoPress.

Raven,J.C.(1958).StandardProgressiveMatrices.London:H.K.Lewis.

Raven,J.C.,Court,J.H.&Court,J.(1977).ManualforRaven'sprogressivematricesandvocabularyscales.London:H.K.Lewis.

Reinert,G.,Baltes, P.B., Schmidt. L.R. (1965). FaktorenanalytischeUntersuchungen zurDiffe‐renzierungshypothese der Intelligenz: Die Leistungsdifferenzierungshypothese. Psycholo‐gischeForschung,28,246‐300.

Richardson,M.W. (1936).Therelationbetween thedifficultyand thedifferential validityof atest.Psychometrika,1(2),33‐49.

Rijmen,F.&Briggs,D.C.(2004).Multiplepersondimensionsandlatentitempredictors.InP.DeBoeckandM.Wilson(Eds.),Explanatoryitemresponsemodels:Ageneralizedlinearandnon‐linearapproach,Springer.NewYork.

Rock,D.L.&Nolen,P.A.(1982).ComparisonofthestandardandcomputerizedversionsoftheRavencolouredprogressivematricestest.PerceptualandMotorSkills,54,40‐42.

Rosenthal,R.(1984).Meta‐analyticproceduresforsocialresearch.BeverlyHills:Sage.

Rost,D.H.(2009).Intelligenz.FaktenundMythen.Weinheim:Beltz.

Rost,J.(2004).LehrbuchTesttheorie–Testkonstruktion.Bern:Huber.

Page 171: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Literaturverzeichnis·171

Rustenbach,S.J.(2003).Metaanalyse:EineanwendungsorientierteEinführung.Bern:Huber.

Schumacher,E. (1988).Selbstbild,Arbeits‐undLeistungsverhaltenbeiArbeitslosen imVergleichzuErwerbstätigen–eineempirischeUntersuchung.München:Profil.

Shepard,R.N.&Metzler, J. (1971).Mental rotationof three‐dimensionalobjects.Science,171,701‐703.

Schoenfeldt,L.F.(1989).Guidelinesforcomputer‐basedpsychologicaltestsandinterpretations.ComputersinHumanBehavior,5(1),13‐21.

ScienceResearchAssociates (1984).OfficeSkillsTests (OST):Examiner'smanual. Chicago: Au‐thor.

Sheng, Y. &Wikle, C. K. (2007) Comparingmultiunidimensional and unidimensional item re‐sponsetheorymodels,EducationalandPsychologicalMeasurement,67(6),899‐919.

Schmid, J. & Leimann, J. M. (1957). The development of hierarchical factor solutions. Psy‐chometrika,22(1),53‐61.

Schulze,R.(2004).Meta‐analysis:Acomparisonofapproaches.Cambridge:Hogrefe&Huber.

Smithson,M.J.(2003).Confidenceintervals,quantitativeapplicationsinthesocialsciencesseries,No.140.ThousandOaks:Sage.

Senka, J.,Kuruc, J.&Čečer,M. (1992).Bourdonov test [Bourdon’sTest].Bratislava:Psychodiag‐nostika,s.r.o.

Spearman,C.&Jones,L.W.(1950).HumanAbility:AContinuationof"TheAbilitiesofMan".Lon‐don:Macmillan&Company.

Steck, P., Rausche, A. & Steege, F. W. (1975). Faktorenanalytischer Vergleich gebräuchlicherdeutschsprachigerIntelligenztests.PsychologieundPraxis,19,145‐158

Steiger,J.H.(2004).BeyondtheFtest:Effectsizeconfidenceintervalsandtestsofclosefitintheanalysisofvarianceandcontrastanalysis.PsychologicalMethods,9(2),164‐182.

Steiger,J.H.&Fouladi,R.T.(1997).Noncentralityintervalestimationandtheevaluationofsta‐tisticalmodels.InL.L.Harlow,S.A.Mulaik&J.H.Steiger(Eds.),Whatiftherewerenosignifi‐cancetests?(pp.221–257).Mahwah:Erlbaum.

Steller,M.&Stürmer,M.(1984).Space.Reasoningoderwas?‐ZurValiditätdes"Raumvorstel‐lungstests" LPS8/PSB7.Zeitschrift fürExperimentelleundAngewandtePsychologie,31 (4),671‐692.

Steyer,R.&Eid,M.(2001).MessenundTesten.Berlin:Springer.

Sturm,W.,Willmes,K.&Horn,W.(1993).Leistungsprüfsystem für50‐90jährige(LPS50+).Göt‐tingen:Hogrefe.

Sykes, R. C. & Ito, K. (1997). The effects of computer administration on scores and item‐parameterestimatesofan IRT‐based licensureexamination.AppliedPsychologicalMeasure‐ment,21(1),51‐63.

Tent,L.(1969).DieAuslesevonSchülernfürweiterführendeSchulen.Göttingen:Hogrefe.

Thurstone, L. L. (1938, repr. 1969). PrimaryMental Abilities. Chicago: University of ChicagoPress.

Thurstone,L.L.(1944).Second‐orderfactors.Psychometrika,9(2),71–100.

Thurstone,L.L.(1947).Multiplefactoranalysis.Chicago:UniversityofChicagoPress.

Thurstone,L.L.,&Thurstone,T.G.(1941).Factorialstudiesofintelligence.Chicago:UniversityofChicagoPress.

Page 172: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

172·Literaturverzeichnis

Troche, S., Rammstedt, B. & Rammsayer T. (2002). Vergleich einer Papier‐Bleistift‐ und einercomputergestütztenVersiondesLeistungsprüfsystems(LPS).Diagnostica,48,115‐120.

Überla,K.(1971).Faktorenanalyse.Berlin:Springer.

Verhelst,N.D.,Verstralen,H.H.V.M.&Jansen,M.G.H.(1997).A logisticmodel fortime‐limittests.InW.vanderLinden&R.K.Hambleton(Eds.),HandbookofModernItemResponseThe‐ory(pp.169‐186).NewYork:Springer.

Wang,S., Jiao,H.,Young,M.J.,Brooks,T.E.&Olson,J.(2007).Ameta‐analysisoftestingmodeeffectsinGradeK‐12mathematicstests.EducationalandPsychologicalMeasurement,67,219‐238.

Welch,B.L. (1949).FurthernoteonMrs.Aspin’s tables andoncertainapproximations to thetabledfunction.Biometrika,36,293‐296.[alsAppendixzuAspin,A.A.(1949).Tablesforuseincomparisonswhoseaccuracyinvolvestwovariances,separatelyestimated.Biometrika,36,290‐296.]

Weibel,H.L.(1991).Computer‐gestützteDiagnostikinderSchulpsychologie:AnfangeinerneuendiagnostischenÄraoderBedrohungseriöserdiagnostischerTätigkeit?Dissertation,UniversitätZürich.

Weiss,E.M.,Kemmler,G.,Deisenhammer,E.A.,Fleischhacker,W.W.&Delazer,M.(2003).Sexdifferencesincognitivefunctions.PersonalityandIndividualDifferences,35,863‐875.

Weiss, R. (1972). Zusammenhänge zwischen Schulleistung und Intelligenz, Bericht über eineUntersuchung an 4000 Vierzehnjährigen in Oberöstereich. Erziehung und Unterricht, 122,663‐679.

Wewetzer,K.‐H.(1968).DieFaktorenstrukturderIntelligenzinihrerAbhängigkeitvonderBe‐gabungsart.EinBeitragzurTypenanalyse.InK.J.Groffmann&K.H.Wewetzer(Hrsg.).PersonalsProzess.Festschriftzum65.GeburtstagvonProf.Dr.philRobertHeiss (S.213‐230).Bern:Huber.

Wilks, S. S. (1946). Sample Criteria for Testing Equality of Means, Equality of Variances, andEquality of Covariances in a NormalMultivariate Distribution.TheAnnals ofMathematicalStatistics,17(3),257‐281.

Wishart,J.(1932).Anoteonthedistributionofthecorrelationratio.Biometrika,24(3‐4).441‐456.

Zimmerman,D.W.&Williams,R.H.(1997).PropertiesoftheSpearmancorrectionforattenua‐tionfornormalandrealisticnon‐normaldistributions.AppliedPsychologicalMeasurement,21(3),253‐270.

Page 173: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·173

15. Anhang

15.1 TestbögendesneuenLPS

Page 174: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

174·Anhang

Page 175: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·175

Page 176: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

176·Anhang

 

Page 177: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

15.2 InstrukktiondesneuenLPPS

Anhhang·177

Page 178: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

178·Anh

hang

Page 179: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhhang·179

Page 180: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

180·Anh

hang

Page 181: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhhang·181

Page 182: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

182·Anh

hang

Page 183: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

15.3

0

5

10

15

20

25

30

0

0

20

40

60

80

0

0

10

20

30

40

50

60

70

0

Verteilu

4 8 1216202

Sub

4 8 12

Sub

4 8 12

Sub

ungende

24283236404

btest 1

16 20 24 28

btest 3

16 20 24 28

btest 5

erPapier

4448525660

8 32 36 40

8 32 36 40

‐Bleistift

0

10

20

30

40

0 4

0

20

40

60

80

100

0

0

10

20

30

40

0 4

tVersion

4 8 12 16

Subt

4 8 12 16

Subt

4 8 12 16

Subt

nderBeru

6 20 24 28

test 2

6 20 24 28

test 4

6 20 24 28

test 6

Anh

ufsschüle

32 36 40

32 36 40

32 36 40

hang·183

er‐SP

Page 184: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

184·Anh

0

10

20

30

40

50

60

0

0

10

20

30

40

50

60

0

0

10

20

30

40

50

0

hang

4 8 12

Sub

4 8

Sub

4 8 12 16

Sub

 

16 20 24 28

btest 7

12 16 2

btest 9

20 24 28 32

btest 11

8 32 36 40

20 24 28

36 40 44 48

0

20

40

60

80

0 4

0

10

20

30

40

50

0 4

4 8 12 16

Subt

8 12162024

Subt

6 20 24 28

test 8

2832364044

est 10

32 36 40

448525660

Page 185: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·185

15.4 VerteilungenderPapier‐BleistiftVersionderBerufsschüler‐SPgetrenntnachPBVzuT1undPBVzuT2

0

5

10

15

20

0 4 8 12162024283236404448525660

Subtest 1 PBV zu T1 Subtest 1 PBV zu T2

0

5

10

15

20

0 4 8 12 16 20 24 28 32 36 40

Subtest 2 PBV zu T1 Subtest 2 PBV zu T2

0

10

20

30

40

50

0 4 8 12 16 20 24 28 32 36 40

Subtest 3 PBV zu T1 Subtest 3 PBV zu T2

0

10

20

30

40

50

60

70

0 4 8 12 16 20 24 28 32 36 40

Subtest 4 PBV zu T1 Subtest 4 PBV zu T2

0

5

10

15

20

25

30

35

40

0 4 8 12 16 20 24 28 32 36 40

Subtest 5 PBV zu T1 Subtest 5 PBV zu T2

0

5

10

15

20

0 4 8 12 16 20 24 28 32 36 40

Subtest 6 PBV zu T1 Subtest 6 PBV zu T2

Page 186: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

186·Anhang

0

5

10

15

20

25

30

0 4 8 12 16 20 24 28 32 36 40

Subtest 7 PBV zu T1 Subtest 7 PBV zu T2

0

10

20

30

40

50

60

70

0 4 8 12 16 20 24 28 32 36 40

Subtest 8 PBV zu T1 Subtest 8 PBV zu T2

0

5

10

15

20

25

30

35

0 4 8 12 16 20 24 28

Subtest 9 PBV zu T1 Subtest 9 PBV zu T2

0

5

10

15

20

25

30

0 4 8 12162024283236404448525660

Subtest 10 PBV zu T1 Subtest 10 PBV zu T2

0

5

10

15

20

25

30

0 4 8 12 16 20 24 28 32 36 40 44 48

Subtest 11 PBV zu T1 Subtest 11 PBV zu T2

Page 187: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·187

15.5 ItemkennwerteimKontextderKTT

Für jedes ItemwirddieAnzahlderProbanden,dieesrichtiggelösthaben,diees falschgelösthaben,diedasItemausgelassenhaben,aberimTestbogenweitereItemsbearbeitethabenund

diedasIteminnerhalbderZeitnichtmehrbearbeitethaben,erschlossendaraus,dassfürkein

späteres Item eine Lösungmarkiert wurde, angegeben. Eswerden drei Schwierigkeitsindizesangeführt: gibtdasVerhältnisderrichtigenAntwortenzuallenVersuchspersonen( 273)

an.HierinspiegeltsichdieAnsichtwieder,dassauchAufgaben,dieaufgrundderZeitbegrenzung

nichtmehrbearbeitetwerdenkonnten,alsfalschgelöstanzusehensind. ∗stelltdasVerhältnis

vonrichtigenLösungeneinesItemszuallenbearbeitetenItemsdar.EinProband,dereinItem

ausgelassenhat,hatdiesesItemdemnachnichtbearbeitet,weilerdieLösungnichtwusste. ∗∗

wirddurchdasVerhältnisvonrichtiggelöstenItemsundmarkiertenItemsgebildet.NurwenneineEntscheidungfüreineLösunggetroffenwurde,wirddasItemindiesemFallalsbearbeitet

angesehen.Insbesonderefür ∗∗,aberauchfür ∗hatdiePositiondesItemseinenEinflussauf

seineSchwierigkeit.Gulliksen(1950)bezeichnetdieseBestimmungderSchwierigkeitfürspee‐dedTestsdaheralsunangemessen.DamitAusnahmederSubtests4,5und11esabereinzelnen

Probanden durchausmöglichwar, in der vorgegeben Zeit den Test zu beenden,wird die Be‐

stimmung der Schwierigkeit durch und die darin begründete Sichtweise als gerechtfertigtangesehen.AlsletzteswirdfürjedesItemdieTrennschärfe ,bestimmtnachFormel(8‐20),

angegeben.

Page 188: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

188·Anhang

15.5.1 ItemkennwerteSubtest1

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 270 1 2 0 .99 .99 1.00 .112 270 1 2 0 .99 .99 1.00 .163 269 2 2 0 .99 .99 .99 .144 263 9 1 0 .96 .96 .97 .105 256 7 10 0 .94 .94 .97 .046 262 8 3 0 .96 .96 .97 .207 266 4 3 0 .97 .97 .99 .168 240 10 23 0 .88 .88 .96 .029 245 16 12 0 .90 .90 .94 .1210 260 10 3 0 .95 .95 .96 .0711 253 10 10 0 .93 .93 .96 .0412 226 28 19 0 .83 .83 .89 .1913 267 2 4 0 .98 .98 .99 .0914 142 48 83 0 .52 .52 .75 .1815 190 12 71 0 .70 .70 .94 .2316 33 88 152 0 .12 .12 .27 .2417 204 26 42 1 .75 .75 .89 .4018 167 22 82 2 .61 .62 .88 .3619 131 34 102 6 .48 .49 .79 .3120 117 36 112 8 .43 .44 .76 .3921 43 58 162 10 .16 .16 .43 .3322 206 12 44 11 .75 .79 .94 .4123 103 47 106 17 .38 .40 .69 .1424 49 67 137 20 .18 .19 .42 .3225 47 40 159 27 .17 .19 .54 .3126 11 104 125 33 .04 .05 .10 .2527 20 43 170 40 .07 .09 .32 .2228 181 10 46 36 .66 .76 .95 .4929 56 24 142 51 .21 .25 .70 .2430 136 9 77 51 .50 .61 .94 .5431 55 27 130 61 .20 .26 .67 .4732 81 21 110 61 .30 .38 .79 .5433 63 93 54 63 .23 .30 .40 .3534 187 3 16 67 .68 .91 .98 .6435 186 1 12 74 .68 .93 .99 .6836 183 2 13 75 .67 .92 .99 .6837 183 0 11 79 .67 .94 1.00 .6838 178 2 11 82 .65 .93 .99 .6839 162 2 20 89 .59 .88 .99 .7240 158 1 21 93 .58 .88 .99 .6841 156 3 14 100 .57 .90 .98 .6742 124 11 24 114 .45 .78 .92 .6543 106 5 42 120 .39 .69 .95 .6344 21 56 67 129 .08 .15 .27 .3045 95 8 38 132 .35 .67 .92 .6346 50 12 63 148 .18 .40 .81 .5747 92 6 27 148 .34 .74 .94 .6148 91 9 20 153 .33 .76 .91 .5849 26 11 62 174 .10 .26 .70 .4850 27 8 61 177 .10 .28 .77 .3951 29 4 58 182 .11 .32 .88 .5052 22 7 59 185 .08 .25 .76 .4653 21 4 61 187 .08 .24 .84 .4354 22 8 54 189 .08 .26 .73 .4755 11 23 48 191 .04 .13 .32 .2956 38 13 29 193 .14 .48 .75 .3957 31 6 40 196 .11 .40 .84 .4058 55 2 20 196 .20 .71 .96 .4359 33 7 35 198 .12 .44 .83 .4360 65 5 0 203 .24 .93 .93 .38

Page 189: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·189

15.5.2 ItemkennwerteSubtest2

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 267 3 3 0 .98 .98 .99 .022 268 3 2 0 .98 .98 .99 .153 237 26 10 0 .87 .87 .90 .084 189 63 21 0 .69 .69 .75 .315 225 29 19 0 .82 .82 .89 .236 164 36 73 0 .60 .60 .82 .357 222 14 37 0 .81 .81 .94 .278 230 10 33 0 .84 .84 .96 .379 195 30 48 0 .71 .71 .87 .2510 216 11 46 0 .79 .79 .95 .3311 222 21 30 0 .81 .81 .91 .0512 222 28 22 1 .81 .82 .89 .3613 208 25 38 2 .76 .77 .89 .2914 240 9 22 2 .88 .89 .96 .3515 225 7 37 4 .82 .84 .97 .4616 215 28 23 7 .79 .81 .88 .1817 210 10 42 11 .77 .80 .95 .4518 228 6 26 13 .84 .88 .97 .5119 200 21 32 20 .73 .79 .90 .3220 131 38 76 28 .48 .53 .78 .4721 194 13 32 34 .71 .81 .94 .5722 167 18 50 38 .61 .71 .90 .6323 164 19 45 45 .60 .72 .90 .5724 158 18 47 50 .58 .71 .90 .6525 139 31 46 57 .51 .64 .82 .5326 123 22 56 72 .45 .61 .85 .3427 130 24 34 85 .48 .69 .84 .5428 117 16 39 101 .43 .68 .88 .5129 116 7 37 113 .42 .73 .94 .6630 77 24 53 119 .28 .50 .76 .4931 112 22 14 125 .41 .76 .84 .6032 79 16 28 150 .29 .64 .83 .6133 79 13 18 163 .29 .72 .86 .6434 65 16 19 173 .24 .65 .80 .6135 23 32 34 184 .08 .26 .42 .3536 55 15 10 193 .20 .69 .79 .5137 40 13 14 206 .15 .60 .75 .4338 22 14 15 222 .08 .43 .61 .3539 27 12 6 228 .10 .60 .69 .3540 19 13 0 241 .07 .59 .59 .29

Page 190: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

190·Anhang

15.5.3 ItemkennwerteSubtest3

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 272 1 0 0 1.00 1.00 1.00 .262 271 2 0 0 .99 .99 .99 .093 273 0 0 0 1.00 1.00 1.00 .004 273 0 0 0 1.00 1.00 1.00 .005 273 0 0 0 1.00 1.00 1.00 .006 264 6 3 0 .97 .97 .98 .107 272 0 1 0 1.00 1.00 1.00 ‐.028 272 1 0 0 1.00 1.00 1.00 .269 272 1 0 0 1.00 1.00 1.00 .2610 273 0 0 0 1.00 1.00 1.00 .0011 272 0 1 0 1.00 1.00 1.00 ‐.0312 267 6 0 0 .98 .98 .98 .1813 258 12 3 0 .95 .95 .96 .1414 271 2 0 0 .99 .99 .99 ‐.0815 266 6 1 0 .97 .97 .98 .2116 215 46 11 1 .79 .79 .82 .2717 215 37 20 1 .79 .79 .85 .1818 261 9 2 1 .96 .96 .97 .1919 198 69 5 1 .73 .73 .74 .1620 248 14 10 1 .91 .91 .95 .2221 255 6 11 1 .93 .94 .98 .2722 208 52 12 1 .76 .76 .80 .1423 227 40 5 1 .83 .83 .85 .2624 218 48 6 1 .80 .80 .82 .1225 232 23 12 6 .85 .87 .91 .2926 197 39 18 19 .72 .78 .83 .4527 135 71 30 37 .49 .57 .66 .2928 201 12 13 47 .74 .89 .94 .5229 103 69 23 78 .38 .53 .60 .4130 83 52 32 106 .30 .50 .61 .4331 67 53 25 128 .25 .46 .56 .2832 68 20 31 154 .25 .57 .77 .4533 43 52 13 165 .16 .40 .45 .4234 33 41 15 184 .12 .37 .45 .3935 33 15 19 206 .12 .49 .69 .4036 24 12 20 217 .09 .43 .67 .3937 22 13 12 226 .08 .47 .63 .2938 20 15 6 232 .07 .49 .57 .1639 8 14 9 242 .03 .26 .36 .1840 10 19 0 244 .04 .34 .34 .11

Page 191: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·191

15.5.4 ItemkennwerteSubtest4

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 271 2 0 0 .99 .99 .99 .112 273 0 0 0 1 1 1 .003 273 0 0 0 1 1 1 .004 273 0 0 0 1 1 1 .005 272 1 0 0 1 1 1 .126 267 6 0 0 .98 .98 .98 .157 270 3 0 0 .99 .99 .99 .098 220 46 7 0 .81 .81 .83 .279 243 27 3 0 .89 .89 .90 .1810 253 17 3 0 .93 .93 .94 .2111 192 45 36 0 .70 .70 .81 .3112 230 21 22 0 .84 .84 .92 .3113 258 10 5 0 .95 .95 .96 .2414 216 40 16 1 .79 .79 .84 .2915 207 43 18 5 .76 .77 .83 .4416 179 53 35 6 .66 .67 .77 .3017 61 110 90 12 .22 .23 .36 .1318 157 47 49 20 .58 .62 .77 .4219 149 73 22 29 .55 .61 .67 .3520 38 135 40 60 .14 .18 .22 .2421 27 83 71 92 .10 .15 .25 .2122 66 50 53 104 .24 .39 .57 .2623 54 71 33 115 .20 .34 .43 .2024 6 77 43 147 .02 .05 .07 .0725 15 68 26 164 .05 .14 .18 .2826 18 58 23 174 .07 .18 .24 .2527 1 44 35 193 .00 .01 .02 .1428 6 48 19 200 .02 .08 .11 ‐.0129 7 33 22 211 .03 .11 .18 ‐.0430 6 30 23 214 .02 .10 .17 .1231 5 28 23 217 .02 .09 .15 .0232 17 27 8 221 .06 .33 .39 ‐.0733 3 27 11 232 .01 .07 .10 .0734 1 27 10 235 .00 .03 .04 .0735 3 21 9 240 .01 .09 .13 .0036 7 16 9 241 .03 .22 .30 ‐.1337 3 15 10 245 .01 .11 .17 .0538 5 23 2 243 .02 .17 .18 ‐.2339 0 20 0 253 .00 .00 .00 .0040 2 16 0 255 .01 .11 .11 .01

Page 192: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

192·Anhang

15.5.5 ItemkennwerteSubtest5

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 273 0 0 0 1.00 1.00 1.00 .002 271 2 0 0 .99 .99 .99 .033 273 0 0 0 1.00 1.00 1.00 .004 273 0 0 0 1.00 1.00 1.00 .005 272 1 0 0 1.00 1.00 1.00 .046 273 0 0 0 1.00 1.00 1.00 .007 271 2 0 0 .99 .99 .99 .098 270 2 1 0 .99 .99 .99 .129 262 10 1 0 .96 .96 .96 .0910 270 3 0 0 .99 .99 .99 .0211 270 2 1 0 .99 .99 .99 .0912 247 25 1 0 .90 .90 .91 .1613 223 37 12 1 .82 .82 .86 .2014 234 23 15 1 .86 .86 .91 .3415 255 14 3 1 .93 .94 .95 .2516 155 103 13 2 .57 .57 .60 .4117 102 94 69 8 .37 .38 .52 .4018 159 66 40 8 .58 .60 .71 .3619 93 113 51 16 .34 .36 .45 .3420 144 78 25 26 .53 .58 .65 .3821 218 19 6 30 .80 .90 .92 .3822 7 156 57 53 .03 .03 .04 .1623 93 60 45 75 .34 .47 .61 .3924 65 104 15 89 .24 .35 .38 .4025 18 67 52 136 .07 .13 .21 .2026 53 52 19 149 .19 .43 .50 .3627 38 56 16 163 .14 .35 .40 .3828 18 46 22 187 .07 .21 .28 .2229 15 38 20 200 .05 .21 .28 .2730 41 18 8 206 .15 .61 .69 .3631 13 28 9 223 .05 .26 .32 .2032 3 32 5 233 .01 .08 .09 ‐.0333 9 20 6 238 .03 .26 .31 .1534 5 22 6 240 .02 .15 .19 .2335 2 23 5 243 .01 .07 .08 .0536 7 18 3 245 .03 .25 .28 ‐.0137 4 21 1 247 .01 .15 .16 ‐.0238 0 24 2 247 .00 .00 .00 .0039 3 18 2 250 .01 .13 .14 ‐.0740 2 20 0 251 .01 .09 .09 ‐.01

Page 193: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·193

15.5.6 ItemkennwerteSubtest6

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 261 10 2 0 .96 .96 .96 .142 269 2 2 0 .99 .99 .99 .123 267 4 2 0 .98 .98 .99 .064 266 6 1 0 .97 .97 .98 .245 269 3 1 0 .99 .99 .99 .006 239 33 1 0 .88 .88 .88 .317 256 14 3 0 .94 .94 .95 .208 235 36 2 0 .86 .86 .87 .179 237 32 3 1 .87 .87 .88 .2110 243 23 6 1 .89 .89 .91 .3211 253 15 3 2 .93 .93 .94 .3412 160 97 9 7 .59 .60 .62 .3313 236 23 4 10 .86 .90 .91 .4014 234 16 10 13 .86 .90 .94 .4115 232 21 3 17 .85 .91 .92 .4716 213 34 2 24 .78 .86 .86 .5117 218 26 2 27 .80 .89 .89 .5118 227 11 2 33 .83 .95 .95 .5619 195 21 3 54 .71 .89 .90 .5720 172 25 5 71 .63 .85 .87 .5621 179 12 3 79 .66 .92 .94 .6922 138 35 5 95 .51 .78 .80 .5723 140 20 3 110 .51 .86 .88 .6924 128 11 7 127 .47 .88 .92 .7025 120 12 5 136 .44 .88 .91 .7226 106 16 8 143 .39 .82 .87 .7127 100 12 4 157 .37 .86 .89 .7628 87 8 5 173 .32 .87 .92 .7129 74 10 5 184 .27 .83 .88 .6630 58 12 8 195 .21 .74 .83 .6031 58 7 4 204 .21 .84 .89 .6732 34 17 6 216 .12 .60 .67 .5333 38 11 4 220 .14 .72 .78 .5734 35 8 7 223 .13 .70 .81 .5535 34 4 5 230 .12 .79 .89 .5336 24 10 4 235 .09 .63 .71 .5237 24 7 3 239 .09 .71 .77 .4938 23 5 3 242 .08 .74 .82 .4739 19 6 4 244 .07 .66 .76 .4540 22 5 0 246 .08 .81 .81 .38

Page 194: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

194·Anhang

15.5.7 ItemkennwerteSubtest7

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 267 6 0 0 .98 .98 .98 .112 270 3 0 0 .99 .99 .99 .183 255 16 2 0 .93 .93 .94 .204 271 2 0 0 .99 .99 .99 .015 270 2 1 0 .99 .99 .99 .236 265 8 0 0 .97 .97 .97 .177 265 7 1 0 .97 .97 .97 .188 270 3 0 0 .99 .99 .99 .069 262 10 1 0 .96 .96 .96 .3010 263 9 1 0 .96 .96 .97 .1211 241 30 2 0 .88 .88 .89 .2212 257 14 2 0 .94 .94 .95 .3013 265 5 3 0 .97 .97 .98 .2114 265 4 4 0 .97 .97 .99 .3915 260 9 4 0 .95 .95 .97 .3216 242 27 4 0 .89 .89 .90 .3217 257 9 7 0 .94 .94 .97 .3718 242 20 10 1 .89 .89 .92 .4119 251 11 9 2 .92 .93 .96 .3820 249 11 11 2 .91 .92 .96 .3821 226 45 0 2 .83 .83 .83 .2722 249 21 0 3 .91 .92 .92 .3223 251 18 1 3 .92 .93 .93 .3224 204 63 1 5 .75 .76 .76 .4525 236 31 0 6 .86 .88 .88 .4626 222 42 0 9 .81 .84 .84 .3627 221 40 0 12 .81 .85 .85 .4328 237 17 1 18 .87 .93 .93 .4929 187 67 0 19 .68 .74 .74 .4630 220 26 2 25 .81 .89 .89 .4931 104 140 0 29 .38 .43 .43 .3532 138 96 0 39 .51 .59 .59 .4933 61 153 3 56 .22 .28 .29 .2334 134 66 0 73 .49 .67 .67 .4735 136 42 1 94 .50 .76 .76 .4936 94 68 2 109 .34 .57 .58 .4537 71 61 3 138 .26 .53 .54 .5038 82 37 4 150 .30 .67 .69 .4539 57 49 3 164 .21 .52 .54 .3340 29 68 0 176 .11 .30 .30 .25

Page 195: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·195

15.5.8 ItemkennwerteSubtest8

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 273 0 0 0 1.00 1.00 1.00 .002 272 0 1 0 1.00 1.00 1.00 .063 270 2 1 0 .99 .99 .99 .034 271 1 1 0 .99 .99 1.00 ‐.055 272 0 0 1 1.00 1.00 1.00 .326 269 2 1 1 .99 .99 .99 .307 271 1 0 1 .99 1.00 1.00 .298 270 2 0 1 .99 .99 .99 .309 268 4 0 1 .98 .99 .99 .0910 265 6 1 1 .97 .97 .98 .2111 269 3 0 1 .99 .99 .99 .3012 239 25 8 1 .88 .88 .91 .2313 266 6 0 1 .97 .98 .98 .2814 268 2 2 1 .98 .99 .99 .3215 261 11 0 1 .96 .96 .96 .3816 258 12 1 2 .95 .95 .96 .4117 256 11 4 2 .94 .94 .96 .4318 252 16 3 2 .92 .93 .94 .3719 246 19 6 2 .90 .91 .93 .4220 258 12 0 3 .95 .96 .96 .4621 250 19 1 3 .92 .93 .93 .3622 251 18 1 3 .92 .93 .93 .4823 260 10 0 3 .95 .96 .96 .4824 251 17 1 4 .92 .93 .94 .4125 234 30 2 7 .86 .88 .89 .5826 222 35 9 7 .81 .83 .86 .5827 240 22 3 8 .88 .91 .92 .5228 259 4 2 8 .95 .98 .98 .5229 210 55 0 8 .77 .79 .79 .4830 240 15 6 12 .88 .92 .94 .5531 221 31 5 16 .81 .86 .88 .5932 224 30 1 18 .82 .88 .88 .6633 205 34 9 25 .75 .83 .86 .5534 203 35 3 32 .74 .84 .85 .6235 156 62 13 42 .57 .68 .72 .5736 166 53 7 47 .61 .73 .76 .5437 159 46 11 57 .58 .74 .78 .5038 106 76 15 76 .39 .54 .58 .4839 145 39 2 87 .53 .78 .79 .6040 124 47 0 102 .45 .73 .73 .47

Page 196: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

196·Anhang

15.5.9 ItemkennwerteSubtest9

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 257 16 ‐ ‐ .94 ‐ ‐ .162 233 40 ‐ ‐ .85 ‐ ‐ .243 203 70 ‐ ‐ .74 ‐ ‐ .194 179 94 ‐ ‐ .66 ‐ ‐ .215 242 31 ‐ ‐ .89 ‐ ‐ .316 224 49 ‐ ‐ .82 ‐ ‐ .387 204 69 ‐ ‐ .75 ‐ ‐ .448 153 120 ‐ ‐ .56 ‐ ‐ .369 127 146 ‐ ‐ .47 ‐ ‐ .3210 94 179 ‐ ‐ .34 ‐ ‐ .3911 67 206 ‐ ‐ .25 ‐ ‐ .4012 48 225 ‐ ‐ .18 ‐ ‐ .4113 203 70 ‐ ‐ .74 ‐ ‐ .4114 164 109 ‐ ‐ .60 ‐ ‐ .5015 137 136 ‐ ‐ .50 ‐ ‐ .5116 107 166 ‐ ‐ .39 ‐ ‐ .4717 127 146 ‐ ‐ .47 ‐ ‐ .4018 77 196 ‐ ‐ .28 ‐ ‐ .4119 49 224 ‐ ‐ .18 ‐ ‐ .4420 29 244 ‐ ‐ .11 ‐ ‐ .3221 50 223 ‐ ‐ .18 ‐ ‐ .2922 29 244 ‐ ‐ .11 ‐ ‐ .3123 18 255 ‐ ‐ .07 ‐ ‐ .3424 13 260 ‐ ‐ .05 ‐ ‐ .2325 12 261 ‐ ‐ .04 ‐ ‐ .1926 2 271 ‐ ‐ .01 ‐ ‐ .1227 2 271 ‐ ‐ .01 ‐ ‐ .0428 2 271 ‐ ‐ .01 ‐ ‐ .0429 3 270 ‐ ‐ .01 ‐ ‐ .0130 3 270 ‐ ‐ .01 ‐ ‐ .0231 0 273 ‐ ‐ .00 ‐ ‐ .0032 2 271 ‐ ‐ .01 ‐ ‐ ‐.0733 1 272 ‐ ‐ .00 ‐ ‐ ‐.1034 1 272 ‐ ‐ .00 ‐ ‐ ‐.0235 2 271 ‐ ‐ .01 ‐ ‐ ‐.0536 1 272 ‐ ‐ .00 ‐ ‐ ‐.0737 2 271 ‐ ‐ .01 ‐ ‐ ‐.0738 0 273 ‐ ‐ .00 ‐ ‐ .0039 0 273 ‐ ‐ .00 ‐ ‐ .0040 0 273 ‐ ‐ .00 ‐ ‐ .00

Page 197: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·197

15.5.10 ItemkennwerteSubtest10

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 271 2 ‐ 0 .99 .99 ‐ .032 271 2 ‐ 0 .99 .99 ‐ .113 270 3 ‐ 0 .99 .99 ‐ .154 272 1 ‐ 0 1.00 1.00 ‐ .255 271 2 ‐ 0 .99 .99 ‐ .156 272 1 ‐ 0 1.00 1.00 ‐ .257 266 7 ‐ 0 .97 .97 ‐ ‐.068 271 2 ‐ 0 .99 .99 ‐ .229 270 2 ‐ 1 .99 .99 ‐ .1210 264 8 ‐ 1 .97 .97 ‐ .1011 269 3 ‐ 1 .99 .99 ‐ .2512 269 3 ‐ 1 .99 .99 ‐ .1913 268 1 ‐ 4 .98 1.00 ‐ .2714 267 2 ‐ 4 .98 .99 ‐ .4015 218 51 ‐ 4 .80 .81 ‐ .0216 269 0 ‐ 4 .99 1.00 ‐ .3917 267 2 ‐ 4 .98 .99 ‐ .3318 266 3 ‐ 4 .97 .99 ‐ .3419 262 6 ‐ 5 .96 .98 ‐ .3720 263 2 ‐ 8 .96 .99 ‐ .4621 262 0 ‐ 11 .96 1.00 ‐ .4922 250 12 ‐ 11 .92 .95 ‐ .2723 258 4 ‐ 11 .95 .98 ‐ .4424 252 2 ‐ 19 .92 .99 ‐ .5125 242 12 ‐ 19 .89 .95 ‐ .3926 234 11 ‐ 28 .86 .96 ‐ .4927 236 2 ‐ 35 .86 .99 ‐ .5728 236 1 ‐ 36 .86 1.00 ‐ .6029 217 2 ‐ 54 .79 .99 ‐ .6030 202 15 ‐ 56 .74 .93 ‐ .5331 186 12 ‐ 75 .68 .94 ‐ .5932 144 36 ‐ 93 .53 .80 ‐ .5033 158 2 ‐ 113 .58 .99 ‐ .6934 132 2 ‐ 139 .48 .99 ‐ .6935 131 2 ‐ 140 .48 .98 ‐ .6836 113 3 ‐ 157 .41 .97 ‐ .6437 72 28 ‐ 173 .26 .72 ‐ .4938 73 4 ‐ 196 .27 .95 ‐ .6139 63 1 ‐ 209 .23 .98 ‐ .5940 37 21 ‐ 215 .14 .64 ‐ .4941 26 1 ‐ 246 .10 .96 ‐ .5542 26 1 ‐ 246 .10 .96 ‐ .5543 26 1 ‐ 246 .10 .96 ‐ .5544 26 1 ‐ 246 .10 .96 ‐ .5445 15 4 ‐ 254 .05 .79 ‐ .4946 12 0 ‐ 261 .04 1.00 ‐ .5147 12 0 ‐ 261 .04 1.00 ‐ .5148 9 3 ‐ 261 .03 .75 ‐ .4749 10 2 ‐ 261 .04 .83 ‐ .4750 9 0 ‐ 264 .03 1.00 ‐ .4751 9 0 ‐ 264 .03 1.00 ‐ .4752 6 3 ‐ 264 .02 .67 ‐ .4053 7 1 ‐ 265 .03 .88 ‐ .4354 6 1 ‐ 266 .02 .86 ‐ .4155 6 0 ‐ 267 .02 1.00 ‐ .4156 6 0 ‐ 267 .02 1.00 ‐ .4157 6 0 ‐ 267 .02 1.00 ‐ .4158 6 0 ‐ 267 .02 1.00 ‐ .4159 6 0 ‐ 267 .02 1.00 ‐ .4160 6 0 ‐ 267 .02 1.00 ‐ .41

Page 198: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

198·Anhang

15.5.11 ItemkennwerteSubtest11

Item richtig falsch ausgelassen nichtbearbeitet ∗ ∗∗

1 233 38 2 0 .85 .85 .86 .392 219 53 1 0 .80 .80 .81 .183 226 43 4 0 .83 .83 .84 .364 190 81 2 0 .70 .70 .70 .355 219 52 2 0 .80 .80 .81 .326 243 28 1 1 .89 .89 .90 .447 214 56 2 1 .78 .79 .79 .298 232 37 2 2 .85 .86 .86 .399 233 34 2 4 .85 .87 .87 .4210 226 40 1 6 .83 .85 .85 .4311 207 54 3 9 .76 .78 .79 .3712 214 40 1 18 .78 .84 .84 .3613 212 32 2 27 .78 .86 .87 .5414 192 39 1 41 .70 .83 .83 .5015 180 37 2 54 .66 .82 .83 .5116 156 41 6 70 .57 .77 .79 .5117 140 41 1 91 .51 .77 .77 .5318 131 28 3 111 .48 .81 .82 .6119 113 25 4 131 .41 .80 .82 .5820 89 26 5 153 .33 .74 .77 .6221 77 25 4 167 .28 .73 .75 .5922 69 17 4 183 .25 .77 .80 .6823 52 20 3 198 .19 .69 .72 .6124 46 15 3 209 .17 .72 .75 .6225 39 14 2 218 .14 .71 .74 .6126 31 16 3 223 .11 .62 .66 .5927 26 13 3 231 .10 .62 .67 .6028 22 11 3 237 .08 .61 .67 .5429 20 10 3 240 .07 .61 .67 .5530 15 9 3 246 .05 .56 .63 .4431 11 10 2 250 .04 .48 .52 .4232 10 9 2 252 .04 .48 .53 .4433 11 7 1 254 .04 .58 .61 .3734 8 9 2 254 .03 .42 .47 .3935 7 7 2 257 .03 .44 .50 .3836 7 6 2 258 .03 .47 .54 .3937 7 6 2 258 .03 .47 .54 .3638 6 7 1 259 .02 .43 .46 .4439 4 6 1 262 .01 .36 .40 .3840 3 7 0 263 .01 .30 .30 .3441 2 5 1 265 .01 .25 .29 .2942 1 5 1 266 .00 .14 .17 .2443 1 5 1 266 .00 .14 .17 .2444 3 3 1 266 .01 .43 .50 .0845 0 6 0 267 .00 .00 .00 .00

Ab Item45wurden zwar einzelne der 80 Items noch angekreuzt, es ist jedoch offensichtlich,

dasshierbeinurmehrgeratenwurde.Daherwerdenfürdierestlichen35ItemskeineKennwer‐teangegeben.

Page 199: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·199

15.6 ANOVATabellenderComputerbedingungen

Inden folgendenTabellenwerdendieErgebnissederunivariatenVarianzanalysenderErgeb‐nisse der elf Subtests des LPS‐neu für die vier FaktorenPräsentation (einzeln, alle), Antwort‐

format(einmalig,weiter,korrigierbar),Zeitvorgabe(keine,gesamt,einzeln)undZeitpunkt(CV

zuT1vs.CVzuT2)dargestellt.AngegebenwerdendieQuadratsummen( ),dieFreiheitsgrade( ; entspricht ),diemittlerenQuadratsummen( / ),dieentsprechen‐

den ‐Werteund ‐Values,dasklassischeVarianzverhältnis( ;VarianzklärungimKontextdes

Gesamtmodells),daspartielleVarianzverhältnis( ;VarianzklärungohneBerücksichtigungder

restlichenFaktoren)unddieuntereundobereGrenzedes80%‐Konfidenzintervallsvon .

15.6.1 Subtest1

Faktor

Präsentation(einzeln,alle) 338.14 1 338.14 4.46 .04 .012 .018 .003 .046Antwortformat(einmalig.weiter,korr.) 282.44 2 141.22 1.86 .16 .010 .015 0 .036Zeitvorgabe(keine,gesamt,einzeln) 73.72 2 36.86 0.49 .62 .003 .004 0 .014Zeitpunkt(CVzuT1vs.CVzuT2) 6112.86 1 6112.86 80.55 <.01 .215 .253 .193 .309Präsentation*Antwortformat 170.05 2 85.02 1.12 .33 .006 .009 0 .025Präsentation*Zeitvorgabe 48.05 1 48.05 0.63 .43 .002 .003 0 .017Präsentation*Zeitpunkt 77.90 1 77.90 1.03 .31 .003 .004 0 .021Antwortformat*Zeitvorgabe 486.85 4 121.71 1.60 .17 .017 .026 0 .043Antwortformat*Zeitpunkt 159.19 2 79.59 1.05 .35 .006 .009 0 .024Zeitvorgabe*Zeitpunkt 922.64 2 461.32 6.08 <.01 .032 .049 .016 .083Präs.*Antwortformat*Zeitvorgabe 414.36 2 207.18 2.73 .07 .015 .022 .001 .047Präsentation*Antwortformat*Zeitpunkt 277.15 2 138.57 1.83 .16 .010 .015 0 .036Präsentation*Zeitvorgabe*Zeitpunkt 17.14 1 17.14 0.23 .64 <.001 .001 0 .012Antwortformat*Zeitvorgabe*Zeitpunkt 494.40 4 123.60 1.63 .17 .017 .027 0 .043Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 534.02 2 267.01 3.52 .03 .019 .029 .005 .056Residual 18061.09 238 75.89 .634 Gesamt 28470.00 268

15.6.2 Subtest2

Faktor

Präsentation(einzeln,alle) 10.84 1 10.84 0.21 .64 <.001 .001 0 .011Antwortformat(einmalig.weiter,korr.) 33.93 2 16.96 0.34 .72 .002 .003 0 .010Zeitvorgabe(keine,gesamt,einzeln) 390.27 2 195.14 3.86 .02 .022 .031 .006 .060Zeitpunkt(CVzuT1vs.CVzuT2) 4110.40 1 4110.40 81.35 <.01 .233 .254 .194 .310Präsentation*Antwortformat 89.26 2 44.63 0.88 .42 .005 .007 0 .022Präsentation*Zeitvorgabe 152.50 1 152.50 3.02 .08 .009 .012 0 .037Präsentation*Zeitpunkt 45.66 1 45.66 0.90 .34 .003 .004 0 .020Antwortformat*Zeitvorgabe 126.78 4 31.69 0.63 .64 .007 .010 0 .016Antwortformat*Zeitpunkt 4.99 2 2.49 0.05 .95 <.001 <.001 0 0Zeitvorgabe*Zeitpunkt 110.58 2 55.29 1.09 .34 .006 .009 0 .025Präs.*Antwortformat*Zeitvorgabe 166.35 2 83.17 1.65 .20 .009 .014 0 .033Präsentation*Antwortformat*Zeitpunkt 57.03 2 28.52 0.56 .57 .003 .005 0 .016Präsentation*Zeitvorgabe*Zeitpunkt 29.77 1 29.77 0.59 .44 .002 .002 0 .017Antwortformat*Zeitvorgabe*Zeitpunkt 143.01 4 35.75 0.71 .59 .008 .012 0 .019Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 87.50 2 43.75 0.87 .42 .005 .007 0 .021Residual 12076.62 239 50.53 .685 Gesamt 17635.48 269

Page 200: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

200·Anhang

15.6.3 Subtest3

Faktor

Präsentation(einzeln,alle) 14.09 1 14.09 1.06 .30 .003 .004 0 .022Antwortformat(einmalig.weiter,korr.) 8.39 2 4.19 0.32 .73 .002 .003 0 .010Zeitvorgabe(keine,gesamt,einzeln) 67.26 2 33.63 2.54 .08 .017 .021 0 .045Zeitpunkt(CVzuT1vs.CVzuT2) 456.65 1 456.65 34.48 <.01 .113 .127 .079 .177Präsentation*Antwortformat 36.82 2 18.41 1.39 .25 .009 .012 0 .030Präsentation*Zeitvorgabe 23.33 1 23.33 1.76 .19 .006 .007 0 .028Präsentation*Zeitpunkt 0.59 1 0.59 0.05 .83 <.001 <.001 0 .005Antwortformat*Zeitvorgabe 30.40 4 7.60 0.57 .68 .008 .010 0 .014Antwortformat*Zeitpunkt 68.57 2 34.28 2.59 .08 .017 .021 0 .045Zeitvorgabe*Zeitpunkt 7.63 2 3.81 0.29 .75 .002 .002 0 .009Präs.*Antwortformat*Zeitvorgabe 11.84 2 5.92 0.45 .64 .003 .004 0 .013Präsentation*Antwortformat*Zeitpunkt 88.11 2 44.05 3.33 .04 .022 .027 .004 .054Präsentation*Zeitvorgabe*Zeitpunkt 23.18 1 23.18 1.75 .19 .006 .007 0 .028Antwortformat*Zeitvorgabe*Zeitpunkt 39.63 4 9.91 0.75 .56 .010 .012 0 .020Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 3.25 2 1.62 0.12 .89 <.001 .001 0 .001Residual 3151.88 238 13.24 .782 Gesamt 4031.60 268

15.6.4 Subtest4

Faktor

Präsentation(einzeln,alle) 0.18 1 0.18 0.02 .89 <.001 <.001 0 0Antwortformat(einmalig.weiter,korr.) 22.90 2 11.45 1.30 .28 .009 .011 0 .028Zeitvorgabe(keine,gesamt,einzeln) 35.84 2 17.92 2.03 .13 .014 .017 0 .038Zeitpunkt(CVzuT1vs.CVzuT2) 103.71 1 103.71 11.77 <.01 .040 .047 .018 .084Präsentation*Antwortformat 26.75 2 13.37 1.52 .22 .010 .012 0 .031Präsentation*Zeitvorgabe 0.26 1 0.26 0.03 .87 <.001 <.001 0 .003Präsentation*Zeitpunkt 13.74 1 13.74 1.56 .21 .005 .006 0 .026Antwortformat*Zeitvorgabe 22.75 4 5.69 0.65 .63 .009 .011 0 .016Antwortformat*Zeitpunkt 25.61 2 12.80 1.45 .24 .010 .012 0 .030Zeitvorgabe*Zeitpunkt 87.01 2 43.51 4.94 <.01 .034 .040 .011 .071Präs.*Antwortformat*Zeitvorgabe 32.09 2 16.04 1.82 .16 .013 .015 0 .035Präsentation*Antwortformat*Zeitpunkt 13.55 2 6.77 0.77 .47 .005 .006 0 .020Präsentation*Zeitvorgabe*Zeitpunkt 0.30 1 0.30 0.03 .85 <.001 <.001 0 .003Antwortformat*Zeitvorgabe*Zeitpunkt 31.23 4 7.81 0.89 .47 .012 .015 0 .024Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 35.85 2 17.92 2.03 .13 .014 .017 0 .038Residual 2114.55 240 8.81 .824 Gesamt 2566.29 270

15.6.5 Subtest5

Faktor

Präsentation(einzeln,alle) 57.69 1 57.69 5.43 .02 .018 .022 .004 .052Antwortformat(einmalig.weiter,korr.) 72.61 2 36.31 3.42 .03 .022 .028 .004 .055Zeitvorgabe(keine,gesamt,einzeln) 79.76 2 39.88 3.75 .03 .024 .031 .005 .059Zeitpunkt(CVzuT1vs.CVzuT2) 65.25 1 65.25 6.14 .01 .020 .025 .006 .056Präsentation*Antwortformat 18.68 2 9.34 0.88 .42 .006 .007 0 .022Präsentation*Zeitvorgabe 26.10 1 26.10 2.46 .12 .008 .010 0 .033Präsentation*Zeitpunkt 0.04 1 0.04 0.00 .95 <.001 <.001 0 0Antwortformat*Zeitvorgabe 100.62 4 25.16 2.37 .05 .031 .038 .003 .060Antwortformat*Zeitpunkt 38.55 2 19.28 1.81 .17 .012 .015 0 .035Zeitvorgabe*Zeitpunkt 13.94 2 6.97 0.66 .52 .004 .005 0 .018Präs.*Antwortformat*Zeitvorgabe 13.62 2 6.81 0.64 .53 .004 .005 0 .017Präsentation*Antwortformat*Zeitpunkt 59.85 2 29.92 2.82 .06 .018 .023 .002 .048Präsentation*Zeitvorgabe*Zeitpunkt 0.07 1 0.07 0.01 .94 <.001 <.001 0 .002Antwortformat*Zeitvorgabe*Zeitpunkt 194.91 4 48.73 4.58 <.01 .059 .072 .025 .102Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 19.95 2 9.97 0.94 .39 .006 .008 0 .023Residual 2529.79 238 10.63 .769 Gesamt 3291.43 268

Page 201: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·201

15.6.6 Subtest6

Faktor

Präsentation(einzeln,alle) 8.09 1 8.09 0.19 .66 <.001 .001 0 .011Antwortformat(einmalig.weiter,korr.) 16.64 2 8.32 0.20 .82 .001 .002 0 .005Zeitvorgabe(keine,gesamt,einzeln) 131.81 2 65.90 1.54 .22 .010 .013 0 .032Zeitpunkt(CVzuT1vs.CVzuT2) 1493.52 1 1493.52 34.96 <.01 .117 .128 .080 .179Präsentation*Antwortformat 90.49 2 45.25 1.06 .35 .007 .009 0 .025Präsentation*Zeitvorgabe 59.30 1 59.30 1.39 .24 .005 .006 0 .025Präsentation*Zeitpunkt 12.83 1 12.83 0.30 .58 .001 .001 0 .013Antwortformat*Zeitvorgabe 306.02 4 76.50 1.79 .13 .024 .029 0 .047Antwortformat*Zeitpunkt 6.95 2 3.48 0.08 .92 <.001 .001 0 .002Zeitvorgabe*Zeitpunkt 59.36 2 29.68 0.70 .50 .005 .006 0 .018Präs.*Antwortformat*Zeitvorgabe 11.84 2 5.92 0.14 .87 <.001 .001 0 .002Präsentation*Antwortformat*Zeitpunkt 90.75 2 45.38 1.06 .35 .007 .009 0 .025Präsentation*Zeitvorgabe*Zeitpunkt 0.71 1 0.71 0.02 .90 <.001 <.001 0 0Antwortformat*Zeitvorgabe*Zeitpunkt 227.84 4 56.96 1.33 .26 .018 .022 0 .036Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 33.59 2 16.79 0.39 .68 .003 .003 0 .012Residual 10169.05 238 42.73 .800 Gesamt 12718.78 268

15.6.7 Subtest7

Faktor

Präsentation(einzeln,alle) 4.54 1 4.54 0.22 .64 <.001 .001 0 .012Antwortformat(einmalig.weiter,korr.) 1.41 2 0.71 0.04 .97 <.001 <.001 0 0Zeitvorgabe(keine,gesamt,einzeln) 180.42 2 90.21 4.44 .01 .032 .037 .009 .068Zeitpunkt(CVzuT1vs.CVzuT2) 423.75 1 423.75 20.83 <.01 .074 .083 .044 .129Präsentation*Antwortformat 5.35 2 2.67 0.13 .88 <.001 .001 0 .002Präsentation*Zeitvorgabe 47.50 1 47.50 2.34 .13 .008 .010 0 .033Präsentation*Zeitpunkt 117.99 1 117.99 5.80 .02 .021 .025 .005 .056Antwortformat*Zeitvorgabe 21.65 4 5.41 0.27 .90 .004 .005 0 .002Antwortformat*Zeitpunkt 62.45 2 31.23 1.54 .22 .011 .013 0 .033Zeitvorgabe*Zeitpunkt 2.56 2 1.28 0.06 .94 <.001 .001 0 .001Präs.*Antwortformat*Zeitvorgabe 27.55 2 13.77 0.68 .51 .005 .006 0 .019Präsentation*Antwortformat*Zeitpunkt 61.15 2 30.57 1.50 .23 .011 .013 0 .032Präsentation*Zeitvorgabe*Zeitpunkt 4.49 1 4.49 0.22 .64 <.001 .001 0 .012Antwortformat*Zeitvorgabe*Zeitpunkt 54.11 4 13.53 0.67 .62 .010 .011 0 .018Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 1.96 2 0.98 0.05 .95 <.001 <.001 0 0Residual 4678.09 230 20.34 .821 Gesamt 5694.94 260

15.6.8 Subtest8

Faktor

Präsentation(einzeln,alle) 71.72 1 71.72 2.15 .14 .008 .009 0 .031Antwortformat(einmalig.weiter,korr.) 36.03 2 18.01 0.54 .58 .004 .005 0 .015Zeitvorgabe(keine,gesamt,einzeln) 101.36 2 50.68 1.52 .22 .011 .013 0 .032Zeitpunkt(CVzuT1vs.CVzuT2) 819.78 1 819.78 24.62 <.01 .089 .095 .053 .142Präsentation*Antwortformat 61.96 2 30.98 0.93 .40 .007 .008 0 .023Präsentation*Zeitvorgabe 5.58 1 5.58 0.17 .68 <.001 .001 0 .010Präsentation*Zeitpunkt 7.31 1 7.31 0.22 .64 <.001 .001 0 .012Antwortformat*Zeitvorgabe 79.51 4 19.88 0.60 .67 .009 .010 0 .015Antwortformat*Zeitpunkt 4.35 2 2.18 0.07 .94 <.001 .001 0 .002Zeitvorgabe*Zeitpunkt 4.42 2 2.21 0.07 .94 <.001 .001 0 .002Präs.*Antwortformat*Zeitvorgabe 21.92 2 10.96 0.33 .72 .002 .003 0 .010Präsentation*Antwortformat*Zeitpunkt 11.63 2 5.82 0.18 .84 .001 .001 0 .005Präsentation*Zeitvorgabe*Zeitpunkt 17.84 1 17.84 0.54 .47 .002 .002 0 .017Antwortformat*Zeitvorgabe*Zeitpunkt 46.37 4 11.59 0.35 .85 .005 .006 0 .006Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 91.45 2 45.72 1.37 .26 .010 .012 0 .030Residual 7825.39 235 33.30 .850 Gesamt 9206.59 265

Page 202: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

202·Anhang

15.6.9 Subtest9

Faktor

Präsentation(einzeln,alle) 999.68 1 999.68 65.24 <.01 .163 .217 .159 .273Antwortformat(einmalig.weiter,korr.) 418.14 2 209.07 13.64 <.01 .068 .104 .057 .149Zeitvorgabe(keine,gesamt,einzeln) 47.05 1 47.05 3.07 .08 .008 .013 0 .037Zeitpunkt(CVzuT1vs.CVzuT2) 199.75 1 199.75 13.04 <.01 .033 .053 .022 .092Präsentation*Antwortformat 340.08 1 340.08 22.19 <.01 .055 .086 .046 .133Präsentation*Zeitvorgabe 3.48 1 3.48 0.23 .63 <.001 .001 0 .012Präsentation*Zeitpunkt 239.15 1 239.15 15.61 <.01 .039 .062 .029 .104Antwortformat*Zeitvorgabe 146.42 2 73.21 4.78 <.01 .024 .039 .010 .070Antwortformat*Zeitpunkt 64.49 2 32.25 2.10 .12 .011 .018 0 .040Zeitvorgabe*Zeitpunkt 6.43 1 6.43 0.42 .52 .001 .002 0 .015Präs.*Antwortformat*Zeitvorgabe 0.12 1 0.12 0.01 .93 <.001 <.001 0 .002Präsentation*Antwortformat*Zeitpunkt 17.55 1 17.55 1.15 .29 .003 .005 0 .023Präsentation*Zeitvorgabe*Zeitpunkt 0.07 1 0.07 0.00 .95 <.001 <.001 0 0Antwortformat*Zeitvorgabe*Zeitpunkt 35.29 2 17.65 1.15 .32 .006 .010 0 .026Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 22.30 1 22.30 1.46 .23 .004 .006 0 .025Residual 3600.97 235 15.32 .586 Gesamt 6140.96 255

15.6.10 Subtest10

Faktor

Präsentation(einzeln,alle) 4699.84 1 4699.84 95.30 <.01 .251 .291 .229 .347Antwortformat(einmalig.weiter,korr.) 422.44 2 211.22 4.28 .02 .023 .036 .008 .066Zeitvorgabe(keine,gesamt,einzeln) 294.64 1 294.64 5.97 .02 .016 .025 .006 .056Zeitpunkt(CVzuT1vs.CVzuT2) 154.48 1 154.48 3.13 .08 .008 .013 0 .038Präsentation*Antwortformat 13.28 1 13.28 0.27 .60 <.001 .001 0 .013Präsentation*Zeitvorgabe 7.70 1 7.70 0.16 .69 <.001 .001 0 .010Präsentation*Zeitpunkt 29.00 1 29.00 0.59 .44 .002 .003 0 .017Antwortformat*Zeitvorgabe 1195.52 2 597.76 12.12 <.01 .064 .095 .049 .138Antwortformat*Zeitpunkt 149.73 2 74.86 1.52 .22 .008 .013 0 .032Zeitvorgabe*Zeitpunkt 68.75 1 68.75 1.39 .24 .004 .006 0 .025Präs.*Antwortformat*Zeitvorgabe 86.66 1 86.66 1.76 .19 .005 .008 0 .028Präsentation*Antwortformat*Zeitpunkt 105.08 1 105.08 2.13 .15 .006 .009 0 .031Präsentation*Zeitvorgabe*Zeitpunkt 4.22 1 4.22 0.09 .77 <.001 <.001 0 .007Antwortformat*Zeitvorgabe*Zeitpunkt 63.30 2 31.65 0.64 .53 .003 .006 0 .018Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 1.22 1 1.22 0.03 .88 <.001 <.001 0 .003Residual 11441.55 232 49.32 .611 Gesamt 18737.40 252

15.6.11 Subtest11

Faktor

Präsentation(einzeln,alle) 202.08 1 202.08 4.10 .04 .015 .019 .002 .049Antwortformat(einmalig.weiter,korr.) 68.74 2 34.37 0.70 .50 .005 .007 0 .021Zeitvorgabe(keine,gesamt,einzeln) 427.79 2 213.89 4.33 .01 .033 .039 .009 .072Zeitpunkt(CVzuT1vs.CVzuT2) 1086.94 1 1086.94 22.03 <.01 .083 .094 .050 .144Präsentation*Antwortformat 14.98 2 7.49 0.15 .86 .001 .001 0 .003Präsentation*Zeitvorgabe 5.62 1 5.62 0.11 .74 <.001 .001 0 .009Präsentation*Zeitpunkt 62.38 1 62.38 1.26 .26 .005 .006 0 .026Antwortformat*Zeitvorgabe 135.95 4 33.99 0.69 .60 .010 .013 0 .020Antwortformat*Zeitpunkt 52.69 2 26.35 0.53 .59 .004 .005 0 .017Zeitvorgabe*Zeitpunkt 177.02 2 88.51 1.79 .17 .014 .017 0 .039Präs.*Antwortformat*Zeitvorgabe 153.31 2 76.65 1.55 .21 .012 .014 0 .036Präsentation*Antwortformat*Zeitpunkt 44.27 2 22.14 0.45 .64 .003 .004 0 .015Präsentation*Zeitvorgabe*Zeitpunkt 72.51 1 72.51 1.47 .23 .006 .007 0 .028Antwortformat*Zeitvorgabe*Zeitpunkt 60.05 4 15.01 0.30 .88 .005 .006 0 .004Präs.*Antwortf.*Zeitvorgabe*Zeitpunkt 67.20 2 33.60 0.68 .51 .005 .006 0 .020Residual 10462.30 212 49.35 .799 Gesamt 13093.81 242

Page 203: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·203

15.7 MittelwertederRohwertsummen

Page 204: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

 

204·Anhang

Subtest1

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM25.1

25.7

31.0

27.227.324.3

26.1

26.030.2

27.3

26.9

28.427.5

25.8

28.2

27.229.8

26.9

28.433.9

33.0

33.430.328.9

29.631.2

29.8

30.527.3

26.4

31.0

27.730.6

29.3

26.1

29.330.2

28.2

26.9

28.929.3

28.0

28.2

28.6

SD7.8

9.2

11.5

9.5

8.3

5.0

8.3

7.2

9.2

13.5

7.0

10.18.5

9.8

9.2

9.0

10.0

10.7

10.211.1

14.3

12.711.47.3

9.3

10.6

11.2

10.99.0

9.8

11.5

9.7

10.1

12.0

8.3

10.610.0

10.4

7.0

9.7

9.6

10.7

9.2

9.9

n11

79

27

98

825

11

97

27

31

24

24

79

10

919

911

20

10

10

20

29

30

59

21

16

946

18

19

845

21

19

747

60

54

24

138

CVM

15.6

18.1

24.9

19.416.318.5

17.8

17.516.9

20.8

15.4

17.816.3

19.3

19.8

18.218.3

20.7

19.424.3

27.2

25.919.720.4

20.120.7

23.0

21.816.9

19.6

24.9

19.420.3

23.5

17.8

21.218.2

20.6

15.4

18.818.4

21.3

19.8

19.8

SD3.9

4.8

8.3

7.0

5.2

2.8

6.6

5.0

2.9

9.1

7.6

6.9

3.9

6.2

8.4

6.4

6.1

9.2

7.6

9.0

15.6

12.85.9

9.2

7.5

7.3

12.0

10.05.1

7.5

8.3

7.2

8.2

12.6

6.6

10.14.7

8.9

7.6

7.1

6.2

10.0

8.4

8.3

n11

79

27

98

825

11

97

27

31

24

24

79

10

919

911

20

10

10

20

29

30

59

21

16

946

18

19

845

21

19

747

60

54

24

138

PB‐PC

PBVM37.0

22.1

29.1

29.121.828.8

29.1

26.629.9

27.7

25.9

27.829.2

26.0

28.1

27.828.7

28.2

28.531.6

22.4

27.032.727.7

30.430.7

26.3

28.732.3

24.7

29.1

28.825.5

26.3

29.1

26.731.2

27.7

25.9

28.829.9

26.2

28.1

28.1

SD8.8

9.5

14.6

12.48.3

10.1

7.2

8.9

12.8

10.9

6.9

10.111.6

10.1

9.8

10.410.1

5.0

8.2

9.0

5.0

8.4

8.7

6.5

7.9

9.1

5.8

8.1

10.2

8.2

14.6

10.99.6

8.8

7.2

8.6

10.8

8.6

6.9

9.3

10.4

8.4

9.8

9.6

n7

88

23

88

925

86

822

23

22

25

70

96

15

55

10

76

13

21

17

38

16

14

838

13

13

935

15

12

835

44

39

25

108

CVM

43.0

25.6

30.6

32.727.032.3

29.6

29.627.4

30.2

25.6

27.532.0

29.3

28.6

29.934.4

30.3

32.834.4

25.4

29.935.929.5

32.934.9

28.6

32.138.2

27.6

30.6

32.729.8

29.6

29.6

29.731.3

29.8

25.6

29.533.4

29.0

28.6

30.7

SD7.1

9.2

14.5

12.711.57.1

6.8

8.6

11.3

10.5

10.0

10.312.3

8.9

10.5

10.610.0

8.6

9.4

9.6

6.7

9.1

9.0

7.5

8.7

9.1

7.5

8.9

9.6

8.9

14.5

11.411.0

7.5

6.8

8.6

10.9

8.7

10.0

9.9

10.9

8.3

10.5

10.1

n7

88

23

88

925

86

822

23

22

25

70

96

15

55

10

76

13

21

17

38

16

14

838

13

13

935

15

12

835

44

39

25

108

GesamtPB

VM29.7

23.8

30.1

28.124.726.5

27.7

26.330.1

27.5

26.3

28.128.3

25.9

28.1

27.529.3

27.4

28.433.1

29.7

31.331.328.4

29.931.0

28.5

29.829.5

25.6

30.1

28.228.5

28.1

27.7

28.230.6

28.0

26.3

28.829.6

27.2

28.1

28.4

SD9.9

9.2

12.7

10.98.6

8.0

7.6

8.0

10.5

12.1

6.7

10.09.9

9.8

9.4

9.7

9.8

8.7

9.2

10.1

13.0

11.710.16.9

8.7

9.9

9.7

9.8

9.7

9.0

12.7

10.210.1

10.8

7.6

9.8

10.2

9.6

6.7

9.5

9.9

9.8

9.4

9.8

n18

15

17

50

17

16

17

50

19

15

15

49

54

46

49

149

19

15

34

14

16

30

17

16

33

50

47

97

37

30

17

84

31

32

17

80

36

31

15

82

104

93

49

246

CVM

26.3

22.1

27.6

25.521.425.4

24.0

23.521.3

24.5

20.9

22.223.0

24.0

24.3

23.725.9

24.5

25.327.9

26.6

27.226.423.8

25.126.6

25.0

25.826.1

23.3

27.6

25.424.3

26.0

24.0

24.923.7

24.2

20.9

23.424.7

24.5

24.3

24.6

SD14.7

8.2

11.6

12.010.08.8

8.9

9.2

9.1

10.5

10.1

9.8

11.5

9.1

10.4

10.411.5

10.0

10.710.2

13.2

11.710.89.5

10.110.7

10.9

10.813.0

9.0

11.6

11.410.5

11.1

8.9

10.310.1

9.8

10.1

10.011.2

10.0

10.4

10.6

n18

15

17

50

17

16

17

50

19

15

15

49

54

46

49

149

19

15

34

14

16

30

17

16

33

50

47

97

37

30

17

84

31

32

17

80

36

31

15

82

104

93

49

246

Subtest2

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM23.1

22.5

28.7

24.327.623.4

25.1

25.418.0

21.7

23.7

21.323.1

22.5

25.6

23.621.0

23.4

22.422.4

30.4

26.222.922.2

22.622.3

25.0

23.622.2

22.9

28.7

23.625.0

26.7

25.1

25.720.8

22.0

23.7

21.822.7

23.7

25.6

23.6

SD5.4

6.4

8.6

7.0

5.6

5.6

5.5

5.6

4.1

7.5

10.5

7.9

6.3

6.4

8.4

7.1

8.2

9.3

8.7

8.3

3.7

7.5

9.8

8.2

8.9

8.6

8.2

8.4

6.6

7.7

8.6

7.6

7.4

5.8

5.5

6.4

8.1

7.7

10.5

8.3

7.5

7.4

8.4

7.6

n10

11

728

99

826

811

928

27

31

24

82

710

17

98

17

11

10

21

27

28

55

17

21

745

18

17

843

19

21

949

54

59

24

137

CVM18.7

16.9

21.4

18.718.719.8

18.4

19.014.6

18.2

20.1

17.817.5

18.2

19.9

18.514.4

17.2

16.115.4

19.4

17.315.917.2

16.515.4

17.8

16.616.9

17.0

21.4

17.717.1

19.6

18.4

18.315.4

17.7

20.1

17.216.4

18.0

19.9

17.7

SD5.6

5.7

4.8

5.6

4.6

9.7

4.1

6.5

4.3

8.1

9.7

7.9

5.1

7.7

6.7

6.6

4.4

8.4

7.0

6.5

3.1

5.4

10.29.2

9.5

7.6

7.4

7.5

5.5

6.9

4.8

6.2

5.7

7.2

4.1

6.1

8.1

8.4

9.7

8.5

6.5

7.5

6.7

7.0

n10

11

728

99

826

811

928

27

31

24

82

710

17

98

17

11

10

21

27

28

55

17

21

745

18

17

843

19

21

949

54

59

24

137

PB‐PC

PBVM21.0

27.7

22.0

23.625.420.0

21.4

22.321.1

21.9

23.0

21.922.6

23.0

22.0

22.520.4

23.1

21.820.8

24.2

22.420.224.0

22.220.5

23.7

22.120.6

25.1

22.0

22.823.4

21.6

21.4

22.320.7

22.9

23.0

22.021.6

23.3

22.0

22.4

SD8.6

5.8

11.2

9.0

8.0

8.4

9.3

8.5

9.4

3.8

3.3

6.3

8.6

6.9

8.6

7.9

7.6

6.6

7.0

8.2

3.4

6.4

5.6

5.7

5.8

6.9

5.5

6.3

7.8

6.5

11.2

8.1

8.1

7.1

9.3

7.8

7.9

4.7

3.3

6.0

7.8

6.2

8.6

7.3

n6

78

21

88

824

98

623

23

23

22

68

89

17

65

11

67

13

20

21

41

14

16

838

14

13

835

15

15

636

43

44

22

109

CVM24.7

30.3

27.8

27.728.522.8

25.3

25.523.0

27.6

25.3

25.225.3

26.7

26.2

26.122.0

26.9

24.625.2

31.4

28.022.531.1

27.223.1

29.4

26.323.1

28.4

27.8

26.327.1

26.1

25.3

26.322.8

29.3

25.3

25.924.3

28.0

26.2

26.2

SD7.1

3.3

8.9

7.0

6.9

6.6

8.1

7.3

10.1

4.5

5.3

7.3

8.3

5.8

7.5

7.2

5.7

8.3

7.4

8.6

2.4

7.1

5.5

4.1

6.4

6.4

6.2

7.0

6.2

6.6

8.9

7.2

7.6

6.8

8.1

7.2

8.3

4.6

5.3

7.0

7.5

6.1

7.5

7.1

n6

78

21

88

824

98

623

23

23

22

68

89

17

65

11

67

13

20

21

41

14

16

838

14

13

835

15

15

636

43

44

22

109

Gesamt

PBVM22.3

24.5

25.1

24.026.521.8

23.3

23.919.6

21.8

23.4

21.522.8

22.7

23.9

23.120.7

23.3

22.121.8

28.0

24.721.922.9

22.421.5

24.4

23.021.5

23.9

25.1

23.224.3

24.5

23.3

24.220.8

22.3

23.4

21.922.2

23.5

23.9

23.1

SD6.6

6.5

10.3

7.8

6.7

7.1

7.6

7.3

7.4

6.1

8.2

7.2

7.4

6.5

8.6

7.5

7.6

7.9

7.8

8.0

4.6

7.2

8.5

7.1

7.7

7.9

7.1

7.6

7.0

7.2

10.3

7.8

7.6

6.8

7.6

7.2

7.9

6.5

8.2

7.4

7.6

6.8

8.6

7.5

n16

18

15

49

17

17

16

50

17

19

15

51

50

54

46

150

15

19

34

15

13

28

17

17

34

47

49

96

31

37

15

83

32

30

16

78

34

36

15

85

97

103

46

246

CVM20.9

22.1

24.8

22.623.321.2

21.8

22.119.1

22.2

22.2

21.121.1

21.8

22.9

21.918.5

21.8

20.319.3

24.0

21.518.222.9

20.618.7

22.8

20.819.7

21.9

24.8

21.621.4

22.4

21.8

21.918.6

22.5

22.2

20.919.9

22.3

22.9

21.5

SD6.7

8.2

7.7

7.6

7.6

8.3

7.1

7.6

8.8

8.2

8.4

8.4

7.8

8.1

7.7

7.9

6.3

9.5

8.3

8.7

6.7

8.0

9.2

10.2

9.8

8.0

9.0

8.7

6.5

8.8

7.7

7.9

8.2

7.6

7.1

7.7

8.9

9.1

8.4

9.0

8.0

8.5

7.7

8.2

n16

18

15

49

17

17

16

50

17

19

15

51

50

54

46

150

15

19

34

15

13

28

17

17

34

47

49

96

31

37

15

83

32

30

16

78

34

36

15

85

97

103

46

246

Page 205: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·205

Subtest3

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM27.6

27.1

26.4

27.029.431.1

26.2

28.928.9

25.9

27.4

27.428.5

28.1

26.7

27.729.4

28.1

28.926.9

27.2

27.128.828.6

28.728.3

28.0

28.228.5

27.5

26.4

27.627.9

29.2

26.2

28.128.8

27.5

27.4

27.928.4

28.1

26.7

27.9

SD3.9

2.1

4.5

3.6

4.4

3.1

4.6

4.5

3.2

4.2

3.5

3.7

3.8

3.8

4.1

3.9

3.2

2.5

2.9

4.5

2.9

3.7

2.7

3.3

2.9

3.6

2.9

3.3

3.7

2.3

4.5

3.5

4.5

3.5

4.6

4.2

2.8

3.8

3.5

3.4

3.7

3.3

4.1

3.7

n10

10

11

31

79

925

88

11

27

25

27

31

83

97

16

10

919

911

20

28

27

55

19

17

11

47

17

18

944

17

19

11

47

53

54

31

138

CVM

25.1

25.4

25.6

25.426.627.6

24.1

26.025.8

23.6

23.2

24.125.7

25.6

24.3

25.225.4

25.7

25.624.5

24.0

24.326.225.5

25.825.4

25.0

25.225.3

25.5

25.6

25.425.4

25.8

24.1

25.326.0

24.7

23.2

24.825.5

25.3

24.3

25.2

SD3.0

2.0

4.1

3.1

3.6

3.1

4.3

3.8

2.8

3.6

3.4

3.4

3.0

3.2

3.9

3.5

3.0

2.0

2.6

5.0

2.2

3.8

3.6

3.4

3.4

3.9

2.7

3.3

3.0

1.9

4.1

2.9

4.4

3.2

4.3

3.9

3.2

3.5

3.4

3.5

3.5

3.0

3.9

3.4

n10

10

11

31

79

925

88

11

27

25

27

31

83

97

16

10

919

911

20

28

27

55

19

17

11

47

17

18

944

17

19

11

47

53

54

31

138

PB‐PC

PBVM26.9

20.3

26.6

24.826.526.5

26.5

26.526.0

26.1

26.3

26.126.4

24.7

26.4

25.924.5

24.7

24.625.9

25.8

25.925.326.8

26.225.3

25.7

25.525.8

22.7

26.6

24.726.2

26.2

26.5

26.325.8

26.4

26.3

26.125.9

25.2

26.4

25.7

SD2.8

6.2

2.3

4.8

2.1

2.9

2.3

2.3

3.5

2.7

3.4

3.1

2.8

4.6

2.6

3.5

2.8

3.3

3.0

2.1

2.1

2.0

1.3

2.0

1.9

2.2

2.6

2.4

2.9

5.2

2.3

4.1

2.0

2.5

2.3

2.2

2.9

2.4

3.4

2.8

2.6

3.8

2.6

3.1

n7

67

20

88

824

89

825

23

23

23

69

67

13

96

15

46

10

19

19

38

13

13

733

17

14

839

12

15

835

42

42

23

107

CVM

29.3

28.0

26.4

27.928.428.5

27.9

28.329.0

28.7

28.0

28.628.9

28.4

27.5

28.325.3

27.1

26.327.8

29.7

28.528.329.5

29.027.1

28.7

27.927.5

27.5

26.4

27.328.1

29.0

27.9

28.428.8

29.0

28.0

28.728.1

28.5

27.5

28.1

SD1.9

5.0

8.8

5.8

2.8

4.6

3.5

3.5

2.1

2.2

3.6

2.6

2.2

3.8

5.5

4.0

2.6

3.0

2.9

2.7

2.2

2.6

1.5

1.6

1.6

2.6

2.6

2.7

3.0

3.9

8.8

4.9

2.7

3.7

3.5

3.2

1.9

2.0

3.6

2.4

2.6

3.2

5.5

3.6

n7

67

20

88

824

89

825

23

23

23

69

67

13

96

15

46

10

19

19

38

13

13

733

17

14

839

12

15

835

42

42

23

107

GesamtPB

VM27.3

24.6

26.4

26.127.928.9

26.4

27.727.4

26.0

26.9

26.827.5

26.5

26.6

26.927.5

26.4

27.026.4

26.7

26.527.728.0

27.927.1

27.1

27.127.4

25.4

26.4

26.427.1

27.9

26.4

27.227.6

27.0

26.9

27.227.3

26.8

26.6

27.0

SD3.4

5.2

3.7

4.2

3.6

3.8

3.6

3.7

3.6

3.4

3.4

3.4

3.5

4.5

3.5

3.8

3.9

3.3

3.6

3.5

2.6

3.1

2.8

3.0

2.9

3.4

3.0

3.2

3.6

4.5

3.7

4.0

3.6

3.4

3.6

3.5

3.2

3.3

3.4

3.3

3.4

3.8

3.5

3.6

n17.0

16.0

18.0

51.015.017.0

17.0

49.016.0

17.0

19.0

52.048.0

50.0

54.0152.015.0

14.0

29.019.0

15.0

34.013.017.0

30.047.0

46.0

93.032.0

30.0

18.0

80.034.0

32.0

17.0

83.029.0

34.0

19.0

82.095.0

96.0

54.0245.0

CVM

26.8

26.4

25.9

26.427.528.0

25.9

27.127.4

26.3

25.2

26.227.2

26.9

25.7

26.625.4

26.4

25.926.1

26.3

26.126.826.9

26.926.1

26.5

26.326.2

26.4

25.9

26.226.7

27.2

25.9

26.727.1

26.6

25.2

26.526.7

26.7

25.7

26.5

SD3.3

3.5

6.1

4.5

3.2

3.8

4.3

3.8

2.9

3.9

4.2

3.8

3.1

3.7

4.8

4.0

2.8

2.6

2.7

4.3

3.6

3.9

3.2

3.4

3.3

3.5

3.2

3.4

3.1

3.1

6.1

3.9

3.9

3.7

4.3

3.9

3.0

3.6

4.2

3.6

3.4

3.5

4.8

3.8

n17

16

18

51

15

17

17

49

16

17

19

52

48

50

54

152

15

14

29

19

15

34

13

17

30

47

46

93

32

30

18

80

34

32

17

83

29

34

19

82

95

96

54

245

Subtest4

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohne

gesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM17.0

17.9

17.3

17.417.118.0

18.8

17.916.9

16.4

16.9

16.717.0

17.4

17.7

17.315.8

17.3

16.517.6

16.2

16.815.818.7

17.216.3

17.4

16.816.4

17.6

17.3

17.017.3

16.9

18.8

17.516.3

17.6

16.9

16.916.7

17.4

17.7

17.1

SD3.9

3.3

3.4

3.5

1.7

2.9

3.7

2.8

2.4

3.4

3.6

3.0

2.7

3.2

3.6

3.1

3.3

2.6

3.0

2.0

3.3

2.9

3.3

1.3

2.9

3.0

2.7

2.9

3.6

2.9

3.4

3.3

1.8

3.2

3.7

2.9

2.9

2.7

3.6

2.9

2.9

2.9

3.6

3.0

n11

10

10

31

11

79

27

98

825

31

25

27

83

11

920

710

17

99

18

27

28

55

22

19

10

51

18

17

944

18

17

843

58

53

27

138

CVM

16.6

16.1

15.8

16.215.815.9

18.4

16.716.6

15.0

14.9

15.516.3

15.7

16.4

16.216.1

16.0

16.117.6

15.9

16.614.917.0

15.916.1

16.3

16.216.4

16.1

15.8

16.116.5

15.9

18.4

16.715.7

16.1

14.9

15.716.2

16.0

16.4

16.2

SD3.6

3.8

2.9

3.4

2.8

4.0

3.1

3.3

2.0

4.5

2.0

3.0

2.9

3.9

3.1

3.3

2.8

2.6

2.6

2.9

3.8

3.5

2.8

2.2

2.7

2.9

2.9

2.9

3.2

3.2

2.9

3.1

2.9

3.7

3.1

3.3

2.5

3.5

2.0

2.9

2.9

3.4

3.1

3.1

n11

10

10

31

11

79

27

98

825

31

25

27

83

11

920

710

17

99

18

27

28

55

22

19

10

51

18

17

944

18

17

843

58

53

27

138

PB‐PC

PBVM16.5

17.1

14.7

16.217.317.3

15.8

16.716.9

16.4

17.3

16.916.9

16.9

16.1

16.616.4

15.2

15.916.0

17.4

16.816.216.2

16.216.2

16.5

16.316.4

16.2

14.7

16.016.6

17.4

15.8

16.816.6

16.3

17.3

16.716.5

16.7

16.1

16.5

SD2.4

2.4

2.8

2.6

2.1

2.6

2.3

2.3

2.1

2.3

1.8

2.0

2.1

2.4

2.4

2.3

3.1

2.3

2.7

1.9

1.7

1.9

1.7

2.6

2.0

2.2

2.3

2.2

2.7

2.5

2.8

2.6

2.0

2.1

2.3

2.1

1.9

2.3

1.8

2.0

2.2

2.3

2.4

2.3

n6

76

19

78

823

88

925

21

23

23

67

86

14

89

17

65

11

22

20

42

14

13

633

15

17

840

14

13

936

43

43

23

109

CVM

17.5

20.0

16.0

17.919.318.4

15.6

17.717.1

17.6

16.4

17.018.0

18.6

16.0

17.518.1

17.8

18.017.1

17.8

17.517.519.4

18.417.6

18.2

17.917.9

19.0

16.0

18.018.1

18.1

15.6

17.617.3

18.3

16.4

17.417.8

18.4

16.0

17.7

SD3.0

2.2

1.5

2.8

4.4

1.4

3.1

3.4

1.5

3.4

2.5

2.5

3.1

2.6

2.4

2.9

3.3

1.8

2.7

2.1

2.7

2.4

1.9

1.9

2.1

2.5

2.3

2.4

3.1

2.3

1.5

2.7

3.4

2.2

3.1

3.0

1.6

3.0

2.5

2.4

2.8

2.4

2.4

2.7

n6

76

19

78

823

88

925

21

23

23

67

86

14

89

17

65

11

22

20

42

14

13

633

15

17

840

14

13

936

43

43

23

109

GesamtPB

VM16.8

17.6

16.3

16.917.217.6

17.4

17.416.9

16.4

17.1

16.817.0

17.2

16.9

17.016.1

16.5

16.216.7

16.8

16.815.917.8

16.816.2

17.0

16.616.4

17.1

16.3

16.617.0

17.1

17.4

17.116.4

17.0

17.1

16.816.6

17.1

16.9

16.9

SD3.4

2.9

3.4

3.2

1.8

2.7

3.4

2.6

2.2

2.8

2.7

2.5

2.5

2.8

3.2

2.8

3.1

2.6

2.9

2.0

2.7

2.4

2.7

2.2

2.6

2.7

2.5

2.6

3.2

2.8

3.4

3.1

1.9

2.7

3.4

2.5

2.5

2.6

2.7

2.6

2.6

2.7

3.2

2.7

n17

17

16

50

18

15

17

50

17

16

17

50

52

48

50

150

19

15

34

15

19

34

15

14

29

49

48

97

36

32

16

84

33

34

17

84

32

30

17

79

101

96

50

247

CVM

16.9

17.7

15.9

16.917.217.2

17.1

17.216.8

16.3

15.7

16.317.0

17.1

16.2

16.816.9

16.7

16.917.3

16.8

17.015.917.9

16.916.8

17.1

16.916.9

17.3

15.9

16.917.2

17.0

17.1

17.116.4

17.0

15.7

16.516.9

17.1

16.2

16.8

SD3.3

3.7

2.4

3.2

3.8

3.1

3.3

3.4

1.7

4.1

2.3

2.9

3.1

3.6

2.8

3.2

3.1

2.5

2.8

2.4

3.4

3.0

2.7

2.4

2.7

2.8

2.8

2.8

3.2

3.2

2.4

3.1

3.2

3.2

3.3

3.2

2.3

3.4

2.3

2.8

2.9

3.2

2.8

3.0

n17

17

16

50

18

15

17

50

17

16

17

50

52

48

50

150

19

15

34

15

19

34

15

14

29

49

48

97

36

32

16

84

33

34

17

84

32

30

17

79

101

96

50

247

Page 206: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

 

206·Anhang

Subtest5

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM20.3

19.9

19.5

19.920.118.3

21.6

19.821.6

18.9

20.6

20.320.6

19.0

20.4

20.018.8

17.2

17.819.0

20.1

19.519.019.1

19.118.9

18.6

18.819.6

18.5

19.5

19.119.6

19.0

21.6

19.720.2

19.0

20.6

19.819.8

18.8

20.4

19.5

SD2.8

3.8

3.7

3.4

3.7

2.1

5.9

4.0

4.0

4.3

3.9

4.1

3.5

3.4

4.4

3.8

2.2

3.5

3.0

2.7

3.6

3.1

3.7

2.4

3.1

2.9

3.3

3.1

2.6

3.8

3.7

3.4

3.2

2.8

5.9

3.6

4.0

3.4

3.9

3.7

3.3

3.3

4.4

3.6

n9

11

10

30

10

11

728

99

826

28

31

25

84

811

19

97

16

10

919

27

27

54

17

22

10

49

19

18

744

19

18

845

55

58

25

138

CVM

19.1

19.4

18.1

18.917.717.5

20.1

18.219.1

19.4

17.5

18.718.6

18.7

18.5

18.617.0

18.0

17.617.1

17.6

17.317.018.9

17.917.0

18.2

17.618.1

18.7

18.1

18.417.4

17.5

20.1

17.918.0

19.2

17.5

18.417.8

18.5

18.5

18.2

SD2.1

2.4

2.4

2.3

3.1

2.2

4.2

3.2

4.9

4.4

4.3

4.4

3.5

3.1

3.6

3.3

2.4

3.8

3.3

1.2

2.5

1.8

2.3

4.0

3.3

1.9

3.5

2.9

2.4

3.2

2.4

2.8

2.3

2.3

4.2

2.8

3.8

4.1

4.3

4.0

2.9

3.3

3.6

3.2

n9

11

10

30

10

11

728

99

826

28

31

25

84

811

19

97

16

10

919

27

27

54

17

22

10

49

19

18

744

19

18

845

55

58

25

138

PB‐PC

PBVM21.0

18.8

19.9

19.816.520.1

19.5

18.920.4

18.1

17.5

18.619.3

19.0

18.9

19.018.0

19.9

18.916.7

18.1

17.519.219.3

19.318.1

19.1

18.619.2

19.4

19.9

19.416.6

19.1

19.5

18.319.8

18.6

17.5

18.918.6

19.0

18.9

18.9

SD3.3

2.3

2.3

2.6

2.4

2.2

1.9

2.6

3.5

2.6

3.1

3.2

3.6

2.4

2.6

2.8

1.9

3.7

3.0

3.1

2.0

2.6

3.1

2.3

2.7

2.8

2.8

2.8

2.9

3.1

2.3

2.8

2.7

2.3

1.9

2.6

3.2

2.5

3.1

3.0

3.2

2.6

2.6

2.8

n5

67

18

67

821

78

823

18

21

23

62

88

16

68

14

96

15

23

22

45

13

14

734

12

15

835

16

14

838

41

43

23

107

CVM

21.8

19.5

20.1

20.417.323.3

16.4

19.020.7

18.6

19.3

19.519.9

20.4

18.5

19.618.9

19.9

19.415.8

19.6

18.020.720.7

20.718.8

20.0

19.420.0

19.7

20.1

19.916.6

21.3

16.4

18.620.7

19.5

19.3

19.919.3

20.2

18.5

19.5

SD2.4

2.5

2.0

2.4

3.7

2.4

6.2

5.4

3.6

2.7

3.3

3.2

3.7

3.2

4.4

3.9

2.1

2.6

2.4

3.5

2.5

3.4

3.6

1.5

2.9

3.6

2.3

3.0

2.6

2.5

2.0

2.4

3.5

3.0

6.2

4.7

3.5

2.4

3.3

3.1

3.6

2.7

4.4

3.5

n5

67

18

67

821

78

823

18

21

23

62

88

16

68

14

96

15

23

22

45

13

14

734

12

15

835

16

14

838

41

43

23

107

GesamtPB

VM20.6

19.5

19.6

19.918.819.0

20.5

19.421.1

18.5

19.1

19.520.1

19.0

19.7

19.618.4

18.3

18.318.1

19.1

18.619.119.2

19.118.6

18.8

18.719.4

18.9

19.6

19.218.4

19.0

20.5

19.120.0

18.8

19.1

19.419.3

18.9

19.7

19.2

SD2.9

3.3

3.1

3.1

3.7

2.3

4.2

3.4

3.7

3.6

3.8

3.8

3.5

3.0

3.7

3.4

2.0

3.7

3.0

3.0

3.0

3.0

3.3

2.2

2.9

2.9

3.1

3.0

2.7

3.5

3.1

3.1

3.3

2.6

4.2

3.3

3.6

3.0

3.8

3.4

3.3

3.0

3.7

3.3

n14

17

17

48

16

18

15

49

16

17

16

49

46

52

48

146

16

19

35

15

15

30

19

15

34

50

49

99

30

36

17

83

31

33

15

79

35

32

16

83

96

101

48

245

CVM

20.1

19.4

18.9

19.417.619.7

18.1

18.519.8

19.1

18.4

19.119.1

19.4

18.5

19.017.9

18.8

18.416.6

18.7

17.618.719.6

19.117.8

19.0

18.418.9

19.1

18.9

19.017.1

19.2

18.1

18.219.2

19.3

18.4

19.118.4

19.2

18.5

18.8

SD2.5

2.3

2.4

2.4

3.2

3.7

5.6

4.2

4.3

3.6

3.8

3.9

3.6

3.2

4.0

3.6

2.4

3.4

3.0

2.4

2.6

2.7

3.4

3.3

3.4

2.9

3.1

3.1

2.6

3.0

2.4

2.7

2.8

3.2

5.6

3.7

3.9

3.4

3.8

3.7

3.3

3.2

4.0

3.4

n14

17

17

48

16

18

15

49

16

17

16

49

46

52

48

146

16

19

35

15

15

30

19

15

34

50

49

99

30

36

17

83

31

33

15

79

35

32

16

83

96

101

48

245

Subtest6

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM18.2

21.9

22.0

20.817.327.0

22.1

22.126.1

25.6

23.6

25.020.0

24.9

22.5

22.527.0

27.9

27.523.1

20.0

21.723.120.4

21.524.2

22.5

23.322.1

24.7

22.0

23.120.3

23.7

22.1

22.024.6

22.8

23.6

23.622.1

23.7

22.5

22.8

SD5.4

7.3

6.1

6.3

6.2

8.5

9.8

9.0

8.9

7.2

8.8

8.0

7.6

7.7

8.1

8.0

5.0

6.8

5.8

6.7

7.6

7.1

6.1

7.2

6.8

6.2

7.8

7.0

6.8

7.5

6.1

6.9

7.0

8.6

9.8

8.2

7.5

7.5

8.8

7.6

7.2

7.8

8.1

7.6

n9

911

29

10

10

11

31

79

925

26

28

31

85

78

15

11

920

710

17

25

27

52

16

17

11

44

21

19

11

51

14

19

942

51

55

31

137

CVM

13.3

18.2

17.8

16.613.818.9

16.7

16.520.0

20.1

16.7

18.815.3

19.1

17.1

17.218.9

19.8

19.317.1

17.7

17.418.117.2

17.617.9

18.1

18.015.8

18.9

17.8

17.515.5

18.3

16.7

16.819.1

18.6

16.7

18.316.6

18.6

17.1

17.5

SD4.6

5.5

5.0

5.3

5.7

4.2

5.4

5.4

5.5

7.5

5.0

6.1

5.9

5.7

5.0

5.6

5.6

4.6

4.9

7.4

6.4

6.8

8.6

6.0

6.9

7.1

5.7

6.3

5.7

5.0

5.0

5.3

6.7

5.3

5.4

6.0

7.0

6.7

5.0

6.4

6.5

5.6

5.0

5.9

n9

911

29

10

10

11

31

79

925

26

28

31

85

78

15

11

920

710

17

25

27

52

16

17

11

44

21

19

11

51

14

19

942

51

55

31

137

PB‐PC

PBVM14.0

25.4

18.7

19.023.324.7

24.1

24.023.4

23.3

19.8

22.120.7

24.3

20.9

21.921.3

24.9

23.222.0

20.7

21.420.820.8

20.821.3

22.3

21.818.1

25.1

18.7

21.122.6

22.7

24.1

22.922.1

21.9

19.8

21.521.0

23.2

20.9

21.8

SD8.8

9.0

7.4

9.1

12.09.6

7.0

9.2

5.7

6.0

5.7

5.8

9.6

7.7

6.7

8.1

5.4

8.1

7.0

7.1

4.8

6.0

3.7

6.9

5.4

5.3

7.0

6.2

7.7

8.1

7.4

8.3

9.3

7.5

7.0

8.0

4.8

6.4

5.7

5.6

7.5

7.3

6.7

7.3

n6

56

17

76

720

87

823

21

18

21

60

89

17

86

14

89

17

24

24

48

14

14

634

15

12

734

16

16

840

45

42

21

108

CVM

21.2

26.2

18.8

21.824.322.8

23.6

23.622.8

23.9

20.3

22.222.8

24.2

21.0

22.622.5

27.7

25.223.9

20.0

22.223.422.0

22.623.3

23.6

23.421.9

27.1

18.8

23.524.1

21.4

23.6

23.023.1

22.8

20.3

22.423.0

23.9

21.0

23.0

SD6.5

5.2

6.9

6.6

10.510.2

7.8

9.0

7.4

6.5

6.2

6.6

8.0

7.3

6.9

7.4

7.7

8.3

8.2

7.1

4.2

6.1

5.4

5.2

5.2

6.5

6.9

6.7

7.0

7.1

6.9

7.5

8.5

7.6

7.8

7.9

6.3

5.7

6.2

6.0

7.2

7.0

6.9

7.1

n6

56

17

76

720

87

823

21

18

21

60

89

17

86

14

89

17

24

24

48

14

14

634

15

12

734

16

16

840

45

42

21

108

GesamtPB

VM16.5

23.1

20.8

20.119.826.1

22.9

22.924.7

24.6

21.8

23.620.3

24.7

21.8

22.223.9

26.3

25.222.6

20.3

21.621.920.6

21.122.8

22.4

22.620.2

24.9

20.8

22.221.3

23.3

22.9

22.423.3

22.4

21.8

22.621.6

23.5

21.8

22.4

SD7.0

7.8

6.6

7.4

9.2

8.7

8.6

9.0

7.2

6.6

7.5

7.1

8.4

7.6

7.5

8.0

5.9

7.4

6.7

6.7

6.4

6.6

4.9

6.9

6.1

5.9

7.4

6.6

7.4

7.6

6.6

7.5

8.0

8.1

8.6

8.1

6.2

6.9

7.5

6.8

7.3

7.5

7.5

7.5

n15

14

17

46

17

16

18

51

15

16

17

48

47

46

52

145

15

17

32

19

15

34

15

19

34

49

51

100

30

31

17

78

36

31

18

85

30

35

17

82

96

97

52

245

CVM

16.5

21.1

18.2

18.518.120.4

19.4

19.321.5

21.8

18.4

20.518.7

21.1

18.7

19.420.8

23.9

22.519.9

18.6

19.420.919.5

20.120.5

20.7

20.618.6

22.6

18.2

20.119.1

19.5

19.4

19.321.2

20.5

18.4

20.319.6

20.9

18.7

19.9

SD6.6

6.5

5.5

6.3

9.4

7.0

7.1

7.8

6.5

7.1

5.7

6.5

7.8

6.8

6.1

6.9

6.8

7.7

7.4

7.9

5.6

6.9

7.3

6.0

6.5

7.3

6.8

7.0

6.9

7.3

5.5

7.0

8.5

6.3

7.1

7.4

6.8

6.5

5.7

6.5

7.5

6.8

6.1

7.0

n15

14

17

46

17

16

18

51

15

16

17

48

47

46

52

145

15

17

32

19

15

34

15

19

34

49

51

100

30

31

17

78

36

31

18

85

30

35

17

82

96

97

52

245

Page 207: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·207

Subtest7

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM29.8

29.8

31.3

30.331.330.8

30.4

30.832.8

33.6

33.2

33.131.3

31.2

31.6

31.430.8

31.5

31.231.3

31.7

31.531.134.6

32.631.1

32.5

31.830.2

30.5

31.3

30.631.3

31.3

30.4

31.132.1

34.1

33.2

33.031.2

31.9

31.6

31.5

SD6.4

4.4

6.6

5.8

3.0

4.8

6.2

4.6

5.0

5.2

3.2

4.3

4.9

4.8

5.5

5.0

3.4

5.3

4.3

5.5

7.2

6.4

4.0

2.1

3.7

4.3

5.6

5.0

5.4

4.7

6.6

5.3

4.1

6.0

6.2

5.3

4.5

3.8

3.2

4.1

4.6

5.2

5.5

5.0

n10

89

27

11

10

10

31

11

79

27

32

25

28

85

66

12

811

19

97

16

23

24

47

16

14

939

19

21

10

50

20

14

943

55

49

28

132

CVM

26.8

25.0

28.7

26.927.227.3

29.5

28.027.1

27.9

29.6

28.127.0

26.7

29.3

27.728.8

28.0

28.427.8

28.4

28.126.732.4

29.227.6

29.5

28.627.6

26.3

28.7

27.427.4

27.9

29.5

28.026.9

30.1

29.6

28.527.3

28.1

29.3

28.0

SD4.3

5.5

4.4

4.8

5.1

7.1

3.7

5.4

4.8

4.7

3.5

4.4

4.6

5.9

3.7

4.9

3.1

7.3

5.4

3.3

5.1

4.3

6.7

2.5

5.9

4.7

5.3

5.1

3.9

6.3

4.4

4.9

4.3

6.0

3.7

5.0

5.6

4.3

3.5

5.0

4.6

5.7

3.7

4.9

n10

89

27

11

10

10

31

11

79

27

32

25

28

85

66

12

811

19

97

16

23

24

47

16

14

939

19

21

10

50

20

14

943

55

49

28

132

PB‐PC

PBVM28.9

31.5

33.8

30.930.029.1

29.7

29.630.4

29.5

33.1

31.029.7

30.0

32.2

30.529.3

28.4

28.831.0

31.5

31.327.529.6

28.729.4

29.8

29.629.1

29.7

33.8

30.030.6

30.4

29.7

30.329.1

29.6

33.1

30.129.6

29.9

32.2

30.1

SD5.1

3.1

4.4

4.7

3.1

4.1

1.4

3.0

3.7

5.2

5.0

4.8

4.1

4.2

4.2

4.2

3.5

7.3

5.7

3.7

5.8

4.7

4.8

4.6

4.7

4.1

5.9

5.1

4.3

5.9

4.4

5.1

3.4

5.1

1.4

3.9

4.4

4.8

5.0

4.8

4.0

5.1

4.2

4.6

n9

65

20

67

619

78

722

22

21

18

61

78

15

88

16

68

14

21

24

45

16

14

535

14

15

635

13

16

736

43

45

18

106

CVM

31.0

33.5

34.6

32.731.030.3

31.8

31.031.3

30.4

32.4

31.331.1

31.2

32.8

31.729.3

30.6

30.031.8

31.8

31.830.530.4

30.430.6

30.9

30.830.3

31.9

34.6

31.531.4

31.1

31.8

31.330.9

30.4

32.4

31.030.8

31.1

32.8

31.3

SD2.9

2.3

4.3

3.4

1.8

3.0

1.2

2.2

1.9

4.1

4.8

3.7

2.2

3.5

3.8

3.2

5.0

4.9

4.8

2.3

3.5

2.8

4.8

2.7

3.6

4.0

3.7

3.8

3.9

4.2

4.3

4.2

2.0

3.2

1.2

2.5

3.4

3.4

4.8

3.6

3.2

3.6

3.8

3.5

n9

65

20

67

619

78

722

22

21

18

61

78

15

88

16

68

14

21

24

45

16

14

535

14

15

635

13

16

736

43

45

18

106

GesamtPB

VM29.4

30.5

32.2

30.630.830.1

30.1

30.431.9

31.4

33.2

32.230.7

30.7

31.8

31.030.0

29.7

29.931.1

31.6

31.429.731.9

30.830.3

31.2

30.829.6

30.1

32.2

30.331.0

30.9

30.1

30.830.9

31.7

33.2

31.630.5

30.9

31.8

30.9

SD5.7

3.9

5.9

5.3

3.0

4.5

4.9

4.1

4.6

5.4

4.0

4.6

4.6

4.6

5.0

4.7

3.4

6.5

5.1

4.6

6.5

5.6

4.6

4.4

4.6

4.2

5.9

5.1

4.8

5.3

5.9

5.2

3.8

5.6

4.9

4.8

4.6

4.8

4.0

4.6

4.4

5.2

5.0

4.9

n19

14

14

47

17

17

16

50

18

15

16

49

54

46

46

146

13

14

27

16

19

35

15

15

30

44

48

92

32

28

14

74

33

36

16

85

33

30

16

79

98

94

46

238

CVM

28.8

28.6

30.8

29.328.528.5

30.4

29.128.7

29.2

30.8

29.628.7

28.8

30.7

29.329.1

29.5

29.329.8

29.8

29.828.231.3

29.829.0

30.2

29.628.9

29.1

30.8

29.329.1

29.2

30.4

29.428.5

30.3

30.8

29.628.8

29.5

30.7

29.4

SD4.2

6.1

5.1

5.1

4.6

5.8

3.2

4.7

4.4

4.5

4.2

4.4

4.3

5.4

4.1

4.7

4.1

6.0

5.0

3.4

4.7

4.1

6.1

2.7

4.9

4.6

4.6

4.6

4.1

5.9

5.1

5.0

4.0

5.2

3.2

4.4

5.2

3.8

4.2

4.5

4.4

5.0

4.1

4.6

n19

14

14

47

17

17

16

50

18

15

16

49

54

46

46

146

13

14

27

16

19

35

15

15

30

44

48

92

32

28

14

74

33

36

16

85

33

30

16

79

98

94

46

238

Subtest8

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM34.4

35.5

34.1

34.837.735.5

36.6

36.535.3

35.4

36.0

35.535.9

35.5

35.6

35.735.0

36.6

35.835.5

34.5

34.935.037.0

35.935.1

36.1

35.634.8

36.0

34.1

35.236.8

35.1

36.6

36.035.1

36.1

36.0

35.735.5

35.7

35.6

35.6

SD5.7

4.4

4.6

4.7

3.6

3.4

4.0

3.7

3.2

4.9

4.7

4.2

4.2

4.1

4.4

4.2

4.9

4.2

4.5

3.7

7.4

5.9

7.5

3.8

6.1

5.8

5.2

5.4

5.1

4.2

4.6

4.6

3.7

5.3

4.0

4.5

5.7

4.4

4.7

5.0

5.0

4.6

4.4

4.7

n7

10

825

911

10

30

10

11

728

26

32

25

83

99

18

68

14

11

920

26

26

52

16

19

843

15

19

10

44

21

20

748

52

58

25

135

CVM

30.6

31.2

32.1

31.333.332.6

28.7

31.532.8

30.0

32.1

31.532.4

31.3

30.8

31.532.9

31.4

32.230.5

29.0

29.629.930.0

30.031.1

30.2

30.631.9

31.3

32.1

31.732.2

31.1

28.7

30.931.3

30.0

32.1

30.931.7

30.8

30.8

31.1

SD5.4

5.3

4.9

5.0

3.2

4.4

6.1

5.0

3.4

6.4

5.7

5.3

3.9

5.4

5.7

5.0

5.2

5.9

5.4

10.9

11.9

11.06.9

6.0

6.3

7.3

7.9

7.6

5.2

5.4

4.9

5.2

7.1

8.3

6.1

7.4

5.6

6.0

5.7

5.7

5.8

6.6

5.7

6.1

n7

10

825

911

10

30

10

11

728

26

32

25

83

99

18

68

14

11

920

26

26

52

16

19

843

15

19

10

44

21

20

748

52

58

25

135

PB‐PC

PBVM31.3

32.8

35.7

33.036.233.3

33.3

34.132.8

31.0

35.5

33.233.1

32.4

34.8

33.435.4

29.4

32.232.6

33.8

33.235.533.5

34.634.5

32.2

33.333.2

31.2

35.7

32.734.0

33.6

33.3

33.734.4

32.2

35.5

33.833.8

32.3

34.8

33.4

SD6.0

6.3

2.7

5.6

3.9

6.7

6.3

5.7

6.2

4.5

5.2

5.4

5.7

5.7

4.9

5.5

3.6

7.9

6.8

5.8

5.6

5.6

7.3

2.4

5.6

5.7

6.1

6.0

5.3

7.1

2.7

6.0

5.3

5.9

6.3

5.6

6.7

3.8

5.2

5.5

5.7

5.9

4.9

5.7

n8

96

23

56

718

67

821

19

22

21

62

78

15

89

17

86

14

23

23

46

15

17

638

13

15

735

14

13

835

42

45

21

108

CVM

35.5

36.9

35.5

36.037.635.2

34.6

35.635.2

35.6

33.8

34.835.9

36.0

34.5

35.536.1

33.0

34.533.4

35.8

34.636.937.0

36.935.4

35.1

35.335.8

35.1

35.5

35.435.0

35.5

34.6

35.136.1

36.2

33.8

35.635.7

35.6

34.5

35.4

SD3.1

3.8

5.0

3.8

2.3

5.2

4.9

4.4

5.4

2.8

5.2

4.5

3.8

3.9

4.9

4.2

2.5

4.0

3.6

5.6

3.0

4.5

3.2

2.4

2.8

4.2

3.5

3.8

2.8

4.2

5.0

3.8

5.0

3.9

4.9

4.4

4.2

2.7

5.2

4.0

4.0

3.7

4.9

4.0

n8

96

23

56

718

67

821

19

22

21

62

78

15

89

17

86

14

23

23

46

15

17

638

13

15

735

14

13

835

42

45

21

108

GesamtPB

VM32.7

34.2

34.8

33.937.134.8

35.2

35.634.4

33.7

35.7

34.534.7

34.2

35.3

34.735.2

33.2

34.233.9

34.1

34.035.235.6

35.434.8

34.2

34.534.0

33.7

34.8

34.035.5

34.4

35.2

35.034.8

34.5

35.7

34.934.8

34.2

35.3

34.6

SD5.9

5.4

3.9

5.1

3.7

4.8

5.2

4.6

4.5

5.1

4.8

4.8

5.0

5.0

4.6

4.9

4.3

7.1

5.9

5.1

6.3

5.7

7.2

3.7

5.8

5.7

5.9

5.8

5.2

6.2

3.9

5.4

4.6

5.5

5.2

5.1

6.1

4.5

4.8

5.2

5.4

5.4

4.6

5.3

n15

19

14

48

14

17

17

48

16

18

15

49

45

54

46

145

16

17

33

14

17

31

19

15

34

49

49

98

31

36

14

81

28

34

17

79

35

33

15

83

94

103

46

243

CVM

33.2

33.9

33.6

33.634.933.5

31.1

33.133.7

32.2

33.0

32.933.9

33.2

32.5

33.234.3

32.2

33.232.1

32.6

32.432.832.8

32.833.1

32.5

32.833.8

33.1

33.6

33.433.5

33.1

31.1

32.833.2

32.5

33.0

32.933.5

32.9

32.5

33.0

SD4.9

5.4

5.1

5.0

3.5

4.7

6.2

5.1

4.2

5.9

5.3

5.1

4.2

5.3

5.6

5.1

4.4

5.0

4.8

8.0

8.8

8.4

6.5

5.9

6.2

6.4

6.7

6.5

4.6

5.2

5.1

4.9

6.2

7.0

6.2

6.6

5.5

5.8

5.3

5.6

5.4

6.0

5.6

5.7

n15

19

14

48

14

17

17

48

16

18

15

49

45

54

46

145

16

17

33

14

17

31

19

15

34

49

49

98

31

36

14

81

28

34

17

79

35

33

15

83

94

103

46

243

Page 208: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

 

208·Anhang

Subtest9

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohne

gesamt

Gesamt

ohnegesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohnegesamt

Gesamt

PC‐PB

PBV

M12.1

10.2

11.2

12.1

11.9

12.0

11.1

10.9

11.0

11.6

11.2

11.4

10.4

12.3

11.2

11.5

12.1

11.7

10.9

12.2

11.4

12.1

10.2

11.2

10.9

12.1

11.5

11.3

11.6

11.4

11.2

11.6

11.4

SD5.2

3.4

4.4

5.1

3.3

3.8

4.2

5.6

4.5

4.6

3.9

4.2

5.1

5.5

5.3

2.8

6.7

4.5

4.1

5.9

4.9

5.2

3.4

4.4

5.0

4.4

4.7

3.5

6.1

4.5

4.3

4.8

4.5

n9

918

716

23

16

723

32

32

64

19

14

33

17

10

27

36

24

60

99

18

26

30

56

33

17

50

68

56

124

CVM

15.1

8.4

11.8

9.7

9.9

9.8

4.7

4.7

4.7

8.7

8.3

8.5

13.3

12.9

13.1

14.2

15.4

14.6

13.7

14.0

13.8

15.1

8.4

11.8

12.3

11.3

11.8

9.6

11.0

10.1

11.4

10.8

11.1

SD3.5

5.3

5.6

2.9

4.1

3.7

3.4

3.6

3.4

5.6

4.7

5.1

3.4

5.2

4.2

2.1

3.3

2.6

2.8

4.6

3.6

3.5

5.3

5.6

3.6

4.8

4.3

5.5

6.4

5.8

5.0

5.4

5.2

n9

918

716

23

16

723

32

32

64

19

14

33

17

10

27

36

24

60

99

18

26

30

56

33

17

50

68

56

124

PB‐PC

PBV

M10.0

10.8

10.4

13.2

12.2

12.5

11.6

10.4

11.2

11.5

11.4

11.4

9.5

11.0

10.3

11.4

11.6

11.5

10.6

11.2

10.9

10.0

10.8

10.4

10.7

11.6

11.2

11.5

11.1

11.4

11.0

11.3

11.2

SD3.9

2.0

3.1

2.9

4.5

4.0

4.6

3.5

4.2

4.1

3.8

3.9

4.4

3.3

3.8

5.5

3.0

4.8

5.1

3.1

4.3

3.9

2.0

3.1

4.3

3.9

4.0

5.0

3.2

4.5

4.6

3.5

4.1

n8

614

613

19

14

721

28

26

54

13

16

29

16

824

29

24

53

86

14

19

29

48

30

15

45

57

50

107

CVM

14.9

14.0

14.5

14.8

13.1

13.6

9.0

9.7

9.2

11.9

12.4

12.1

14.2

14.8

14.5

14.5

13.9

14.3

14.3

14.5

14.4

14.9

14.0

14.5

14.4

14.0

14.2

11.9

11.9

11.9

13.2

13.4

13.3

SD3.7

4.7

4.0

4.8

3.3

3.8

4.2

4.4

4.2

5.0

4.1

4.6

2.9

3.1

3.0

4.1

2.9

3.7

3.5

3.0

3.3

3.7

4.7

4.0

3.5

3.3

3.3

4.9

4.1

4.6

4.5

3.8

4.1

n8

614

613

19

14

721

28

26

54

13

16

29

16

824

29

24

53

86

14

19

29

48

30

15

45

57

50

107

Gesamt

PBV

M11.1

10.5

10.8

12.6

12.0

12.2

11.3

10.6

11.1

11.5

11.3

11.4

10.1

11.6

10.8

11.5

11.9

11.6

10.8

11.7

11.2

11.1

10.5

10.8

10.8

11.8

11.4

11.4

11.3

11.4

11.1

11.5

11.3

SD4.6

2.9

3.8

4.1

3.9

3.9

4.3

4.5

4.3

4.3

3.8

4.0

4.8

4.4

4.6

4.3

5.2

4.6

4.6

4.7

4.6

4.6

2.9

3.8

4.7

4.1

4.4

4.3

4.9

4.4

4.4

4.2

4.3

n17

15

32

13

29

42

30

14

44

60

58

118

32

30

62

33

18

51

65

48

113

17

15

32

45

59

104

63

32

95

125

106

231

CVM

15.0

10.7

13.0

12.1

11.3

11.5

6.7

7.2

6.9

10.2

10.2

10.2

13.6

13.9

13.8

14.3

14.7

14.5

14.0

14.2

14.1

15.0

10.7

13.0

13.2

12.6

12.9

10.7

11.4

10.9

12.2

12.0

12.1

SD3.5

5.7

5.1

4.6

4.0

4.2

4.3

4.7

4.4

5.5

4.9

5.2

3.2

4.3

3.7

3.1

3.1

3.1

3.1

3.9

3.5

3.5

5.7

5.1

3.6

4.3

4.0

5.3

5.4

5.3

4.8

4.9

4.8

n17

15

32

13

29

42

30

14

44

60

58

118

32

30

62

33

18

51

65

48

113

17

15

32

45

59

104

63

32

95

125

106

231

Subtest10

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohne

gesamt

Gesamt

ohnegesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohne

gesamt

Gesamt

ohnegesamt

Gesamt

PC‐PB

PBV

M35.2

35.9

35.5

31.3

34.5

33.4

32.0

31.6

31.8

32.8

33.6

33.2

35.9

34.1

34.6

35.5

38.1

37.3

35.7

35.9

35.8

35.2

35.9

35.5

33.4

34.3

34.0

33.0

34.6

34.0

33.6

34.6

34.2

SD8.0

9.7

8.5

4.6

4.8

4.9

4.7

9.1

7.2

5.9

7.8

7.0

9.1

6.0

6.9

3.5

9.7

8.4

6.8

8.0

7.6

8.0

9.7

8.5

7.2

5.4

5.9

4.6

9.8

8.1

6.2

7.9

7.3

n10

818

816

24

15

17

32

33

41

74

718

25

615

21

13

33

46

10

818

15

34

49

21

32

53

46

74

120

CVM

31.1

18.3

25.4

23.5

28.3

26.7

25.3

23.6

24.4

26.6

24.4

25.4

16.6

16.7

16.6

15.2

18.0

17.2

15.9

17.3

16.9

31.1

18.3

25.4

20.3

22.1

21.6

22.4

21.0

21.6

23.6

21.2

22.1

SD11.3

1.5

10.5

7.4

10.4

9.6

5.7

8.7

7.4

8.4

9.2

8.9

4.8

5.2

5.0

5.7

4.5

4.9

5.1

4.9

4.9

11.3

1.5

10.5

7.1

9.9

9.1

7.3

7.5

7.4

9.0

8.3

8.7

n10

818

816

24

15

17

32

33

41

74

718

25

615

21

13

33

46

10

818

15

34

49

21

32

53

46

74

120

PB‐PC

PBV

M30.9

32.0

31.4

35.8

32.3

33.8

33.8

29.9

31.7

33.6

31.2

32.3

34.7

33.9

34.2

27.3

32.1

30.4

30.7

33.0

32.2

30.9

32.0

31.4

35.3

33.1

34.0

31.3

31.0

31.1

32.6

32.0

32.3

SD7.2

6.6

6.7

8.5

4.6

6.6

4.8

9.5

7.8

6.7

7.4

7.1

4.1

8.7

7.3

8.7

3.5

6.1

7.7

6.4

6.9

7.2

6.6

6.7

6.7

6.9

6.8

7.1

7.1

7.1

7.1

6.9

7.0

n8

816

912

21

13

15

28

30

35

65

713

20

815

23

15

28

43

88

16

16

25

41

21

30

51

45

63

108

CVM

28.0

18.5

23.3

27.4

31.7

29.9

28.5

30.6

29.6

28.0

28.2

28.1

21.0

19.6

20.1

15.4

18.7

17.5

18.0

19.1

18.7

28.0

18.5

23.3

24.6

25.4

25.1

23.5

24.6

24.2

24.7

24.2

24.4

SD6.8

6.2

8.0

6.4

4.6

5.7

5.4

9.3

7.7

5.9

8.9

7.6

4.7

5.6

5.2

8.1

4.9

6.2

7.1

5.2

5.8

6.8

6.2

8.0

6.4

7.9

7.3

9.1

9.5

9.3

7.9

8.7

8.3

n8

816

912

21

13

15

28

30

35

65

713

20

815

23

15

28

43

88

16

16

25

41

21

30

51

45

63

108

Gesamt

PBV

M33.3

33.9

33.6

33.6

33.5

33.6

32.8

30.8

31.8

33.2

32.5

32.8

35.3

34.0

34.4

30.8

35.1

33.7

33.0

34.6

34.1

33.3

33.9

33.6

34.4

33.8

34.0

32.1

32.9

32.6

33.1

33.4

33.3

SD7.7

8.3

7.9

7.1

4.8

5.7

4.7

9.2

7.4

6.3

7.7

7.0

6.8

7.1

7.0

8.0

7.8

8.0

7.6

7.4

7.5

7.7

8.3

7.9

6.9

6.1

6.3

6.0

8.7

7.7

6.7

7.6

7.2

n18

16

34

17

28

45

28

32

60

63

76

139

14

31

45

14

30

44

28

61

89

18

16

34

31

59

90

42

62

104

91

137

228

CVM

29.7

18.4

24.4

25.6

29.7

28.2

26.8

26.9

26.9

27.3

26.1

26.7

18.8

17.9

18.2

15.3

18.3

17.4

17.0

18.1

17.8

29.7

18.4

24.4

22.5

23.5

23.2

23.0

22.8

22.8

24.1

22.6

23.2

SD9.4

4.3

9.3

7.0

8.5

8.1

5.7

9.5

7.9

7.3

9.2

8.4

5.1

5.5

5.3

6.9

4.6

5.6

6.2

5.0

5.4

9.4

4.3

9.3

7.0

9.2

8.5

8.1

8.7

8.4

8.4

8.6

8.6

n18

16

34

17

28

45

28

32

60

63

76

139

14

31

45

14

30

44

28

61

89

18

16

34

31

59

90

42

62

104

91

137

228

Page 209: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang·209

Subtest11

Testreihenfolge

Präsentation

einzeln

alle

Gesamt

Antwortformat

Antwortformat

Antwortformat

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

einm

alig

weiter

korrigierbar

Gesamt

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

Zeitvorgabe

ohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamtGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamtohnegesamteinzelnGesamt

PC‐PB

PBVM17.3

20.1

15.4

17.718.714.3

14.1

15.315.4

17.6

17.3

16.617.0

17.4

15.5

16.517.7

17.1

17.414.3

16.3

15.221.414.1

17.117.6

15.6

16.617.5

18.8

15.4

17.616.1

15.2

14.1

15.318.2

15.3

17.3

16.817.3

16.5

15.5

16.6

SD4.6

11.8

4.5

8.0

6.4

2.8

6.6

5.7

6.2

6.8

7.2

6.4

5.7

8.4

6.1

6.8

7.0

4.9

5.8

7.5

9.4

8.2

11.25.6

8.9

8.8

6.6

7.7

5.7

9.3

4.5

7.2

7.2

6.5

6.6

6.6

9.1

6.0

7.2

7.5

7.4

7.5

6.1

7.1

n7

98

24

68

10

24

85

821

21

22

26

69

77

14

87

15

710

17

22

24

46

14

16

838

14

15

10

39

15

15

838

43

46

26

115

CVM

12.7

16.6

13.5

14.415.39.0

13.4

12.49.5

15.0

13.1

12.212.2

13.5

13.3

13.012.9

13.6

13.212.5

14.3

13.315.311.3

12.913.5

12.8

13.212.8

15.3

13.5

14.013.7

11.5

13.4

12.812.2

12.5

13.1

12.512.9

13.1

13.3

13.1

SD7.7

9.3

8.7

8.5

3.1

4.0

7.1

5.8

7.9

5.0

8.1

7.4

6.9

7.4

7.6

7.3

4.9

4.9

4.7

6.1

6.2

6.0

7.2

4.6

6.0

6.0

5.1

5.5

6.2

7.6

8.7

7.3

5.1

5.6

7.1

5.8

7.9

4.9

8.1

6.7

6.4

6.3

7.6

6.6

n7

98

24

68

10

24

85

821

21

22

26

69

77

14

87

15

710

17

22

24

46

14

16

838

14

15

10

39

15

15

838

43

46

26

115

PB‐PC

PBVM12.8

19.0

14.5

15.315.615.2

17.6

16.114.2

15.0

15.5

15.014.2

16.3

15.9

15.516.2

22.4

19.017.7

18.9

18.313.619.4

17.015.9

20.0

18.114.2

20.4

14.5

16.516.5

16.8

17.6

16.913.9

17.1

15.5

15.715.0

17.9

15.9

16.4

SD4.9

4.1

11.6

7.9

9.3

6.2

6.5

7.2

5.9

8.0

3.7

5.9

6.9

6.4

7.7

7.0

7.3

8.0

7.9

3.2

4.5

3.8

4.5

10.6

8.8

5.3

7.8

6.9

6.0

6.0

11.6

8.0

7.2

5.6

6.5

6.3

5.0

9.2

3.7

7.0

6.2

7.2

7.7

7.0

n8

78

23

89

825

58

821

21

24

24

69

65

11

67

13

57

12

17

19

36

14

12

834

14

16

838

10

15

833

38

43

24

105

CVM

13.3

18.4

17.0

16.118.617.3

17.6

17.812.0

15.9

15.1

14.715.0

17.2

16.6

16.317.8

23.8

20.516.7

21.9

19.513.422.3

18.616.1

22.5

19.515.2

20.7

17.0

17.617.8

19.3

17.6

18.412.7

18.9

15.1

16.115.5

19.5

16.6

17.4

SD6.1

8.1

12.1

9.0

8.8

5.4

6.4

6.7

4.1

7.0

6.6

6.2

7.3

6.6

8.5

7.4

6.3

6.4

6.8

7.3

6.0

6.9

3.4

7.3

7.3

6.0

6.3

6.9

6.4

7.6

12.1

8.5

8.0

5.9

6.4

6.7

3.6

7.6

6.6

6.8

6.6

6.9

8.5

7.4

n8

78

23

89

825

58

821

21

24

24

69

65

11

67

13

57

12

17

19

36

14

12

834

14

16

838

10

15

833

38

43

24

105

GesamtPB

VM14.9

19.6

14.9

16.516.914.8

15.7

15.714.9

16.0

16.4

15.815.6

16.8

15.7

16.017.0

19.3

18.115.7

17.6

16.618.216.3

17.116.9

17.6

17.215.9

19.5

14.9

17.116.3

16.0

15.7

16.116.5

16.2

16.4

16.316.2

17.2

15.7

16.5

SD5.2

9.0

8.5

8.0

8.1

4.8

6.6

6.4

5.8

7.4

5.6

6.1

6.4

7.4

6.9

6.9

6.9

6.6

6.7

6.1

7.2

6.6

9.6

8.2

8.7

7.4

7.4

7.4

6.0

7.9

8.5

7.5

7.0

6.0

6.6

6.5

7.9

7.7

5.6

7.2

6.9

7.3

6.9

7.1

n15

16

16

47

14

17

18

49

13

13

16

42

42

46

50

138

13

12

25

14

14

28

12

17

29

39

43

82

28

28

16

72

28

31

18

77

25

30

16

71

81

89

50

220

CVM

13.0

17.4

15.3

15.317.213.4

15.3

15.210.5

15.5

14.1

13.413.6

15.4

14.9

14.715.2

17.8

16.414.3

18.1

16.214.515.8

15.314.6

17.1

15.914.0

17.6

15.3

15.715.8

15.5

15.3

15.512.4

15.7

14.1

14.214.1

16.2

14.9

15.1

SD6.7

8.6

10.4

8.7

7.0

6.3

6.9

6.8

6.6

6.1

7.2

6.9

7.1

7.2

8.1

7.5

5.9

7.5

6.7

6.7

7.1

7.0

5.8

7.9

7.0

6.0

7.4

6.9

6.3

8.0

10.4

8.0

6.9

7.0

6.9

6.8

6.4

7.1

7.2

6.9

6.6

7.3

8.1

7.3

n15

16

16

47

14

17

18

49

13

13

16

42

42

46

50

138

13

12

25

14

14

28

12

17

29

39

43

82

28

28

16

72

28

31

18

77

25

30

16

71

81

89

50

220

Page 210: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

210·Anhang

15.8 ANOVATabellenderÄquivalenzüberprüfung

Inden folgendenTabellenwerdendieErgebnissederunivariatenVarianzanalysenderErgeb‐nisse der elf Subtests des LPS‐neu für die vier FaktorenPräsentation (einzeln, alle), Antwort‐

format(einmalig,weiter,korrigierbar),Zeitvorgabe(keine,gesamt,einzeln)undZeitpunkt(CV

zuT1vs.CVzuT2)hinsichtlichdesMesswiederholungsfaktorsModus(PBVvs.CV)dargestellt.AngegebenwerdendieQuadratsummen( ),dieFreiheitsgrade( ; entspricht ),

diemittlerenQuadratsummen( / ),dieentsprechenden ‐Werteund ‐Values,das

klassischeVarianzverhältnis( ;Varianzklärung imKontextdesGesamtmodells),daspartielle

Varianzverhältnis( ;VarianzklärungohneBerücksichtigungderrestlichenFaktoren)unddie

untereundobereGrenzedes80%‐Konfidenzintervallsvon .

15.8.1 Subtest1

Faktor

Modus 1100.70 1 1100.70 41.66 <.01 .101 .162 .107 .218Modus*Reihenfolge 3462.29 1 3462.29 131.03 <.01 .319 .378 .313 .433Modus*Präsentation 0.57 1 0.57 0.02 .88 <.001 <.001 <.001 .001Modus*Antwortformat 109.46 2 54.73 2.07 .13 .010 .019 <.001 .042Modus*Zeitvorgabe 88.66 2 44.33 1.68 .19 .008 .015 <.001 .037Modus*Reihenfolge*Präsentation 0.14 1 0.14 0.01 .94 <.001 <.001 <.001 .002Modus*Reihenfolge*Antwortformat 3.43 2 1.72 0.06 .94 <.001 <.001 <.001 .001Modus*Reihenfolge*Zeitvorgabe 171.01 2 85.51 3.24 .04 .016 .029 .004 .058Modus*Präsentation*Antwortformat 19.26 2 9.63 0.36 .70 .002 .003 <.001 .012Modus*Präsentation*Zeitvorgabe 10.92 1 10.92 0.41 .52 .001 .002 <.001 .016Modus*Antwortformat*Zeitvorgabe 39.88 4 9.97 0.38 .82 .004 .007 <.001 .008Modus*Reihenfolge*Präs.*Antwortf. 17.90 2 8.95 0.34 .71 .002 .003 <.001 .011Modus*Reihenfolge*Präs.*Zeitvorgabe 1.21 1 1.21 0.05 .83 <.001 <.001 <.001 .005Modus*Reihenfolge*Antwortf.*Zeitv. 53.36 4 13.34 0.50 .73 .005 .009 <.001 .012Modus*Präsentation*Antwortf.*Zeitv. 50.78 2 25.39 0.96 .38 .005 .009 <.001 .025Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 15.59 2 7.80 0.30 .74 .001 .003 <.001 .010ResidualstreuungMesswiederholung 5707.62 216 26.42 .526 Gesamt‐Within‐Streuung 10852.79

15.8.2 Subtest2

Faktor

Modus 131.29 1 131.29 9.81 <.01 .021 .043 .015 .082Modus*Reihenfolge 2818.43 1 2818.43 210.57 <.01 .450 .494 .434 .542Modus*Präsentation 7.44 1 7.44 0.56 .46 .001 .003 0 .018Modus*Antwortformat 28.28 2 14.14 1.06 .35 .005 .010 0 .027Modus*Zeitvorgabe 35.32 2 17.66 1.32 .27 .006 .012 0 .031Modus*Reihenfolge*Präsentation 66.58 1 66.58 4.97 .03 .011 .023 .004 .054Modus*Reihenfolge*Antwortformat 59.71 2 29.85 2.23 .11 .010 .020 0 .045Modus*Reihenfolge*Zeitvorgabe 26.76 2 13.38 1.00 .37 .004 .009 0 .026Modus*Präsentation*Antwortformat 4.35 2 2.18 0.16 .85 <.001 .002 0 .004Modus*Präsentation*Zeitvorgabe 0.60 1 0.60 0.04 .83 <.001 <.001 0 .004Modus*Antwortformat*Zeitvorgabe 31.70 4 7.92 0.59 .67 .005 .011 0 .016Modus*Reihenfolge*Präs.*Antwortf. 20.32 2 10.16 0.76 .47 .003 .007 0 .021Modus*Reihenfolge*Präs.*Zeitvorgabe 27.99 1 27.99 2.09 .15 .004 .010 0 .033Modus*Reihenfolge*Antwortf.*Zeitv. 35.82 4 8.95 0.67 .61 .006 .012 0 .019Modus*Präsentation*Antwortf.*Zeitv. 32.23 2 16.11 1.20 .30 .005 .011 0 .029Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 50.26 2 25.13 1.88 .16 .008 .017 0 .040ResidualstreuungMesswiederholung 2891.18 216 13.39 .461 Gesamt‐Within‐Streuung 6268.25

Page 211: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang 211

15.8.3 Subtest3

Faktor

Modus 4.79 1 4.79 0.87 .35 .002 .004 0 .022Modus*Reihenfolge 694.63 1 694.63 125.59 <.01 .328 .369 .304 .424Modus*Präsentation 7.03 1 7.03 1.27 .26 .003 .006 0 .026Modus*Antwortformat 1.35 2 0.67 0.12 .89 <.001 .001 0 .001Modus*Zeitvorgabe 29.49 2 14.74 2.67 .07 .014 .024 .001 .051Modus*Reihenfolge*Präsentation 1.49 1 1.49 0.27 .60 <.001 .001 0 .014Modus*Reihenfolge*Antwortformat 7.44 2 3.72 0.67 .51 .004 .006 0 .020Modus*Reihenfolge*Zeitvorgabe 36.31 2 18.15 3.28 .04 .017 .030 .004 .059Modus*Präsentation*Antwortformat 35.44 2 17.72 3.20 .04 .017 .029 .004 .058Modus*Präsentation*Zeitvorgabe 1.04 1 1.04 0.19 .67 <.001 <.001 0 .012Modus*Antwortformat*Zeitvorgabe 40.31 4 10.08 1.82 .13 .019 .033 0 .053Modus*Reihenfolge*Präs.*Antwortf. 9.17 2 4.58 0.83 .44 .004 .008 0 .023Modus*Reihenfolge*Präs.*Zeitvorgabe 0.12 1 0.12 0.02 .88 <.001 <.001 0 .001Modus*Reihenfolge*Antwortf.*Zeitv. 44.78 4 11.19 2.02 .09 .021 .036 0 .057Modus*Präsentation*Antwortf.*Zeitv. 5.29 2 2.65 0.48 .62 .002 .004 0 .015Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 12.07 2 6.04 1.09 .34 .006 .010 0 .028ResidualstreuungMesswiederholung 1189.14 215 5.53 .561 Gesamt‐Within‐Streuung 2119.87

15.8.4 Subtest4

Faktor

Modus 1.75 1 1.75 0.50 .48 .002 .002 0 .017Modus*Reihenfolge 135.23 1 135.23 38.45 <.01 .135 .151 .097 .206Modus*Präsentation 4.60 1 4.60 1.31 .25 .005 .006 0 .026Modus*Antwortformat 7.88 2 3.94 1.12 .33 .008 .010 0 .028Modus*Zeitvorgabe 8.34 2 4.17 1.19 .31 .008 .011 0 .029Modus*Reihenfolge*Präsentation 0.34 1 0.34 0.10 .76 <.001 <.001 0 .008Modus*Reihenfolge*Antwortformat 10.51 2 5.25 1.49 .23 .010 .014 0 .034Modus*Reihenfolge*Zeitvorgabe 22.50 2 11.25 3.20 .04 .022 .029 .004 .057Modus*Präsentation*Antwortformat 0.14 2 0.07 0.02 .98 <.001 <.001 0 0Modus*Präsentation*Zeitvorgabe 0.07 1 0.07 0.02 .88 <.001 <.001 0 .001Modus*Antwortformat*Zeitvorgabe 8.19 4 2.05 0.58 .68 .008 .011 0 .016Modus*Reihenfolge*Präs.*Antwortf. 18.26 2 9.13 2.60 .08 .018 .023 .001 .049Modus*Reihenfolge*Präs.*Zeitvorgabe 0.07 1 0.07 0.02 .89 <.001 <.001 0 .001Modus*Reihenfolge*Antwortf.*Zeitv. 18.54 4 4.63 1.32 .26 .019 .024 0 .039Modus*Präsentation*Antwortf.*Zeitv. 1.37 2 0.69 0.19 .82 .001 .002 0 .005Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 0.50 2 0.25 0.07 .93 <.001 <.001 0 .002ResidualstreuungMesswiederholung 763.20 217 3.52 .762 Gesamt‐Within‐Streuung 1001.49

15.8.5 Subtest5

Faktor

Modus 21.98 1 21.98 5.03 .03 .017 .023 .004 .054Modus*Reihenfolge 106.62 1 106.62 24.39 <.01 .084 .102 .057 .153Modus*Präsentation 1.15 1 1.15 0.26 .61 <.001 .001 0 .013Modus*Antwortformat 14.89 2 7.44 1.70 .18 .012 .016 0 .037Modus*Zeitvorgabe 47.11 2 23.56 5.39 <.01 .037 .048 .014 .083Modus*Reihenfolge*Präsentation 0.22 1 0.22 0.05 .82 <.001 <.001 0 .005Modus*Reihenfolge*Antwortformat 10.86 2 5.43 1.24 .29 .009 .011 0 .030Modus*Reihenfolge*Zeitvorgabe 5.50 2 2.75 0.63 .53 .004 .006 0 .019Modus*Präsentation*Antwortformat 10.34 2 5.17 1.18 .31 .008 .011 0 .029Modus*Präsentation*Zeitvorgabe 1.14 1 1.14 0.26 .61 <.001 .001 0 .013Modus*Antwortformat*Zeitvorgabe 17.29 4 4.32 0.99 .41 .014 .018 0 .030Modus*Reihenfolge*Präs.*Antwortf. 5.63 2 2.81 0.64 .53 .004 .006 0 .019Modus*Reihenfolge*Präs.*Zeitvorgabe 0.05 1 0.05 0.01 .92 <.001 <.001 0 .002Modus*Reihenfolge*Antwortf.*Zeitv. 74.84 4 18.71 4.28 <.01 .059 .074 .024 .106Modus*Präsentation*Antwortf.*Zeitv. 3.10 2 1.55 0.36 .70 .002 .003 0 .012Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 6.21 2 3.11 0.71 .49 .005 .007 0 .020ResidualstreuungMesswiederholung 939.68 215 4.37 .742 Gesamt‐Within‐Streuung 1266.61

Page 212: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

212·Anhang

15.8.6 Subtest6

Faktor

Modus 545.81 1 545.81 34.63 <.01 .099 .139 .087 .193Modus*Reihenfolge 1185.00 1 1185.00 75.19 <.01 .215 .259 .196 .318Modus*Präsentation 0.14 1 0.14 0.01 .92 <.001 <.001 0 .002Modus*Antwortformat 4.95 2 2.48 0.16 .85 <.001 .001 0 .004Modus*Zeitvorgabe 16.64 2 8.32 0.53 .59 .003 .005 0 .017Modus*Reihenfolge*Präsentation 1.51 1 1.51 0.10 .76 <.001 <.001 0 .009Modus*Reihenfolge*Antwortformat 47.03 2 23.52 1.49 .23 .009 .014 0 .034Modus*Reihenfolge*Zeitvorgabe 32.15 2 16.07 1.02 .36 .006 .009 0 .026Modus*Präsentation*Antwortformat 102.06 2 51.03 3.24 .04 .018 .029 .004 .058Modus*Präsentation*Zeitvorgabe 30.53 1 30.53 1.94 .17 .006 .009 0 .032Modus*Antwortformat*Zeitvorgabe 30.53 4 7.63 0.48 .75 .006 .009 0 .011Modus*Reihenfolge*Präs.*Antwortf. 6.10 2 3.05 0.19 .82 .001 .002 0 .006Modus*Reihenfolge*Präs.*Zeitvorgabe 1.07 1 1.07 0.07 .79 <.001 <.001 0 .007Modus*Reihenfolge*Antwortf.*Zeitv. 22.86 4 5.72 0.36 .84 .004 .007 0 .007Modus*Präsentation*Antwortf.*Zeitv. 28.37 2 14.19 0.90 .41 .005 .008 0 .024Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 74.52 2 37.26 2.36 .10 .014 .022 0 .047ResidualstreuungMesswiederholung 3388.53 215 15.76 .614 Gesamt‐Within‐Streuung 5517.83

15.8.7 Subtest7

Faktor

Modus 131.96 1 131.96 16.38 <.01 .053 .073 .034 .120Modus*Reihenfolge 523.33 1 523.33 64.97 <.01 .212 .238 .175 .297Modus*Präsentation 7.52 1 7.52 0.93 .34 .003 .004 0 .023Modus*Antwortformat 11.56 2 5.78 0.72 .49 .005 .007 0 .021Modus*Zeitvorgabe 8.11 2 4.06 0.50 .61 .003 .005 0 .016Modus*Reihenfolge*Präsentation 12.47 1 12.47 1.55 .21 .005 .007 0 .030Modus*Reihenfolge*Antwortformat 4.98 2 2.49 0.31 .73 .002 .003 0 .011Modus*Reihenfolge*Zeitvorgabe 25.88 2 12.94 1.61 .20 .010 .015 0 .037Modus*Präsentation*Antwortformat 15.44 2 7.72 0.96 .39 .006 .009 0 .026Modus*Präsentation*Zeitvorgabe 0.38 1 0.38 0.05 .83 <.001 <.001 0 .005Modus*Antwortformat*Zeitvorgabe 12.71 4 3.18 0.39 .81 .005 .008 0 .008Modus*Reihenfolge*Präs.*Antwortf. 1.21 2 0.61 0.08 .93 <.001 <.001 0 .003Modus*Reihenfolge*Präs.*Zeitvorgabe 1.11 1 1.11 0.14 .71 <.001 <.001 0 .011Modus*Reihenfolge*Antwortf.*Zeitv. 26.15 4 6.54 0.81 .52 .011 .015 0 .025Modus*Präsentation*Antwortf.*Zeitv. 3.44 2 1.72 0.21 .81 .001 .002 0 .007Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 10.75 2 5.38 0.67 .51 .004 .006 0 .020ResidualstreuungMesswiederholung 1675.54 208 8.06 .678 Gesamt‐Within‐Streuung 2472.55

15.8.8 Subtest8

Faktor

Modus 218.72 1 218.72 21.35 <.01 .057 .091 .048 .141Modus*Reihenfolge 1090.49 1 1090.49 106.43 <.01 .283 .333 .268 .391Modus*Präsentation 27.98 1 27.98 2.73 .10 .007 .013 0 .039Modus*Antwortformat 39.53 2 19.76 1.93 .15 .010 .018 0 .041Modus*Zeitvorgabe 61.42 2 30.71 3.00 .05 .016 .027 .003 .056Modus*Reihenfolge*Präsentation 0.00 1 0.00 0.00 1.00 <.001 <.001 0 0Modus*Reihenfolge*Antwortformat 9.85 2 4.93 0.48 .62 .003 .004 0 .015Modus*Reihenfolge*Zeitvorgabe 70.25 2 35.12 3.43 .03 .018 .031 .005 .061Modus*Präsentation*Antwortformat 2.82 2 1.41 0.14 .87 <.001 .001 0 .003Modus*Präsentation*Zeitvorgabe 0.01 1 0.01 0.00 .98 <.001 <.001 0 0Modus*Antwortformat*Zeitvorgabe 9.08 4 2.27 0.22 .93 .002 .004 0 0Modus*Reihenfolge*Präs.*Antwortf. 18.59 2 9.30 0.91 .41 .005 .008 0 .025Modus*Reihenfolge*Präs.*Zeitvorgabe 8.66 1 8.66 0.85 .36 .002 .004 0 .022Modus*Reihenfolge*Antwortf.*Zeitv. 102.42 4 25.60 2.50 .04 .027 .045 .005 .069Modus*Präsentation*Antwortf.*Zeitv. 1.02 2 0.51 0.05 .95 <.001 <.001 0 0Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 11.40 2 5.70 0.56 .57 .003 .005 0 .017ResidualstreuungMesswiederholung 2182.38 213 10.25 .566 Gesamt‐Within‐Streuung 3854.62

Page 213: Bedingungen für die Äquivalenz von Papier‐Bleistift ... · B C edin Pa omp Inau (P gung pier‐ uterv gural‐Di de sycholog en fü Bleis ersi ssertation r Philoso ie, Pädag

Anhang 213

15.8.9 Subtest9

Faktor

Modus 159.36 1 159.36 15.21 <.01 .044 .067 .031 .113Modus*Reihenfolge 151.71 1 151.71 14.48 <.01 .042 .064 .028 .109Modus*Präsentation 567.15 1 567.15 54.14 <.01 .156 .204 .144 .263Modus*Antwortformat 299.21 2 149.60 14.28 <.01 .083 .119 .066 .168Modus*Zeitvorgabe 27.95 1 27.95 2.67 .10 .008 .012 0 .038Modus*Reihenfolge*Präsentation 48.09 1 48.09 4.59 .03 .013 .021 .003 .052Modus*Reihenfolge*Antwortformat 4.83 2 2.41 0.23 .79 .001 .002 0 .007Modus*Reihenfolge*Zeitvorgabe 4.23 1 4.23 0.40 .53 .001 .002 0 .016Modus*Präsentation*Antwortformat 59.77 1 59.77 5.71 .02 .016 .026 .006 .060Modus*Präsentation*Zeitvorgabe 8.18 1 8.18 0.78 .38 .002 .004 0 .021Modus*Antwortformat*Zeitvorgabe 46.70 2 23.35 2.23 .11 .013 .021 0 .046Modus*Reihenfolge*Präs.*Antwortf. 21.25 1 21.25 2.03 .16 .006 .010 0 .033Modus*Reihenfolge*Präs.*Zeitvorgabe 0.05 1 0.05 0.00 .94 <.001 <.001 0 0Modus*Reihenfolge*Antwortf.*Zeitv. 5.68 2 2.84 0.27 .76 .002 .003 0 .009Modus*Präsentation*Antwortf.*Zeitv. 0.03 1 0.03 0.00 .96 <.001 <.001 0 0Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 10.90 1 10.90 1.04 .31 .003 .005 0 .024ResidualstreuungMesswiederholung 2210.40 211 10.48 .610 Gesamt‐Within‐Streuung 3625.48

15.8.10 Subtest10

Faktor

Modus 11739.76 1 11739.76 433.02 <.01 .538 .676 .631 .709Modus*Reihenfolge 452.11 1 452.11 16.68 <.01 .021 .074 .035 .121Modus*Präsentation 2610.69 1 2610.69 96.29 <.01 .120 .316 .251 .375Modus*Antwortformat 232.91 2 116.46 4.30 .01 .011 .040 .009 .073Modus*Zeitvorgabe 101.04 1 101.04 3.73 .05 .005 .018 .002 .047Modus*Reihenfolge*Präsentation 25.42 1 25.42 0.94 .33 .001 .004 0 .023Modus*Reihenfolge*Antwortformat 47.54 2 23.77 0.88 .42 .002 .008 0 .025Modus*Reihenfolge*Zeitvorgabe 16.15 1 16.15 0.60 .44 <.001 .003 0 .019Modus*Präsentation*Antwortformat 7.26 1 7.26 0.27 .61 <.001 .001 0 .014Modus*Präsentation*Zeitvorgabe 65.84 1 65.84 2.43 .12 .003 .012 0 .037Modus*Antwortformat*Zeitvorgabe 765.92 2 382.96 14.13 <.01 .035 .120 .066 .169Modus*Reihenfolge*Präs.*Antwortf. 0.72 1 0.72 0.03 .87 <.001 <.001 0 .003Modus*Reihenfolge*Präs.*Zeitvorgabe 105.93 1 105.93 3.91 .05 .005 .018 .002 .048Modus*Reihenfolge*Antwortf.*Zeitv. 12.85 2 6.42 0.24 .79 <.001 .002 0 .008Modus*Präsentation*Antwortf.*Zeitv. 1.31 1 1.31 0.05 .83 <.001 <.001 0 .005Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 0.06 1 0.06 0.00 .96 <.001 <.001 0 0ResidualstreuungMesswiederholung 5639.19 208 27.11 .258 Gesamt‐Within‐Streuung 21824.70

15.8.11 Subtest11

Faktor

Modus 150.38 1 150.38 9.50 <.01 .038 .048 .016 .091Modus*Reihenfolge 475.47 1 475.47 30.05 <.01 .121 .137 .082 .194Modus*Präsentation 9.27 1 9.27 0.59 .44 .002 .003 0 .021Modus*Antwortformat 36.95 2 18.48 1.17 .31 .009 .012 0 .033Modus*Zeitvorgabe 46.30 2 23.15 1.46 .23 .012 .015 0 .038Modus*Reihenfolge*Präsentation 0.00 1 0.00 0.00 1.00 <.001 <.001 0 0Modus*Reihenfolge*Antwortformat 10.37 2 5.19 0.33 .72 .003 .003 0 .012Modus*Reihenfolge*Zeitvorgabe 14.01 2 7.00 0.44 .64 .004 .005 0 .016Modus*Präsentation*Antwortformat 0.71 2 0.35 0.02 .98 <.001 <.001 0 0Modus*Präsentation*Zeitvorgabe 8.39 1 8.39 0.53 .47 .002 .003 0 .020Modus*Antwortformat*Zeitvorgabe 52.57 4 13.14 0.83 .51 .013 .017 0 .028Modus*Reihenfolge*Präs.*Antwortf. 41.52 2 20.76 1.31 .27 .011 .014 0 .035Modus*Reihenfolge*Präs.*Zeitvorgabe 1.92 1 1.92 0.12 .73 <.001 <.001 0 .011Modus*Reihenfolge*Antwortf.*Zeitv. 56.68 4 14.17 0.90 .47 .014 .019 0 .030Modus*Präsentation*Antwortf.*Zeitv. 10.69 2 5.35 0.34 .71 .003 .004 0 .013Modus*Reihenf.*Präs.*Antwortf.*Zeitv. 2.70 2 1.35 0.09 .92 <.001 <.001 0 .004ResidualstreuungMesswiederholung 3006.78 190 15.83 .766 Gesamt‐Within‐Streuung 3924.71