Anwendung von Multi-Level Moderation in Worst Performance ... · Universität Heidelberg Psychologisches Institut Was ist die Worst Performance Rule? „On multitrial cognitive tasks,

Universität Heidelberg Psychologisches Institut Universität Heidelberg Psychologisches Institut

Anwendung von

Multi-Level Moderation in

Worst Performance Analysen

Präsentation auf der FGME 2015 - Jena

Gidon T. Frischkorn, Anna-Lena Schubert,

Andreas B. Neubauer & Dirk Hagemann

16. September 2015

Universität Heidelberg Psychologisches Institut

Was ist die Worst Performance Rule?

„On multitrial cognitive tasks, worst performance trials are more indicative of general intelligence (g) than best performance trials“ (Larson & Alderton, 1990)

Warum ist dieses Phänomen interessant? (siehe Coyle, 2003)

1) Die WPR widerspricht bestimmten Annahmen der KTT

2) Die WPR hinterfragt wichtige Annahmen zur Struktur und Konzeptualisierung des Intelligenzkonstrukts

3) Die WPR hängt von der g-Ladung der verwendeten Aufgabe ab

16.09.2015 Differentielle Psychologie und

Persönlichkeitspsychologie 2


Wie sehen Worst Performance Analysen

typischerweise aus?

Klassische WPA:

1) Trials nach Leistung sortieren

2) Performanz-Bänder oder Perzentile bilden

3) Mittelwert oder Median für die Performanz-Bänder oder Perzentile berechnen

4) Korrelation zwischen Mittelwert/Median und einem Indikator für allgemeine Intelligenz berechnen

(siehe Coyle, 2003 & Schubert, Frischkorn & Hagemann, 2015)




Probleme von Worst Performance Analysen

• Die klassische WPA beschreibt das

Phänomen der WPR eher als es zu testen

• Die Unterschiede zwischen Korrelationen

auf Signifikanz zu prüfen ist sehr

testschwach, insbesondere im Bereich

kleiner Korrelationen (Cohen, 1988)

4 16.09.2015 Differentielle Psychologie und

Persönlichkeitspsychologie


Die Worst Performance Rule als Moderation

Im Kern ist das Phänomen der WPR eine Moderation:

• Der Zusammenhang zwischen allgemeiner Intelligenz und Leistung in einer kognitiven Verarbeitungsaufgabe wird durch das Perzentil der Leistung bestimmt

Vorteile dieser Konzeptualisierung:

• Die WPR wird als Anstieg der Korrelation bzw. des Regressionsgewichts zwischen allgemeiner Intelligenz und Leistung in einer kognitiven Verarbeitungsaufgabe modelliert

Darstellung der WPR in einem einzelnen Regressionskoeffizienten

Vereinfachte Testung dieses Koeffizienten auf statistische Bedeutsamkeit




Ein Multi-Level Framework für WPA

Die Datenstruktur dieser Analyse entspricht einer Zwei-Ebenen Struktur: Trials in Personen – deshalb sollte diese Analyse in einem Multi-Level Modell durchgeführt werden.

• Auf Level 1 wird die Leistung L im Trial i der Person p durch das Perzentil vorhergesagta

• Auf Level 2 wird die Leistung durch die allgemeine Intelligenz vorhergesagt



aDer Verlauf von RT-Mittelwerten

über Perzentile wird annähernd

perfekt durch ein Polynom dritten

Grades beschrieben.


Ein Multi-Level Framework für WPA

• Indem nun die interindividuellen Unterschiede des Regressionsgewichts des Perzentils der Leistung durch allgemeine Intelligenz vorhergesagt wird, implementieren wir die Interaktion zwischen Perzentil und allgemeiner Intelligenz:



• woraus die folgende vollständige Gleichung des MLM folgt:


Empirisches Beispiel

• Stichprobe:

– 121 Teilnehmer (58.7% weiblich) aus der

Allgemeinbevölkerung

– 18 bis 61 Jahre alt (M = 36.64, SD = 15.65)

– Allgemeine Intelligenz (gemessen mit dem BIS):

• M = 99.6, SD = 5.7 (BIS Stand., M = 100, SD = 10)

• Range = 86.3 - 114.8

• Rel = .937 (geschätzt mit Cronbach‘s α)





• Kognitive Verarbeitungsaufgabe:

– Sternberg Memory Span Task

• Teilnehmer sehen ein Set aus 5 Zahlen (1 bis 9)

• Anschließen wird eine Zahl als Probe präsentiert

• Teilnehmer soll möglichst schnell entscheiden, ob

die Zahl im Memory Set enthalten war oder nicht



3

Memory Set Probe

5 1 8 6 5



• Schätzung des MLM:

– Random Intercept Model als Baseline

– Schrittweise Parameter hinzufügen

– Evaluation des Model-Fits durch Likelihood-

Ratio Test und Verringerung in AIC & BIC

– Prädiktoren:

• Perzentil: 9-stufig, zentriert auf das 5. Perzentil

• Intelligenz: kontinuierlich, z-standardisiert

16.09.2015

Differentielle Psychologie und




• Model Fit:



Model Df AIC BIC LogLike LogRatio p

Baseline 3 161167.7 161189.7 -80580.9

+FE P 4 148224.5 148253.9 -74108.3 12945.2 < .01

+FE P2 5 146327.1 146363.9 -73158.6 1899.4 < .01

+FE P3 6 145157.9 145202.0 -72573.0 1171.2 < .01

+RE P 8 136084.3 136143.1 -68034.1 9077.7 < .01

+RE P2 11 133958.7 134038.9 -66968.0 2132.2 < .01

+RE P3 15 133137.7 133247.3 -66553.5 829.0 <.01

+FE g 16 133133.4 133251.0 -66550.7 5.7 = .017

+FE P x g 17 133133.0 133257.9 -66549.5 2.4 = .121

+FE P2 x g 18 133127.8 133260.1 -66545.9 7.2 < .01

+FE P3 x g 19 133110.8 133250.5 -66536.4 19.0 < .01



• Parameter des angenommenen Models – RTs steigen mit

Perzentilen

– Teilnehmer mit höheren Werten auf g haben schnellere Reaktionszeiten

– Mit steigendem Perzentil wird der Effekt von g auf RT größer

Schätzer S.E.

Intercept 825.8* 18.3

FE P 43.4* 2.5

FE P2 10.0* 0.5

FE P3 3.4* 0.2

FE g -89.2* 19.3

FE P x g -8.6* 2.6

FE P2 x g -3.0* 0.6

FE P3 x g -0.7* 0.2









• Vergleich von Korrelationen mit b-Gewichten

– Korrelation steigt (nicht signifikant) mit Perzentilen an

(z = 1.266, p = .103, q = .10)

– b-Gewicht steigt bedeutsam mit Perzentilen an

– SD(RT) steigt deutlich (nicht linear) mit Perzentil an

Perzentil 1 2 3 4 5 6 7 8 9

rIQ,RT -.39 -.39 -.40 -.39 -.40 -.40 -.41 -.43 -.47

bIQ,RT -57.76 -67.39 -75.05 -82.87 -92.70 -106.36 -123.62 -151.78 -222.83

SDRT 140.52 164.18 179.25 201.18 221.79 251.00 283.79 336.05 454.39



Die Standardabweichung des IQ liegt mit 0.954 leicht unter 1


Diskussion

• Das MLM kann den Anstieg in unstandardisierten Regressionsgewichten mit einer höheren Power testen

• Interpretation der Ergebnisse muss für unstandardisierte Koeffizienten angepasst werden

• Die Standardabweichung der Leistung spielt, entgegen der bisher herrschenden Meinung, eine entscheidende Rolle im Bezug auf die WPR

• Möglicherweise sind unstandardisierte Effekte eine bessere Möglichkeit die WPR darzustellen: – Repräsentieren die absoluten Unterschiede in der Leistung der

Personen

– Anstieg der unstandardisierte Effekte ist eine notwendige Bedingung für die WPR (angenommen die SD der Leistung bleibt konstant oder steigt mit den Perzentilen an)



Universität Heidelberg Psychologisches Institut Universität Heidelberg Psychologisches Institut

Vielen Dank für Ihre

Aufmerksamkeit!

[email protected]

Bei Fragen können Sie mich gerne jederzeit

ansprechen oder kontaktieren.


Literatur

Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. Hilsdale, New Jersey: Lawrence Erlbaum Associates.

Coyle, T. R. (2003b). A review of the worst performance rule: Evidence, theory, and alternative hypotheses. Intelligence, 31 , 567-587.

Larson, G. E., & Alderton, D. L. (1990). Reaction time variability and intelligence: A "worst performance" analysis of individual differences. Intelligence, 14 , 309-325.

Schubert, A.-L., Frischkorn, G. T., & Hagemann, D. (2015, June).

A systematic replication of the worst performance rule. Retrieved from https://osf.io/ekzrv



https://osf.io/ekzrv

https://osf.io/ekzrv

Documents

Anwendung von Multi-Level Moderation in Worst Performance ... · Universität Heidelberg Psychologisches Institut Was ist die Worst Performance Rule? „On multitrial cognitive tasks,