Vorlesung -...

Vorlesung

Grundlagen

Psychologischer Diagnostik und Testtheorie

Universität Leipzig

WS 2018/19

Datum: 16.01.2019

Dozent: Sascha Krause

2

Gliederung der Vorlesung

1. Einführung

2. Psychologische Tests

– Verschiedene Arten psychologischer Tests

– Items

– Statistische Itemanalysen

– Faktorenanalyse

– Normierung

3. Testgütekriterien

– Objektivität

– Reliabilität

– Validität

4. Entscheidungstheoretische Modelle

– Entscheidungsstrategien

– Güte diagnostischer Entscheidungen

– Nutzen diagnostischer Entscheidungen

5. Diagnostische Urteilsbildung

3

3.3 Validität (Wiederholung)

Unter Validität wird das Maß an Genauigkeit verstanden, mit dem

der Test dasjenige Merkmal misst, das er messen soll oder zu

erfassen vorgibt.

Wichtigstes Kriterium für die Bewertung der Güte eines Tests

Arten von Validität:

- Inhaltsvalidität

- Kriteriumsvalidität

- Konstruktvalidität

4

3.3.3 Konstruktvalidität (Wiederholung)

Definition:

Unter Konstruktvalidität versteht man empirische Belege dafür, dass ein

Test das Konstrukt erfasst, welches er erfassen soll – und nicht ein

anderes (Schmidt-Atzert & Amelang, 2012)

Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &

Meehl, 1955)

• anhand theoretischer Annahmen wird die Beziehung eines Konstrukts zu

anderen Konstrukten definiert (Axiome)

• man postuliert ein Netzwerk aus positiven, negativen und Nullbeziehungen

3.3.3 Konstruktvalidität (Wiederholung)

Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &

Meehl, 1955)

• Korrespondenzregeln stellen die Verbindung zwischen dem Bereich der Theorie und dem Bereich der Beobachtung dar.

3.3.3 Konstruktvalidität (Wiederholung)

6

Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &

Meehl, 1955)

• theoretische Annahmen müssen anhand beobachtbarer Variablen

empirisch überprüft werden können

Lässt sich das vorhergesagte Muster empirisch nachweisen?

3.3.3 Konstruktvalidität (Wiederholung)

Das Ziel der Konstruktvalidierung besteht darin, die auf theoretischer Ebene postulierten Zusammenhänge im nomologischen Netz auf der Beobachtungsebene empirisch zu zeigen

3.3.3 Konstruktvalidität (Wiederholung)

8

Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &

Meehl, 1955)

Übungsaufgabe

• Betten Sie theoretisch das Konstrukt Verträglichkeit in

ein nomologisches Netzwerk ein.

• Mit welchen Konstrukten gibt es positive/negative

Beziehungen/ Zusammenhänge?

• Mit welchen Konstrukten gibt es keine Beziehungen/

Zusammenhänge (Nullkorrelationen)?

Überprüfung des nomologischen Netzwerks

→ konvergente Validität:

Der zu validierende Test korreliert hoch mit Tests verwandter bzw.

assoziierter Konstrukte (z.B. Test zur Erfassung von verbaler Intelligenz

mit einem Test zur Erfassung numerischer Intelligenz)

→ diskriminante Validität:

Der zu validierende Test korreliert niedrig mit Tests nicht verwandter

bzw. assoziierter Konstrukte (z.B. Test zur Erfassung von verbaler

Intelligenz mit einem Test zur Erfassung von Aufmerksamkeit)

Beispiel für konvergente und diskriminante Validität bei der

Vorhersage von Verhalten:

Prüfung der Konstruktvalidität eines Tests, der Aggressivität bei

Schulkindern messen soll

3.3.3 Konstruktvalidität

Beispiel für einen Aggressivitätstest für Schüler:

3.3.3 Konstruktvalidität

3.3.3 Konstruktvalidität - Übungsbeispiel

Überprüfung der Konstruktvalidität:

Verschiedenste Methoden können bei der Konstruktvalidierung zum

Einsatz kommen (z.B. Korrelationen mit anderen Tests, Korrelation

mit beobachtetem Verhalten, Faktorenanalysen, experimentelle

Manipulation)

Kennwerte zur Konstruktvalidität existieren nicht (es gilt eine

Vielzahl von empirischen Befunden zu würdigen)

3.3.3 Konstruktvalidität

14

3.3.3 Konstruktvalidität

Experimentelle Manipulation

Multitrait-Multimethod-Analyse (Campbell & Fiske, 1959)

überzeugendste Zugangsweise zur Überprüfung der

Konstruktvalidität

Multitrait-Multimethod-Matrix enthält die Korrelationen, die entstehen,

wenn man unterschiedliche Merkmale mit unterschiedlichen Methoden

erfasst

→ Ziel: Untersuchung der konvergenten und diskriminanten Validität

sowie Abschätzung des Methodenbias

Beispiel:

→ Aggressivität und Dominanz von Schulkindern wird mit zwei

verschiedenen Methoden gemessen: Lehrerurteile, FB-Verfahren

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

Methode Fragebogen Lehrerurteile

Trait Dominanz Aggressivität Dominanz Aggressivität

Frage-

bogen

Dominanz .95

Aggressivität .40 .88

Lehrer-

urteile

Dominanz .32 .12 .86

Aggressivität .03 .37 .43 .89

3.3.3 Konstruktvalidität

Interessierende Daten:

Daten in der Diagonalen markieren üblicherweise die Reliabilitäten

der einzelnen Methoden

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

Methode Fragebogen Lehrerurteile

Trait Dominanz Aggressivität Dominanz Aggressivität

Frage-

bogen

Dominanz .95

Aggressivität .40 .88

Lehrer-

urteile

Dominanz .32 .12 .86

Aggressivität .03 .37 .43 .89

3.3.3 Konstruktvalidität

Interessierende Daten:

Daten in der Diagonalen markieren üblicherweise die Reliabilitäten

der einzelnen Methoden

Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,

das mit verschiedenen Methoden erfasst wird, hoch miteinander

korrelieren.

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

Methode Fragebogen Lehrerurteile

Trait Dominanz Aggressivität Dominanz Aggressivität

Frage-

bogen

Dominanz .95

Aggressivität .40 .88

Lehrer-

urteile

Dominanz .32 .12 .86

Aggressivität .03 .37 .43 .89

3.3.3 Konstruktvalidität

Interessierende Daten:

Daten in der Diagonalen markieren üblicherweise die Reliabilitäten

der einzelnen Methoden

Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,

das mit verschiedenen Methoden erfasst wird, hoch miteinander

korrelieren.

Diskriminante Validität liegt vor, wenn Messungen verschiedener

Konstrukte, die mit derselben Methode oder mit unterschiedlichen

Methoden erfasst werden, nicht oder nur gering miteinander

korrelieren.

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

Methode Fragebogen Lehrerurteile

Trait Dominanz Aggressivität Dominanz Aggressivität

Frage-

bogen

Dominanz .95

Aggressivität .40 .88

Lehrer-

urteile

Dominanz .32 .12 .86

Aggressivität .03 .37 .43 .89

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

Methode Fragebogen Lehrerurteile

Trait Dominanz Aggressivität Dominanz Aggressivität

Frage-

bogen

Dominanz .95

Aggressivität .40 .88

Lehrer-

urteile

Dominanz .32 .12 .86

Aggressivität .03 .37 .43 .89

3.3.3 Konstruktvalidität

Interessierende Daten:

Daten in der Diagonalen markieren üblicherweise die Reliabilitäten

der einzelnen Methoden

Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,

das mit verschiedenen Methoden erfasst wird, hoch miteinander

korrelieren.

Diskriminante Validität liegt vor, wenn Messungen verschiedener

Konstrukte, die mit derselben Methode oder mit unterschiedlichen

Methoden erfasst werden, nicht oder nur gering miteinander

korrelieren.

Bei Nutzung der gleichen Methode liefern Korrelationen zwischen den

unterschiedlichen Konstrukten Evidenz für Methodenbias

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

Methode Fragebogen Lehrerurteile

Trait Dominanz Aggressivität Dominanz Aggressivität

Frage-

bogen

Dominanz .95

Aggressivität .40 .88

Lehrer-

urteile

Dominanz .32 .12 .86

Aggressivität .03 .37 .43 .89

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

Methode Fragebogen Lehrerurteile

Trait Dominanz Aggressivität Dominanz Aggressivität

Frage-

bogen

Dominanz .95

Aggressivität .40 .88

Lehrer-

urteile

Dominanz .32 .12 .86

Aggressivität .03 .37 .43 .89

3.3.3 Konstruktvalidität

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

A und B sind verschiedene Merkmale

R = Reliabilitäten

MH = Mono-Trait-Hetero-Method-Korrelationen

HM = Hetero-Trait-Mono-Method-Korrelationen

HH = Hetero-Trait-Hetero-Method-Korrelationen

3.3.3 Konstruktvalidität

Multitrait-Multimethod-Matrix

A und B sind verschiedene Merkmale

R = Reliabilitäten

MH = Mono-Trait-Hetero-Method-Korrelationen

HM = Hetero-Trait-Mono-Method-Korrelationen

HH = Hetero-Trait-Hetero-Method-Korrelationen

Konvergente Validität: Mono-Trait-Hetero-Method-Korrelationen (MH)

Diskriminante Validität: Hetero-Trait-Korrelationen (HM + HH)

Methodenbias: Hetero-Trait-Mono-Method-Korrelationen > Hetero-Trait-

Hetero-Method-Korrelationen (HM > HH)

Im Resultat einer Multitrait-Multimethod-Analyse sollte ein guter Test eines

speziellen Konstrukts über 3 Eigenschaften verfügen:

1) Punktwerte des Tests sollten mit Punktwerten anderer Tests, die das

gleiche Konstrukt messen, hoch korrelieren (konvergente Validität).

2) Punktwerte des Tests sollten mit Punktwerten anderer Tests, die ein

anderes Konstrukt messen, nicht korrelieren (diskriminante Validität).

3) Die gewählte Messmethode sollte möglichst geringen Bias zeigen.

3.3.3 Konstruktvalidität

Ein echtes empirisches Beispiel

31

Übungsaufgabe

Methode Fragebogen Beobachterurteile

Trait Agency Communion Agency Communion

Frage-

bogen

Agency .87

Communion .02 .86

Beobach-

terurteile

Agency .27 .03 .89

Communion .11 .18 .23 .90

Interpretieren Sie folgende Multitrait-Multimethod-Matrix

Anforderungen an die Validität eines Tests (allgemeine Richtlinien):

• Test muss in einem solchem Maß valide sein, dass Einsatz besser als Unterlassung.

• Die Validität sollte bei neuen Tests höher als bei älteren sein, oder die Ökonomie der Durchführung sollte sich bei gleicher Validität verbessern.

• Die Höhe der Validität sollte proportional zur Wichtigkeit der Entscheidung sein.

3.3.3 Validität

3.4 Zusammenfassung Gütekriterien

Wechselbeziehungen zwischen den Gütekriterien Objektivität,

Reliabilität und Validität (nach Lienert)

Partielle Inkompatibilität von Reliabilität und Validität?

34

3.4 Zusammenfassung Gütekriterien

35

3.4 Zusammenfassung Gütekriterien

36

Gliederung der Vorlesung

1. Einführung

2. Psychologische Tests

– Verschiedene Arten psychologischer Tests

– Items

– Statistische Itemanalysen

– Faktorenanalyse

– Normierung

3. Testgütekriterien

– Objektivität

– Reliabilität

– Validität

4. Entscheidungstheoretische Modelle

– Entscheidungsstrategien

– Güte diagnostischer Entscheidungen

– Nutzen diagnostischer Entscheidungen

5. Diagnostische Urteilsbildung

Hintergrund: Bedeutung diagnostischer Entscheidungen

Auf Basis diagnostischer Informationen (z.B. durch Tests, Interviews etc.)

werden Entscheidungen über anstehende Fragen gefällt:

- Ein Bewerber wird eingestellt,

- ein Kind wird einer bestimmten Schulform zugeordnet,

- ein Klient erhält eine Verhaltenstherapie,

- ein Strafgefangener wird nicht vorzeitig aus der Haft entlassen etc.

Mit dem Einsatz von Tests und anderen diagnostischen Verfahren wird

die Erwartung verbunden, zu besseren Empfehlungen und

Entscheidungen zu gelangen, als es ohne diese Verfahren möglich ist.

4. Entscheidungstheoretische Modelle

Lit.: Krohne & Hock (Kap. 6) und Amelang & Schmidt-Atzert (Kap. 6)

• Entscheidungstheoretische Überlegungen in der psychologischen

Diagnostik bei Selektionsentscheidungen, vor allem bei der

Personalauswahl:

4.1 Verschiedene Entscheidungsstrategien

4.2 Bestimmung der Güte von Selektionsentscheidungen

4.3 Evaluation des finanziellen Nutzens von diagnostischen Verfahren

und darauf basierender Vergleich von alternativen diagnostischen

Auswahlprozeduren

4.1 Entscheidungsstrategien

Sind Ablehnungen möglich spricht man von Selektionsentscheidungen

(z.B. Bewerber um einen Studienplatz in Psychologie)

Verbleiben alle Probanden im System spricht man von Platzierung (z.B.

Rangordnung der Studenten nach Klausur)

Diagnostische Entscheidungen können auf einstufigen oder

mehrstufigen (sequentiellen) Testungen basieren:

Einstufig: Zuordnung erfolgt auf der Basis einer punktuell-einmaligen

Diagnose (z.B. Abschneiden in IQ-Test)

Mehrstufig: Zuordnung ist das Resultat eines gestuften Vorgehens in

mehreren Schritten (z.B. Abschneiden in IQ-Test + Konzentrationstest)

Diagnostische Informationen können ein- oder mehrdimensional sein:

univariat (z.B. Abiturnote)

mulitvariat (z.B. Abiturnote + Praktikumsbeurteilung)

4.1 Entscheidungsstrategien

Informationen

über eine PersonEntscheidung

Akzeptiert

Abgelehnt

Geeignet

Ungeeignet

Ungeeignet

Geeignet

Entscheidungsprozess bei einer Selektionsentscheidung (Personalauswahl)

Einfachste Strategie:

• Single Cutoff:

Wenn x ≥ c akzeptiere den Kandidaten, andernfalls lehne ihn ab

Beispiel:

Wenn Bachelorabschluss in Psychologie ≤ 2.7, Zulassungs-

voraussetzung für Master ist erfüllt (sonst Ablehnung)

4.1 Entscheidungsstrategien

4.1.1 Kompensatorische und konjunktive

Entscheidungsstrategien

• In der diagnostischen Praxis werden meist mehrere diagnostisch

relevante Informationen über einen Probanden erhoben:

→ Bewerber sollten über mehrere Eigenschaften verfügen

(z.B. Pilot = gutes Sehvermögen + hohe Konzentrationsfähigkeit)

• Entscheidende Frage:

→ Wie kombiniert (oder verrechnet) man diese Informationen

(Prädiktoren)?

• Kompensatorisches Entscheidungsmodell:

→ Prädiktoren können sich gegenseitig ausgleichen (kompensieren)

→ Es wird ein Gesamtwert berechnet, in dem beide Merkmale gleich

gewichtet oder auch mit unterschiedlichen Gewichten eingehen

→ Beispielsweise könnten niedrige Leistungen in einem Prädiktor durch

hohe in dem anderen wettgemacht werden (jedoch nicht in jedem

Fall)

4.1.1 Kompensatorische Entscheidungsstrategie

Paaraufgabe

Entwerfen Sie eine kompensatorische Entscheidungs-

strategie für die Zulassung zum Bachelor-

Psychologiestudium.

4.1.1 Kompensatorische Entscheidungsstrategie

Disjunktive Entscheidungsstrategie („Oder-Strategie“):

• extreme Variante der Kompensationsstrategie

• Es genügen entsprechend hohe Werte in einem der Prädiktoren

(Ähnlichkeit zu single Cut-off Strategie)

• Personen werden akzeptiert, wenn sie auf mindestens einer der

entscheidungsrelevanten Variablen hohe Werte erreichen

Bsp.: Personen mit einem Abitur < 1.2 akzeptieren ODER

Ergebnisse im Eingangstest haben T-Wert > .70

Bei sehr gutem Abschneiden im Abitur wäre das Abschneiden im

Eingangstest vollkommen irrelevant (und umgekehrt)

Disjunktive Entscheidungsstrategie

(„Oder-Strategie“)

Paaraufgabe

Entwerfen Sie eine disjunktive Entscheidungsstrategie für

die Zulassung zum Master-Psychologiestudium.

4.1.1 Kompensatorische und konjunktive

Entscheidungsstrategien

Nachteil kompensatorische Entscheidungsstrategie:

• Strategie ist dysfunktional, wenn in jedem Teilbereich bestimmt

Mindestleistungen unabdingbar vorliegen müssen (d.h. Kompensation

unmöglich ist)

→ Beispiel: Chirurg kann mangelnde feinmotorische Kompetenz nicht

durch Intelligenz kompensieren

• Konjunktive Entscheidungsstrategie („Und-Strategie“):

→ bestimmte Leistungen sind in jedem Bereich zu erbringen

→ Probanden, die zuvor festgelegte Mindestwerte in den Prädiktoren

nicht erreichen, werden „abgeschnitten“ (multiples Cut-Off Modell)

4.1.1 Konjunktive Entscheidungsstrategie

Person 3

Übungsaufgabe

Was passiert mit Personen 1-4 in der

- kompensatorischen (diagonal gepunktet)

- disjunktiven (gestrichelt)

- konjunktiven (gestrichelt)

Strategie?

Fassen Sie die Ergebnisse für jede Person

zusammen.