Upload
lamhanh
View
213
Download
0
Embed Size (px)
Citation preview
Vorlesung
Grundlagen
Psychologischer Diagnostik und Testtheorie
Universität Leipzig
WS 2018/19
Datum: 16.01.2019
Dozent: Sascha Krause
2
Gliederung der Vorlesung
1. Einführung
2. Psychologische Tests
– Verschiedene Arten psychologischer Tests
– Items
– Statistische Itemanalysen
– Faktorenanalyse
– Normierung
3. Testgütekriterien
– Objektivität
– Reliabilität
– Validität
4. Entscheidungstheoretische Modelle
– Entscheidungsstrategien
– Güte diagnostischer Entscheidungen
– Nutzen diagnostischer Entscheidungen
5. Diagnostische Urteilsbildung
3
3.3 Validität (Wiederholung)
Unter Validität wird das Maß an Genauigkeit verstanden, mit dem
der Test dasjenige Merkmal misst, das er messen soll oder zu
erfassen vorgibt.
Wichtigstes Kriterium für die Bewertung der Güte eines Tests
Arten von Validität:
- Inhaltsvalidität
- Kriteriumsvalidität
- Konstruktvalidität
4
3.3.3 Konstruktvalidität (Wiederholung)
Definition:
Unter Konstruktvalidität versteht man empirische Belege dafür, dass ein
Test das Konstrukt erfasst, welches er erfassen soll – und nicht ein
anderes (Schmidt-Atzert & Amelang, 2012)
Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &
Meehl, 1955)
• anhand theoretischer Annahmen wird die Beziehung eines Konstrukts zu
anderen Konstrukten definiert (Axiome)
• man postuliert ein Netzwerk aus positiven, negativen und Nullbeziehungen
3.3.3 Konstruktvalidität (Wiederholung)
Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &
Meehl, 1955)
• Korrespondenzregeln stellen die Verbindung zwischen dem Bereich der Theorie und dem Bereich der Beobachtung dar.
3.3.3 Konstruktvalidität (Wiederholung)
6
Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &
Meehl, 1955)
• theoretische Annahmen müssen anhand beobachtbarer Variablen
empirisch überprüft werden können
Lässt sich das vorhergesagte Muster empirisch nachweisen?
3.3.3 Konstruktvalidität (Wiederholung)
Das Ziel der Konstruktvalidierung besteht darin, die auf theoretischer Ebene postulierten Zusammenhänge im nomologischen Netz auf der Beobachtungsebene empirisch zu zeigen
3.3.3 Konstruktvalidität (Wiederholung)
8
Einbettung des Konstrukts in ein nomologisches Netzwerk (Cronbach &
Meehl, 1955)
Übungsaufgabe
• Betten Sie theoretisch das Konstrukt Verträglichkeit in
ein nomologisches Netzwerk ein.
• Mit welchen Konstrukten gibt es positive/negative
Beziehungen/ Zusammenhänge?
• Mit welchen Konstrukten gibt es keine Beziehungen/
Zusammenhänge (Nullkorrelationen)?
Überprüfung des nomologischen Netzwerks
→ konvergente Validität:
Der zu validierende Test korreliert hoch mit Tests verwandter bzw.
assoziierter Konstrukte (z.B. Test zur Erfassung von verbaler Intelligenz
mit einem Test zur Erfassung numerischer Intelligenz)
→ diskriminante Validität:
Der zu validierende Test korreliert niedrig mit Tests nicht verwandter
bzw. assoziierter Konstrukte (z.B. Test zur Erfassung von verbaler
Intelligenz mit einem Test zur Erfassung von Aufmerksamkeit)
Beispiel für konvergente und diskriminante Validität bei der
Vorhersage von Verhalten:
Prüfung der Konstruktvalidität eines Tests, der Aggressivität bei
Schulkindern messen soll
3.3.3 Konstruktvalidität
Beispiel für einen Aggressivitätstest für Schüler:
3.3.3 Konstruktvalidität
3.3.3 Konstruktvalidität - Übungsbeispiel
Überprüfung der Konstruktvalidität:
Verschiedenste Methoden können bei der Konstruktvalidierung zum
Einsatz kommen (z.B. Korrelationen mit anderen Tests, Korrelation
mit beobachtetem Verhalten, Faktorenanalysen, experimentelle
Manipulation)
Kennwerte zur Konstruktvalidität existieren nicht (es gilt eine
Vielzahl von empirischen Befunden zu würdigen)
3.3.3 Konstruktvalidität
14
3.3.3 Konstruktvalidität
Experimentelle Manipulation
Multitrait-Multimethod-Analyse (Campbell & Fiske, 1959)
überzeugendste Zugangsweise zur Überprüfung der
Konstruktvalidität
Multitrait-Multimethod-Matrix enthält die Korrelationen, die entstehen,
wenn man unterschiedliche Merkmale mit unterschiedlichen Methoden
erfasst
→ Ziel: Untersuchung der konvergenten und diskriminanten Validität
sowie Abschätzung des Methodenbias
Beispiel:
→ Aggressivität und Dominanz von Schulkindern wird mit zwei
verschiedenen Methoden gemessen: Lehrerurteile, FB-Verfahren
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
Interessierende Daten:
Daten in der Diagonalen markieren üblicherweise die Reliabilitäten
der einzelnen Methoden
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
Interessierende Daten:
Daten in der Diagonalen markieren üblicherweise die Reliabilitäten
der einzelnen Methoden
Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,
das mit verschiedenen Methoden erfasst wird, hoch miteinander
korrelieren.
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
Interessierende Daten:
Daten in der Diagonalen markieren üblicherweise die Reliabilitäten
der einzelnen Methoden
Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,
das mit verschiedenen Methoden erfasst wird, hoch miteinander
korrelieren.
Diskriminante Validität liegt vor, wenn Messungen verschiedener
Konstrukte, die mit derselben Methode oder mit unterschiedlichen
Methoden erfasst werden, nicht oder nur gering miteinander
korrelieren.
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
Interessierende Daten:
Daten in der Diagonalen markieren üblicherweise die Reliabilitäten
der einzelnen Methoden
Konvergente Validität liegt vor, wenn Messungen eines Konstrukts,
das mit verschiedenen Methoden erfasst wird, hoch miteinander
korrelieren.
Diskriminante Validität liegt vor, wenn Messungen verschiedener
Konstrukte, die mit derselben Methode oder mit unterschiedlichen
Methoden erfasst werden, nicht oder nur gering miteinander
korrelieren.
Bei Nutzung der gleichen Methode liefern Korrelationen zwischen den
unterschiedlichen Konstrukten Evidenz für Methodenbias
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
Methode Fragebogen Lehrerurteile
Trait Dominanz Aggressivität Dominanz Aggressivität
Frage-
bogen
Dominanz .95
Aggressivität .40 .88
Lehrer-
urteile
Dominanz .32 .12 .86
Aggressivität .03 .37 .43 .89
3.3.3 Konstruktvalidität
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
A und B sind verschiedene Merkmale
R = Reliabilitäten
MH = Mono-Trait-Hetero-Method-Korrelationen
HM = Hetero-Trait-Mono-Method-Korrelationen
HH = Hetero-Trait-Hetero-Method-Korrelationen
3.3.3 Konstruktvalidität
Multitrait-Multimethod-Matrix
A und B sind verschiedene Merkmale
R = Reliabilitäten
MH = Mono-Trait-Hetero-Method-Korrelationen
HM = Hetero-Trait-Mono-Method-Korrelationen
HH = Hetero-Trait-Hetero-Method-Korrelationen
Konvergente Validität: Mono-Trait-Hetero-Method-Korrelationen (MH)
Diskriminante Validität: Hetero-Trait-Korrelationen (HM + HH)
Methodenbias: Hetero-Trait-Mono-Method-Korrelationen > Hetero-Trait-
Hetero-Method-Korrelationen (HM > HH)
Im Resultat einer Multitrait-Multimethod-Analyse sollte ein guter Test eines
speziellen Konstrukts über 3 Eigenschaften verfügen:
1) Punktwerte des Tests sollten mit Punktwerten anderer Tests, die das
gleiche Konstrukt messen, hoch korrelieren (konvergente Validität).
2) Punktwerte des Tests sollten mit Punktwerten anderer Tests, die ein
anderes Konstrukt messen, nicht korrelieren (diskriminante Validität).
3) Die gewählte Messmethode sollte möglichst geringen Bias zeigen.
3.3.3 Konstruktvalidität
Ein echtes empirisches Beispiel
31
Übungsaufgabe
Methode Fragebogen Beobachterurteile
Trait Agency Communion Agency Communion
Frage-
bogen
Agency .87
Communion .02 .86
Beobach-
terurteile
Agency .27 .03 .89
Communion .11 .18 .23 .90
Interpretieren Sie folgende Multitrait-Multimethod-Matrix
Anforderungen an die Validität eines Tests (allgemeine Richtlinien):
• Test muss in einem solchem Maß valide sein, dass Einsatz besser als Unterlassung.
• Die Validität sollte bei neuen Tests höher als bei älteren sein, oder die Ökonomie der Durchführung sollte sich bei gleicher Validität verbessern.
• Die Höhe der Validität sollte proportional zur Wichtigkeit der Entscheidung sein.
3.3.3 Validität
3.4 Zusammenfassung Gütekriterien
Wechselbeziehungen zwischen den Gütekriterien Objektivität,
Reliabilität und Validität (nach Lienert)
Partielle Inkompatibilität von Reliabilität und Validität?
34
3.4 Zusammenfassung Gütekriterien
35
3.4 Zusammenfassung Gütekriterien
36
Gliederung der Vorlesung
1. Einführung
2. Psychologische Tests
– Verschiedene Arten psychologischer Tests
– Items
– Statistische Itemanalysen
– Faktorenanalyse
– Normierung
3. Testgütekriterien
– Objektivität
– Reliabilität
– Validität
4. Entscheidungstheoretische Modelle
– Entscheidungsstrategien
– Güte diagnostischer Entscheidungen
– Nutzen diagnostischer Entscheidungen
5. Diagnostische Urteilsbildung
Hintergrund: Bedeutung diagnostischer Entscheidungen
Auf Basis diagnostischer Informationen (z.B. durch Tests, Interviews etc.)
werden Entscheidungen über anstehende Fragen gefällt:
- Ein Bewerber wird eingestellt,
- ein Kind wird einer bestimmten Schulform zugeordnet,
- ein Klient erhält eine Verhaltenstherapie,
- ein Strafgefangener wird nicht vorzeitig aus der Haft entlassen etc.
Mit dem Einsatz von Tests und anderen diagnostischen Verfahren wird
die Erwartung verbunden, zu besseren Empfehlungen und
Entscheidungen zu gelangen, als es ohne diese Verfahren möglich ist.
4. Entscheidungstheoretische Modelle
Lit.: Krohne & Hock (Kap. 6) und Amelang & Schmidt-Atzert (Kap. 6)
• Entscheidungstheoretische Überlegungen in der psychologischen
Diagnostik bei Selektionsentscheidungen, vor allem bei der
Personalauswahl:
4.1 Verschiedene Entscheidungsstrategien
4.2 Bestimmung der Güte von Selektionsentscheidungen
4.3 Evaluation des finanziellen Nutzens von diagnostischen Verfahren
und darauf basierender Vergleich von alternativen diagnostischen
Auswahlprozeduren
4.1 Entscheidungsstrategien
Sind Ablehnungen möglich spricht man von Selektionsentscheidungen
(z.B. Bewerber um einen Studienplatz in Psychologie)
Verbleiben alle Probanden im System spricht man von Platzierung (z.B.
Rangordnung der Studenten nach Klausur)
Diagnostische Entscheidungen können auf einstufigen oder
mehrstufigen (sequentiellen) Testungen basieren:
Einstufig: Zuordnung erfolgt auf der Basis einer punktuell-einmaligen
Diagnose (z.B. Abschneiden in IQ-Test)
Mehrstufig: Zuordnung ist das Resultat eines gestuften Vorgehens in
mehreren Schritten (z.B. Abschneiden in IQ-Test + Konzentrationstest)
Diagnostische Informationen können ein- oder mehrdimensional sein:
univariat (z.B. Abiturnote)
mulitvariat (z.B. Abiturnote + Praktikumsbeurteilung)
4.1 Entscheidungsstrategien
Informationen
über eine PersonEntscheidung
Akzeptiert
Abgelehnt
Geeignet
Ungeeignet
Ungeeignet
Geeignet
Entscheidungsprozess bei einer Selektionsentscheidung (Personalauswahl)
Einfachste Strategie:
• Single Cutoff:
Wenn x ≥ c akzeptiere den Kandidaten, andernfalls lehne ihn ab
Beispiel:
Wenn Bachelorabschluss in Psychologie ≤ 2.7, Zulassungs-
voraussetzung für Master ist erfüllt (sonst Ablehnung)
4.1 Entscheidungsstrategien
4.1.1 Kompensatorische und konjunktive
Entscheidungsstrategien
• In der diagnostischen Praxis werden meist mehrere diagnostisch
relevante Informationen über einen Probanden erhoben:
→ Bewerber sollten über mehrere Eigenschaften verfügen
(z.B. Pilot = gutes Sehvermögen + hohe Konzentrationsfähigkeit)
• Entscheidende Frage:
→ Wie kombiniert (oder verrechnet) man diese Informationen
(Prädiktoren)?
• Kompensatorisches Entscheidungsmodell:
→ Prädiktoren können sich gegenseitig ausgleichen (kompensieren)
→ Es wird ein Gesamtwert berechnet, in dem beide Merkmale gleich
gewichtet oder auch mit unterschiedlichen Gewichten eingehen
→ Beispielsweise könnten niedrige Leistungen in einem Prädiktor durch
hohe in dem anderen wettgemacht werden (jedoch nicht in jedem
Fall)
4.1.1 Kompensatorische Entscheidungsstrategie
Paaraufgabe
Entwerfen Sie eine kompensatorische Entscheidungs-
strategie für die Zulassung zum Bachelor-
Psychologiestudium.
4.1.1 Kompensatorische Entscheidungsstrategie
Disjunktive Entscheidungsstrategie („Oder-Strategie“):
• extreme Variante der Kompensationsstrategie
• Es genügen entsprechend hohe Werte in einem der Prädiktoren
(Ähnlichkeit zu single Cut-off Strategie)
• Personen werden akzeptiert, wenn sie auf mindestens einer der
entscheidungsrelevanten Variablen hohe Werte erreichen
Bsp.: Personen mit einem Abitur < 1.2 akzeptieren ODER
Ergebnisse im Eingangstest haben T-Wert > .70
Bei sehr gutem Abschneiden im Abitur wäre das Abschneiden im
Eingangstest vollkommen irrelevant (und umgekehrt)
Disjunktive Entscheidungsstrategie
(„Oder-Strategie“)
Paaraufgabe
Entwerfen Sie eine disjunktive Entscheidungsstrategie für
die Zulassung zum Master-Psychologiestudium.
4.1.1 Kompensatorische und konjunktive
Entscheidungsstrategien
Nachteil kompensatorische Entscheidungsstrategie:
• Strategie ist dysfunktional, wenn in jedem Teilbereich bestimmt
Mindestleistungen unabdingbar vorliegen müssen (d.h. Kompensation
unmöglich ist)
→ Beispiel: Chirurg kann mangelnde feinmotorische Kompetenz nicht
durch Intelligenz kompensieren
• Konjunktive Entscheidungsstrategie („Und-Strategie“):
→ bestimmte Leistungen sind in jedem Bereich zu erbringen
→ Probanden, die zuvor festgelegte Mindestwerte in den Prädiktoren
nicht erreichen, werden „abgeschnitten“ (multiples Cut-Off Modell)
4.1.1 Konjunktive Entscheidungsstrategie
Person 3
Übungsaufgabe
Was passiert mit Personen 1-4 in der
- kompensatorischen (diagonal gepunktet)
- disjunktiven (gestrichelt)
- konjunktiven (gestrichelt)
Strategie?
Fassen Sie die Ergebnisse für jede Person
zusammen.