Testtheorie (Vorlesung 13: 19.5.15)
Wiederholung: Richtigstellung
Gewichtung von Mittelwerten: Gegeben:
Mittelwerte:Stichprobengrössen:Stichprobenvarianzen:
Es gilt:
Testtheorie (Vorlesung 13: 19.5.15)
Validität eines Tests:
Klassische Definition von Kelley (1927):Test ist valide, falls er das misst, was er zu messen vorgibt.
Ein Test misst genau das, was er zu mes-sen vorgibt, wenn die systematischen Variationen der Testwerte ausschliesslich durch Unterschiede im zugrunde liegen-den Zielkonstrukt verursacht sind (und nicht durch Variation anderer Konstrukte).
Testtheorie (Vorlesung 12: 12.5.15)
Validität
Konzept: Validität eines Tests(Bsp. 2-19)
Testtheorie (Vorlesung 13: 19.5.15)
Validität
»sinnvolle« und »unsinnige« Arten von Validitäten: Sinnvoll: Konstruktvalidität: Korrektheit des
Testmodells. Wenig sinnvoll im Testkontext:
Kriteriums- & prädiktive Validität aus unterschiedlichen Gründen.
Testtheorie (Vorlesung 13: 19.5.15)
Wiederholung: Validität
Das Grundproblem: Validität kann – ähnlich wie die Reliabilität – nur
modellabhängig gemessen werden. Dies bedeutet, dass ein gültiges Modell vorliegen
muss, welches die relevanten Relationen (approxi-mativ) korrekt abbildet (Konstruktvalidität), damit Validität geschätzt werden kann.
Eine Korrelation zwischen 2 Beobachtungen reicht nicht, da unklar ist, wie diese zustande kam.
Testtheorie (Vorlesung 13: 19.5.15)
Wiederholung: Validität
Messung mittels latenter Variablenmodelle Standardisierter Ladungskoeffizient. Falls Test nur von einem latenten Konstrukt
beeinflusst wird, so gilt:
Eindeutige Validitätsvarianz (Bollen, 1989).
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Konzept: Eindeutige Validitätsvarianz:Jener Anteil der Truescore-Varianz /
Reliabilität, der eindeutig auf das zu messende Konstrukt zurückzuführen ist.
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung mit AMOS:1. Herauspartialisieren des Varianzanteils im
Zielkonstrukt , der durch andere Konstrukte erklärt werden kann.
2. Berechnung der Reliabilität in Y aufgrund des Zielkonstrukts mit der reduzierten Varianz, d.h. ohne den durch anderen Konstrukte erklärten Vaianzanteils.
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berech-nungsbeispiel:
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung
Problem: Berücksichtigt nicht, dass ein Teil der Varianz in EI durch V erklärt werden kann.
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung Ansatz: Die durch andere Variablen er-
klärte Varianz in EI entfernen.
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung mittels Matrizen (Excel):1. Reliabilität = Varianzanteil, welcher durch alle latenten
Konstrukte in Messung Y induziert (erklärt) wird.2. Subtrahiere Varianz, die von Konstrukten ohne das
Zielkonstrukt erklärt wird.Zentral: Die Erklärung der Varianz in Y durch andere Konstrukte muss die Tatsache mit einbeziehen, dass diese Konstrukte mit dem Zielkonstrukt korreliert sind.
Testtheorie (Vorlesung 13: 19.5.15)
Validität
Eindeutige Validitätsvarianz: Berechnung: Varianz in Y durch EI und V erklärt:
Varianz in Y, die durch V erklärt wird, unter Ein-beziehung der Tatsache, dass EI und V korreliert sind:
Testtheorie (Vorlesung 13: 19.5.15)
Trennschärfe: Konzept
Unter der Trennschärfe eines Items versteht man in der klassischen Testtheorie die Kor-relation des Items mit dem Gesamtergebnis eines Tests.Problem: Vermischung von Konzept und MessungTrennschärfe: Fähigkeit eines Tests, Personen mit hohem Wert auf dem latenten Konstrukt von solchen mit geringem Wert zu unterscheiden.
Testtheorie (Vorlesung 13: 19.5.15)
Trennschärfe: Messung
Der Ladungskoeffizient (standardisiert oder unstandardisiert) ist ein direktes Mass für die Trennschärfe:1. (unstandardisiert) repräsentiert die erwartete
Zunahme in der Messung Y (in Einheiten von Y), wenn sich der Konstruktwert um eine Einheit erhöht (Bei Konstanthaltung der Werte der anderen Konstrukte).
2. (standardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Standardeinheiten), wenn sich der Konstruktwert um eine Standardeinheit erhöht.
Testtheorie (Vorlesung 13: 19.5.15)
Trennschärfe: Messung
Somit: Je höher die Ladung, desto stärker die Änderung der Messung mit der Änderung des Konstruktwertes.
Die Ladung repräsentiert daher direkt die Sensi-tivität der Messung bezüglich Veränderungen im Konstrukt.
Das oben genannte Mass (Korrelation zwischen Test und Summe der Tests) kann als Approxima-tion betrachtet werden, indem die Summe als Repräsentation des Konstrukts betrachtet wird.
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Alternative Begriffe: Korrektur des Ausdünnungseffekts. Korrektur des Abschwächungseffekts. Korrektur des Attenuationseffekts.
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Grundidee: Aufgrund des Messfehlers repräsen-tiert die Korrelation zwischen 2 Messungen nicht die Korrelation zwischen den Konstrukten.
Korrelation zwischen den Konstrukten wird unterschätzt (daher der Ausdruck Minderung).
Folgerung: Stabilität von Konstrukten über die Zeit hinweg oder über verschiedene Situationen hinweg wird unterschätzt.
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Zentral: Das Problem existiert bei dem von uns gewählten Ansatz nicht, da die Konstrukte, deren Korrelation, sowie die Messfehler explizit in Mo-dell repräsentiert sind.
Das Modell unterscheidet zwischen Korrelationen zwischen Messungen und Korrelationen zwischen Konstrukten.
Das Problem existiert also nur für die »alte«, koeffizientenbasierte Testtheorie.
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Vorgehensweise: 1. Berechne die Reliabilitäten der beiden Messungen Y1
und Y2 der beiden Konstrukte (z.B. durch Ermittlung von Koeffizient ): und .
2. Dividiere die ermittelte Korrelation zwischen den Messungen durch die Wurzel aus dem Produkt der beiden Reliabilitäten:
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Beispiel (Siehe Bsp.2-22, Manuskript Seite 105):Erhöhung der Reliabilität durch Datenaggregation
Testtheorie (Vorlesung 13: 19.5.15)
Minderungskorrektur:
Beispiel (Siehe Bsp.2-22, Manuskript Seite 105):Grenzen der Minderungskorrektur
Testtheorie (Vorlesung 13: 19.5.15)
Übungen
Übung 2-19 Übung 2-20