Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:

Testtheorie (Vorlesung 13: 19.5.15)

Wiederholung: Richtigstellung

Gewichtung von Mittelwerten: Gegeben:

Mittelwerte:Stichprobengrössen:Stichprobenvarianzen:

Es gilt:


Validität eines Tests:

Klassische Definition von Kelley (1927):Test ist valide, falls er das misst, was er zu messen vorgibt.

Ein Test misst genau das, was er zu mes-sen vorgibt, wenn die systematischen Variationen der Testwerte ausschliesslich durch Unterschiede im zugrunde liegen-den Zielkonstrukt verursacht sind (und nicht durch Variation anderer Konstrukte).


Validität

Konzept: Validität eines Tests(Bsp. 2-19)


Validität

»sinnvolle« und »unsinnige« Arten von Validitäten: Sinnvoll: Konstruktvalidität: Korrektheit des

Testmodells. Wenig sinnvoll im Testkontext:

Kriteriums- & prädiktive Validität aus unterschiedlichen Gründen.


Wiederholung: Validität

Das Grundproblem: Validität kann – ähnlich wie die Reliabilität – nur

modellabhängig gemessen werden. Dies bedeutet, dass ein gültiges Modell vorliegen

muss, welches die relevanten Relationen (approxi-mativ) korrekt abbildet (Konstruktvalidität), damit Validität geschätzt werden kann.

Eine Korrelation zwischen 2 Beobachtungen reicht nicht, da unklar ist, wie diese zustande kam.


Wiederholung: Validität

Messung mittels latenter Variablenmodelle Standardisierter Ladungskoeffizient. Falls Test nur von einem latenten Konstrukt

beeinflusst wird, so gilt:

Eindeutige Validitätsvarianz (Bollen, 1989).


Validität

Konzept: Eindeutige Validitätsvarianz:Jener Anteil der Truescore-Varianz /

Reliabilität, der eindeutig auf das zu messende Konstrukt zurückzuführen ist.


Validität

Eindeutige Validitätsvarianz: Berechnung mit AMOS:1. Herauspartialisieren des Varianzanteils im

Zielkonstrukt , der durch andere Konstrukte erklärt werden kann.

2. Berechnung der Reliabilität in Y aufgrund des Zielkonstrukts mit der reduzierten Varianz, d.h. ohne den durch anderen Konstrukte erklärten Vaianzanteils.


Validität

Eindeutige Validitätsvarianz: Berech-nungsbeispiel:


Validität

Eindeutige Validitätsvarianz: Berechnung

Problem: Berücksichtigt nicht, dass ein Teil der Varianz in EI durch V erklärt werden kann.


Validität

Eindeutige Validitätsvarianz: Berechnung Ansatz: Die durch andere Variablen er-

klärte Varianz in EI entfernen.


Validität

Eindeutige Validitätsvarianz: Berechnung mittels Matrizen (Excel):1. Reliabilität = Varianzanteil, welcher durch alle latenten

Konstrukte in Messung Y induziert (erklärt) wird.2. Subtrahiere Varianz, die von Konstrukten ohne das

Zielkonstrukt erklärt wird.Zentral: Die Erklärung der Varianz in Y durch andere Konstrukte muss die Tatsache mit einbeziehen, dass diese Konstrukte mit dem Zielkonstrukt korreliert sind.


Validität

Eindeutige Validitätsvarianz: Berechnung: Varianz in Y durch EI und V erklärt:

Varianz in Y, die durch V erklärt wird, unter Ein-beziehung der Tatsache, dass EI und V korreliert sind:


Trennschärfe: Konzept

Unter der Trennschärfe eines Items versteht man in der klassischen Testtheorie die Kor-relation des Items mit dem Gesamtergebnis eines Tests.Problem: Vermischung von Konzept und MessungTrennschärfe: Fähigkeit eines Tests, Personen mit hohem Wert auf dem latenten Konstrukt von solchen mit geringem Wert zu unterscheiden.


Trennschärfe: Messung

Der Ladungskoeffizient (standardisiert oder unstandardisiert) ist ein direktes Mass für die Trennschärfe:1. (unstandardisiert) repräsentiert die erwartete

Zunahme in der Messung Y (in Einheiten von Y), wenn sich der Konstruktwert um eine Einheit erhöht (Bei Konstanthaltung der Werte der anderen Konstrukte).

2. (standardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Standardeinheiten), wenn sich der Konstruktwert um eine Standardeinheit erhöht.


Trennschärfe: Messung

Somit: Je höher die Ladung, desto stärker die Änderung der Messung mit der Änderung des Konstruktwertes.

Die Ladung repräsentiert daher direkt die Sensi-tivität der Messung bezüglich Veränderungen im Konstrukt.

Das oben genannte Mass (Korrelation zwischen Test und Summe der Tests) kann als Approxima-tion betrachtet werden, indem die Summe als Repräsentation des Konstrukts betrachtet wird.


Minderungskorrektur:

Alternative Begriffe: Korrektur des Ausdünnungseffekts. Korrektur des Abschwächungseffekts. Korrektur des Attenuationseffekts.



Grundidee: Aufgrund des Messfehlers repräsen-tiert die Korrelation zwischen 2 Messungen nicht die Korrelation zwischen den Konstrukten.

Korrelation zwischen den Konstrukten wird unterschätzt (daher der Ausdruck Minderung).

Folgerung: Stabilität von Konstrukten über die Zeit hinweg oder über verschiedene Situationen hinweg wird unterschätzt.



Zentral: Das Problem existiert bei dem von uns gewählten Ansatz nicht, da die Konstrukte, deren Korrelation, sowie die Messfehler explizit in Mo-dell repräsentiert sind.

Das Modell unterscheidet zwischen Korrelationen zwischen Messungen und Korrelationen zwischen Konstrukten.

Das Problem existiert also nur für die »alte«, koeffizientenbasierte Testtheorie.



Vorgehensweise: 1. Berechne die Reliabilitäten der beiden Messungen Y1

und Y2 der beiden Konstrukte (z.B. durch Ermittlung von Koeffizient ): und .

2. Dividiere die ermittelte Korrelation zwischen den Messungen durch die Wurzel aus dem Produkt der beiden Reliabilitäten:



Beispiel (Siehe Bsp.2-22, Manuskript Seite 105):Erhöhung der Reliabilität durch Datenaggregation



Beispiel (Siehe Bsp.2-22, Manuskript Seite 105):Grenzen der Minderungskorrektur


Übungen

Übung 2-19 Übung 2-20

Documents

Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen: