EmpirischEmpirisch--quantitative Verfahren quantitative

1

Beer - BM 23 Forschungspraktikum - Empirisch-quantitative Verfahren am Modell eines konkreten Forschungsvorhabens I

WS 2010-11 SE

BM 23 Forschungspraktikum BM 23 Forschungspraktikum ––

EmpirischEmpirisch--quantitative Verfahren quantitative Verfahren am Modell eines konkreten am Modell eines konkreten Forschungsvorhabens IForschungsvorhabens I

Mag. Dr. Rudolf Beer Mag. Dr. Rudolf Beer Lindenberg, A u. Wagner, I.: Statistik macchiatto. 2007, S. 19


WS 2010-11 SE

Voraussetzungen… Voraussetzungen…

fundierte Kenntnisse empirischer Forschungsmethoden,Teamkompetenz,

Interesse an quantitativer Forschung,

Notebook +Programmpaket

(systematischer Verwendung des Statistik Programms fürSozialwissenschaften / SPSS / PASW!)

Sp

ezie

lle

Vo

rau

sse

tzu

ng

en

Sp

ezie

lle

Vo

rau

sse

tzu

ng

en

2


WS 2010-11 SE

Ziele… Ziele…

Mitarbeit an einem konkreten empirisch-quantitativeForschungsvorhaben im Forschungsfeld Schule/Unterricht/Bildung

Forschungspraktikum mit Feldforschung an einem vorgegeben Themenbündel

Literaturrecherche, Forschungsfragen, Forschungsdesign, Hypothesen, Prüfhypothesen, Testungen, Befragungen, Datenmanagement, Auswertungen, Reflexion, Forschungsberichte für TeilaspekteIn

ha

ltli

ch

e S

ch

we

rpu

nk

teIn

ha

ltli

ch

e S

ch

we

rpu

nk

te


WS 2010-11 SE

A l

A l

llg e

m e

i n

e

I n

f o

r m

a t

i o

n e

ng

e m

e i

n e

I

n f

o r

m a

t i

o n

e n

Diese Lehrveranstaltung soll Diese Lehrveranstaltung soll

… fundierte Kenntnisse empirischer Forschungsmethoden… fundierte Kenntnisse empirischer Forschungsmethodenaufbauen und erweitern,aufbauen und erweitern,

… Anregung/Anleitung zu selbständigem kritisch… Anregung/Anleitung zu selbständigem kritisch--wissenschaftlichen Reflektieren und Arbeiten bieten undwissenschaftlichen Reflektieren und Arbeiten bieten und

… modellhaft systematisch eine empirisch… modellhaft systematisch eine empirisch--quantitative quantitative Untersuchungen durchführen/auswerten/Untersuchungen durchführen/auswerten/verschriftlichenverschriftlichen

3


WS 2010-11 SE

Forschungsmethoden:Forschungsmethoden:

Bortz, J. u. Döring, N.: Bortz, J. u. Döring, N.: Forschungsmethoden und EvaluationForschungsmethoden und Evaluation. Berlin . Berlin –– Heidelberg, 2002.Heidelberg, 2002.

Lienert, G.: Lienert, G.: Testaufbau und TestanalyseTestaufbau und Testanalyse. München . München –– Weinheim, 1989.Weinheim, 1989.

AtteslanderAtteslander, P.: , P.: Methoden der empirischen SozialforschungMethoden der empirischen Sozialforschung. Berlin . Berlin –– New York, 2000.New York, 2000.

Eder, A.: Eder, A.: Statistik für SozialwissenschaftlerStatistik für Sozialwissenschaftler. Wien, 2003. Wien, 2003

Diekmann, A.: Diekmann, A.: Empirische SozialforschungEmpirische Sozialforschung. Reinbek . Reinbek –– Hamburg, 2009Hamburg, 2009

Weiß, C.: Weiß, C.: Basiswissen Medizinische StatistikBasiswissen Medizinische Statistik. Berlin . Berlin –– Heidelberg Heidelberg –– New York, 2002New York, 2002

SchwetzSchwetz, H. et al.: , H. et al.: Einführung in das quantitativ orientierte ForschenEinführung in das quantitativ orientierte Forschen. Wien, 2010. Wien, 2010

Forschungsdesigns Forschungsdesigns –– bestbest practisepractise::

Beer, G.: Beer, G.: LeadershipLeadership. Eine quantitative empirische Studie an Pflichtschulen. Eine quantitative empirische Studie an Pflichtschulen, Wien , Wien ––Berlin Berlin –– Münster, 2010. Münster, 2010.

Beer, R. u. Steiner, A.: Beer, R. u. Steiner, A.: Qualitätsentwicklung im Mathematikunterricht Qualitätsentwicklung im Mathematikunterricht –– ein ein regionales Projektregionales Projekt, , ZtschrZtschr. Erziehung und Unterricht, 157/1. Erziehung und Unterricht, 157/1--2, 1392, 139--144, 2007.144, 2007.

Beer, R.: Beer, R.: Bildungsstandards: Einstellungen von Lehrerinnen und LehrernBildungsstandards: Einstellungen von Lehrerinnen und Lehrern, Wien , Wien ––Berlin Berlin –– Münster, 2007.Münster, 2007.

Beer, R.: Beer, R.: Standards guter Bildung Standards guter Bildung –– Kinder im Zentrum der Innovation. Kinder im Zentrum der Innovation. ZtschrZtschr. . Erziehung und Unterricht, 160. Jahrgang, Heft 3Erziehung und Unterricht, 160. Jahrgang, Heft 3––4, 2204, 220--227, 2010. 227, 2010.

u.a.u.a.


WS 2010-11 SE

S e

m e

s t

e r

p l

a n

u n

gS

e m

e s

t e

r p

l a

n u

n g

�� Prüfungsimmanente Lehrveranstaltung/AnwesenheitPrüfungsimmanente Lehrveranstaltung/Anwesenheit

�� Mitarbeit an praktischen ÜbungenMitarbeit an praktischen Übungen

�� SelbststudiumSelbststudium

�� Erhebungen im FeldErhebungen im Feld

�� Präsentationen/ReferatePräsentationen/Referate

�� AbschlussklausurAbschlussklausur

�� BACBAC--ArbeitArbeit

Lindenberg, A u. Wagner, I.: Statistik macchiatto. 2007, S. 183

4


WS 2010-11 SEA l

l g e

m e

i n

e

I n

f o

r m

a t

i o

n e

nA l

l g e

m e

i n

e

I n

f o

r m

a t

i o

n e

n

[email protected]@gmail.com

[email protected]@univie.ac.at

Internetplattform zum Seminar:Internetplattform zum Seminar:

http://homepage.univie.ac.at/rudolf.beerhttp://homepage.univie.ac.at/rudolf.beer

NIG NIG Hörsaal 3D, NIG Universitätsstraße 7/Hörsaal 3D, NIG Universitätsstraße 7/StgStg. II/3. Stock, 1010 . II/3. Stock, 1010

WienWien

Mo: 18.30 Mo: 18.30 -- 20.0020.00


WS 2010-11 SE

Das Problem als Das Problem als Ausgangspunkt Ausgangspunkt

sozialwissenschaftlicher sozialwissenschaftlicher ForschungForschung ––

vvon der Fragestellung zur on der Fragestellung zur HypotheseHypothese

5


WS 2010-11 SE

LiteraturstudiumLiteraturstudiumFragestellungFragestellung

HypotheseHypothese

ForschungsideeForschungsidee

MerkmalsanalyseMerkmalsanalyse

ForschungsdesignForschungsdesignAufgabenkonstruktionAufgabenkonstruktion

VorrevisionVorrevisionVortestungVortestung

Itemselektion/revisionItemselektion/revision

HaupttestungHaupttestung

AufgabenanalyseAufgabenanalyse

��


WS 2010-11 SE

wissenschaftliches Forschenwissenschaftliches Forschen

FragestellungFragestellung

hermeneutische hermeneutische MethodeMethode

empirischempirisch--qualitative qualitative MethodeMethode

empirischempirisch--quantitative quantitative MethodeMethode

weitereweitere

6


WS 2010-11 SE

�� ForschungsfeldForschungsfeldBildungsstandards/Schulentwicklung

�� ForschungsideeForschungsideeBefragung von Eltern/Erwachsenen

�� FragestellungFragestellungSind Bildungsstandards aus Sicht von Eltern/Erwachsenen wirklich ein geeignetes Mittel, die Qualitätsentwicklung an Österreichs Schulen voranzutreiben und sind sie damit auch ein geeignetes Mittel, um den aktuellen Problemen zu begegnen?

�� HypothesenHypothesenEs gibt signifikante Unterschiede zwischen den einzelnen Akteursgruppen(Untergruppen).

�� MethodeMethodeQuantitativ, Fragebogenerhebung


WS 2010-11 SE

�� ForschungsfeldForschungsfeldBildungsstandards/SchulentwicklungBildungsstandards/Schulentwicklung

�� ForschungsideeForschungsideeBefragung von Eltern/ErwachsenenBefragung von Eltern/Erwachsenen

�� FragestellungFragestellungSind Bildungsstandards aus Sicht von Eltern/Erwachsenen wirklich ein geeignetes Sind Bildungsstandards aus Sicht von Eltern/Erwachsenen wirklich ein geeignetes Mittel, die Qualitätsentwicklung an Österreichs Schulen voranzutreiben und sind Mittel, die Qualitätsentwicklung an Österreichs Schulen voranzutreiben und sind sie damit auch ein geeignetes Mittel, um den aktuellen Problemen zu begegnen?sie damit auch ein geeignetes Mittel, um den aktuellen Problemen zu begegnen?

�� HypothesenHypothesenEs gibt signifikante Unterschiede zwischen den einzelnen Es gibt signifikante Unterschiede zwischen den einzelnen AkteursgruppenAkteursgruppen(Untergruppen).(Untergruppen).

�� MethodeMethodeQuantitativ, FragebogenerhebungQuantitativ, Fragebogenerhebung

7


WS 2010-11 SE

�� ForschungsfeldForschungsfeldBildungsstandards/SchulentwicklungBildungsstandards/Schulentwicklung

�� ForschungsideeForschungsideeBefragung von Eltern/ErwachsenenBefragung von Eltern/Erwachsenen

��InformationInformation��LiteraturstudiumLiteraturstudiumKliemeKlieme, E. et al.: , E. et al.: Zur Entwicklung nationaler Bildungsstandards Zur Entwicklung nationaler Bildungsstandards –– Eine Expertise Eine Expertise ––. Berlin 2003.. Berlin 2003.

Beer, R.: Beer, R.: Bildungsstandards: Einstellungen von Lehrerinnen und LehrernBildungsstandards: Einstellungen von Lehrerinnen und Lehrern, Wien , Wien –– Berlin Berlin ––Münster, 2007.Münster, 2007.

ZtschrZtschr. Erziehung und Unterricht: . Erziehung und Unterricht: BildungsstandardsBildungsstandards, 154. Jahrgang, Heft 7, 154. Jahrgang, Heft 7––8, 2004.8, 2004.

ZtschrZtschr. Erziehung und Unterricht: . Erziehung und Unterricht: BildungsstandardsBildungsstandards, 157. Jahrgang, Heft 7, 157. Jahrgang, Heft 7––8, 2007.8, 2007.

ZtschrZtschr. Erziehung und Unterricht: . Erziehung und Unterricht: Standards machen SchuleStandards machen Schule, 160. Jahrgang, Heft 3, 160. Jahrgang, Heft 3––4, 2010.4, 2010.

ZtschrZtschr. Friedrich Jahresheft: . Friedrich Jahresheft: BildungsstandardsBildungsstandards, Jahresheft 23, 15, Jahresheft 23, 15––17, 2005. 17, 2005. u.a.u.a.


WS 2010-11 SE

Hypothese:Hypothese:

„Annahme über einen realen (empirisch erfassbaren) „Annahme über einen realen (empirisch erfassbaren) Sachverhalt in Form eines Konditionalsatzes („WennSachverhalt in Form eines Konditionalsatzes („Wenn--Dann“Dann“--Satz, „JeSatz, „Je--Desto“Desto“--Satz). Wissenschaftliche Satz). Wissenschaftliche Hypothesen müssen über den Einfall hinausgehen Hypothesen müssen über den Einfall hinausgehen (Generalisierbarkeit, Allgemeinheitsgrad) und anhand (Generalisierbarkeit, Allgemeinheitsgrad) und anhand von Beobachtungsdaten falsifizierbar sein“ (Bortz u. von Beobachtungsdaten falsifizierbar sein“ (Bortz u. Döring 2002, S. 679).Döring 2002, S. 679).

8


WS 2010-11 SE

Bedingungen / HypotheseBedingungen / Hypothese

�� allgemeinallgemein�� widerspruchsfreiwiderspruchsfrei�� empirische überprüfbarempirische überprüfbar�� neuneu


WS 2010-11 SE

Hypothese:Hypothese:

„Annahme über einen realen (empirisch erfassbaren) Sachverhalt in „Annahme über einen realen (empirisch erfassbaren) Sachverhalt in Form eines Konditionalsatzes („WennForm eines Konditionalsatzes („Wenn--Dann“Dann“--Satz, „JeSatz, „Je--Desto“Desto“--Satz)“ Satz)“ (Bortz u. Döring 2002, S. 679).(Bortz u. Döring 2002, S. 679).

WennWenn--DannDann--Hypothesen:Hypothesen:abhängige und unabhängige Variable dichotomabhängige und unabhängige Variable dichotom

JeJe--DestoDesto--Hypothesen:Hypothesen:abhängige und unabhängige Variable mindestens ordinalskaliertabhängige und unabhängige Variable mindestens ordinalskaliert

Wissenschaftliche Hypothesen müssen über den Wissenschaftliche Hypothesen müssen über den Einzelfall hinausgehen (Generalisierbarkeit, Einzelfall hinausgehen (Generalisierbarkeit, Allgemeinheitsgrad) und anhand von Beobachtungsdaten Allgemeinheitsgrad) und anhand von Beobachtungsdaten falsifizierbar sein“ (Bortz u. Döring 2002, S. 679).falsifizierbar sein“ (Bortz u. Döring 2002, S. 679).

9


WS 2010-11 SE

GrundgesamtheitGrundgesamtheit

�� empirische Sozialforschung empirische Sozialforschung �� soziale soziale Phänomene (?)Phänomene (?)

�� Aussagen über die „Gesellschaft“Aussagen über die „Gesellschaft“

�� Gesamtheit aller Menschen, über die ein Gesamtheit aller Menschen, über die ein Sachverhalt/Phänomen erklärt wirdSachverhalt/Phänomen erklärt wird

�� Population Population


WS 2010-11 SE

Stichprobe (n=Zahl)Stichprobe (n=Zahl)

�� untersuchte Population, Teil der untersuchte Population, Teil der GrundgesamtheitGrundgesamtheit

�� repräsentativ = der Zielpopulation repräsentativ = der Zielpopulation entsprechend, dann Schluss auf entsprechend, dann Schluss auf Gesamtpopulation möglichGesamtpopulation möglich

�� Zufallsstichprobe = unverzerrte StichprobeZufallsstichprobe = unverzerrte Stichprobe

�� Größe der Stichprobe Größe der Stichprobe →→ möglichst groß! möglichst groß!

10


WS 2010-11 SE

RandomisierungRandomisierung

„Zufällige Zuordnung von Untersuchungsobjekten „Zufällige Zuordnung von Untersuchungsobjekten zu Untersuchungsbedingungen bzw. den zu Untersuchungsbedingungen bzw. den

Untersuchungsleiter. Die Randomisierung ist das Untersuchungsleiter. Die Randomisierung ist das kennzeichnende Merkmal einer experimentellen kennzeichnende Merkmal einer experimentellen

Untersuchung“ Untersuchung“

(Borz u. Doring 2002, S. 688)(Borz u. Doring 2002, S. 688)


WS 2010-11 SE

Schritte eines empirisch Schritte eines empirisch quantitativen quantitativen

Forschungsvorhabens Forschungsvorhabens ––

BegriffeBegriffe

11


WS 2010-11 SE

empirische Forschung empirische Forschung

… eine auf, aus der Erfahrung, der Beobachtung … eine auf, aus der Erfahrung, der Beobachtung erwachsenen bzw. dem Experiment entnommenen erwachsenen bzw. dem Experiment entnommenen

Erkenntnissen basierende Wissenschaft Erkenntnissen basierende Wissenschaft (Erkenntniswissenschaft)…(Erkenntniswissenschaft)…

empirisch … auf Erfahrung beruhendempirisch … auf Erfahrung beruhend


WS 2010-11 SE

Quantitative Forschung:Quantitative Forschung:

„Empirische Forschung, die mit besonderen Datenerhebungsverfahren in „Empirische Forschung, die mit besonderen Datenerhebungsverfahren in erster Linie quantitative Daten erzeugt und statistisch verarbeitet, um erster Linie quantitative Daten erzeugt und statistisch verarbeitet, um dadurch neue dadurch neue EffekteEffekte zu entdecken (Exploration), Populationen zu zu entdecken (Exploration), Populationen zu beschreiben und beschreiben und HypothesenHypothesen zu prüfen (Explanation)“ (Bortz u. Döring zu prüfen (Explanation)“ (Bortz u. Döring 2002, S. 687).2002, S. 687).

Quantitative Daten:Quantitative Daten:

Den Merkmalsausprägungen werden Zahlen zugewiesen, es wird Den Merkmalsausprägungen werden Zahlen zugewiesen, es wird gemessen. „Die Menge aller Merkmalsmessungen bezeichnet man als gemessen. „Die Menge aller Merkmalsmessungen bezeichnet man als (quantitative) Daten“ ((quantitative) Daten“ (SamacSamac 2008, S. 4). Quantitative Variable sind 2008, S. 4). Quantitative Variable sind kontinuierlich. Jeder Person wird ein Wert zugeordnet. (stetige Werte)kontinuierlich. Jeder Person wird ein Wert zugeordnet. (stetige Werte)

12


WS 2010-11 SE

Quantitative Methoden der Quantitative Methoden der DatenerhebungDatenerhebung

�� Zählen Zählen �� MessenMessen�� (Be)Urteilen(Be)Urteilen�� TestenTesten


WS 2010-11 SE

Variable:Variable:

Variable sind Ausschnitte aus der Variable sind Ausschnitte aus der Beobachtungsrealität.Beobachtungsrealität. Sie symbolisieren die Menge Sie symbolisieren die Menge der verschiedenen Ausprägungen eines Merkmals. der verschiedenen Ausprägungen eines Merkmals. MerkmalsausprägungenMerkmalsausprägungen können verbal gesammelt können verbal gesammelt (gezählt) werden (qualitative Variable) bzw. kann (gezählt) werden (qualitative Variable) bzw. kann jeder Merkmalsausprägung eine Zahl zugeordnet jeder Merkmalsausprägung eine Zahl zugeordnet werden (quantitative Variable).werden (quantitative Variable).

Bsp.: Variable: Schultyp Bsp.: Variable: Schultyp --Merkmalsausprägungen: VS, HS, AHS, ASO, BMHS, BAKI, HTL, BS, Merkmalsausprägungen: VS, HS, AHS, ASO, BMHS, BAKI, HTL, BS, BMSBMS

13


WS 2010-11 SE

MessenMessen��quantitative Variablequantitative Variable

... individuelle Merkmalsausprägungen werden ... individuelle Merkmalsausprägungen werden mit einem Messinstrument erhoben und mit einem Messinstrument erhoben und jedem Objekt bzw. Person zugeordnet jedem Objekt bzw. Person zugeordnet

(Be)Urteilen(Be)Urteilen... ... Eigenschaften die sich einer direkten Eigenschaften die sich einer direkten

physikalischen Messung entziehen können physikalischen Messung entziehen können mit Hilfe der menschlichen Urteilsfähigkeit mit Hilfe der menschlichen Urteilsfähigkeit und und --möglichkeit erfasst werden möglichkeit erfasst werden


WS 2010-11 SE

unabhängige Variable unabhängige Variable �� abhängige Variableabhängige Variable

Hypothese behauptet einen Zusammenhang:Hypothese behauptet einen Zusammenhang:wenn A, dann Bwenn A, dann B

Merkmalsausprägung A Merkmalsausprägung A �� Merkmalsausprägung Merkmalsausprägung BB

ausgedrückt/operationalisiert/gemessenausgedrückt/operationalisiert/gemessen


14


WS 2010-11 SE

VariableVariable

unabhängige unabhängige �� abhängige Variableabhängige Variable

unabhängige Variable (X)unabhängige Variable (X) abhängige Variable (Y oder f(x))abhängige Variable (Y oder f(x))

vermutete Einflussgröße auf Yvermutete Einflussgröße auf Y auf diese werden Schlüsse auf diese werden Schlüsse gezogengezogen

vorausgesetztes Merkmalvorausgesetztes Merkmal Auswirkung auf dieses MerkmalAuswirkung auf dieses Merkmal

wird vom Forscher variiertwird vom Forscher variiert Veränderung wird beobachtetVeränderung wird beobachtet

BedingungBedingung Folge, Effekt zeigt sichFolge, Effekt zeigt sich

z.B. Intelligenz, soziale Schicht, z.B. Intelligenz, soziale Schicht, Unter. Methode, Unter. Methode, Persönlichkeitsstruktur, Persönlichkeitsstruktur, Schulklima, Angst, MotivationSchulklima, Angst, Motivation

z. B. Leistungz. B. Leistung


WS 2010-11 SE

intervenierende Variable = Störvariableintervenierende Variable = Störvariable


��

intervenierende Variableintervenierende Variablewirkt auf die abhängige Variable wirkt auf die abhängige Variable

unberücksichtigt einunberücksichtigt ein

15


WS 2010-11 SE

intervenierende Variable intervenierende Variable �� KontrollvariableKontrollvariable


��

KontrollvariableKontrollvariablewirkt auf die abhängige Variable ein,wirkt auf die abhängige Variable ein,

kann konstant gehalten/kontrolliert werdenkann konstant gehalten/kontrolliert werden

intervenierende Variable wird zur intervenierende Variable wird zur KontrollvariableKontrollvariable


WS 2010-11 SE

SkalenniveauSkalenniveau

Rationalskala (Verhältnisskala)Rationalskala (Verhältnisskala)

IntervallskalaIntervallskala

Ordinalskala (Rangskala)Ordinalskala (Rangskala)

NominalskalaNominalskala

16


WS 2010-11 SE


... polytom/dichotom ... polytom/dichotom

… Geschlecht, Familienstand, Farbe, ja/nein… Geschlecht, Familienstand, Farbe, ja/nein--Entscheidungen, Nationalität, Sprache, Entscheidungen, Nationalität, Sprache, Blutgruppe …Blutgruppe …

�� gleich oder ungleich, beschreibendgleich oder ungleich, beschreibend

Ordinalskala (Rangskala)Ordinalskala (Rangskala)

… Ranginformation… Ranginformation

... Schulnoten, Rangplätze, ... Schulnoten, Rangplätze, Ausbildungsabschlüsse, Dienstgrade, Ausbildungsabschlüsse, Dienstgrade, Windstärken, Beliebtheit, Windstärken, Beliebtheit, Befragungsergebnisse (?) …Befragungsergebnisse (?) …

�� gleich oder ungleich, beschreibendgleich oder ungleich, beschreibend + + größer/kleiner Relationen größer/kleiner Relationen


… Info über Messwertdifferenz… Info über Messwertdifferenz

... Temperaturunterschiede, Testscores, ... Temperaturunterschiede, Testscores, Intelligenzscores (?)Intelligenzscores (?), ,

�� gleich oder ungleich, beschreibendgleich oder ungleich, beschreibend + + größer/kleiner Relationen + Gleichheit größer/kleiner Relationen + Gleichheit

von Differenzenvon Differenzen

RationalskalaRationalskala

… natürlicher Nullpunkt… natürlicher Nullpunkt

... Länge, Gewicht, physikalische Größen... Länge, Gewicht, physikalische Größen

�� gleich oder ungleich, beschreibendgleich oder ungleich, beschreibend + + größer/kleiner Relationen + Gleichheit größer/kleiner Relationen + Gleichheit

von Differenzen + Gleichheit von von Differenzen + Gleichheit von VerhältnissenVerhältnissen


WS 2010-11 SE

Anwendung von Rechenverfahren …Anwendung von Rechenverfahren …

RationalskalaRationalskala


Ordinalskala Ordinalskala


arithmetisches Mittel, tarithmetisches Mittel, t--Test,Test,

Varianzanalyse,Varianzanalyse,

ev. parametrische Verfahrenev. parametrische Verfahren

ev. nonparametrische Verfahren,ev. nonparametrische Verfahren,

UU--Test, Rangplätze,Test, Rangplätze,

Median, ModalwertMedian, Modalwert

17


WS 2010-11 SE


WS 2010-11 SE

18


WS 2010-11 SE

Ansprüche an ein Testverfahren:Ansprüche an ein Testverfahren:

Hauptgütekriterien eines TestsHauptgütekriterien eines Tests

�� ObjektivitätObjektivität�� Reliabilität (Zuverlässigkeit)Reliabilität (Zuverlässigkeit)�� Validität (Gültigkeit)Validität (Gültigkeit)


WS 2010-11 SE

ObjektivitätObjektivität

„Unter Objektivität eines Tests verstehen wir „Unter Objektivität eines Tests verstehen wir den Grad, indem die Ergebnisse eines Tests den Grad, indem die Ergebnisse eines Tests unabhängig vom Untersucher sind“ (Lienert unabhängig vom Untersucher sind“ (Lienert 1989, S. 13).1989, S. 13).

DurchführungsobjektivitätDurchführungsobjektivitätAuswertungsobjektivitätAuswertungsobjektivität

InterpretationsobjektivitätInterpretationsobjektivität

19


WS 2010-11 SE

ReliabilitätReliabilität

„Unter der Reliabilität eines Tests versteht „Unter der Reliabilität eines Tests versteht man den Grad der Genauigkeit, mit dem er ein man den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeitsbestimmtes Persönlichkeits-- oder oder Verhaltensmerkmal misst“ Verhaltensmerkmal misst“ (Lienert 1989, S. 14).(Lienert 1989, S. 14).


WS 2010-11 SE

ValiditätValidität

„Die Validität des Tests gibt den Grad der „Die Validität des Tests gibt den Grad der Genauigkeit an, mit dem dieser Test dasjenige Genauigkeit an, mit dem dieser Test dasjenige Persönlichkeitsmerkmal oder diejenigen Persönlichkeitsmerkmal oder diejenigen Verhaltensweisen, das (die) er messen soll Verhaltensweisen, das (die) er messen soll oder zu messen vorgibt, tatsächlich misst“ oder zu messen vorgibt, tatsächlich misst“ (Lienert 1989, S. 16).(Lienert 1989, S. 16).

inhaltliche Validitätinhaltliche ValiditätKonstruktvaliditätKonstruktvalidität

kriteriumsbezogenen Validitätkriteriumsbezogenen Validität

20


WS 2010-11 SE

WechselbeziehungenWechselbeziehungenObjektivität ≥ Reliabilität ≥ ValiditätObjektivität ≥ Reliabilität ≥ Validität

ValiditätValidität

ReliabilitätReliabilität

ObjektivitätObjektivität


WS 2010-11 SE

Nebengütekriterien eines TestsNebengütekriterien eines Tests

�� NormierungNormierung�� VergleichbarkeitVergleichbarkeit�� ÖkonomieÖkonomie�� NützlichkeitNützlichkeit

21


WS 2010-11 SE

NormierungNormierung

„… versteht man, daß über einen Test „… versteht man, daß über einen Test Angaben vorliegen sollen, die für die Angaben vorliegen sollen, die für die Einordnung des individuellen Testergebnisses Einordnung des individuellen Testergebnisses als Bezugssystem dienen können “ als Bezugssystem dienen können “ (Lienert 1989, S. 18).(Lienert 1989, S. 18).

•• Einordnung des Pn in die Verteilung (Position)Einordnung des Pn in die Verteilung (Position)•• in Bezug auf die Grundgesamtheit, soziale Gruppe, …in Bezug auf die Grundgesamtheit, soziale Gruppe, …•• individuelle Aussagen (diagnostische Brauchbarkeit)individuelle Aussagen (diagnostische Brauchbarkeit)


WS 2010-11 SE

VergleichbarkeitVergleichbarkeit

Ein Test ist dann vergleichbar, wenn:Ein Test ist dann vergleichbar, wenn:1.1. ein oder mehrere Parallelformen vorhanden ein oder mehrere Parallelformen vorhanden

sind,sind,2.2. validitätsähnliche Tests verfügbar sind “ validitätsähnliche Tests verfügbar sind “ (Lienert 1989, S. 18).(Lienert 1989, S. 18).

•• �� intraindividuelle Reliabilitätskontrolleintraindividuelle Reliabilitätskontrolle•• �� interindividuelle Validitätskontrolleinterindividuelle Validitätskontrolle

22


WS 2010-11 SE

ÖkonomieÖkonomie

Ein Test ist dann ökonomisch, wenn er:Ein Test ist dann ökonomisch, wenn er:1.1. eine kurze Durchführungszeit beansprucht,eine kurze Durchführungszeit beansprucht,2.2. wenig Material verbraucht,wenig Material verbraucht,3.3. einfach zu handhaben,einfach zu handhaben,4.4. als Gruppentest durchführbar,als Gruppentest durchführbar,5.5. schnell und bequem auswertbar ist “ schnell und bequem auswertbar ist “ (Lienert 1989, S. 19).(Lienert 1989, S. 19).


WS 2010-11 SE

NützlichkeitNützlichkeit

Ein Test ist dann nützlich, wenn er ein Ein Test ist dann nützlich, wenn er ein Persönlichkeitsmerkmal mißt, für dessen Persönlichkeitsmerkmal mißt, für dessen Untersuchung ein praktisches Bedürfnis Untersuchung ein praktisches Bedürfnis besteht “ besteht “ (Lienert 1989, S. 19).(Lienert 1989, S. 19).

23


WS 2010-11 SE

Konstruktionsschritte und Konstruktionsschritte und Merkmale eines Merkmale eines

FragebogensFragebogens (FB)(FB)


WS 2010-11 SE

existierende Fragebögen?

Hinweise - Literatursuche

• Testkatalog herausgegeben von der Testzentrale

(2000) oder unter www.testzentrale.de

• Psychologische u. pädagogische Tests (Brickenkamp,

1997)

• Psychosoziale Messinstrumente (Westhoff, 1993)

• Psychodiagnostische Tests (Hiltmann, 1977)

24


WS 2010-11 SE

Das Item ist die kleinste Beobachtungseinheit in einem Das Item ist die kleinste Beobachtungseinheit in einem

FB, sozusagen der elementare Baustein, aus dem ein FB, sozusagen der elementare Baustein, aus dem ein

FB aufgebaut ist. An einem Item lassen sich zwei FB aufgebaut ist. An einem Item lassen sich zwei

Komponenten unterscheiden, nämlich der sogenannte Komponenten unterscheiden, nämlich der sogenannte

ItemstammItemstamm und das und das AntwortformatAntwortformat..


WS 2010-11 SE

ItemstammItemstamm

�� FrageFrage�� Aussage (Statement)Aussage (Statement)�� BildBild�� GeschichteGeschichte�� ZeichnungZeichnung�� Rechenaufgabe, etc.Rechenaufgabe, etc.

25


WS 2010-11 SE

�� direktedirekte oderoder indirekteindirekte FragenFragen (z(z..BB.:.: „Halten„Halten SieSie sichsich fürfürrücksichtsvoll?“rücksichtsvoll?“ oderoder „Halten„Halten SieSie mitmit demdem AutoAuto an,an, wennwenn eineeinePersonPerson diedie FahrbahnFahrbahn überquerenüberqueren möchte?“möchte?“

�� hypothetischerhypothetischer oderoder tatsächlichertatsächlicher SachverhaltSachverhalt (z(z..BB.:.: „Was„Was würdenwürdenSieSie tun,tun, wennwenn ......““ oderoder „Haben„Haben SieSie schonschon einmaleinmal ...... getan?“getan?“

�� konkreterkonkreter oderoder abstrakterabstrakter SachverhaltSachverhalt (z(z..BB.:.: „Sammeln„Sammeln SieSieBriefmarken?“Briefmarken?“ oderoder „Sammeln„Sammeln SieSie gernegerne irgendwelcheirgendwelche Sachen?“Sachen?“

�� personalisiertepersonalisierte oderoder depersonalisiertedepersonalisierte FrageFrage (z(z..BB.:.: „Würden„Würden SieSiegegengegen einein geplantesgeplantes KernkraftwerkKernkraftwerk demonstrieren?“demonstrieren?“ oderoder „Sollten„Solltenmöglichstmöglichst vieleviele MenschenMenschen gegengegen einein geplantesgeplantes KernkraftwerkKernkraftwerkdemonstrieren?“demonstrieren?“

Jedes Item sollte nur einen einzelnen Aspekt ansprechen.Jedes Item sollte nur einen einzelnen Aspekt ansprechen.


WS 2010-11 SE

freie Antwortformatefreie Antwortformate

Die Itemantwort wird von der getesteten Person Die Itemantwort wird von der getesteten Person

selbst formuliert.selbst formuliert.

gebundene Antwortformategebundene Antwortformate

Vorgefertigtes System von Antwortmöglichkeiten.Vorgefertigtes System von Antwortmöglichkeiten.

26


WS 2010-11 SE

gebundenegebundene AntwortformateAntwortformate

�� hohe Auswertungsobjektivität und hohe Auswertungsobjektivität und

AuswertungsökonomieAuswertungsökonomie

disjunktdisjunkt –– d.h. einander ausschließendd.h. einander ausschließend

exhaustivexhaustiv –– d.h. den Bereich aller d.h. den Bereich aller

Verhaltensmöglichkeiten ausschöpfendVerhaltensmöglichkeiten ausschöpfend


WS 2010-11 SE

RatingformateRatingformate

mehr als zwei abgestufte Antwortkategorienmehr als zwei abgestufte Antwortkategorien

itemitem--unspezifisch formuliertunspezifisch formuliert

( = Untergruppe u( = Untergruppe unter den gebundenen Antwortformatennter den gebundenen Antwortformaten))

27


WS 2010-11 SE

4 Aspekte zur Konstruktion einer Ratingskala4 Aspekte zur Konstruktion einer Ratingskala

1. Eine Ratingskala kann unipolar, von einem Nullpunkt in eine 1. Eine Ratingskala kann unipolar, von einem Nullpunkt in eine

Richtung gerichtet, oder bipolar, von einem negativen Pol zu einem Richtung gerichtet, oder bipolar, von einem negativen Pol zu einem

positiven Pol, aufgebaut sein. positiven Pol, aufgebaut sein.

2. Die Verwendung einer „mittleren“ bzw. „neutralen“ 2. Die Verwendung einer „mittleren“ bzw. „neutralen“

Antwortkategorie, oder auch das Verwenden einer ungeraden Antwortkategorie, oder auch das Verwenden einer ungeraden

Anzahl von Stufen ist problematisch. Eine derartige Anzahl von Stufen ist problematisch. Eine derartige

Antwortkategorie kann nämlich für die antwortende Person Antwortkategorie kann nämlich für die antwortende Person

Verschiedenes bedeuten.Verschiedenes bedeuten.


WS 2010-11 SE

3. Die Anzahl der Stufen spielt eine wichtige Rolle, da dadurch 3. Die Anzahl der Stufen spielt eine wichtige Rolle, da dadurch

sogenannte Antworttendenzen (oder response sets) auftreten sogenannte Antworttendenzen (oder response sets) auftreten

und somit auch vermieden werden können.und somit auch vermieden werden können.

Unter einem response set versteht man die von der zu messenden Unter einem response set versteht man die von der zu messenden

Personeneigenschaft unabhängige Neigung einer Person, die Personeneigenschaft unabhängige Neigung einer Person, die

Ratingskala in einer bestimmten Art und Weise zu gebrauchen.Ratingskala in einer bestimmten Art und Weise zu gebrauchen.

Zum Beispiel macht sich die Tendenz zu einem extremen Urteil bei Zum Beispiel macht sich die Tendenz zu einem extremen Urteil bei

einer vierstufigen Skala weniger bemerkbar als bei einer einer vierstufigen Skala weniger bemerkbar als bei einer

zehnstufigen Skala.zehnstufigen Skala.

28


WS 2010-11 SE

4. Benennung der Kategorien:4. Benennung der Kategorien:

Ratingskalen können rein numerisch, graphisch, symbolisch oder Ratingskalen können rein numerisch, graphisch, symbolisch oder

verbal verankert sein. Auch Kombinationen sind möglich.verbal verankert sein. Auch Kombinationen sind möglich.


WS 2010-11 SE

Der ItemDer Item--PoolPool

�� entsteht durch Literaturrecherche, etc.entsteht durch Literaturrecherche, etc.

�� Anzahl der zu sammelnden Items hängt von der Anzahl der zu sammelnden Items hängt von der

endgültigen Zahl der FBendgültigen Zahl der FB--Items abItems ab

�� mindestens das Dreifache der letztlich mindestens das Dreifache der letztlich

erforderlichen Itemzahl ist nötigerforderlichen Itemzahl ist nötig

�� jedoch sollte im Zweifelsfall die Qualität vor der jedoch sollte im Zweifelsfall die Qualität vor der

Quantität stehen Quantität stehen

29


WS 2010-11 SE

Prinzip der Passung Prinzip der Passung

��Maximierung der Varianz der AntwortvariablenMaximierung der Varianz der Antwortvariablen

�� Das zufällige Auswählen von Items aus einem ItemDas zufällige Auswählen von Items aus einem Item--

Pool ist wenig sinnvoll.Pool ist wenig sinnvoll.

�� Items, die von allen Befragten in gleicher Art und Items, die von allen Befragten in gleicher Art und

Weise beantwortet werden, sind als ungeeignet Weise beantwortet werden, sind als ungeeignet

anzusehen, da sie kaum zur Differenzierung der anzusehen, da sie kaum zur Differenzierung der

Probanden beitragen.Probanden beitragen.


WS 2010-11 SE

DieDie ErstellungErstellung einereiner PräambelPräambel

übliche Instruktionen für die Beantwortung von FB:übliche Instruktionen für die Beantwortung von FB:

�� alle Items durchzulesen und zu beantworten;alle Items durchzulesen und zu beantworten;�� die Items nacheinander zu bearbeiten und keine auszulassen;die Items nacheinander zu bearbeiten und keine auszulassen;�� aufrichtig zu antworten aufrichtig zu antworten –– Anonymität und ausreichender Anonymität und ausreichender

Datenschutz wird garantiert;Datenschutz wird garantiert;�� möglichst zügig zu antworten;möglichst zügig zu antworten;�� bei Persönlichkeitsfragebögen gibt es keine richtigen oder falschen bei Persönlichkeitsfragebögen gibt es keine richtigen oder falschen

Antworten, die für alle Vpn zutreffen, sondern nur Antworten, die für alle Vpn zutreffen, sondern nur individuell richtige Antworten;individuell richtige Antworten;

�� dass die Untersuchung nur zu Forschungszwecken ausgeführt wird dass die Untersuchung nur zu Forschungszwecken ausgeführt wird und nicht der Bestimmung individueller Diagnose dient;und nicht der Bestimmung individueller Diagnose dient;

30


WS 2010-11 SE

Beeinflussung des AntwortverhaltensBeeinflussung des Antwortverhaltens

�� durch die Position des Items im Fragebogendurch die Position des Items im Fragebogen

�� durch die Selbstdarstellung des Probandendurch die Selbstdarstellung des Probanden

�� durch die soziale Erwünschtheit mancher durch die soziale Erwünschtheit mancher AntwortmöglichkeitenAntwortmöglichkeiten

EsEs existierenexistieren Techniken,Techniken, diedie diesediese TendenzTendenz zuzu reduzierenreduzieren oderoder

zumindestzumindest zuzu kontrollierenkontrollieren versuchenversuchen..

zz.. BB.:.: LügenfragenLügenfragen


WS 2010-11 SE

Revision im Expertenkreis:Revision im Expertenkreis:

�� Revision der Items, vor allem unter sprachlichen Revision der Items, vor allem unter sprachlichen

Gesichtspunkten.Gesichtspunkten.

�� Diese Revision soll vor allem auf gute Verständlichkeit, auf die Diese Revision soll vor allem auf gute Verständlichkeit, auf die

notwendige Kürze und Prägnanz der Formulierungen, auf die notwendige Kürze und Prägnanz der Formulierungen, auf die

Fragerichtung und die Reihenfolge der Items im Fragebogen Fragerichtung und die Reihenfolge der Items im Fragebogen

achten. Vortestung der Testvorform an der Zielpopulationachten. Vortestung der Testvorform an der Zielpopulation

�� Aufgabenanalyse Aufgabenanalyse –– ItemselektionItemselektion

�� Haupttestung der Testendform an der ZielpopulationHaupttestung der Testendform an der Zielpopulation

31


WS 2010-11 SE


WS 2010-11 SE

32


WS 2010-11 SE

Erfassung von DatenErfassung von Daten

�� StrichlisteStrichliste

�� FragebogenFragebogen

�� ProtokollProtokoll

�� ListenListen

�� ……


WS 2010-11 SE

33


WS 2010-11 SE

DatenansichtDatenansicht

VariablenansichtVariablenansicht


WS 2010-11 SE

Beschreiben / Zählen / DarstellenBeschreiben / Zählen / Darstellen

�� HäufigkeitstabellenHäufigkeitstabellen

�� DiagrammeDiagramme

�� ProzenttabellenProzenttabellen

�� ListenListen

�� ……

34


WS 2010-11 SE

Körpergröße (cm)

1 2,8 2,8

1 2,8 5,6

3 8,3 13,9

4 11,1 25,0

1 2,8 27,8

3 8,3 36,1

2 5,6 41,7

2 5,6 47,2

3 8,3 55,6

2 5,6 61,1

1 2,8 63,9

3 8,3 72,2

6 16,7 88,9

1 2,8 91,7

1 2,8 94,4

1 2,8 97,2

1 2,8 100,0

36 100,0

156,00

158,00

160,00

163,00

164,00

165,00

166,00

167,00

168,00

169,00

171,00

172,00

174,00

176,00

178,00

180,00

183,00

Gesamt

GültigHäufigkeit Prozent

KumulierteProzente Häufigkeitstabelle Häufigkeitstabelle

……


WS 2010-11 SE

Geschlecht

32 88,9 88,9 88,9

4 11,1 11,1 100,0

36 100,0 100,0

weiblich

männlich

Gesamt

GültigHäufigkeit Prozent

GültigeProzente

KumulierteProzente

Geschlechtweiblichmännlich

weiblich männlich

Geschlecht

0

10

20

30

40

Abs

olut

e W

erte

KreisdiagrammKreisdiagrammBalkendiagrammBalkendiagramm

HäufigkeitstabelleHäufigkeitstabelle……

35


WS 2010-11 SE

155,00 160,00 165,00 170,00 175,00 180,00 185,00

Körpergröße (cm)

0

1

2

3

4

5

6

7

Häu

figke

it

Mean = 168,3611Std. Dev. = 6,30715N = 36

HistogrammHistogramm


WS 2010-11 SE

155,00 160,00 165,00 170,00 175,00 180,00 185,00

Körpergröße (cm)

50,00

55,00

60,00

65,00

70,00

75,00

80,00

Kör

perg

ew

icht

(kg

)

Geschlechtweiblichmännlich

StreudiagrammStreudiagramm

36


WS 2010-11 SE

Beschreiben: LageparameterBeschreiben: Lageparameter(Maße der zentralen Tendenz)(Maße der zentralen Tendenz)

�� Maßzahlen der zentralen TendenzMaßzahlen der zentralen Tendenz(Mittelwerte)(Mittelwerte)

�� Maßzahlen der Dispersion Maßzahlen der Dispersion (Streuungsmaße)(Streuungsmaße)


WS 2010-11 SE

Modalwert:Modalwert:

„Der in einer Verteilung am häufigsten vertretene Wert“ (Bortz u. Döring „Der in einer Verteilung am häufigsten vertretene Wert“ (Bortz u. Döring 2002, S. 684). 2002, S. 684).

Median:Median:

„Der Median teilt eine Verteilung mindestens „Der Median teilt eine Verteilung mindestens ordinalskalierterordinalskalierter Meßwerte in Meßwerte in Hälften“ (Bortz u. Döring 2002, S. 683).Hälften“ (Bortz u. Döring 2002, S. 683).

„Der Median ist die mittlere Maßzahl, in der Größe der Maßzahlen „Der Median ist die mittlere Maßzahl, in der Größe der Maßzahlen geordneten Fälle“ (Resch 2001, S. 20).geordneten Fälle“ (Resch 2001, S. 20).

Arithmetisches Mittel:Arithmetisches Mittel:

„Der Mittelwert (genauer: das arithmetische Mittel) als Summe aller „Der Mittelwert (genauer: das arithmetische Mittel) als Summe aller Meßwerte dividiert durch die Anzahl der eingehenden Werte“ (Bortz u. Meßwerte dividiert durch die Anzahl der eingehenden Werte“ (Bortz u. Döring 2002, S. 684). Döring 2002, S. 684).

Geometrisches Mittel:Geometrisches Mittel:„Der geometrische Mittel ist die N‘te Wurzel aus dem Produkt von N „Der geometrische Mittel ist die N‘te Wurzel aus dem Produkt von N Messwerten“ (Diekmann 2009, S. 290).Messwerten“ (Diekmann 2009, S. 290).

37


WS 2010-11 SE

Spannweite (range, Variationsbreite):Spannweite (range, Variationsbreite): (x(xmaxmax –– xxminmin))

„Differenz zwischen der größten und kleinsten Maßzahl“ (Resch „Differenz zwischen der größten und kleinsten Maßzahl“ (Resch 2001, S. 36).2001, S. 36).

Mittlere Variation: Mittlere Variation:

„Summe aller Abweichungen vom Mittelwert, dividiert durch „Summe aller Abweichungen vom Mittelwert, dividiert durch nn“ (Eder “ (Eder 2003, S. 30). 2003, S. 30).

Standardabweichung (standard deviation):Standardabweichung (standard deviation):

„… die Wurzel aus dem Durchschnitt der quadrierten Abweichungen „… die Wurzel aus dem Durchschnitt der quadrierten Abweichungen der Maßzahlen von ihrem Mittelwert“ (Resch 2001, S. 36).der Maßzahlen von ihrem Mittelwert“ (Resch 2001, S. 36).

Varianz (standard deviation): Varianz (standard deviation):

„… die Summe der quadrierten Abweichungen aller Einzelwerte von „… die Summe der quadrierten Abweichungen aller Einzelwerte von ihren Mittelwert, dividiert durch deren Anzahl“ (Eder 2003, S. 31).ihren Mittelwert, dividiert durch deren Anzahl“ (Eder 2003, S. 31).


WS 2010-11 SE

Statistiken

36 36

0 0

168,3611 62,1667

6,30715 8,28596

39,780 68,657

Gültig

Fehlend

N

Mittelwert

Standardabweichung

Varianz

Körpergröße(cm)

Körpergewicht (kg)

Mittelwert und StreuungsmaßeMittelwert und Streuungsmaße

38


WS 2010-11 SE

Schritte eines empirisch Schritte eines empirisch quantitativen quantitativen

Forschungsvorhabens Forschungsvorhabens ––

Darstellung und Auswertung Darstellung und Auswertung von Datenvon Daten


WS 2010-11 SE

Darstellung von Daten:Darstellung von Daten:

HäufigkeitstabelleHäufigkeitstabelle

�� absolute Häufigkeitabsolute Häufigkeit�� relative Häufigkeitrelative Häufigkeit�� prozentuale Häufigkeitprozentuale Häufigkeit�� kumulierte kumulierte prozentuale Häufigkeitprozentuale Häufigkeit

39


WS 2010-11 SE

Arbeit mit SPSS IArbeit mit SPSS I

�� Anlegen der DatenmaskeAnlegen der Datenmaske

�� Codierung der einzelnen FragebögenCodierung der einzelnen Fragebögen

�� DateneingabeDateneingabe

�� Datenkontrolle/FehlerkontrolleDatenkontrolle/Fehlerkontrolle

�� FehlerbereinigungFehlerbereinigung


WS 2010-11 SE

40


WS 2010-11 SE

Anlegen der Datenmaske:Anlegen der Datenmaske: : „Variablenansicht“Variablenansicht“

pro Variable eine Zeile definieren


WS 2010-11 SE

Codierung der einzelnen FragebögenCodierung der einzelnen Fragebögen

Je nach Art des Forschungsdesigns muss eine durchdachte Je nach Art des Forschungsdesigns muss eine durchdachte Codierung vorgenommen werden, die es ermöglicht jeden Datensatz Codierung vorgenommen werden, die es ermöglicht jeden Datensatz einem Fragebogen, aber auch einem Testleiter, einem einem Fragebogen, aber auch einem Testleiter, einem Untersuchungszeitpunkt, einer Untersuchungsgruppe, … zuzuweisen. Untersuchungszeitpunkt, einer Untersuchungsgruppe, … zuzuweisen.

z.B.z.B.

01 05 2701 05 27

��

Zeitpunkt / Gruppe / laufende NummerZeitpunkt / Gruppe / laufende Nummer

od. Testleiterod. Testleiter

41


WS 2010-11 SE

Dateneingabe:Dateneingabe:„Datenansicht“Datenansicht“

je Datensatz (Fragebogen) eine

Zeile ausfüllen


WS 2010-11 SE

DatenkontrolleDatenkontrolle

1. Analysieren2. Deskriptive Statistiken3. Häufigkeiten

42


WS 2010-11 SE

Lindenberg, A u. Wagner, I.: Statistik macchiatto. 2007, S. 183

Sie sind dran …Sie sind dran …


WS 2010-11 SE

Beschreiben / Zählen / DarstellenBeschreiben / Zählen / Darstellen

�� HäufigkeitstabellenHäufigkeitstabellen

�� DiagrammeDiagramme

�� ProzenttabellenProzenttabellen

�� ListenListen

�� ……

43


WS 2010-11 SE


WS 2010-11 SE

44


WS 2010-11 SE


WS 2010-11 SE

Phasen der TestentwicklungPhasen der Testentwicklung

Itemerstellung, Itemselektion, Vortestung, Itemerstellung, Itemselektion, Vortestung, Aufgabenanalyse: Schwierigkeitsindex, Aufgabenanalyse: Schwierigkeitsindex,

Trennschärfeindex …Trennschärfeindex …

45


WS 2010-11 SE

Itemerstellung / ItemselektionItemerstellung / Itemselektion

�� FestlegungenFestlegungen–– ValiditätsbereichValiditätsbereich–– GeltungsbereichGeltungsbereich–– Testkonzept (rational bzw. empirisch)Testkonzept (rational bzw. empirisch)

�� MerkmalsanalyseMerkmalsanalyse�� AufgabenkonstruktionAufgabenkonstruktion

–– AufgabenkonzeptAufgabenkonzept–– sprachlicher Aufbausprachlicher Aufbau–– Testaufbau Testaufbau –– VorrevisionVorrevision

�� Vortestung Vortestung �� AufgabenanalyseAufgabenanalyse


WS 2010-11 SE

Vortestung(en)Vortestung(en)

Auswahl von AnalysestichprobenAuswahl von Analysestichproben

�� Einzel bzw. GruppendurchführungEinzel bzw. Gruppendurchführung�� DarbietungstechnikenDarbietungstechniken

–– GesamtdarbietungGesamtdarbietung�� vollständige Gesamtdarbietungvollständige Gesamtdarbietung�� unvollständige Gesamtdarbietung unvollständige Gesamtdarbietung

–– EinzeldarbietungEinzeldarbietung–– unvollständige Gesamtdarbietung mitunvollständige Gesamtdarbietung mit

ZufallsreihungZufallsreihung

46


WS 2010-11 SE

AufgabenanalyseAufgabenanalyse

„1. Revision des Tests in Hinblick auf eine höhere „1. Revision des Tests in Hinblick auf eine höhere Reliabilität uns Validität durch Ausschaltung und Reliabilität uns Validität durch Ausschaltung und Verbesserung nicht genügend geeigneter Aufgaben.Verbesserung nicht genügend geeigneter Aufgaben.2. Überprüfung der Testpunkteverteilung hinsichtlich 2. Überprüfung der Testpunkteverteilung hinsichtlich einer höheren Reliabilität und einer besseren einer höheren Reliabilität und einer besseren Normierbarkeit“ (Lienert 1989, S. 70).Normierbarkeit“ (Lienert 1989, S. 70).

�� RohwerteverteilungRohwerteverteilung�� SchwierigkeitsanalyseSchwierigkeitsanalyse�� TrennschärfeanalyseTrennschärfeanalyse�� ValiditätskoeffizientValiditätskoeffizient

�� HomogenitätHomogenität

�� DimensionalitätsprüfungDimensionalitätsprüfung


WS 2010-11 SE

Häufigkeitsverteilung der Testwerte:Häufigkeitsverteilung der Testwerte:Beispiel:Beispiel:

2,0 01 ,9 4

1 ,8 81,8 1

1,7 51 ,6 9

1,6 31 ,5 6

1 ,5 01,4 4

1 ,3 81 ,3 1

1 ,2 51,1 9

1 ,1 3

A L L E

Hä

ufi

gk

eit

7 0

6 0

5 0

4 0

3 0

2 0

1 0

0

S td .a b w . = ,1 5

M it te l = 1 ,6 6

N = 3 2 6 ,0 0

„Normalverteilte „Normalverteilte Testwerte sind Testwerte sind erstrebenswert, weil viele erstrebenswert, weil viele (…) Verfahren (…) Verfahren normalverteilte Werte normalverteilte Werte voraussetzen“ (Bortz u. voraussetzen“ (Bortz u. Döring 2002, S. 217).Döring 2002, S. 217).

RohwerteverteilungRohwerteverteilung

47


WS 2010-11 SE

Schwierigkeitsindex:Schwierigkeitsindex:„„Der Schwierigkeitsindex einer Aufgabe ist Der Schwierigkeitsindex einer Aufgabe ist

gleich dem prozentualen Anteil P der auf gleich dem prozentualen Anteil P der auf diese Aufgaben entfallenden richtigen diese Aufgaben entfallenden richtigen Antworten in einer Analysestichprobe“ Antworten in einer Analysestichprobe“ (Lienert u. Raatz 1994, S. 73)(Lienert u. Raatz 1994, S. 73)

Beispiel:Beispiel:P = 85 … P = 85 … → leichte Aufgabe→ leichte AufgabeP = 30 … P = 30 … → schwierige Aufgabe→ schwierige Aufgabe

SchwierigkeitsanalyseSchwierigkeitsanalyse


WS 2010-11 SE

Bestimmung des Schwierigkeitsindex:Bestimmung des Schwierigkeitsindex:

P = 100 ·

NR

N

Beispiel 1: N = 120 Beispiel 1: N = 120 (Anzahl der Probanden)(Anzahl der Probanden) ; N; NR = 102 = 102 (Anzahl der richtigen Lösungen)(Anzahl der richtigen Lösungen)

P = 100 P = 100 · 102 : 120 = · 102 : 120 = 8585 →→ leichte Aufgabeleichte Aufgabe

Beispiel 2: N = 120 ; NBeispiel 2: N = 120 ; NR = 36= 36P = 100 P = 100 · 36 : 120 = · 36 : 120 = 3030 →→ schwierige Aufgabeschwierige Aufgabe


48


WS 2010-11 SE

P = 100 .

NR - N

NF m - 1

Bestimmung des zufallskorrigierten Bestimmung des zufallskorrigierten Schwierigkeitsindex:Schwierigkeitsindex:

Beispiel 3: N = 120 ; NBeispiel 3: N = 120 ; NR = 102 ; N= 102 ; NF = 18 = 18 (Anzahl der falschen Lösungen)(Anzahl der falschen Lösungen) ; ; m = 4 m = 4 (Anzahl der Antwortmöglichkeiten)(Anzahl der Antwortmöglichkeiten)

P = 100 P = 100 · (102 · (102 –– (18 : 3 )) : 120 = (18 : 3 )) : 120 = = 100 . (102 = 100 . (102 –– 6 ) : 120 =6 ) : 120 == 100 . 96 : 120 = = 100 . 96 : 120 = 8080 →→ leichte Aufgabeleichte Aufgabe



WS 2010-11 SE

P = 100 .

NR – NF(max)

N

Bestimmung des plausibilitätskorrigierten Bestimmung des plausibilitätskorrigierten Schwierigkeitsindex:Schwierigkeitsindex:

Beispiel 4: N = 120 ; A = 102 (NBeispiel 4: N = 120 ; A = 102 (NR) ; B = 4 ; C = 12 (N) ; B = 4 ; C = 12 (NF(max))); D = 2); D = 2((NNF(max) … Anzahl der plausibelsten falschen Lösung)Anzahl der plausibelsten falschen Lösung)

P = 100 P = 100 · (102 · (102 –– 12) : 120 = 12) : 120 = = 100 . 90 : 120 = = 100 . 90 : 120 = 7575 →→ leichte Aufgabeleichte Aufgabe


49


WS 2010-11 SE

P = 100 .

NR

NB

P = 100 .

NR - NB

NF m - 1

Bestimmung des Schwierigkeitsindex mit Bestimmung des Schwierigkeitsindex mit InangriffnahmeInangriffnahme--Korrektur:Korrektur:

Beispiel 5: Beispiel 5: NNR = 102 ; N= 102 ; NB = 110 = 110 P = 100 P = 100 · 102 : 110 = · 102 : 110 = ≈≈ 92,792,7

→→ Schwierigkeitsindex wird Schwierigkeitsindex wird höher, d.h. das Item ist höher, d.h. das Item ist leichter als zunächst leichter als zunächst angenommen angenommen NNB …Anzahl der Anzahl der Personen die das Item in Angriff Personen die das Item in Angriff genommenen haben)genommenen haben)



WS 2010-11 SE

Schwierigkeitsindex:Schwierigkeitsindex:

P = 100 ·

NR

N

P = 100 .

NR - N

NF m - 1

Zufallskorrigierter Zufallskorrigierter Schwierigkeitsindex:Schwierigkeitsindex:

P = 100 .

NR – NF(max)

N

plausibilitätskorrigierter plausibilitätskorrigierter Schwierigkeitsindex:Schwierigkeitsindex:

50


WS 2010-11 SE

……

normbezogene Teste normbezogene Teste ↕↕

lernzielbezogene Testslernzielbezogene Tests

„Die Aufgabenschwierigkeit ist also nicht nur „Die Aufgabenschwierigkeit ist also nicht nur das Merkmal einer bestimmten Aufgabe, das Merkmal einer bestimmten Aufgabe, sondern auch Merkmal einer bestimmten sondern auch Merkmal einer bestimmten Stichprobe“ (Mietzel 1993, S. 322).Stichprobe“ (Mietzel 1993, S. 322).


Documents

EmpirischEmpirisch--quantitative Verfahren quantitative