12.5.2011 Bernhard Jacobs 1 Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die Studierleistungen in einem Seminar Quellen: URN: urn:nbn:de:bsz:291-psydok-25299

12.5.2011 Bernhard Jacobs 1

Leistungssteigerung durch Notendruck ?

Die Wirkung der Benotung auf die Studierleistungen in einem Seminar

Quellen: URN: urn:nbn:de:bsz:291-psydok-25299URL: http://psydok.sulb.uni-saarland.de/volltexte/2009/2529/

http://www.phil.uni-sb.de/~jakobs/wwwartikel/extrinsische_motivierung/notendruck/notenanreiz.html


Motivierung zum Lernen

Intrinsische Lernmotivation Interesse am Lerngegenstand und Freude bei der Lernaktivität pädagogisch wertvoll tiefe Verarbeitung des Wissens

viele theoretische Ergüsse (Selbstbestimmung, Flow, Interesse…)schwer im Schulalltag zu findennoch schwieriger pädagogisch zuverlässig anzuregen

Extrinsische Lernmotivation (mehrere Facetten) Lernen nur wegen der erwarteten Konsequenzen pädagogisch bedenklich oberflächliche Verarbeitung ?

theoretisch uninteressant: sehr nahe am common sensezuverlässig im Schulalltag zu findenbestimmt den größten Teil schulischer Motivierung

Sehr wenige empirische Studien!


Untersuchungsziel

Reicht das verpflichtende Angebot eines unbenoteten Online-Quiz mit vielfältigen Rückmeldungen aus, die Studierleistungen in einem durch Notenbedrohung analogen Ausmaß zu fördern ?

Quiz: benotet Quiz: unbenotet, aber verpflichtend

gegen

Realistische Erwartung : nein

Ausgangsfrage


Wichtige Forschungsfragen

• Fällt die Leistung im benoteten Quiz besser aus?• Bleibt der vermutete Leistungsvorteil länger erhalten?• Impliziert der vermutete Leistungsvorteil auch ansatzweise

einen Wissenstransfer?• Verbessern auch unbenotete Quiz die Lernleistung?

Motivationale Anreize bzw. Auswirkungen der Benotung

• Erhöht sich die Bedeutsamkeit, im Quiz gut abzuschneiden?• Verbessert sich die Vorbereitung auf das Quiz?• Steigert Benotung die aktuelle Angst vor dem Quiz ?

Kognitive Leistung


Hypothesen

Höhere Bedeutsamkeitguter Leistungen

Intensivere Vorbereitungauf das Quiz

höhere Testmotivation

Quizbenotung

Lehrstofferlernbar

HöhereQuizleistung

Stabilität derLeistung ?

mehr aktuelleAngst vor Quiz


Untersuchungseinheiten

2 SeminareDiagnostik Grundlagen

2 SeminareDiagnostik Aufgaben

Quiz 2a : Skalen, Stichproben…………Quiz 5: Aufgabenanalyse

Quiz 2b: Aufgaben und Feedback

Dozent: für alle 4 Seminare gleich [Verfasser]Unterrichtsmethode: Lehrervortrag mit Powerpoint Lerngrundlage: Seminarsitzung, verfügbare Powerpoint-Folie

4 Proseminare Pädagogische Diagnostik des WS 2008/2009

Quiz 1 für alle: Aufgabentypen und Aufgabenformen


Unabhängige Variable

Für alle Bedingungen gilt:

• Quiztermin angekündigt und lange bekannt • Quizteilnahme: verpflichtend • Quizfunktion: Überprüfung zuvor präsentierten Lehrstoffs; Vorbereitung ca. 7 Tage. • Quizlehrziele: sehr transparent, überwiegend Verständnis und Anwendung • Umfang der Quizlehrziele ca. 1 bis 2 Seminarsitzungen

EG benotet

KG unbenotet

Quizgewichtung für Seminarnote

25-33 % 0 %

Prüfungsform streng kontrolliert im Seminaronline zu Hause; ohne externe Kontrolle,

Aufgabenbearbeitungfrei, Beantwortung aller Aufgaben wurde angeregt.

alle Aufgaben waren zwingend zu beantworten

Testzeit relativ großzügig bemessen beliebig lange

FeedbackKCR after test im Seminar % korrekter Antworten nach einigen Wochen

KOR, KCR und EF after item; % korrekter Antworten unmittelbar nach Quiz


Abhängige Variable

Leistung im Quiz:

Welchen Einfluss hat die Benotung auf das Quizergebnis ?

Leistung im Parallelretest nach einer Woche

Bleibt der erwartete Leistungsunterschied erhalten ?

Leistung in der unbenoteten Abschlussklausur/quiz

Ist ein Leistungsunterschied noch nach 4-8 Wochen feststellbar ?

Checkliste der Quiz Aufgabenformen: Quiz 1: Aufgabenformen : Aufgabenanzahl: 21 = .78 N=108 Quiz: Retest/Kriterium : Aufgabenanzahl: 22 = .76 N=114 Parallel-Retestreliabilität rtt = .64 N=103 Abschlussquiz Aufgabenformen : Aufgabenanzahl: 12 = .65 N=107


Aufgaben /Wissen, Verstehen, Anwenden

Beispiel für Short Answer Aufgabe [Aufgabenformen]

Wie hoch ist die Wahrscheinlichkeit, eine einfache MC-Aufgabe….

Aufgabe 3 [Quiz 1] mit 5 Antwortoptionen durch Zufall korrekt zu beantworten ?

Aufgabe 3 [Retestquiz] mit 4 Antwortoptionen durch Zufall korrekt zu beantworten ?

Aufgabe 3 [Abschlussquiz] mit 4 Distraktoren und einer korrekten Antwort durch Zufall korrekt zu beantworten ?

Aufgaben in Quizwiederholungen

50% identisch 50% parallel naher Transfer

Verschiedene Aufgabenformen, alle maschinell auswertbar


Beispiel Zuordnungsaufgabe /Skala


Untersuchungsvorgehen

1 2 3 4

Diagnostik Grundlagen Diagnostik Aufgaben

A AAAB BBB

R RRR

Versuchsplan 10.11.2008 17.11.2008 1.12.2008 9.2.2009 Quiz1 Parallel Quiz2 .... Abschlussquiz retest zu Quiz 1 und 2 zu Quiz 1 R Gruppe A: benotet unbenotet unbenotet unbenotet

R Gruppe B: unbenotet unbenotet benotet unbenotet

Seminar Seminar SeminarSeminar


Wirkung der Benotungsankündigung auf die Leistung im Quiz 1

Korrekte Lösungen [%] in Quiz 1 [Aufgabentypen]

M s

Quiz benotet: 80.1 7.5 Quiz unbenotet: 70.1 14.5

t(106): 4.4 p : 0.001 d : .87


Prozentsatz korrekter Lösungen im unbenoteten und unangekündigtenParallelretest Aufgabenformen: M s N t p d Quiz 1 benotet: 78.5 9.0 54 5.3 0.001 1.04 Quiz 1 unbenotet: 66.3 14.0 49

eine Woche nach dem Quiz

Abschlussklausur, unangekündigt und unbenotet: 8 Wochen später Vorteil für benotetes Quiz bleibt weitgehend erhalten. Effektstärke im mittleren Bereich

Zusammenfassung: Leistungsvorteile für benotetes Quiz in Effektstärke

im nach 1 nach 8 Quiz 1 Woche Wochen

.87 1.04 .53

Auswirkung der Benotung von Quiz 1 auf das Behalten


Replikation des Benotungseffektes bei Quiz 2


Replikation : Quiz 3 und 4

Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik

Quiz 3 Quiz4 Statistik Testgütekriterien AbschlussquizR Gruppe A: .... benotet unbenotet ... unbenotet R Gruppe B: .... unbenotet benotet ..... unbenotet

Ergebnisse im Quiz Ergebnisse im Abschlussquiz:

Quiz 3 Quiz 4

benotet 76.4 76.7 unbenotet 69.3 70.0

d .57* .25

d=.59 d=.99


Unbenotete Quiz besser als gar nichts ?

Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik

AbschlussquizR Gruppe A:... unbenotetes Quiz kein Quiz... unbenotet R Gruppe B:... kein Quiz unbenotetes Quiz unbenotet

Ergebnis: Bei einem Quiz bessere Ergebnisse, beim anderen Quiz kein Leistungsvorteil im Abschlussquiz

Kritik: Zu wenige Items im Kriteriumstests [Abschlussquiz]

Bessere Überprüfung der Fragestellung siehe

Leistungssteigerung ohne Notendruck ? -Die Wirkung verpflichtender, unbenoteter Quiz auf die Studierleistung


Höhere Angst bei benotetem Quiz ?


Quizbenotungbewirkt

verstärkt


Höhere Bedeutsamkeit guter Leistungen ?

Es ist für mich sehr wichtig, in diesem Quiz gut abzuschneiden

Das Ergebnis im Quiz hat für mich keine besondere Bedeutung. (-)

"stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5).

Quiz benotet unbenotet Effektstärke M M d 2a 4.0 3.1 1.00 2b 4.4 3.0 2.18 3 4.3 3.3 1.154 4.1 2.8 1.85

Die benoteten Quiz erhöhten die Bedeutsamkeit guter Leistungenkonsistent in einem praktisch sehr bedeutsamen Ausmaß

Ergebnis

Fazit

Erhebung


Aktuelle Angst unmittelbar vor dem Quiz 1 und 2

d=.55d=.73


Angst unmittelbar vor dem Quiz 3 und 4 [Replikation]

10

15

20

25

30Gruppe A: erst benotet, dann unbenotetGruppe B: erst unbenotet, dann benotet

AktuellePrüfungsangst(SPA)

Quiz 3 Quiz4

d=1.03d=.69


Quizvorbereitung und Testmotivation

subjektiv eingeschätzte Quizvorbereitung

1.) Ich hatte mich vor dem Quiz wenig mit dem Thema Skalen und Stichproben befasst. (-) 4.) Ich hatte die Folien des Seminars zu Skalen und Stichproben durchgearbeitet.6.) Ich hatte mich auf die Themen und Inhalte des Quiz gut vorbereitet.

Zeit für Quizvorbereitung

16.) Ich schätze die für das Quiz investierte Vorbereitungszeit auf ? Minuten.

InvestierteAnstrengungsbereitschaft[Testmotivation]

2.) Ich habe alle meine Kräfte eingesetzt, um das Quiz aufmerksam zu bearbeiten.5.) Ich habe das Quiz voll konzentriert mit höchster Anstrengung bearbeitet. 7.) Ich sah keine Veranlassung, mich im Quiz ganz besonders anzustrengen. (-)


Intensivere Vorbe-reitung auf das Quiz

höhere Testmotivation

"stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5).

Quizbenotung


Quizvorbereitung und Testmotivation

benotet nicht Effekt- benotet stärke d

Quizvorbereitung 2a 4.1 3.0 1,32 2b 4.3 2.9 2.00 3 4.0 3.1 0.99 4 4.0 2.4 1.82

Zeit für Quizvorbereitung 2a 135.8 35.8 1.90 in Minuten 2b 74.8 24.2 1.31 3 78.8 28.4 1.33 4 95.7 24.2 1.60 Anstrengungsbereitschaft 1 4.6 3.8 1.13 2a 4.4 3.7 1.05 2b 4.5 3.8 1.24 3 4.6 3.7 1.27 4 4.3 3.7 0.70

Alle Ergebnisse stützen die Erwartungs-mal-Werttheorie deutlich und konsistent


Resumé


Resumé und einige Implikationen

• Noten bewirken bessere Leistungen als keine Noten: trivial ?nicht trivial:

Leistungsvorteil bleibt einige Zeit erhalten; kein rein oberflächliches Lernen.

• Leistungsvorteil erzielt durch bessere und mehr VorbereitungLernleistung=(realisierte Lernzeit / benötige Lernzeit) [Caroll]

• Mehr Leistung auch erkauft durch höhere Angst und Stress

• Systemimmanente Rationalität der Studierenden. „Lerne wegen der instrumentellen Folgen, Bleib locker, wenn nicht

prüfungsrelevant“

• Studienkonzeption zwingt zu nutzenorientiertem Studium, begünstigt extrinsische Haltung zur Arbeit und Leistung. Gute Vorbereitung für die „Erfolgsgesellschaft“

• Die bessere Leistung benoteter Quiz erzwingt keineswegs die verstärkte Anwendung benoteter Quiz. Denn aus dem Sein folgt bekanntlich nicht das Sollen.

• Benotete Quiz führen nicht zwingend zu besseren benoteten Abschlussklausuren, weil die Notenerwartung der Klausur die Vorbereitung auf die Abschlussklausur intensiviert.

• Auch unbenotete Quiz fördern die Leistung, wenn auch weniger stark und zuverlässig.

Documents

12.5.2011 Bernhard Jacobs 1 Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die Studierleistungen in einem Seminar Quellen: URN: urn:nbn:de:bsz:291-psydok-25299