2013 11-25 MIB-Talk "Prüfen"

Zielorientiert und fair prüfen MIB-Talk, 25.11.2013 Christoph Meier

Das Team "Hochschulentwicklung" am IWP-HSG

Unsere Themen und Arbeitsfelder 1. Studienprogrammentwicklung

– z.B. Weiterentwicklung des Bachelor BWL zum Themenfeld "nachhaltige Entwicklung"

2. Faculty development – z.B. Weiterentwicklung des Ausbildungsprogramm Hochschuldidaktik

3. Forschung – z.B. Entwicklung der Einstellungen von Studierenden zum BWL-Studium

Dr. Christoph Meier

Taiga Brahm Tobias Jenert Patrizia Kühner Marion Lehner Christoph Meier

22.11.2013 2

Übersicht

Fragen an euch

Grundfragen - Wozu prüfen? - Was prüfen? - Wie prüfen? - Wie auswerten? - Wie gut prüfen?

Some food for thought

Fragen von euch

22.11.2013 Dr. Christoph Meier 3

Prüfungen im Kontext


"Was nicht geprüft wird, wird auch nicht gelernt."

Didaktisches Design

Mediale Lernressourcen

Betreuung

Wozu prüfen? Formativ vs. summativ


Was prüfen? Passung Lernziele & Prüfung


Was prüfen? Kompetenzbereiche & Handlungsdimensionen


Was prüfen? Lernziele in verschiedenen Detaillierungen


Was prüfen? Anspruchsniveau von Lernzielen


Formulierung Lernziel

(Beispiele)

Anspruchsniveau Formulierung Prüfungsaufgabe (Beispiele)

"kennt", "nennt",

"zählt auf" 1) Erinnern nicht

empfohlen "nennen Sie …",

"welche … kennen Sie?"

"erläutert", "findet Beispiele für",

"subsumiert", "generalisiert"

2 ) Verstehen "Verstehens-Aufgaben"

"gruppieren Sie folgende Aussagen nach …" "was sind die Hauptgründe für …"

"beschreiben Sie anhand von Beispielen …", "erläutern Sie in eigenen Worten …"

"nutzt Modell / Vorgehen XYZ,

um ein Problem zu lösen"

3) Anwenden "Anwendungs- /

Transfer-aufgaben"

"wenden Sie das Modell / Vorgehen XYZ auf den folgenden Fall an: …"

"beschreiben Sie, wie Sie die folgende Problemsituation lösen würden: …"

"differenziert", "unterscheidet",

"findet Analogien" 4) Analysieren "Problem-bearbeitungs-

aufgaben"

(neue Probleme,

keine Transfer-probleme)

"unterscheiden Sie …", "beschreiben Sie den Denkfehler

im folgenden Abschnitt: …" "finden Sie ähnlich gelagerte Fälle für …"

"überprüft", "beurteilt",

"entscheidet" 5) Evaluieren "beurteilen Sie …",

"entscheiden und begründen Sie …", "was sind aus Ihrer Sicht Herausforderungen bei der

folgenden Vorgehensweise: …" "plant",

"erstellt", "entwickelt"

6) Gestalten "planen Sie …",

"erstellen Sie einen Plan für …", "entwickeln Sie ein Grobkonzept für …"

Was prüfen? Bewusste Auswahl


Lehrveranstaltung Prüfung

Auswahl

• Ziel / Thema a

• Ziel / Thema b

• Aufgabe 1

• Aufgabe 2

• Aufgabe 3

• … • Ziel / Thema c

Konzentration auf wichtige Lernziele / schwerpunktmässig

behandelte Themen & Inhalte

10

• Ziel / Thema …

Wie prüfen? Bearbeitungsformen & Anspruchsniveaus


wenige viele Freiheitsgrade für Prüflinge

Grad der Objektivierung

Üblicherweise erreichtes

Anspruchs-niveau

hoch gering

Bearbeitungs- form

Auswahlaufgaben (Antwort / Lösung auswählen)

Bearbeitungsaufgaben (Antwort / Lösung erstellen)

Richtig/ Falsch-

Aufgaben

Mehrfach-wahl-

aufgaben

Zuordnungs-aufgaben

Vervoll-ständigungs-

aufgaben

Kurz- antwort-

aufgaben

eingeschränkte Bearbeitung

Entscheidung, ob Aussage richtig oder

falsch

Auswahl der richtigen

Aussage aus mehreren Antwort-

möglichkeiten

Zuordnung von Aussagen

aus zwei verschiedenen

Spalten

Teilweise vorgegebene Antwort mit Wort / Zahl / Satz vervoll-

ständigen

ausführliche Bearbeitung

Antwort mit einem Wort / einer Zahl / einem Satz

z.B. Kurzfall, Ausführung auf max. 1

Seite

z.B. umfangreicher

Fall, Literaturbericht,

Hausarbeit

Erinnern, Verstehen

Erinnern, Verstehen

Verstehen, Anwenden, Analysieren, Evaluieren

Anwenden, Analysieren, Evaluieren,

Kreieren

Ausführliche Fall-

bearbeitung

"Welche … kennen Sie?" "Wählen Sie die richtige

Antwort aus."

"Beschreiben Sie anhand eines selbst gewählten

Beispiels das …-Modell"

Auswahlaufgaben

Faktenwissen reproduzieren

Sachverhalte verstehen

Begriffe / Konzepte / Modelle auf neuartige Problemstellungen

anwenden

Sachverhalte analysieren

Sachverhalte beurteilen

Problemlösungen / Konzepte entwickeln

Multiple Choice

Aufgaben

"Lösen Sie die folgende Aufgabenstellung, indem Sie auf das Modell … zurück greifen."

"Welche problematischen Annahmen enthält der vorliegende

Lösungsvorschlag zum Problem …?"

"Führen Sie eine SWOT-Analyse zur dargestellten Lösung durch."

"Entwickeln Sie ein …-Konzept für einen Praxispartner"

Richtig/ Falsch-

Aufgaben

Hausarbeit oder

Projektarbeit

Kurzantwort mit 1 Satz / mit 1 Zahl

Bearbeitung Kurzfall (max. 1 Seite)

Anforderungsniveau Beispielformulierungen

Musterlösung

Beurteilungs- schema

Wie Prüfen? Anforderungsniveaus und Bearbeitungsformen


Bearbeitungsaufgaben

Wie auswerten? Beurteilung, Bewertung, Bezugsnorm


1) Beurteilung von Aufgabenlösungen

global (1 Beurteilungskriterium: z.B. "richtig / falsch")

analytisch (mehrere, gewichtete Beurteilungskriterien; "rubrics")

aufgabenübergreifend (keine Musterlösung möglich; unterschiedliche

Themenstellungen, z.B. bei Hausarbeiten)

aufgabenspezifisch (Musterlösung möglich)

2) Bewertung von Leistungen

quantitativ (z.B. Punkte / Note)

qualitativ (z.B. differenzierte Wortbewertung)

3) Bezugsnormen / Bewertungsmassstab

aufgabenbezogen (absolut) gruppenbezogen (sozial) individuumsbezogen

Wie auswerten? Musterlösung + Bewertungsschema

• verschiedene mögliche Antwortelemente sind aufgeführt • Punkteverteilung pro Lösungsaspekt ist definiert • maximale Punktzahl ist definiert


Elemente der Lösung / Aussagen Punkte

Keine Aussage über "Gesundheit" möglich 1

Deckung des Anlagevermögens mit Eigenkapital ½

Je höher das Risiko, desto höher der Eigenfinanzierungsaufwand ½

Deckung der Investitionen durch Cash Flow ½

Leverage-Effekt ½

Imagegründe ½

Insgesamt maximal 2 Punkte für diese Aufgabe

Wie auswerten? Beurteilungsschema / Rubric


Beurteilungs-kriterium

Stufe 1 (schwache Leistung)

Stufe 2 (ungenügende Leistung)

Stufe 3 (genügende Leistung)

Stufe 4 (gute Leistung)

Stufe 5 (sehr gute Leistung)

Problem-erfassung

1-2 Kann Problemfeld nur vage, oberflächlich beschreiben. Berücksichtigt Fallkontext nicht / kaum.

3-4 Umschreibt Einzelprobleme andeutungsweise, ohne genaue Eingrenzung. Berücksichtigt Fallkontext teilweise.

5-6 Kann etwa die Hälfte der wesentlichen Probleme sinngemäss umschreiben ohne dabei präzise Fachbegriffe zu verwenden oder den Fallkontext detailliert auszuwerten.

7-8 Beschreibt die Mehrheit der wesentlichen Probleme recht genau und ansatzweise mit passenden Fachbegriffen. Berücksichtigt die wesentlichen Problemhinweise aus dem Fallkontext.

9-10 Beschreibt alle wesentlichen Probleme präzise & unter Verwendung passender Fachbegriffe. Strukturiert die Probleme (z.B. nach Wichtigkeit, Dringlichkeit, etc.). Berücksichtigt den Fallkontext in umfassender Weise.

Lösungs-möglichkeiten

… … … … …

Kriterienwahl & Vergleich

… … … … …

Entscheid … … … … …

Wie auswerten? Bezugsnorm / Bewertungsmasstab


1. aufgabenorientierte Norm

2. gruppenorientierte Norm/ Sozialnorm

3. Individualnorm

DB

DA > DB

Lerner A Lerner B

DA

Noten

Anzahl

Lerner A Lerner B obj. Kriterien Leistung A < Leistung B

Wie auswerten? Von Punkten zu Noten


Note

Punkte

50

6,0 5,5 5,0 4,5 4,0 3,5 3,0 2,5 2,0

1,5 1,0

0 4,5 9

13,5 18

22,5 27,5

32,5 37

41,5 46

minimal mögliche Leistung

maximal mögliche Leistung

Wie gut prüfen?


Qualitäts-kriterium

Nähere Bestimmung

Erläuterung

Gültigkeit (Validität)

Inhaltsgültigkeit Die Prüfungsaufgaben überprüfen die Kompetenzen, die die Studierenden gemäss den für die Lehrveranstaltung definierten Lernzielen erwerben sollen. Die Prüfungsaufgaben a) streuen angemessen über die Sachgebiete / Themen, b) passen zu den Lernzielen (Komplexität und geforderte Denkprozesse).

Zuverlässigkeit & Objektivität

Durchführungs-objektivität

Die Durchführungsbedingungen sind standardisiert. Es gibt beispielsweise keine Unterschiede bezüglich der verfügbaren Zeit oder der verfügbaren Hilfestellungen.

Auswertungs-objektivität

Die Auswertung der Prüfung erfolgt anhand von klaren Regeln und Kriterien. Beispielsweise beurteilen unterschiedliche Korrektoren schriftliche Arbeiten anhand des gleichen Korrekturschemas und legen dabei gleich strenge Auslegungen an.

Chancen-gerechtigkeit

Berücksichtigung von Lehr-/ Lernbedingungen

Alle Studierenden erhalten zum Beispiel die gleichen, geeigneten Hinweise zur Prüfungsvorbereitung (z. B. Literatur). Prüfungsfragen, zum Beispiel, sind so gestaltet, dass auch ausländische Studierende ohne detaillierte Kenntnisse schweizerischer Verhältnisse diese erfolgreich bearbeiten können.

Prüfungs-ökonomie

Aufwand bei der Erstellung, bei der Durchführung und bei der Auswertung

Aufwand für die Lehrpersonen / Prüfungsverantwortlichen bei der Erstellung einer Prüfung. Zeitaufwand für Prüflinge, Lehrpersonen und Beanspruchung räumlicher Ressourcen (z. B. geeignete Computerlabors für E-Assessments). Aufwand für Lehrpersonen oder Korrigierende bei der Ermittlung und Bewertung der Prüfungsergebnisse.

Arbeitshilfe zur Analyse & Planung einer Prüfung


Verschiedene Prüfungsformen – gleiche Grundfragen

Grundfragen

Prüfungsformen

Wozu prüfen?

Schriftliche Klausur (Papier-basiert)

Was prüfen?

E-Assessment / E-Test (online)

Wie prüfen?

Schriftliche Hausarbeit

Wie auswerten?

Mündliche Prüfung

Wie gut prüfen? Portfolio-basierte Prüfung


Some food for thought… Prüfungen als Arbeitsmaterialien

– Besprechung von Prüfungen / Lernerfolgskontrollen im Kurs

• Ziele der Prüfung, Herausforderungen bei der Umsetzung, Ergebnisse; Analyse von guten / nicht so guten Prüfungsleistungen & Bezug zu Kurszielen)

– Selbst-Bewertung von Prüfungsleistungen (NACH Bewertung durch LP)

• Annotierte Arbeit OHNE Note als Grundlage für Selbstbewertung

– Peer feedback zu Prüfungen • Analyse & Bewertung der

Prüfungsarbeit eines Kollegen / einer Kollegin

Prüfungsformen – Fokus mündliche

Kommunikationskompetenz • Posterpräsentation

– Fokus Schreibkompetenz • Buch-Review • Weblog als Lerntagebuch &

Portfolio • Gutachten zu (fiktiver)

Problemstellung – Fokus Medienkompetenz

• Kommentierte Ressourcensammlung im WWW

• Kurzvideo – Fokus Teamkompetenz

• Rollenspiel planen & durchführen • Gruppenausstellung planen &

durchführen 22.11.2013 Dr. Christoph Meier 21

Eure Fragen

Dr. Christoph Meier 22 22.11.2013

Vielen Dank & viel Erfolg! Christoph Meier IWP-HSG Webseite des Teams Hochschulentwicklung

http://www.iwp.unisg.ch/de/Arbeitsbereiche/Hochschulentwicklung

Documents

2013 11-25 MIB-Talk "Prüfen"