Maurice Müller

4. E-Assessment

4.3 E-Assessment mathematischer Beweise

2

Gründe für den Einsatz von Computerunterstützung

Effizienz und Zeitersparnis

Integrierbarkeit in Lernmanagementsysteme

Objektivere Bewertung

Bekannte Verfahren

3

Gliederung

1. Einleitung

2. Verfahren für mathematische FragestellungenComputeralgebrasysteme

Freiform-Textabgleich

Formalüberprüfung

Theorembeweiser

3. Systeme und VergleichsmöglichkeitenAufbau und Gestaltungsmöglichkeiten

Vergleich von zwei Systemen

4. Fazit und Ausblick

4

Computeralgebrasysteme

Verbreitete Systeme

Schnell und effektiv

Industriell erprobt

Schnittstellen häufig vorhanden

5

Computeralgebrasysteme - Probleme

Keine Bedingungsüberprüfung

Keine Beweisführung; reine Termersetzung

X=0?

6

Freiform-Textabgleich

Problemfall digitalisierte Prüfungen

Geeignet für beliebige Texteingaben

b. Induktionsanfang: FUr m = 1 ist L?=o i • 2i = 0 und (1 - 2) • 21 + 2 = o identisch.

o ' Z A" 2 A ~ IJ ,,00

7

Freiform-Textabgleich II

Eigenschaften richtiger LösungenVariablen

Werte/Konstanten

Aufbau/Form

Bildung von PatternZ. B. Regular Expressions

8

Pattern

Beispiel InduktionsanfangEingabe: „Für m=1 sum(i=0;0;i*2^i)=0“

Pattern: „m=([\d]*).*=(\d*)[^\d]*$“

Pattern passt auf Eingabe

1 Pattern pro Beweisschritt

Eine beliebige Zahl Weiterer

Text Zahl Vor Ende der Zeile keine weiteren Zahlen

9

Freiform-Textabgleich - Probleme

Spezifischere Pattern passen nicht immer Heuristische Ansätze Korrektur durch Lehrer

Validitätsproblem Offenlegung der Bewertung Kontrolle von Werten ggf. mit CAS

10

Formalüberprüfung

Verwendung eines sog. Parsers

Schrittweise Übersetzung

in eine Baumdarstellung

Ausgangstext

Lexikalische Analyse

Token

Syntaktische Analyse

Baum

11

Formalüberprüfung II

RückschlüsseFormalabbildung → Beweisschritt

Formalabbildung → zur Überprüfung geeignetes System

Beweisschritt → zur Überprüfung geeignetes System

KombinationsmöglichkeitenCAS zur Überprüfung einfacher Berechnungen

Theorembeweiser für Verfahrensweisen

12

Formalüberprüfung - Probleme

Unflexibel bei syntaktischen Fehlern

Verschachtelte Beweise → Systemzuordnung

Weitere Anpassung für Beweise erforderlichHeuristik zur Bestimmung ähnlicher Terme

Baumsuche über mehrere Bäume

13

Theorembeweiser

Theoreme bauen aufeinander auf

Theorembeweiser führen diesen Aufbau ausInteraktiv

Automatisch

„Notice […] that theorem provers prove theorems rather than make conjectures or do calculations[…]“ (zit. aus Adams, Gottliebsen, Linton, Martin)

Definition Theorem: „A [well-formed-formula] that is proved or provable. Axioms are special cases of theorems.” (Quelle: http://www.earlham.edu/~peters/courses/logsys/glossary.htm)

14

Theorembeweiser - Probleme

Anpassung an AufgabenstellungTheoreme

Logik

Ggf. spezielle Systeme

Komplexität

Algebraische Rechnungen

15

Theorembeweiser - Lösungsansatz

→ Integration von Theorembeweisern und CAS

Ausstattung von CAS mit Beweistechniken (Tactics)

Problem: Ungeprüfte Operationen vs. Komplexität

Berechnungen durch CAS in Theorembeweisern

Problem: Komplizierte Beweisführung und Syntax vs. Prüfung

Notwendigkeit Kompromiss

16

Vergleich der Verfahren

SichtweisenAnwendersicht

Systementwicklersicht

KriterienBedienung (Anwendersicht)

Bewertung (Anwendersicht)

Aufwand (Systementwicklersicht)

17

Vergleichsübersicht

Mehr Sterne = Besser

18

Gliederung

1. Einleitung

2. Verfahren für mathematische FragestellungenComputeralgebrasysteme

Freiform-Textabgleich

Formalüberprüfung

Theorembeweiser

3. Systeme und VergleichsmöglichkeitenAufbau und Gestaltungsmöglichkeiten

Vergleich von zwei Systemen

4. Fazit und Ausblick

19

Systemgestaltungsmöglichkeiten

Ziel: Vergleichsrahmen mathemat. E-Assessentsysteme

Vorgehen

Imaginäres „optimales“ System

Betrachtung von Komponenten

Untersuchung wünschenswerter Eigenschaften

Vernachlässigung von Integrationsaspekten

20

Systemübersicht

21

Benutzeroberfläche

FormeleditorGrafisch

Linear

FormblattFix

Variabel

Regelangabe

22

Beweisüberprüfung und Berichtigung von Beweisen

BeweistypenDirekt

Indirekt

Induktion

Fallunterscheidung

Limes

Nebenbedingungen

Ergänzung fehlender Schritte

Regeleinsetzung

Hilfestellungen

23

Bewertung

DifferenzierungRechenfehler/Tippfehler

Umformungsfehler

Falscher Ansatz

Offenlegung

Delegation kritischer Fälle

24

Regelbasis & Fragenkatalog

Vollständigkeit & Erweiterbarkeit

StandardisierungDaten

Metadaten

Aufgabenbasis und Möglichkeiten zum Erwerb

Lösungshinweise

25

AiM (Assessment in Mathematics)

Entwickelt zur Begleitung des Unterrichts

Integration von MapleVerbotene Ausdrücke

Liste von bekannten Fehlerquellen

Nicht für Beweise konzipiert

26

AiM – Beispiel I

•Eingabe von Aufgaben:

27

AiM – Beispiel II

•Eingabe von Lösungen:

28

EASy

Beweisüberprüfung durch Eigenentwicklung

Konzipiert für Anwendungsfälle in Informatik IIFallunterscheidungen

Induktion

(Aufwands-)Abschätzungen

Umformung von TheoremenStrategische Operationen

Regeln

29

EASy – Beispiel I

•Übersichtsfenster:

30

EASy – Beispiel II

•Subtheorem-bearbeitung und -markierung:

31

Vergleichsübersicht I

32

Vergleichsübersicht II

33

Vergleichsübersicht III

34

Fazit und Ausblick

Kein überragendes Verfahren

Nur Theorembeweiser bieten notw. Validität für Prüfung

Entwicklung: Integrierte Verfahren mit Theorembew.

AiM nicht für Beweise konzipiert

EASy noch in der EntwicklungBewertung z.B. über automatischen Theorembeweiser

Automatische Regelauswahl

Einsetzung fehlender Regeln

Hilfestellungen und Erkennung falscher Ansätze