ITB Kolloquium 18.04.07 Andreas Saniter Kompetenz & Evaluation

ITB Kolloquium 18.04.07

Andreas Saniter Kompetenz & Evaluation

Seite 2ITB Kolloquium 18.4.2007

Folien

1. Kompetenz als kontextspezifische Disposition2. Amorphes Gebilde – Reduzierbar? Disjunkt?3. Niveaus vs. Entwicklung4. Zielbereich Schule Professionalisierung5. Evaluationsaufgaben


1. Deskriptionen

Kontextbezogene Dispositionen Vernachlässigung affektiver Faktoren

Abgrenzung zu Intelligenzkonzepten

– Fach- Personal- und Sozialkompetenz als Voraussetzung für Methoden- und Lernkompetenz (KMK 2000)

– Fertigkeiten, Fähigkeiten, Kompetenz (EQF)

– Fachwissen, Erkenntnisgewinnung, Kommunikation, Bewertung (Differenzierung der Kompetenz für allgemeinbildende physikalische Bildungsstandards)

Performanzseitig lässt sich eine Metrik finden – ist eine strukturerhaltende Abbildung auf die Dispositionen / Psyche möglich?


2.) Korrelationen

?

?

?


2.) Modellierung

Alternativ: MatrizendarstellungEine psychometrisch optimale Aufgabe zielt auf genau 1

Feld der Kompetenzmatrix. Curricular & eng (1 Lösungsweg, keine Kontamination

mit anderen Dimensionen / Teilleistungen). Liegen (fortgeschrittene) kognitive Leistungen nicht

evt. zwischen den oder in der Kombination der Felder?

Hat Kognition (jenseits elementarer Reproduktion) nicht emergenten Charakter (im Sinne einer Grenze der Elementarisierbarkeit)?


3. ) Niveaus vs. Entwicklung

Zuordnung der Aufgaben zu Schwierigkeitsniveaus retrospektiv (trotz impliziten Curriculums!?)

Schüler (Kohorte) X macht es um z % besser als Schüler (Kohorte) Y, aber nicht was macht er / sie besser.

Von der quantitativen über die qualitative Deskription zur Analyse !?


Vorgehensweise einer Evaluationberuflicher Kompetenzentwicklungsverläufe

Kompetenzstufen 1-4(Zugänge zur Aufgabe)1

2

3

4

Kompete

nz-

entw

icklu

ng d

er Pro

bande

n

Elaborierungsgrad d er Lösungen

Alter:

X

X + n

Anf

ord

erun

gen

des

Ber

ufs

naiv

performativ

kompetent

professionell

3. ) Stufen vs. Entwicklung

© Rainer Bremer


1-3 Kompetenzmodelle

Psychometrie Evaluationsaufgaben

Metrisch Ordinal

Quantitativ Qualitativ

Generische Lösungen Generative Lösungen

Elementarisierend Synthetisch

Produktorientiert Zugangsorientiert

Niveaumodell Entwicklungsmodell

Enge, curriculare Aufgaben Offene, anspruchsvolle Aufgaben

Reliabel Ggf. Teildomänenspezifisch

Scharf in der Defizitdiagnose Unschärfen möglich


4.) Aufgabenart

Domänenspez. Kompetenz1 – n Kompetenzfelder Jedes

Kompetenzfeld lässt sich als Berufliche (auch akademische) Arbeitsaufgabe (BAG) externalisieren.

Jeder BAG lassen sich anspruchsvolle Aufgaben zuordnen, die zu Evaluationszwecken nutzbar sind.


5 Evaluationsaufgaben

Die Aufgaben entstammen realen anspruchsvollen Arbeitsprozessen – können Lernende sie perfekt lösen, war die Aufgabe zu leicht. Insbesondere ist die Erzeugung einer eigenständigen (nicht reproduzierenden) Lösung erforderlich.

Evaluiert wird der Zugang zu der Aufgabe, d. h. es wird qualitativ (und damit ordinal) differenziert, wie weit die domänenspezifische Kompetenzentwicklung bereits fortgeschritten ist.

Es gibt wird nicht nach einem vollständigen System von „Teilen“ gesucht, aus denen sich die Kompetenz summativ zusammensetzen ließe.


Die Aufgabe

»Prüfen einer Lampe«

An Ihrem Standort werden in Zukunft Leseleuchten für Fluggeräte gefertigt. Ein Erstmuster ist bereits gefertigt

worden (Bild 1 bis 5). Bevor die Leseleuchten in ein Flugzeug eingebaut werden können, müssen sie

zunächst geprüft werden. Sie sind für das Prüfen dieser Leseleuchten zuständig.

Ihre Aufgabe: Erstellen Sie einen Plan zur Funktionsprüfung der Leseleuchten.


Einige Bilder


Einige Bilder


Kriterien

Position Frage 1 Frage 2 Punkte

1. Erfaßt die Lösung die Aufgabenstellung?

Ging es um das bearbeitete Problem?

5 0

2. Ist die Lösung machbar?

Läßt sich nach der Lösung tatsächlich arbeiten?

5 0

3. Reflektiert die Lösung Belange der Kunden?

Ist denkbar, daß jemand so eine Lösung braucht?

5 0

4. Ist die Lösung einfach abgeleitet?

Reproduziert die Lösung Gelerntes?

-5 0


Kompetente Lösung


Kompetent II


Aufgabe erfasst / unvollständig


Null-Lösung


Ergebnisse

relative Verteilung Elektriker (N=43)

0%

10%

20%

30%

40%

50%

60%

15 10 5 0

Qualität der Lösungsansätze

An

teil

(%)


Kein Zusammenhang zwischen Sek. I–Abschluß und Lösungsqualität nachweisbar.

Bildung beruflicher Identität als Voraussetzung für die Entstehung fachlicher Kompetenzen gelingt überwiegend (Lernkonzept).

Andernfalls entsteht keine Fähigkeit zur Selbstoperationalisierung (Berufliches Arbeitskonzept).

Kein oder nur geringer Einfluss der peer-to-peer Zusammenarbeit auf die Qualität der Lösungen nachweisbar.

Generalisierte Beobachtungen


Mögliche Perspektiven

Beide Methoden schreiben Probanden / Kohorten eine (mittlere) domänenspezifische Kompetenz zu.

– Wie kompatibel sind diese?

– Wie können Untersuchungen angelegt sein, dass sie neben Befunden/Diagnosen auch Therapievorschläge beinhalten?

· Wie können die Ergebnisse fundiert didaktisch gewendet werden?

· Wie können die Ergebnisse zur Ausdifferenzierung domänenspezifischer Kompetenzentwicklungsmodelle Verwendung finden?

Documents

ITB Kolloquium 18.04.07 Andreas Saniter Kompetenz & Evaluation