1 GIVE Assessments G ewinnung systematischer I nformationen und V erfahren zur E valuation...

1

GIVE Assessments

Gewinnung systematischer Informationen und Verfahren zur Evaluation

beruflicher Handlungskompetenzen Lehramtsstudierender

Assessment= Einschätzung, Beurteilung, Abwägung, Taxierung, Veranlagung, Bemessung, Festsetzung, Schätzung

Terrell, P.; Schnorr, V.; Morris & Breitsprecher (1991): PONS Großwörterbuch. Stuttgart: Klett.

Dr. Rainer Bodensohn

Dr. Christoph Schneider

2

GIVE five points of view Universität Campus Landau: ZLB / andere

Studierende Berufliche Handlungskompetenzen

Schülerinnen / Schüler und Lehrpersonen: Lehr- und UnterrichtsqualitätRückmeldung, Förderung, Nachfrage

Institutionen: Rückmeldung, Investition, Zuweisung, Angebot, Nachfrage, Zertifizierung, Selektion, PersonalmanagementWissenschaft: Information, Verfahren, Systematik,

KommunikationÖffentlichkeit: Schulqualität, Investition, ökonomischer Mitteleinsatz, Transparenz, Partizipation

3

GIVE orientation

Primat der Förderung und IntegrationStudienbegleitende Erhebungen, anonymZiel: Prozess-Steuerung im Studium, auch an Phasenübergängen

versusPrimat der SelektionErhebung an den Gelenkstellen, Steuerung an Phasenübergängen, hierarchisch

Mischformen

4

•Das Projekt VERBAL 2002 – 2004

„Verbesserung der Beratungsqualitätbei der Ausbildung beruflicher Handlungskompetenz von Lehramtsstudierendenim Kontext Schulpraktischer Studien“

•Das Projekt REBHOLZ 2004 - 2010

„Report Entwicklung beruflicher Handlungskompetenz im Organisationsbereich der Lehrerbildung des Zentrums für Lehrerbildung der Universität Koblenz – Landau in Landau“

GIVE proficiency at profession „Berufsreife“

Berufsreife ist das Bündel von Fähigkeiten, Eigenschaften und Werthaltungen, das erfolgreiches berufliches Handeln erwarten lässt

5

Projekt REBHOLZREBHOLZ diagnostiziert berufliche Handlungskompetenz Studierender, Lehramtsanwärter und Berufseinsteiger in der Lehrerausbildung vom ersten Semester bis in die Berufseinstiegsphase und meldet die allgemeine Kompetenzentwicklung in die im Zentrum für Lehrerbildung in Landau kooperierenden Institutionen der Lehrerbildung zurück.  REBHOLZ systematisiert berufliche Handlungskompetenz mit Hilfe von Profilen und meldet diese individuell über das Internet an die Studierenden/ Lehramtsanwärter/ Berufsanfänger zurück.  REBHOLZ präzisiert die Nachfrage nach Studien- und Ausbildungsangeboten der kooperierenden Institutionen der Lehrerbildung und überprüft Modelloptionen der Berufsreife.  REBHOLZ implementiert die in der Reform der Lehrerausbildung in den Fächern und Fachbereichen projektierten Leitbilder und Standards der Curricularkommissionen als Bestandteil der beruflichen Handlungskompetenz. 

REBHOLZ kooperiert und kommuniziert im Lehrerbildungszentrum mit allen Fachbereichen, die sich an der Professionalisierung der Lehrerbildung beteiligen.  

6

REBHOLZ: Formative Evaluation und Ziele

Auf Individualebene:Ausbildungsbegleitend berufliche Handlungskompetenzen individuell zurückmelden; Stärken, Schwächen, Entwicklungsbedarf und –potential aufzeigen

mit dem Ziel der individuellen Entwicklung

Auf Systemebene:Rückmeldung des Status Quo in der Lehrerausbildung in Landau an die an der Ausbildung beteiligten Institute

mit dem Ziel der Verbesserung der Ausbildung

Auf wissenschaftlicher Ebene:Prüfung, Weiter- und ggf. Neuentwicklung von Modellen beruflicher Handlungskompetenz (auch unter dem Gesichtspunkt der Ökonomie der Verfahren)

mit dem Ziel der Verbesserung der Qualität der Aussage

7

REBHOLZ: Projektdesign

Studien-

beginn

Ende 2.

BP/RSP

1. Staats-examen

2. Staats-examen

Ende 1.

BP/RSP

I. Fach-kompetenzen

SelbstFremd

SelbstFremd

SelbstSelbstFremd ?

II. Sozial- und Methoden-kompetenzen

SelbstSelbstFremd

SelbstFremd

SelbstSelbstFremd ?

III. Personale Kompetenzen (Wert-haltungen)

Selbst Selbst Selbst Selbst Selbst

Längsschnittliche, ausbildungsbegleitende Evaluation von Kompetenzbündeln durchSelbst- und Fremd- (Mentoren-) einschätzung:

Erhebungen:

8

REBHOLZ: Erhebungsinstrumente

…….

9

Bündel „Fachkompetenzen“ (Teil 1)

• Lehrer-Schüler-Beziehungenz.B. „Schülern eine fördernde Rückmeldung geben“

• Schüler unterstützende Beobachtung und Diagnosez.B. „Diagnostizieren, welche Ursachen z.B. Misserfolg, Aggression oder Angst haben“

• Bewältigung von Disziplinproblemen und Schülerrisiken z.B. „Disziplinprobleme regeln“

• Ausbau und Förderung von sozialem Verhalten z.B. „Schüler in ihrem Konfliktlöseverhalten unterstützen“

• Lernstrategien vermitteln und Lernprozesse begleiten z.B. „Schüler ein Thema selbst erarbeiten lassen“

• Gestaltung und Methoden des Unterrichts z.B. „Phasen des Unterrichts eindeutig bestimmen“

• Leistungsmessung z.B. „Schülern die Kriterien, dessen was gefordert ist, vermitteln“ Oser & Oelkers,

2001

Seipp, 2003

10

Bündel „Fachkompetenzen“ (Teil 2)

• Medien des Unterrichts z.B. „Neue Technologien sinnvoll einsetzen“

• Zusammenarbeit in der Schulez.B. „Sich gemeinsam mit Kollegen auf Standards des Lehrerhandelns einigen“

• Schule und Öffentlichkeitz.B. „Anliegen von Schule und Lehrerschaft in der Öffentlichkeit vertreten“

• Selbstorganisationskompetenz der Lehrkraftz.B. „Sich ein persönliches Fortbildungsprogramm erstellen“

• Fachdidaktische Gesichtspunktez.B. „Fachlehrmittel bewerten, auswählen und einsetzen“

• Allgemeine didaktische Gesichtspunktez.B. „Lerninhalte sach- und lernlogisch gliedern“

Oser & Oelkers, 2001

Seipp, 2003

11

Bündel „Sozialkompetenzen“

• Selbstständigkeitz.B. „…ergreift Initiative“

• Kooperationz.B. „…hält beim Umgang mit anderen Regeln ein“

• Soziale Verantwortungz.B. „…sucht nach tragbaren Lösungen für alle Beteiligten“

• Konfliktfähigkeitz.B. „…nimmt konstruktive Kritik an“

• Kommunikationsfähigkeitz.B. „…lässt andere ausreden“

• Führungsfähigkeit z.B. „…setzt andere entsprechend ihrer Fähigkeiten ein“

Frey & Balzer, 2003

Frey, 2004

12

Bündel „Methodenkompetenzen“

• Reflexivitätz.B. „…überprüft, ob das eigene Handeln richtig ist“

• Analysefähigkeitz.B. „…erkennt komplexe Arbeitszusammenhänge“

• Flexibilitätz.B. „…bearbeitet gleichzeitig verschiedene Aufgaben“

• Zielorientiertes Handelnz.B. „…unterscheidet Wichtiges und Unwichtiges“

• Arbeitstechnikz.B. „…wendet Informationen auf neue Situationen an“

• Situationsgerechtes Auftreten z.B. „…wendet gute Umgangsformen an“

Frey & Balzer, 2003

Frey, 2004

13

Bündel „Personale Kompetenzen / Werthaltungen“

• Hilfsbereitschaft und Einfühlsamkeitz.B. „Tolerant zu sein“

• Gelassenheit und Geduldz.B. „Gerecht zu sein“

• Pflichtbewusstseinz.B. „Selbstdisziplin zu zeigen“

• Freiheitsliebez.B. „Das Leben zu lieben“

• Erfolgsorientierungz.B. „Etwas aufzubauen“

• Neugierdez.B. „Immer weiter zu lernen“

Frey, 2004

14

Dienstleistungen auf Individualebene

Ansatzpunkt: Individuelle Rückmeldung der Praktikumsbeurteilungen

Es werden zurückgemeldet:• Selbstbeurteilung• Fremdbeurteilung• Mittel aus Selbst- und Fremdbeurteilung• Mittel der Kohorte (alle Praktikanten zu einem Erhebungszeitpunkt)• Internationale Referenzwerte

Die Rückmeldung erfolgt internetgestützt und ist über einen individuellen Zugangscode geschützt

Für eine Demonstration unterhttp://www.www513.epl1.c.dnsbox.de/Rueckmeldungpdf/scripts/

den Code „TESTER“ eingeben

Ein automatisch erstellter Bericht (pdf-Format) dient als Grundlage für das Rückmeldegespräch an der Universität

15

Dienstleistungen auf Systemebene

Ansatzpunkt: Praktikumsleistungen im Quer- und Längsschnitt

• Berichte an die Institutionen und Beteiligten. Erster Berichtszeitraum 2005

VERBAL bisher 5 Zwischenberichte (2002-2004)

• Operationalisierung und Evaluation fachlicher Standards Entwicklung von Instrumenten auf fachlicher Ebene, bisher eingesetzt : NaWiKomp mit dem Projekt LeNa

FreSpraKomp mit dem Inst. für fremdsprachliche Philologien

Geplant: Ein Instrument in den Bildungswissenschaften

16

Dienstleistungen auf SystemebeneVergleich der Selbst- und Fremdbewertungen ausgewählter Dimensionen

"Fachkompetenzen"; Mittelwerte Blockpraktika Frühjahr und Herbst 2005. ZLB und SPS der Universität Koblenz-Landau in Landau, Dr. Rainer Bodensohn, Dr Christoph Schneider.

1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

Kompetenzen

Skalie

rung: P

raktiz

iere

nde(r

) zeig

t die

Kom

pete

nz

1=

sehr

oft; 2=

oft; 3=

manchm

al;

4=

selte

n;

5=

sehr

selte

n; 6

= n

ie

Selbstbew. Fj. 05

Selbstbew. Herbst 05

Fremdbew. Fj. 05

Fremdbew. Herbst 05

Referenzwert

17

Dienstleistungen auf SystemebeneVergleich der Selbst- und Fremdbewertungen ausgewählter Dimensionen "Sozial- und

Methodenkompetenzen"; MittelwerteBlockpraktika Frühjahr und Herbst 2005. ZLB und SPS der Universität Koblenz-Landau in Landau, Dr. Rainer Bodensohn, Dr Christoph Schneider.

1,0

1,2

1,4

1,6

1,8

2,0

2,2

2,4

2,6

2,8

Kompetenzen

Ska

lieru

ng

: Pra

ktiz

iere

nd

e(r

) ze

igt d

ie K

om

pe

ten

z1

= s

eh

r o

ft;

2=

oft;

3

=m

an

chm

al;

4=

selte

n;

5=

se

hr

selte

n;

6=

nie

Selbstbew. Fj. 05

Selbstbew. Herbst 05

Fremdbew. Fj. 05

Fremdbew. Herbst 05

Referenzwert

18

Dienstleistungen auf Systemebene

Von den REBHOLZ-Ergebnissen zur Systembeeinflussung

• Entwicklung bedarfsbezogener Ausbildungsmodule:

Curricularkultur im Hinblick auf Anforderungssituationen durchAufgabenteilung

das Zentrum und dessen überfachliche Kooperationspartner in der

Bildungsforschung, Bildungspolitik etc.: wissenschaftliche Begleitung und überfachliche Hilfestellungen, z. B. in der Aufgabenkultur

die Fachinstitute, Fachbereiche und deren Kooperationspartner in Studienseminaren und Schulpraxis etc.: Gestaltung von Modulen / Lehr- und Erfahrungssituationen

19

Wissenschaftliche Fragestellungen und Perspektiven

Beurteilung der Ergebnisse der REBHOLZ-Erhebungen• Quer- und längsschnittlich• Vergleich Selbst- und Fremdbeurteilung• Betrachtung statistischer und praktischer Signifikanz der Effekte (anhand von Varianzanalysen)

• Beurteilung und Entwicklung der Güte der Erhebungsinstrumente

• Skalenkonsistenz (Reliabilitätsanalysen) • Konstruktvalidität (MTMM-Analysen)

• Modellprüfungen und zeitliche Stabilität der Modelle• explorative und konfirmatorische Faktorenanalysen auf Item- und Skalenebene• Lineare Strukturgleichungsmodelle (LISREL) zu Quer- und Längsschnitt

• Weitere Strategien zu zukünftig aufkommenden Fragen

20

Ausgewählte Fragestellungen am Beispiel des Vorgängerprojektes VERBAL

1. Effekte zwischen Erhebungsmodalitäten (Varianzanalysen)am Beispiel der Dimension „Führungsfähigkeit“RATING: F=29.7 ***

„Die Selbstwahrnehmung ist strenger als die Fremdwahrnehmung“

PRAKT: F=25.19 ***„Die Führungsfähigkeit wird im zweiten Praktikum besser beurteilt als im ersten“

PREPOST: F=909.51 ***„Die Beurteilung zum Ende eines Praktikums ist besser als zu Beginn“

RATING X PRAKT: F=7.14 **„Die Selbstwahrnehmung bessert sich vom 1. zum 2. Praktikum deutlich, die Fremdwahrnehmung nicht bzw. weniger deutlich“

Bodensohn & Schneider, in Druck

21

Fragestellungen zu VERBAL

2. Konsistenz der Skalen und Selbst-Fremd-Korrelationen

•Die Konsistenzen der Skalen sind sowohl im Selbst- als auch im Fremdurteil (sehr) hoch, die Korrelationen zwischen Selbst- und Fremdurteil jedoch niedrig

•Die Fachkompetenzen waren ursprünglich für Fremd- die SMK dagegen für Selbstbeurteilung vorgesehen

•Ursachenforschung / Weiterentwicklung erforderlich!

Anm.: Cronbachs Alpha > .90 „gut“, >. 80 „mittelmäßig“ ; Bortz & Döring, 1995

Konsistenz im

Selbsturteil (Cronbachs

Alpha)N: 465 -

502

Konsistenz im

Fremdurteil (Cronbachs

Alpha)N: 170 -

462

Korrelation zw.

Selbst- und FremdurteilN: 349-375

FK Fach-/ Theoriebezug in der Unterrichtsplanung

.742 .878 .242

FK Lernplanung in der Unterrichtsplanung

.805 .915 .273

FK Methoden der Unterichtsdurchführung

.841 .926 .294

FK Soziales in der Unterichtsdurchführung

.837 .928 .296

SK Selbstständigkeit .836 .937 .346

SK Kooperation .776 .952 .244

SK Verantwortungs-bewusstsein

.863 .962 .267

SK Kritikfähigkeit .822 .937 .217

SK Kommunikation .818 .927 .240

SK Führungsfähigkeit .812 .949 .230

MK Situationsgerechtes Auftreten

.734 .923 .206

MK Reflexivität .822 .956 .235

MK Analysefähigkeit .856 .953 .227

MK Flexibilität .838 .955 .276

MK Zielorientierung .817 .951 .300

MK Arbeitstechnik .843 .944 .295

22

Fragestellungen am Beispiel von VERBAL 3. Zeitstabilität des Selbsturteils: Grundmodell mit

Kompetenzbündeln Dargestellt:

Completelystandardizedsolution

Modellanpassung:

CHI² 1581.19df 396

RMSEA .087

GFI .79AGFI .76CFI .98

23

Fragestellungen am Beispiel von VERBAL 3. Zeitstabilität des Selbsturteils: Modifiziertes Modell

Dargestellt:

Completelystandardizedsolution

Modellanpassung:

CHI² 1468.9df 395

RMSEA .086

GFI .79AGFI .76CFI .98

24

Fragestellungen am Beispiel von VERBAL 4. Zeitstabilität der Beurteilung:

Berufliche Handlungskompetenz als „Metakompetenz“

Dargestellt:

Completelystandardizedsolution

Modellanpassung:

CHI² 149.99df 50

RMSEA .071

GFI .94AGFI .91CFI .98

25

Wissenschaftliche Perspektiven zu REBHOLZ• Geeignete Aggregatebene ist noch einzugrenzen

• Betrachtung auf Dimensions-, Dimensionsbündel- oder Metaebene ?• Gründe für geringe Konkordanz zwischen Selbst- und Fremdbeurteilung müssen identifiziert werden

• Modellrevision (empirische Skalenkonstruktion) u.U. sinnvoll

• weniger, dafür aussagekräftigere Skalen / Kompetenzberichte ?• Konstruktvalidität (MTMM-Analysen)

• Verschlankung des Instrumentariums erforderlich• mit möglichst wenig Informationsverlust möglichst viele Items eliminieren• ökonomischeres Instrumentarium erhöht die Akzeptanz der Befragung• und kann u.U. flexibler (öfter) eingesetzt werden

• Einbindung von fächerspezifischen Kompetenzen (LeNa und andere) in Modelle hat hohe Priorität

26

GIVE US MORE: Erweiterung des Blickwinkels im Bereich der Personalen

Kompetenzen/WerthaltungenFortlaufende Beobachtung :

Studierende scheitern im Praktikum fast immer bei stark differierenden Werthaltungen gegenüber Mentoren bzw. der Institution

Werthaltungen gegenüber Mensch und MitmenschenBeispiel Achtung versus Geringschätzung

Werthaltungen gegenüber Ziele der Schule Beispiel Integration versus Auslese

Werthaltungen gegenüber Zielen von Bildung und Erziehung Beispiel Autonomie versus Anpassung

Werthaltungen gegenüber Unterricht Beispiel individuelle Förderung versus Standardisierung