Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen Fortbildung „GFS“ Modul 2: GFS – Von der Idee zum Konzept

Lars HolzäpfelKerstin Mailänder GFSGFS

GGleichwertige FFeststellung von SSchülerleistungen

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200

7L

ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Fortbildung „GFS“

Modul 2:GFS – Von der Idee zum Konzept

28.02.2007

14:30 Uhr bis 17:00 Uhr

Hansjakob-Realschule Freiburg

Kerstin MailänderAdamshofweg 1D-79254 Oberried++ (49) – [email protected]

Dipl.-Päd. Lars HolzäpfelPrinz-Eugen-Str. 32D-79102 Freiburg++ (49) – [email protected]

Kerstin MailänderLars Holzäpfel GFSGFSGGleichwertige FFeststellung von SSchülerleistungenL

ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200

7Schulentwicklungspro

zessEvaluationsbere

ichInstrument Interpretatio

nKonsequenzen

“Fördern wir durch unsere Umsetzung tatsächlich diese Kompetenzen?”

Wohin?Zielperspektiven

formulieren und festlegen

Wie?Methodische und

organisatorische Ausarbeitung

Wer?Kollegiale Abstimmung und Aufgabenverteilung

Evaluation

Ausgangslage „GFS“ (vgl. Modul 1)

© by Lars Holzäpfel & Kerstin Mailänder

Kollegialer Konsens

Lars HolzäpfelKerstin Mailänder GFSGFSGGleichwertige FFeststellung von SSchülerleistungen

Schulentwicklungsprozess

Evaluationsbereich

Instrument Interpretation

Konsequenzen

Lösung„Schnellschuss“

GFS Verordnung (KM)

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200

7L

ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Zielformulierung Ressourcen

Schulprofil / Leitbild bisherige Prinzipien?

etc.

Konzeptentwicklung Neue Leitgedanken? Abstimmung auf die

schulischen Voraussetzungen und bisherigen Erfahrungen

Evaluierung Prüfen: Ist es tatsächlich so?

Was ist noch unberücksichtigt?

Instrumente einsetzen

Lösung als Ergebnis eines Prozesses

Datenbasierte Entscheidung Evtl. neue Fragestellungen

Synthese aus U-Prozedur nach Glasl (1975) und Eisbergmodell; aus: Schley, W. (1998). Change Management: Schule als lernende Organisation. In H. Altrichter, W. Schley & M. Schratz (Eds.), Handbuch zur Schulentwicklung (pp. 13-53). Innsbruck: Studien Verlag.

?



ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200

7

Evaluationskreislauf

Schulentwicklungsprozess

Evaluationsbereich

Instrument Interpretation

Konsequenzen

Evaluationsbereich Ziele klären und festlegen

evtl. Fokus wählen

Ressourcenfrage klären

Instrument quantitativ oder qualitativ?

„technisches“ know how als Voraussetzung

Interpretation Führen die Ergebnisse zur Klärung der zu Beginn gestellten Fragen?

Wie zuverlässig sind die Aussagen?

Was bedeuten die Aussagen?

Konsequenzen Welche Konsequenzen lassen sich aus den Interpretationen ableiten?

Welche Dinge können beibehalten, welche müssen verändert werden?

Start



ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen

Auswahl der Datenerhebungsmethoden

Konsequenzen

ziehen

Evaluationsbereich festlegen

Bestimmung der Ziele und Leitfragen

Festlegung von Kriterien und Indikatoren

Untersuchungsplan

ung

Daten analysieren und

interpretieren

Datensammlung

Feedback geben

Die einzelnen Schritte sind etwas durcheinander geraten… Wie lautet wohl die richtige

Reihenfolge???

2.Bestimmung der Ziele

und Leitfragen

4. Untersuchungs-

planung

5.Auswahl der

Datenerhebungs-methoden

7.Daten analysieren und

interpretieren

1.Evaluationsbereich

festlegen

6. Datensammlung

8.Feedback

geben

9.Konsequenzen

ziehen

3.Festlegung von Kriterien

und Indikatoren


Lars HolzäpfelKerstin Mailänder GFSGFSGGleichwertige FFeststellung von SSchülerleistungenL

ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen

Begriffsklärung:

Unter Evaluation versteht man den Prozess…

des systematischen Sammelns, Analysierens und

Auswertens von Daten,

die im Hinblick auf zuvor festgelegte Ziele erhoben

werden und zu einer

fundierten Aussage über den Stand der Zielerreichung

führen sollen um

daraufhin konkrete Handlungsschritte einleiten zu

können.

2.Bestimmung der Ziele

und Leitfragen

4. Untersuchungs-

planung

5.Auswahl der

Datenerhebungs-methoden

7.Daten analysieren und

interpretieren

1.Klärung des Rahmens

6. Datensammlung

8.Feedback

geben

9.Konsequenzen

ziehen

3.Festlegung von Kriterien

und Indikatoren

Evaluation als Prozess

© by Lars Holzäpfel


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen

Wozu evaluieren? - Funktionen von Evaluation

Evaluation aus externen Motiven

Evaluation im Dienst von

Wachstum / Entwicklung /

Innovation

Evaluation als Kontrolle

Evaluation aus internen Motiven

Erkenntnisgewinn / Forschung

Öffentlichkeitsarbeit

EntwicklungSteuerung und

Weiterentwicklung

KontrolleBewertung von

Lehrer/innen und Schulen

Professionalisierungdurch Reflexion über die

eigene Arbeit

Rechenschaftslegunggegenüber Eltern, Behörde

und Öffentlichkeit

Modell zitiert nach: Altrichter, H., Messner, E., Posch, P. (2004), Schulen evaluieren sich selbst. Hannover: Kallmeyer. S. 23.


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Entwicklung / Auswahl von Instrumenten:

Welche Erkenntnisse sollen durch die Befragung gewonnen werden?

Welche Entscheidungen sollen auf der Grundlage der gewonnenen Ergebnisse getroffen werden?

Wer soll befragt werden?

Wann soll die Befragung durchgeführt werden?

Zielklärung als Voraussetzung:


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen

Machen wir doch kurz einen Fragebogen:Aufbau und Layout


Anschreiben: Thema und Ziel der Befragung, Verantwortliche, Anonymität der Befragten, evtl. ‚Regieanweisungen‘ zum Ausfüllen kurz & bündig, motivierend

Codenummer & Basisdaten:Möglichkeit der spezifischen Auswertung vs. Anonymität

Aufbau:‚Warming up‘, Fragen in Themenblöcke zusammenfassen, optisch voneinander absetzen


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen

Durchführung der Befragung


Tipps:

1) Fragebogen in der Schule (Unterrichtsstunde, GLK) ausfüllen lassen

höhere Rücklaufquote (‚Vergessen‘)

Möglichkeit zu Rückfragen bei Unklarheiten

ausreichend Zeit lassen!

2) Anleitung durch Evaluationsteam

hohe Standardisierung (gleiche Erhebungssituation, gleiche

Information für alle Befragten)

Rücklaufkontrolle (Abhaken, Codeliste)

‚dahinter stehen‘


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Entwicklung / Auswahl von Instrumenten:

Wir wissen bisher recht wenig über den Evaluationsbereich.

Wir haben ein fundiertes Grundwissen über den Evaluationsbereich.

QuantitativesVorgehen

QualitativesVorgehen

Wir wollen Ideen sammeln & Hypothesen entwickeln.

Wir wollen unsere Hypothesen überprüfen.

Offene Fragen Geschlossene Fragen


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Formulierung der Items / Antwortformate

offene Fragen

geschlossene Fragen(mit bzw. ohne Mehrfachnennungen)

„Was kannst Du gut / was fällt Dir schwer bei der Bearbeitung von Texten?“

Schlüsselbegriffe unterstreichen

Stichworte herausschreiben

Den Text in Abschnitte gliedern

„Was kannst Du gut / was fällt Dir schwer bei der Bearbeitung von Texten?“

Antwort: __________________________

Likert-Skalierung„Ich kann Schlüsselbegriffe unterstreichen.“

sehr gut schlecht

gut sehr schlecht

keine Antwort

Häufigkeiten können berechnet werden

Mittelwerte können berechnet werden (sofern Abstände gleich sind)



ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen

Machen wir doch kurz einen Fragebogen: Vom Kriterium zum Item


Faktfragen (Alter, Geschlecht, Lieblingsfach,…) stellen i.d. Regel kein Problem dar. Wenn es um Meinungen/Verhalten geht, stellt sich die Frage der Operationalisierung.

Beispielkriterium ‚Eigenständiges Arbeiten‘

Mögliche Items zum Kriterium ‚Eigenständiges Arbeiten‘:

1) Ich konnte die GFS ohne fremde Hilfe (z.B. Eltern/Freunde/Geschwister) erstellen.

2) Durch die Arbeit an der GFS lernte ich eigenständig zu arbeiten.

3) Ich habe gelernt, meine Zeit bei der Erstellung der GFS sinnvoll einzuteilen.

Wie kann ein Verhalten

beobachtbar/messbar gemacht werden?

Pro Kriterium werden mehrere Items

formuliert.


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen

Machen wir doch kurz einen Fragebogen Eindeutig zweideutig – Fragen formulieren


Fragen sollen eindeutig und allgemeinverständlich sein:

Vorsicht bei Fachbegriffen Keine doppelten Verneinung oder Kettenfragen Keine Suggestivfragen

“Ich schätze meinen Lernerfolg bei der GFS

als nachhaltig ein.”

“Das bei der GFS Gelernte behalte ich

lange.”

“Ich finde nicht, dass die Bewertung innerhalb der

Klasse ungerecht ist.”

“Die Bewertung innerhalb der Klasse ist gerecht.”

“Findest du die Bewertung der GFS angemessen und gerecht?

” Niveau angemessen,

Bewertung aber innerhalb der Klasse ungerecht???

Tipps: Teamarbeit ‚Regieanweisungen‘ (Bsp. Mehrfachantworten möglich?) Pretest (Logischer Aufbau? Unklare Fragen? Fehlende Antwortvorgaben?...) ‚Weniger ist mehr‘: Sorgfältige Auswahl der Fragen statt Informationsflut


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Skalentypen

Nominalskala (Zuordnung durch Kategorienbildung)Beispiele: Postleitzahlen / Klassenzugehörigkeit (5a, 5b, 5c, …) / GeschlechtAnalysemöglichkeiten: z.B. Modalwert, Häufigkeitsverteilungen, absolute und relative Häufigkeiten

Ordinalskala (Rangreihe)Beispiel: Mannschaft A gewinnt gegen B; B gegen C; A gegen C A>B>CZusätzliche Analysemöglichkeiten: z.B. Median, Spannweite, Ränge, Prozentränge

Intervallskala (gleiche Abstände zwischen Skalenpunkten)Beispiele: Temperaturen in °C bzw. Fahrenheit / Kalenderzeit / IntelligenzskalaTransformationen sind zulässig; die Beliebigkeit des Nullpunkts muss beachtet werden!Zusätzliche Analysemöglichkeiten: z.B. Arithmetisches Mittel, Standardabweichung, Varianz, Korrelation

Verhältnisskala (Intervallskala + fester Nullpunkt ist definiert)Beispiele: Länge, Winkel, Temperatur in Kelvin, Preise Zusätzliche Analysemöglichkeiten: z.B. Geometrisches Mittel


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Antwortformate und Anzahl der Kategorien

Zutreffen: trifftvoll zu

triffteher zu

trifft teilweise zu

trifft ehernicht zu

trifftnicht zu

Zustimmung:

ja eher ja unentschieden eher nein nein

Häufigkeit: immer oft manchmal selten nie

Bewertung: sehr wichtig wichtigteilweise wichtig

fast unwichtigganz

unwichtig

nicht: meistens kaum

Verwendung einer neutralen Mitte?


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Auswertung

Häufigkeiten

a) absolute Häufigkeit

b) relative Häufigkeit


22

12

16 17

0

5

10

15

20

25

trifft zu trifft eher zu trifft eher nichtzu

trifft nicht zu


32,8%

17,9%

23,9% 25,4%

0,0%

5,0%

10,0%

15,0%

20,0%

25,0%

30,0%

35,0%

trifft zu trifft eher zu trifft ehernicht zu

trifft nicht zu


30,1%

16,4%21,9% 23,3%

0,0%

20,0%

40,0%

60,0%

80,0%

100,0%


trifft nicht zu

Umgang mit fehlenden Werten??

Hier haben 6 Schüler keine Antwort gegeben:


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Mittelwerte und Streumaße

Beide Befragungen haben einen Mittelwert (arithmetisches Mittel) von 2,559.

Varianz und Standardabweichung geben die „Streuung“ an.

Bei großer Streuung ist es ratsam, nach einer Systematik zu „suchen“: z.B. Geschlecht (Moderatorvariable)


60,3%

16,4% 19,2%

65,8%

0,0%

20,0%

40,0%

60,0%

80,0%

100,0%


trifft nicht zu


16,4%

74,0%

35,6% 35,6%

0,0%

20,0%

40,0%

60,0%

80,0%

100,0%


trifft nicht zu


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Vorliegende Antworten nach Themen sortieren

Kategorien (Überschriften) formulieren

Kategorien prüfen (evtl. neue Bereiche bzw. Zusammenlegung)

Beurteilerübereinstimmung prüfen

Qualitative Datenerhebung

(Beispiel Fragebogen, offene Antworten)


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Beurteiler 1 Beurteiler 2

Bei der GFS finde ich es gut, dass man mit einem Thema, das einen sowieso schon interessiert und/oder mit dem man sich auskennt, seine Note verbessern kann.

1 0 0 0 0 1 0 0 0 0

Die Lehrer sollen keine dummen Fragen stellen. 0 1 0 0 0 0 1 0 0 0

Notenverteilung soll gerecht sein. 0 0 0 0 1 0 0 0 0 1

Die Notenbewertung zwischen dem Schüler und dem Lehrer sollte besprochen werden. 0 0 0 1 0 0 0 1 0 0

A AB BC CD DE E

A

B

C

D

E

Kategorien definieren:

GFS als Chance, positive Emotion wird geäußert

Allgemeine, unspezifische negative Äußerung

Unzufriedenheit mit Bewertung

Überforderung

Unzufrieden mit Organisation / Durchführung


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Offene Antworten

0,00 20,00 40,00 60,00 80,00 100,00

1

Ka

teg

ori

e

Häufigkeit der jeweiligen Nennung

Unzufriedenheit mitOrganisation/Durchführung

Überforderung (Gefühl)

Unzufriedenheit mit Bewertung

Negative Emotion (allgemein)

GFS als Chance (positive Emotion)

Positive und Negative Nennungen

0 50 100 150 200 250 300 350

positiv

negativ

Zu

sa

mm

en

fas

su

ng

de

r p

os

itiv

en

un

d n

eg

ati

ve

n

Ka

teg

ori

en

Häufigkeit der Nennungen

So könnte die

Auswertung qualitativ

erhobener Daten

aussehen.


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Interpretation

Abgleich mit der Zielformulierung

Faustregel: Je konkreter die Zielfragestellung, desto leichter lassen sich die Ergebnisse interpretieren!

Hilfreich: Bereits im Vorfeld Hypothesen formulieren.

Daten als Grundlage für weitere Befragungen verwenden (Entwicklungsaspekt!). „Absolute“ Werte gibt es in diesem Fall nicht.

Deshalb ist es wichtig, den Fragebogen so zu konstruieren, dass dieser wiederholt eingesetzt werden kann.


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Konsequenzen: Mögliche Organisationsform

SchulleitungManagement / Steuerung

SteuergruppeStrategische Steuerung der Schulentwicklung

EvaluationsgruppeExpertise im Umgang mit Daten

Arbeitsgruppe - XKonzeptentwicklung und

Durchführung

Grundidee

& Auftr

ag

Kollegium

Kollegium:wird regelmäßig informiert über Gesamtkonzept

AuftragErgebnisse

Rüc

kspr

ach

e Rücksprach

e (z.B

. Genehm

igung der D

atenerhebung)

Kollegium:wird regelmäßig informiert & gibt

Feedback

Kollegium: Wird informiert

über Ergebnisse

Strategische Planung und Absprache

Austausch & Absprachen


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Damit Evaluationen auch gelingen …

Einstellungen/Kompetenzen aller (!) BeteiligtenProfessionelles SelbstverständnisBelastung? Angst vor Kontrolle & Kritik?„Technisches“ Know-How? Schlüsselrolle der Schulleitung (Personal-/Prozessmanagement)

Transparenz und PartizipationKlarheit über Sinn und InhalteUmgang mit Datenschutz und ErgebnissenDateninterpretation mit allen BeteiligtenKonsequenzen ziehen (Zeitrahmen, Verantwortlichkeiten)

Strittmatter, A. (2000): Worauf bei der Selbstevaluation zu achten ist. Schulleitung und Schulentwicklung.


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Damit Konsequenzen auch gelingen …

Nützlichkeit der EvaluationRelevanz des Evaluationsbereichs (‚Hauptbaustellen‘ und ‚Nebenbaustellen‘)sinnvoller ZeitpunktValidität (Methode, Messinstrument, Stichprobe, Interpretation)Verbindlichkeit?

DurchführbarkeitRessourcenfrage (Experten aus dem Kollegium, Schüler, Kontingentstunde…)

nur eine ‚Hauptbaustelle‘!

Veränderung braucht Zeit!

Strittmatter, A. (2000): Worauf bei der Selbstevaluation zu achten ist. Schulleitung und Schulentwicklung.


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Vielen Dank für Ihre Aufmerksamkeit!Vielen Dank für Ihre Aufmerksamkeit!

Kerstin MailänderAdamshofweg 1D-79254 Oberried++ (49) – [email protected]

Dipl.-Päd. Lars HolzäpfelPrinz-Eugen-Str. 32D-79102 Freiburg++ (49) – [email protected]


ehre

rfo

rtb

ildu

ng

am

13.

02.2

007

Leh

rerf

ort

bild

un

g a

m 1

3.02

.200


zessEvaluationsbere


nKonsequenzen


Literatur (Auswahl):

Bortz, J., & Döring, N. (2003). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer.

Eikenbusch, G., & Leuders, T. (Eds.). (2004). Lehrer-Kursbuch Statistik. Alles über Daten und Zahlen im Schulalltag. Berlin: Cornelsen Scriptor.

Holzäpfel / Mailänder (2007): Selbstevaluation – ein hilfreiches Instrument im Schulentwicklungsprozess. Lehren und Lernen. (Maiheft, im Druck).

Jäger, M. (2004). Transfer in Schulentwicklungsprozessen. Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage GmbH.

Kirchhoff, S., Kuhnt, S., Lipp, P., & Schlawin, S. (2003). Der Fragebogen. Datenbasis, Konstruktion und Auswertung. Opladen: Leske + Budrich.

Mayring, P. (1995). Qualitative Inhaltsanalyse: Grundlagen und Techniken (5 ed.). Weinheim: Deutscher Studien Verlag.

Mummendey, H. D. (1999). Die Fragebogen-Methode. Grundlagen und Anwendung in Persönlichkeits-, Einstellungs- und Selbstkonzeptforschung. Göttingen: Hogrefe.

Nachtigall, C., & Wirtz, M. (1998). Wahrscheinlichkeitsrechnung und Inferenzstatistik: Statistische Methoden für Psychologen Teil 2 (Vol. 2). Weinheim und München: Juventa Verlag.

Wirtz, M., & Nachtigall, C. (1998). Deskriptive Statistik: Statistische Matheoden für Psychologen Teil 1 (Vol. 1). Weinheim und München: Juventa Verlag.

Documents

Lars Holzäpfel Kerstin Mailänder GFS GFS G leichwertige F eststellung von S chülerleistungen Fortbildung „GFS“ Modul 2: GFS – Von der Idee zum Konzept