Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Theo Wehner

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher VolksschulenIm Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh

Theo WehnerTheo WehnerInstitut für Arbeitspsychologie Institut für Arbeitspsychologie

der ETH-Zürichder ETH-Zürich

91. Jahresversammlung der91. Jahresversammlung derKSGR, Luzern, Mai 2004KSGR, Luzern, Mai 2004

Sozialwissenschaftliche Messdaten müssenSozialwissenschaftliche Messdaten müsseninterpretiert und vermittelt werden:interpretiert und vermittelt werden:

Das Beispiel der lohnwirksamen Beurteilung von Lehrpersonen im Kanton Zürich


Zahlen & Figuren

Diskussion, Diskussion, gemeinsame gemeinsame

ÜberlegungenÜberlegungen

Evaluationsergebnisse Evaluationsergebnisse der Zürcher Mitarbeiter-der Zürcher Mitarbeiter-Innenbeurteilung (MAB) Innenbeurteilung (MAB)

...die nächsten 60 Minuten...die nächsten 60 MinutenVorbemerkungen und Vorbemerkungen und VorüberlegungenVorüberlegungen


Kantonale Mitarbeiterbeurteilungen in der Schweiz:Stand der Dinge...


7 Kantone verfügen bereits über ein verankertes kantonales Beurteilungsmodell, in vier

mit einer Lohnwirksamkeitskomponente.

-----------------

14 Kantone sind in der Diskussions-, Konzept- oder bereits (2) in einer Modellphase.

-----------------

5 Kantone haben kein kantonales Vorgehen beabsichtigt und belassen die Beurteilung in der

Gemeindeverantwortung (Schulinspektoren, -leitungen).

Kantonale Mitarbeiterbeurteilung für Kantonale Mitarbeiterbeurteilung für Lehrkräfte in der SchweizLehrkräfte in der Schweiz

(vollständiger Bericht von [email protected])(vollständiger Bericht von [email protected])


Schulische

Qualitätsentwicklung

Personen Schule System

MA

B:

Sel

bst

eval

uat

ion

Un

terr

ich

tM

AB

: S

elb

stev

alu

atio

n U

nte

rric

ht

MA

B:

Fre

md

eval

uat

ion

Un

terr

ich

tM

AB

: F

rem

dev

alu

atio

n U

nte

rric

ht

S

elb

stev

alu

atio

n

Bil

du

ng

smo

nit

ori

ng

, S

tati

stik

Wis

sen

sch

aft

l..

Eva

luat

ion

en

Aus- und Weiterbildung Lehrpersonen Lehrplan

Fac

hs

tell

e S

ch

ulb

eurt

eilu

ngFeedback-Feedback-

GesprächGespräch

Erkundungs-Erkundungs-GesprächGespräch

Beurteilungs-Beurteilungs-GesprächGespräch


Orientierung der MAB-Konzepte: „Die gute Schule“

• Pädagogische Leitplanken, Lehrplan• Brücke zwischen Kleinfamilie und Vermassung• Klima des Vertrauens• Teamfähige Lehrkräfte• Mitverantwortliche Schüler/-innen• Laufende Überarbeitung von Methoden• Einbezug von Eltern• Methodisch unterstüzte Qualitätssicherung• Fähigkeit der Lehrkräfte zur

Selbstevaluation


• Ist managerielles Handeln ein allgemeingültiges Modell bzw. Prinzip?

• Wo liegt der Gültigkeits- und Geltungsbereich von Management-Tools?

• Ist der Austausch von Wissen zwischen industriellen Methoden und schulischen Anforderungen ein One-Way-Geschäft?

• Was kennzeichnet Handeln im schulischen Kontext?

• Welche Methoden (Methodentransformationen) müssen für diesen Kontext entwickelt werden?

Schule - Managemet - HandelnSchule - Managemet - HandelnVorüberlegungenVorüberlegungen


Die Ansprüche an die Zürcher MAB

• Miliztauglichkeit: Die Verantwortung liegt bei den kommunalen Behörden

• Das Vorgehen ist in allen Schulgemeinden einheitlich

• Flächendeckend: Es werden alle Lehrkräfte beurteilt

• Die MAB ist lohnwirksam


Die Bausteine der Zürcher MAB:

• Selbstdarstellung der Lehrkräfte im Dossier (Unterricht und Planung)

• Objektivierende Unterrichtsbesuche nach dem Vieraugenprinzip

• ...• ...


Auftragnehmer

ifap Institut für Arbeitspsychologie

Anne Legler

Markus Sigrist

Kooperationspartner

Helmut Fend

Katharina Maag Merki

Judith Hollenweger

Peter Sieber

Theo Wehner

Evaluation der MAB für Lehrkräfte der Evaluation der MAB für Lehrkräfte der Zürcher Volksschulen Zürcher Volksschulen

(vollständiger Bericht von [email protected])(vollständiger Bericht von [email protected])


Wirkung

Konzept

Praxis

MABMABB

eauftra

gung

Durchführung

Verm

ittl

ung

EvaluationsebenenEvaluationsebenen


Die Evaluation erfolgte unter Einbindung aller Akteure

Lehrpersonen Fragebogen222

Gemeinden941 Personen

Fragebogen53 Gemeinden852 Personen

3 Fokusgruppen

Interviews3 Gemeinden

4 Fokusgruppe

n


Schulpflegepräsidentinnen und -präsidenten


Interviews3 Gemeinden

4 Fokusgruppe

n

Beurteilungsmitglieder und Beurteilungsverantwortliche

Gelingens- und

Belastungs-faktoren

Kontext: Lebensqualit

ät / Schulqualität

Praxis der MAB und

ihre Bewertunge

n


Auswirkungen der Beurteilung

Qualität des UnterrichtsQualität der Schule

Klima zwischen LP und SP

Klima innerhalb SPKlima innerhalb LP

Beziehungen

SchulpflegerAufgabenbewältigungKompetenzKosten/ NutzenZufriedenheit

LehrpersonenBelastung/

BeanspruchungErleben/ Auswirkungen

Kosten/ NutzenZufriedenheit

Interpersonelle Ebene


Qualitatives Gesamtbild des Beurteilungsprozesse (nach K. Maag Merki, 2003)

Schul-behörden

Lehr-personen

Fühlen sich

kompetent

Fühlen sich

kritikfähig

Vorwurf der Kritikunfähigkeit

Vorwurf der Inkompetenz

Frustration, DemotivationKränkung


Allgemeine Befunde zur Struktur und Durchführung der MAB

• Strukturelle Anpassungen erfolgten geringfügig (8-16%).

• Ähnliches bei den Anpassungswünschen (9-18%).

• Die formale Durchführung entspricht weitgehend den Rahmenbedingungen und Modellerwartungen.

...es gab 32 Rekursebei knapp 4000 Evaluationen


Zufriedenheit mit der Durchführungder MAB

Z u f r ie d e n h e i t m it D u r c h fh r u n g d e r M A B g e s a m t h a f t

a b s o lu t u n z u f r ie d e n

u n z u f r ie d e n

te i lw e is e z u f r ie d e n

z u f r ie d e n

v ll ig z u f r ie d e n

Pro

zent

4 0

3 0

2 0

1 0

0

1 0

1 8

2 5

3 2

1 4

völlig zufrieden teilweise unzufrieden völlig zufrieden zufrieden unzufrieden


Evaluation der MAB: Widerstand gegenüber der

Lohnwirksamkeit

Zweithäufigste Nennung bei der Frage nach zentralen Schwächen der MAB.

Über 40% der Lehrpersonen erachten finanzielle Anreize (Lohnwirksamkeit) als kaum oder gar nicht nützlich für ihre berufliche Weiterentwicklung.

Der Nutzen aller Beurteilungselemente der MAB (Unterrichtsbesuch, Dossier etc.) wird für eine förderungswirksame Beurteilung höher erachtet als für die lohnwirksame Einstufung.


Evaluation der MAB: „Linksschiefe Verteilung“ der

Beurteilungen

II

35%

36%

I/II

21%

5%

III

8%

6%

V

<1%

-

I

34%

52%

IV

2%

1%

Schulpflegen

Lehrpersonen

Fast alle Lehrpersonen sind (und fühlen sich) mehr als ausreichend

befähigt!

Sind die Beurteilenden möglichen Konflikten

ausgewichen?

III = erfüllt die Anforderungen IV = entspricht den Anforderungen nur teilweiseV = genügt den Anforderungen nicht


Beurteiler/innenkompetenzen(Ausbildung, berufliche, ausserberufliche

Tätigkeit)

• 39 % Tertiärabschlüsse• 30 % Sek. I, weitere 30% Sek. II Abschlüsse• 60 % MAB-Erfahrungen• 84 % Führungserfahrungen• 92 % Erfahrungen in Ausbildung/ Erziehung


Auswirkungen auf individueller Ebene

2.82.9

2.8 2.82.82.8

1.0

2.0

3.0

4.0

5.0

Arbeitssituation Gesundheit Lebensqualität

Auf der individuellen Ebene wurden wenig Veränderungen wahrgenommen. Wenn, dann waren es eher Verschlechterungen. Hier unterscheiden sich Lehrpersonen und Schulpflegen nicht.

Lehrer/innenBeurteiler/innen

0.50.9 0.60.50.8 0.7

Standard-abweichung

positiv


Qualitätsänderungen durch die MAB?

2.93.0

3.53.5

1.0

2.0

3.0

4.0

5.0

Qualität des Unterrichts Qualität der Schule

Die Qualitätverbesserungen nach der Beurteilung werden von Schulpflegen und Lehrpersonen unterschiedlich bewertet. Schulpflegen haben eher Verbesserungen wahrge-nommen, Lehrpersonen so gut wie keine Veränderungen.


0.5 0.50.6 0.7

Standard-abweichung

positiv


Auswirkungen auf Interpersoneller Ebene

2.6

2.8

2.5

2.92.8

2.9

3.3

2.7

3.4 3.4

1.0

2.0

3.0

4.0

5.0

Klima zwischenLehrpersonen

Klima zwischenSchulpfleger/innen

Klima zwischenSchulpflege und

Lehrerschaft

Beziehungen zuLehrpersonen

Beziehungen zuSchulpfleger/innen

Auf der interpersonellen Ebene wurden Auswirkungen deutlich wahrgenommen; von den Schulpflegen eher positive, von den Lehrpersonen eher negative.

Klima

Beziehungen

0.91.0 0.70.80.7 0.7 0.70.80.6 0.6 0.8


positiv


0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Überdenken deseigenen

Unterrichts

Gespräch mitLP zum eigenen

Unterricht

Teilnahme anWB

Hospitationenbei anderen LP

Hospitationendurch andere

LP

Beratung,Supervision,

Coaching

Stellenwechsel

ja, verw irklicht ja, geplant nein

Persönliche Konsequenzen, geplante Handlungen nach der MAB

Ja, verwirklicht; ja, geplant; nein

UnterrichtÜberdenken

Gespräch mit LP zu Unterricht Teilnahme

an WB Hospitation bei anderen LP

Hospitation durch andere LP

BeratungSupervisionCoaching

Stellen-wechsel


Bewertung der eigenen und der berichteten Erfahrungen mit der

MABE r

f a

h r

u n

g e

n

1999/00 2002

eigene...

berichtete...berichtete...

positiv

negativ

eher neutral...


Gibt es Gruppen von Lehrpersonen, die die Beurteilung

unterschiedlich bewerten?Bewertungsdimensionen:

Persönliches Wohlbefinden im Schulalltag danach Wahrgenommener Nutzen

Förderungswirksamkeit, Sicherung der Unterrichtsqualität

Akzeptanz

Wahrnehmung von Fairness, Nachvollzug des Ergebnisses


Vier BewertungsgruppenVier Bewertungsgruppen(Darstellung der Clustermittelwerte, aus: D. Egg, (Darstellung der Clustermittelwerte, aus: D. Egg,

2004)2004)Wohlbefinde

n

Akzeptanz

Nutzen

104: „volle Ablehnung“

141: „ist nützlich, aber“

270: „akzeptabel, aber...“424: „volle Zustimmung“


Nutzen-Bewerter

Negativ-Bewerter

Positiv-Bewerter

Diskrepant-Bewerter

Haben situative Merkmale einen Einfluss auf die Bewertung?

Extremgruppenvergleich


Mittelwertvergleich Mittelwertvergleich ablehnender (245)ablehnender (245)und und zustimmender (694)zustimmender (694)

PersonenPersonen(sämtliche Differenzen sind signifikant)(sämtliche Differenzen sind signifikant)

-0.29

-0.9

0.61

-0.72

-0.29

0.16

0.3

-0.28

0.36

0.21

-2 -1 0 1 2

Negativ-Bewerter Positiv-Bewerter

...erfahrene Unterstützung

...wahrgenommene Beurteilerkompetenz

empfundene Beanspruchung

...erlebte Ergebniskommunikation

...wahrgenommene Transparenz des Ablaufs


Welche Schwächen nennen Lehrpersonen?

„Wenn ich an die MAB denke,

fällt mir ... als zentrale Schwäche ein.“


Zentrale Schwächen: Häufigkeit von Zentrale Schwächen: Häufigkeit von Nennungen*Nennungen*

122

0.511

215

65

114

844

510

28

0 2 4 6 8 10 12 14 16

1.1 Personenabhängigkeit

1.2 Andere Abhängigkeit

2.1 Zeit- und Geldaufwand

2.2 Aufwand in Relation zum Ertrag

3.1 Belastung der Lehrperson

3.2 Belastung für Team und Schulpflege

4.1 Elemente der Personalbeurteilung

4.2 Verfehlte Wirkungen in Hinblick auf das Ziel

4.3 Lohnwirksamkeit

5.1 Schwäche in der lokalen Durchführung

5.2 Ausbleibende Lohnwirksamkeit

6.0 Mangelnde Fähigkeiten der Beurteiler

7.1 Leer

7.2 Nichts

7.3 Alles / Vieles

8.1 Persönliche Schwächen

8.2 Zuordnung schwierig oder unmöglich

999 Ganze Frage nicht beantwortet

Prozentangaben. Durch Auf- und Abrundungen sind Abweichungen möglich (+/- 1 Prozentpunkt)


Die Schwächen in KürzeDie Schwächen in Kürze

Neun Oberkategorien

Am häufigsten werden genannt:

- Schwächen, die sich auf das Konzept beziehen, wie Elemente der MAB, verfehlte Wirkungen in Hinblick auf das Verfahrensziel, Lohnwirksamkeit (22%)

- unverhältnismässig empfundener Aufwand (15%)

- inkompetent empfundene Beurteiler (15%)


Welche Stärken nennen Lehrpersonen?

„Wenn ich an die MAB denke,

fällt mir ... als zentrale Stärke ein.“


Zentrale Stärken: Häufigkeit von Zentrale Stärken: Häufigkeit von Nennungen*Nennungen*

1222

413

83

922

41

18

0 5 10 15 20 25

1.1 Nichts oder kaum etwas

1.2 Schwächen

1.3 Leer

2.1 Positive Auswirkungen: Aufwand LP

2.2 Positive Auswirkungen: Rückmeldungen

3.1 Positive Auswirkungen: Berufsalltag

3.2 Positive Auswirkungen: Beziehungen

4.1 Stärken im Konzept

4.2 Stärken im Prozess / Durchführung

5.1 Persönliche Stärken

5.2 Zuordnung schwierig oder unmöglich

999 Ganze Frage nicht beantwortet

Prozentangaben. Durch Auf- und Abrundungen sind Abweichungen möglich (+/- 1 Prozentpunkt)


Die Stärken in KürzeDie Stärken in Kürze

Sechs Oberkategorien

Am häufigsten werden genannt:

- Der persönliche Nutzen der MAB, wie Dossier und

Selbstbeurteilung verfassen, Standortbestimmung durchführen, Feedback erhalten (31%)

- KEINE STÄRKEN (24%)


Bilanz


MABMAB

Beauftra

gung

• Die Bildungsdirektion hat den Auftrag andie Schulpflege erfolgreich delegiert; er ist

angenommen und umgesetzt.

• Die Vorgaben sind praxistauglich, kleine Anpassungen wurden

vorgenommen.

• Der Handlungsspielraum wurde von den Schulbehörden

unterschiedlich genutzt.

• Die Vorgaben zur Beurteilungsskalierung

wurden nicht ausgeschöpft.

•Eine differenzierte Bewertungder LP wurde nicht vollzogen.

Bilanz


MABMAB

Durchführung

•Bei der MAB begegnen sich primär LP und SP; andere Akteure spielen (noch) keine Rolle.

•Die lohnwirksamen Konsequenzen des Verfahrens weisen eine Verzerrung in Richtung positiver Sanktionierungen auf.

•Das Verfahren war wenig förderungswirksam. Über die Gemeinden ergibt sich diesbezüglich ein uneinheitliches Bild.

•Die individuellen Erfahrungen der Lehrpersonen sind positiver als die kollektive Einschätzung der MAB.

•Positive Qualitätsauswirkungen werden von SP eher, von LP nicht wahrgenommen.

Bilanz


• Den bildungspolitisch Verantwortlichen ist es nicht gelungen, das Konzept an die Lehrpersonen zu vermitteln und mit deren Berufsauftrags- sowie Rollenverständnis abzustimmen.

• Bei der Vermittlung des Konzeptes wurde vor allem seine Lohnwirksamkeit diskutiert. Dies hat die anderen Merkmale und Wirkungen des Verfahrens überdeckt.

• Die formale Implemen- tierung des Verfahrens birgt Kränkungspotenzial bzgl. des autonomen Selbstbildes von Lehrpersonen.

MABMABVerm

ittl

ung

Bilanz


Empfehlungen


MABMAB

Beauftra

gung

Die Umsetzung der MAB ist für die Schulpflegen ressourcenschonender zu

gestalten.

Der Handlungsspielraum der Schulpflegen sollte

erweitert werden.

Die Skalierungen für Lohn- und Förderungswirksamkeit

sollten getrennt voneinander überarbeitet werden.

Die Skalierung der Lohnwirksamkeit sollte dem gewünschten

Differenzierungsgradentsprechen.

Empfehlungen


MABMAB

Durchführung

Die pädagogische Beurteilungskompetenz der Schulpflegemitglieder sollte erweitert werden oder es ist punktuell professionell vorhandene Kompetenz ((TaV-)Schulleiter/innen, Lehrpersonenvertreter/innen, etc.) einzubeziehen.

Es sind grobe Richtlinien für den Umgang mit Förderung für die Gemeinden zu erarbeiten.

Die Durchführung der MAB sollte für die Lehrpersonen von Anfang an transparent sein. Die MAB ist in das gesamte Qualitätssystem der Schulen zu integrieren.

Empfehlungen


MABMABVerm

ittl

ung

• Der Berufsauftrag und das professionelle Rollenverständnis der Lehrpersonen bedürfen einer Klärung. Darauf ist das Konzept abzustimmen.

• Der Stellenwert der lohnwirksamen Qualitätssicherung (LQS) ist im Konzept niedriger zu gewichten. Stattdessen sollten Aspekte der förderungswirksamen Qualitätssicherung (FQS) stärker unterstrichen und ermöglicht werden. • Angesichts des ausgeprägten Autonomieanspruches von Lehrpersonen sollten im Konzept verstärkt Möglichkeiten zur Selbstevaluation und Partizipation angeboten werden.

Empfehlungen

Documents

Evaluation der Mitarbeiterbeurteilung für Lehrkräfte der Zürcher Volksschulen Im Auftrag der Bildungsdirektion. In Kooperation mit FS&S und phzh Theo Wehner