© Maria Gutknecht-Gmeiner 2008 Einführung in das Europäische Peer Review - die Projekte - das Verfahren - Peer Review und der CQAF

© Maria Gutknecht-Gmeiner 2008

Einführung in das Europäische Peer Review

- die Projekte - das Verfahren

- Peer Review und der CQAF

© öibf, Gutknecht-Gmeiner 2008 2

Was Sie heute erwartet…

Projekte Peer Review in initial VET

Peer Review Extended

Peer Review Extended II

Das Europäische Peer Review Verfahren

Peer Review und der Gemeinsame Bezugsrahmen für Qualitätssicherung (CQAF)

Ausblick

Website und Kontakt


Peer Review in initial VET Projektziel: Entwicklung und Testierung eines Europäischen Peer Review

Verfahrens für die berufliche Erstausbildung Hintergrund/Idee: Mandat der TWG Quality in VET (2003) Projektlaufzeit: Oktober 2004 bis September 2007 Partnerschaft: 22 (25) Partner aus 11 Europäischen Ländern

AT, DE, DK, FIN, HU, IT, NL, PT, RO, UK, CH 13 (15) Einrichtungen der beruflichen Erstausbildung

Hauptprodukte: Europäisches Peer Review Handbuch Peer-Schulungsprogramm (webbasiert)

Pilotphase 2006: 15 transnationale Peer Reviews erfolgreich pilotiert in 8 Ländern (AT, DK, FIN,

IT, NL, PT, RO, UK); Peer-Pool (92), Evaluation der Pilotphase; Fertigstellung des Handbuchs 2007


Peer Review Extended Ziele: basierend auf den Ergebnissen des Projekts "Peer Review in initial VET"

den Beitrag von Peer Review für die Weiterentwicklung des Gemeinsamen Bezugsrahmen für die Qualitätssicherung (CQAF) ausloten

Einbezug neuer Länder (DE, HU, ES) Weiterentwicklung des Europäischen Peer Review Hanbuchs; Toolbox mit praktischen

Handreichungen für Schulen Szenarien für eine Implementierung von Peer Review auf nationaler/regionaler Ebene (AT,

IT, FI, HU, ES) Projektdauer: Jänner 2007 – Dezember 2007 9 Partnereinrichtungen aus 6 Europäischen Ländern

4 Einrichtungen der beruflichen Bildung (AT, DE, ES, HU), 3 Koordinierende Partner (AT, ES, HU), 3 Entwicklungspartner (AT, FI, IT)

Hauptprodukte (überarbeitetes Europäisches Peer Review Handbuch), Toolbox Berichte: 1) Nationale Szenarien (siehe oben) 2) Beitrag von Peer Review zum CQAF

Pilotphase 2007 4 transnationale Peer Reviews pilotiert (AT, DE, HU, ES) Sept. – Okt. 2007


Peer Review Extended II Ziele: "Innovationstransfer" basierend auf "Peer Review in initial VET" & "Peer Review Extended"

Anpassung des Europäischen Peer Review Verfahrens an neue Länder und an die berufliche Weiterbildung Entwicklung einer face-to-face Peer Schulung Weitere praktische Erprobung, Verbreitung

Dauer: November 2007 – Oktober 2009 14 Partnereinrichtungen aus 9 Ländern, 3 „neue“ Länder (CZ, SI, TR) Hauptprodukte

Europäisches Peer Review Handbuch für die berufliche Weiterbildung Curriculum für Peer Schulung Verbreitung und Informationsmaterialien

Pilotphase April 2008 – April 2009 6 Peer Reviews geplant

Aktueller Status Produkte in Bearbeitung Pilotphase laufend (bis Frühjahr 2009) Peer Schulung: in Wien im Oktober 2008


Was ist Peer Review?

Externe Evaluation

Durchgeführt von "Peers", d.h. gleichgestellten, unabhängigen (Fach)KollegInnen aus anderen (vergleichbaren) Institutionen

Baut auf einer Selbstevaluierung auf

Schließt einen Peer Besuch ein

Evaluationsverfahren mit langer Tradition im Hochschulbereich


Allgemeines Ziel des Europäischen Peer Reviews


unterstützt Bildungseinrichtungenin ihren Bemühungen

zur Verbesserung der Qualität ihres Bildungsangebots.



Grundlegende Charakteristika

Ablauf - Phasen eines Europäischen Peer Review

Peers

Qualitätsbereiche


Peer Review als formative Evaluation

Europäisches Peer

Review

WachstumKontrolle

Macht Dialog

VerantwortungVertrauen

Evaluationslandkarte nach Nisbet 1990

Entwicklungnach innen

nach außenRechenschaft


Grundlegende Charakteristika Peer Review Externe formative Evaluation Ziel: Unterstützung der Qualitätsentwicklung an der

evaluierten Schulen ("improve not prove") innerhalb der Profession (in der Berufsbildung) durch "kritische

FreundInnen" freiwillige Entscheidung der Schule zur Teilnahme, Ergebnisse

ergehen an die Schule, die über die weitere Nutzung entscheidet qualitatives Verfahren:

qualitative Evaluationsmethoden, Nutzung von existierenden quantitativen Daten

Evaluation im Netzwerk


Phasen eines Peer Reviews


Wer ist ein Peer?Ein/e Peer ist eine Person, die gleichgestellt ist mit der Person bzw. den Personen, deren Leistung

überprüft wird die im gleichen oder einem ähnlichen Fachbereich arbeitet und/oder in

einer vergleichbaren Einrichtung die extern (d.h. aus einer anderen Einrichtung kommt) und unabhängig ist

(ohne persönliche/institutionelle Parteilichkeiten)

und die über spezifische professionelle Fachkenntnisse und Expertise verfügt

(ähnliche Ausbildung, Werte, professionelle Kompetenzen und Haltungen, gemeinsame Sprache etc.) und

damit bis zu einem gewissen Grad „Insiderwissen“ über den zu evaluierenden Bereich in den Prozess einbringt und dieses mit der externen Sichtweise verbindet („externe/r InsiderIn“).


Zusammensetzung der Peer Teams4 Peers Beruflicher Hintergrund /

Institutionelle HerkunftErforderliche Kenntnisse und Kompetenzen

2 (min.) KollegInnen aus anderen Schulen (LehrerInnen, Management, Qualitätsbeauftragte, etc.)

Qualitätsbereiche Unterrichtserfahrung Qualitätssicherung und

Evaluation

1 VertreterInnen von Stakeholdergruppen (Unternehmen, zubringende und abnehmende Systeme, Sozialpartner, etc.)

Qualitätsbereiche Qualitätssicherung und

Evaluation

1 ProfessionelleR EvaluatorIn (kann auch von einer/m Peer der anderen Kategorien abgedeckt werden)

Expertise in Evaluation, Moderation and Kommunikation

Berufsbildungssystem

Gender Mainstreaming Expertise; ein Peer aus einem anderen Land


Was wird evaluiert?

Institutionelle Evaluierung: Schulen oder Teile von Schulen (keine Evaluierung von Personen!)

"Kerngeschäft" Lehren und Lernen im Mittelpunkt Prinzipiell mit jedem Qualitätsrahmen verwendbar

Österreich z.B. Q-Matrix in jeweiliger Ausprägung Transnationale Peer Reviews:

"Europäische Qualitätsbereiche" (14 Qualitätsbereiche)4 Bereiche zum Thema "Lernen und Lehren"Zuordnung der nationalen Qualitätsrahmen möglich sowie nationale Ergänzungen


Europäische Qualitätsbereiche QA 1: Lehrpläne QA 2: Lernen und Lehren QA 3: Prüfen und Beurteilen QA 4: Lernergebnisse und

berufliche Verwertbarkeit QA 5: Sozioökonomisches Umfeld

und Zugang QA 6: Management und

Verwaltung QA 7: Ziele & Werte und

strategische Planung

QA 8: Infrastruktur und finanzielle Ressourcen

QA 9: Personal: Planung, Rekrutierung, Entwicklung

QA 10: Arbeitsbedingungen QA 11: Außenbeziehungen und

Internationalisierung QA 12: Partizipation und soziale

Beziehungen QA 13: Gender Mainstreaming QA 14: Qualitätsmanagement und

Evaluierung

Mindestens einen der Qualitätsbereiche 1-4 "Schlüsselprozesse"


Peer Review & CQAF

Peer Review Prozess

(Analyse des Selbstberichts; Peer Besuch)

Follow-up(Konsequenzen aus dem Peer Review Bericht und Follow-up Aktivitäten) Peer Review

Bericht (Stärken &

Empfehlungen zur

Verbesserung)

Selbstevaluierung der

Einrichtung(Selbstbericht

)

Peer Review

Methode

CQAF Modell im Europäischen Peer Review

Peer Review als Methode

Beitrag zu externer Evaluierung

Verwendung von Indikatoren

Beitrag zu gegenseitigem Vertrauen, Transparenz

Peer Review unterstützt die Weiterentwicklung des CQAF


Peer Review als Evaluationsverfahren Peer Review als Instrument externer

Qualitätsbewertung (3. Element des CQAF-Modells). Flexibles Verfahren, baut auf bestehenden

Qualitätsaktivitäten auf (keine Dopplungen) Einfache Anwendbarkeit für Schulen (auch für

“Anfänger" in externer Evaluation) Kombination von interner und externer Evaluation:

Qualitätsentwicklung und Nachvollziehbarkeit. Kostengünstig


Peer Review als Evaluationsverfahren Hohe Nützlichkeit aus Sicht der Anwender Effizienz/Effektivität

(Beitrag zum 4. Element des CQAF-Modells): Verantwortlichkeit der Schule – unterstützt Effizienz. Hohe Akzeptanz von Peers in den Schulen. Wiederkehrende Reviews steigern fortlaufende Qualitätsentwicklung.

Innovationstransfer und Netzwerkbildung Öffnung, Dialog gegenseitiges Lernen (Nutzen für alle Beteiligten);

Ergebnisse und Erfahrungen bleiben „im System“.

Stärkt Qualitätsbewusstsein bei den Beteiligten im System (bottom-up) – passt zu Dezentralisierungsstrategien.


Die Qualitätsbereiche und der CQAF

DurchführungQualitätsbereiche 2, 8, 9, 10, 11, 12

ÜberprüfungQualitätsbereiche

13, 14

Evaluierung & Bewertung

Qualitätsbereiche 3, 4

PlanungQualitätsbereich

e5, 6, 7, 1

Peer ReviewMethode

2) Qualitätszirkel in jedem Qualitätsbereich enthalten.

1) Zuordnung der Qualitätsbereiche zu den Elementen des CQAF-Modells.


Ausblick

ENQA-VET: Thematische Gruppe zu Peer Review (2008-2009)

Nationale/regionale Implementierung in: Österreich, Finnland, Italien, Ungarn, Katalonien (Spanien)

Weitere eigeninitiative Aktivitäten in Berufsbildungseinrichtungen in verschiedenen Ländern


Peer Review Website

Die Peer Review Website bietet Information zu dem Europäischen Peer Review Verfahren den Peer Review Projekten Erfahrungen mit Peer Review Peer Review Implementierung

und Literatur und praktische Materialen: Peer Review Handbuch Peer Review Toolbox Berichte, Artikel, Publikationen, Erfahrungen

www.peer-review-education.net


Kontakt

Europäische Peer Review KoordinationÖsterreichisches Institut für Berufsbildungsforschung(öibf)

Mag. Dr. Maria Gutknecht-Gmeiner [email protected] Mag. Judith Proinger [email protected]

+43 – 1 – 31 0 33 34 - 0

www.oeibf.at

www.peer-review-education.net

Documents

© Maria Gutknecht-Gmeiner 2008 Einführung in das Europäische Peer Review - die Projekte - das Verfahren - Peer Review und der CQAF