Upload
lengoc
View
219
Download
0
Embed Size (px)
Citation preview
1
Niels Laag
Leiter des Referats „Evaluation und Qualitätssicherung“
8. Norddeutsche Werkstatttage Qualitätssicherung und -entwicklung
am Beispiel der Evaluation der Modularen Qualifizierung
der Schulberaterinnen und Schulberater
der Länder Berlin und Brandenburg
Pit Spieß
Leiter des Referats „Qualifizierung und Weiterbildung“
Beitragseinordnung – Forschungskontext
2
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Forschungsbeiträge und Evaluationsstudien (nach sozialwissenschaftlichen Maßstäben)
Forschungsbeiträge und
Evaluationsstudien (theorie- und hypothesengeleitet)
Erfahrungsberichte aus der Praxis (Forschungspropädeutik: Fragestellungen/Hypothesenbildung)
Überprüfung von
Konzepten auf
anwendungsbezogene
Brauchbarkeit Überprüfung von Konzepten auf
theoretische Stimmigkeit
Austausch von Erfahrungen, Erkenntnissen
und Überlegungen in Intergruppen
2
Input
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015 3
Fahrplan für heute …
Unser Institut und das Thema der Tagung
Konzeption der Modularen Qualifizierung der Schulberaterinnen
und Schulberater in Berlin und Brandenburg
Onlinegestützte Veranstaltungsevaluation und
zusätzliche statistische Erhebungen
Ergebnisnutzung – Qualitätsmanagement
Regionale Fortbildung und Schulberatung in staatlicher Aufsicht
Erfahrungsaustausch/Diskussion
Unser Institut und das Thema der Tagung
4
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Unterrichtsentwicklung in den Fächern, Lernbereichen und Bildungsgängen
einschließlich der Rahmenlehrpläne und der zentralen Prüfungen,
Qualifizierung von Schulleitungspersonal und Zielgruppen der Schulbehörden, soweit
nicht durch die regionale Fortbildung wahrgenommen,
Schul- und Modellversuche sowie die Durchführung von Schul- und
Schülerwettbewerben,
Medienpädagogik, Medienarbeit und multimediale netzbasierte Unterstützungssysteme
in den Bereichen Schule und Weiterbildung/ Erwachsenenbildung,
Qualifizierung des Fachpersonals im Bereich der Weiterbildung/Erwachsenenbildung.
Aufgaben laut Staatsvertrag
Landesinstitut für Schule und Medien Berlin-Brandenburg (LISUM)
gemeinsames Institut der Bundesländer
Berlin und Brandenburg
Quelle: eigene Aufnahme.
Sitz: Ludwigsfelde-Struveshof (Brandenburg)
Quelle: GVBl. für das Land Brandenburg (2006): Gesetz zum Staatvertrag vom 22. Mai 2006 über der Errichtung eines
gemeinsamen Landesinstituts für Schule und Medien Berlin-Brandenburg (LISUM), I/06, Nr. 13, S. 127.
3
Regionale Fortbildung und Schulberatung
in staatlicher Aufsicht
5
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Herausforderung: 2 Bundesländer = 2 Systeme
Berlin
13 Fortbildungsregionen (künftig 4 Regionen)
ca. 750 Schulberaterinnen und Schulberater
727 öffentliche Schulen
Brandenburg
4 Regionen (seit 10/2014)
ca. 350 Schulberaterinnen und Schulberater
696 öffentliche Schulen
Seit 2012 „verändertes“ Beratungs- und Unterstützungssystem im Land Brandenburg (BUSS)
Wandel von der Fachspezifik zur Schul- und Unterrichtsentwicklung
Quelle: eigene Darstellung.
Bildungsserver Berlin-Brandenburg
6
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Quelle:
http://bildungsserver.berlin-
brandenburg.de/modulare_
qualifizierung.html, Zugriff
[18.03.2015].
4
Beratungszeit/Anrechnungsstunden
7
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Berlin Brandenburg
Anspruch:
Lehrkräftefortbildung und
regionale Schulberatung
als Profession
Rollenklarheit
Quelle: eigene Darstellung des Referats 32/LISUM.
„pädagogischer
Doppeldecker“
Grundsätze der Weiterentwicklung
des BUSS in Brandenburg
8
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Schaffung von kooperativen Strukturen durch Bildung von
Schulgruppen bzw. die direkte Unterstützung von Netzwerken
Zuordnung von Schulberaterteams für die kontinuierliche Begleitung
dieser Schulgruppen/Netzwerke (einschließlich temporäre Ergänzung durch andere
Beraterinnen und Berater mit Spezialwissen)
Flexibilisierung des Beratungssystems durch Erhöhung der Beratertage
pro Schulberaterin bzw. Schulberater auf zwei Tage
Reduzierung der Anzahl separater Fachrichtungen und Schaffung
„komplexerer Kompetenzen“ der einzelnen Schulberaterinnen und
Schulberater
Integration der Berufseingangsphase in das BUSS
Quelle: MBJS (2012): Umsetzung der Konzeption zur Weiterentwicklung des Beratungs- und Unterstützungssystems für Schule und
Schulaufsicht (BUSS). Fassung im Geschäftsbereich 35/MBJS von 01.09.2012.
5
Anforderungen an Schulberaterinnen
und Schulberater in Brandenburg
9
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Allgemeine Kompetenzen
Schulentwicklungskompetenz
Prozessbegleitungskompetenz
Evaluationskompetenz
Lehr- und Lernkompetenz
Feldkompetenz zum System Schule (über Schulformen und ggf. Schulstufen hinweg)
Spezialisierungsthemen Begabtenförderung Biologie
Chemie Deutsch
Rechenschwäche Englisch
Flex/FdL Französisch
Geografie Geschichte
Informatik Kunst
Latein LER
Lese- Rechtschreib-Schwäche (LRS)
Mathematik Medien
Musik Physik
Politische Bildung Russisch
Sachunterricht Sport
Wirtschaft (Wirtschaft-Arbeit-Technik,
Übergreifende Themen, Praxislernen,
Betriebspraktika)
MQ-Curriculum
10
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Post- Zertifizierung
regelmäßige Teilnahme an Modulen +
Beratercoachings + …
Aufbauqualifizierung zur
Zertifizierung Belegverpflichtung nach Beauftragung (60 h)
+ Praxisprojekt
Basisqualifizierung Pflicht- und Wahlpflichtmodule (120 h)
MQ-Curriculum zur
Erstzertifizierung
befristet auf 3 Jahre
Rezertifizierung
Quelle: eigene Darstellung in Anlehnung an Laag/Schroth/Spieß, 2013.
6
Konzeption der Modularen Qualifizierung
11
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Dokumentation eines Praxisprojekts
BM (20 h)
Kompetenzorientiertes Lernen
BM (20 h)
Unterrichtsentwicklung als
Organisationsentwicklung
BM (20 h)
Beraten ∙ Begleiten ∙
Fortbilden
Erstzertifizierung
EM EM EM EM EM EM „ST“
EM EM EM „ST“
EM-Katalog
AM (Pflicht)
AM (Pflicht)
AM (Pflicht)
AM (Wahl)
AM (Wahl)
AM (Wahl)
AM-Katalog
60 h:
Programm nach
Beauftragung
60 h:
Wahlpflichtpro-
gramm
60 h:
Pflichtprogramm
Horizontale und vertikale Verzahnung der MQ-Angebote
Quelle: eigene Darstellung in Anlehnung an Laag/Schroth/Spieß, 2013.
Zertifizierung
12
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Belegverpflichtung
ein Basismodul in jeder Säule, zwei Aufbaumodule in jeder Säule, sechs
Erweiterungsmodule
Vorlage eines elektronischen Portfolios
Beauftragung der Schulaufsicht, Nachweise über erfüllte
Belegverpflichtungen, Reflexionen über den eigenen Lernweg,
Dokumentation eines Praxisprojektes, individuelle Visitenkarte
Abschlussgespräch
Vorstellung eines Praxisprojektes, Erläuterungen zum Portfolio
40 Schulberaterinnen und Schulberater aus Brandenburg (>9%)
6 Schulberaterinnen und Schulberater aus Berlin (<1%)
Aktueller Zertifizierungsstand
Zertifizierungsauflagen
Rezertifizierung
7
Onlinegestützte Veranstaltungsevaluation
13
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Z
Z Z
Z
Kombination von Erhebung
und
elektronischem Versand der
TN-Bestätigungen
Erweiterung des
internen datengestützten
Steuerungswissens
sowie
zielgerichtetere
Gestaltung des internen
Steuerungshandelns
Intensivierung
der Information und
Kommunikation bzgl.
interner Bestrebungen
zur Qualitätssicherung
und
Qualitätsentwicklung
Z
nutzerfreundlichere
Datenaufbereitung
sowie
Vereinfachung
bisheriger
Auswertungsprozesse
Z
Erhöhung
von Transparenz (z. B. aggregierte
Rückmeldungen per Mail an
TN + Dozentinnen und
Dozenten)
Zielsetzungen (mittel- und unmittelbar)
Generierung
differenzierterer
VA-Rückmeldungen
unter Einsatz eines
zeitgemäßen
Erhebungsverfahrens
Onlinegestützte Veranstaltungsevaluation
14
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
verantwortungsvoller
Umgang mit der
Fortbildungsdatenbank
Einsatz eines
nutzerfreundlichen
Erhebungsinstruments
Zusammenspiel der
inhouse-beteiligten Akteure
(abteilungsübergreifende
Kooperation und Kommunikation)
Gewährleistung
von Anonymität
und sensiblen
Datenumgang
zeitnahe Aufbereitung und
Rückspiegelung der
Befragungsergebnisse in
anwendungsfreundlichem
Auswertungsformat
interne und externe
Akzeptanz des Verfahrens
(Selbstverständnis)
mehrstufige, zielgruppenspezifische
Fragebogenentwicklung unter
Wahrung größtmöglicher Beteiligung
(Partizipation)
Wesentliche Gelingensbedingungen
Vorbildfunktion der
Führungskräfte
8
Onlinegestützte Veranstaltungsevaluation
15
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Erhebungsinstrument
Zufriedenheit (reaction)
Fokus: Akzeptanz der Fortbildung durch die TN?
Lernerfolg (learning)
Fokus: Erwerb neuen Wissens und neuer Fähigkeiten?
Theoretische Fundierung: Ebenen/Dimensionen von Donald Kirkpatrick
Transfer (behavior)
Fokus: Übertragung erlernter Fähigkeiten in die Praxis?
Ergebnisse (results)
Fokus: Effektivität der Fortbildung?
Quelle:
eigene Darstellung in
Anlehnung an Szymanski &
Bruder, 2012.
mehrstufiger Konstruktionsprozess
Fragebogenaufbau: 14 Aussagen + 4 offene Fragen kein „Happy-Sheet“
Onlinegestützte Veranstaltungsevaluation
16
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Erhebungsdetails
QuestBack EFS Survey (Software/EFS Plattform) der QuestBack GmbH
modernste Technologien und Methoden der Datenverschlüsselung (End-to-End)
Hosting im Rechenzentrum der Datagroup Bremen GmbH
Fragebogenuntersuchung anonym und unter Einhaltung der Erfordernisse des Datenschutzes
Quelle:
eigene Darstellung des Referats 32/LISUM unter
Nutzung der kostenpflichtigen Erhebungssoftware.
9
Onlinegestützte Veranstaltungsevaluation
17
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Auswertungsdimensionen
Evaluationsergebnisse
dozentenspezifisch
Evaluationsergebnisse
veranstaltungsspezifisch VA VA VA
Evaluationsergebnisse
insgesamt
Evaluationsergebnisse
bundeslandspezifisch
Evaluationsergebnisse
säulenspezifisch
BE BB
∑
∑ ∑ ∑
Kompetenz-orientiertes
Lernen
Unterrichts-entwicklung als Organisations-
entwicklung
Beraten Begleiten Fortbilden
Onlinegestützte Veranstaltungsevaluation
18
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Evaluationsergebnisse
veranstaltungsspezifisch
Evaluationsergebnisse
insgesamt
10
Befunde zusätzlicher statistischer
Auswertungen
19
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
2022
18 20
14
20
12
16
20
1417
10
14
8
17
75
8
19 19,517 17
11
19
910
17
0
10
20
30
40
50
60
Blau Grün Gelb Blau Grün Gelb Blau Grün Gelb
Basismodul Aufbaumodul Erweiterungsmodul
O 32 O 30
O 57
O 34 O 34
O 35
Quelle: eigene Darstellung des Referats 32/LISUM.
Modulspezifische Boxplotdarstellung
TN
Befunde zusätzlicher statistischer
Auswertungen
20
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
„Kontaktquote“ der Schulberaterinnen und Schulberater
Quelle:
eigene Berechnungen und
Darstellung des Referats 32/LISUM.
11
Befunde zusätzlicher statistischer
Auswertungen
21
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
6
57
39
59
7
14
81
42
65
8
1
25
97
47
1
0
20
40
60
80
100
120
Montag Dienstag Mittwoch Donnerstag Freitag
2011/2012 2012/2013 2013/2014
Wochentag
Modulanzahl
wochtagsspezifische Modulverteilung im Längsschnitt
Befunde zusätzlicher statistischer
Auswertungen
22
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Modulanzahl
Modulverteilung im Längsschnitt (nicht stattgefunden)
9
62
14
14
40
10
1
16
2
0 10 20 30 40 50 60 70
Referent ausgefallen
zu geringe Beteiligung
Veranstaltung verschoben
2013/2014 2012/2013 2011/2012
2013/2014: 19 von 190 VA (10 % Ausfallquote)
2012/2013: 64 von 270 VA (24% Ausfallquote)
2011/2012: 85 von 260 VA (33 % Ausfallquote)
Ausfallgrund
12
Ergebnisinterpretation
23
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Leitfragen:
1) Welche Informationen lassen sich aus der onlinegestützten Veranstaltungsevaluation sowie
der Längsschnittbetrachtung (MQ-Statistik) gewinnen?
2) Welche Schlussfolgerungen und Handlungsstrategien lassen sich für unsere Arbeit aus
den Evaluationsergebnissen ableiten?
Mehrstufiger Auswertungs- und Feedbackprozess
Intern
Säulen-/AG-Leiterinnen und Leiter
MQ-Klausur
Institutsleitungskonferenz (ILK)
Abteilungskonferenzen (AK)
Rückkopplungsschleifen
Extern
Bildungsverwaltungen (MBJS, SenBJW)
Landesamt für Schule und Fortbildung (LSA)
Norddeutsche Werkstatttage Oldenburg
Ergebnisinterpretation
24
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Schlussfolgerungen
Synchronisation der Beratertage
interne Professionalisierung des pädagogischen Personals + Rollenklarheit
Seminardidaktik (Planung, Moderation, Medieneinsatz, Materialien, Berücksichtigung der
TN-Kompetenzen, Theorie/Praxisbezug, Erfahrungsaustausch)
Organisation (Ausschreibungstexte, Raumgrößen, Absagekultur, VA-Ort, VA wiederholen,
WLAN)
Zeitverwendung (Länge des VA-Tags, Zeiten mit ÖPNV abstimmen, eher zweitägig,
Beratertage BE)
Angebot zusätzlicher Themen
verantwortungsvoller Umgang mit der Fortbildungsdatenbank (Einladungen)
Akzeptanz und Vermarktung der MQ + Absagekultur
13
Ergebnisinterpretation
25
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Stärken
• flexible/modulare Angebotsgestaltung
• bildungspolitische Schwerpunktausrichtung
• Bereichsverzahnung (UE+SE)
• MQ als Steuerungsinstrument
• Unterstützungssystem: Lernpfadbegleitung
• wesentlicher Motor der abteilungsübergreifenden Kooperation und Kommunikation im LISUM
• onlinegestützte Veranstaltungsevaluation
(Ausweitung auf andere Bereiche des LISUM)
Herausforderungen
• Modulausfallquote
• Ausweitung an Basismodulen und „gelben“ Modulen
• Rückgang der TN-Zahlen in BE
• Synchronisation der Beratertage in BE und BB
• Modulabstimmung/-verzahnung
• Kompetenzorientierung
• Kompetenzentwicklung und Rollenstärkung
• einheitliche PV M.14.001
• interne Akzeptanz der MQ
Chancen
• MQ-Curriculum sowie Zertifizierung
• Streichung nicht nachgefragter Module und/oder häufigeres Anbieten nachgefragter Module
• Anbieten nachgefragter Themen
• Identifizierung von MQ-Kernprozessen
• Fortführung der internen Professionalisierung
• Nutzung der TN-Kompetenzen
• Steigerung der in-und externen Akzeptanz
• Auftragsklärung mit Auftraggebern
Risiken
• Absatzschwierigkeiten/weitere Vermarktung in BE
• Verfügbarkeit des erforderlichen Know-hows
• Verhältnis von Theorie und Praxisbezug
• inhaltliche Überfrachtung von Veranstaltungen
• zeitlicher Umfang der Module (10 Fobi-Std. pro Tag)
Quelle: eigene Darstellung in Anlehnung an Laag/Spieß, 2014.
26
Unser Institut
MQ-Konzept
Onlineevaluation
SWOT und QM
Regionale Fortbildung
© Laag/Spieß, 8. Norddeutsche Werkstatttage - Universität Oldenburg, 19.03.2015
Von der Selbstevaluation zur
internen Evaluation
Erstellung von personenbezogenen Jahresauswertungen
Auswertung der personenbezogenen Jahresauswertung auf Wunsch der
Referentinnen und Referenten des LISUM in den Mitarbeitergesprächen
Erstellung von aggregierten Übersichten über externen Dozentinnen und Dozenten
kollegiale gegenseitige Hospitation im Zweijahresrhythmus mit standardisiertem
Feedbackbogen
Übertragung des Verfahrens auf weitere Bereiche
Weiterentwicklung des Erhebungsinstruments
Onlinegestützte Veranstaltungsevaluation
Aktivitäten ab 2015
ein weiterer Meilenstein im Kontext umfangreicher interner
Qualitätssicherungs- und Qualitätsentwicklungsbestrebungen
Steuerungsinstrument zur Generierung von datengestütztem
Steuerungswissen hinsichtlich der Eigenprodukte und
Dienstleistungen des LISUM
14
27
Vielen Dank für Ihre Aufmerksamkeit!
? ! Niels Laag
Leiter des Referats “Evaluation und Qualitätssicherung”
03378 209 320
Pit Spieß
Leiter des Referats “Qualifizierung und Weiterbildung”
03378 209 430