Embed Size (px)
Citation preview
Seiteneinsteiger StR V. Heise
1
Evaluation
Genesis - Orientierung – AufgabeMethoden – Stile – Strategie –ModellEvaluation im Schul- und Bildungswesen
Seiteneinsteiger StR V. Heise
2
Genesis - Orientierung – Aufgabe
UrgesellschaftGriechisch römische Antike
Europäisches-lateinisches MittelalterRenaissance
ManufakturzeitalterZeitalter der industriellen Revolution
20/21 Jahrhundert
Seiteneinsteiger StR V. Heise
3
Entwicklung - Orientierung – AufgabeEvaluation Erfolgskontrolle, Effizienzforschung, Begleitforschung, Wirkungskontrolle, Qualitätskontrolle, Controlling, Feststellen des Wertes einer Sache, Planungs- und Entscheidungshilfe, Bewertung von Handlungsalternativen
Kennzeichen wissensch. Evaluation• Evaluationsmaßnahmen angepasst an wissenschaftliche Techniken
und Forschungsmethoden und Ergebnisse• Ziel- und Zweckorientiertes Herangehen• Analyse der rechtlichen und moralischen Folgen der Evaluation • Fehleranalyse
Evaluationsvorhaben rechtfertigen sich nicht aufgrund des Findens von
absoluten Wahrheiten, sondern wegen ihres Beitrages zu einer Optimierung,
Ausschließen von Übeln und als Entscheidungshilfe.
Seiteneinsteiger StR V. Heise
4
Entwicklung - Orientierung – Aufgabe
Intrinsisch / extrinsisch
Auswirkung auf den Adressaten
Formativ / summativEinflussAuf den Prozess
EVALUATION
Orientierung auf die Bearbeitungsform:
Selbst/ Fremd-
evaluationPersonelle
Involviertheit
vergleichend / nicht
vergleichend
Lehrer und Schüler
Compliance/ Program impakt
Befolgung einer Maßnahme
Haben sich Lehrer überhaupt an
Vorgaben gehalten
Seiteneinsteiger StR V. Heise
5
Entwicklung - Orientierung – Aufgabe
Ergebnis-Output-oder
Produktevaluation
Nach einer Maßnahme
Antizipatorisch prognostisch –
prospektiv
Vor einer Maßnahme
EVALUATIONZeitliche Orientierung :
Prozess-oder dynamische Evaluation
Während einer Maßnahme
Seiteneinsteiger StR V. Heise
6
Entwicklung - Orientierung – Aufgabe
theorieorientiert
Falsi-und verifizierende
Bewertung von Hypothesen
praxisorientiert
Lernerfolg
EVALUATION
Orientierung auf Ziele:
entwicklungsorientiert
Verbesserung späterer
Anwendungen
Seiteneinsteiger StR V. Heise
7
Entwicklung - Orientierung – Aufgabe
Kontrollorientierte Eva. ; Bewertet die Durchführung einer Maßnahme vor dem Hintergrund der gesteckten Ziele und der Mittel. Sie überprüft auf Effizienz.
Entscheidungs-orientiert
Entscheidungs-Vorbereitung
Optimierungs-orientiert
Ziel- Mittel- Wirksamkeit
Bewertet die Rechtfertigung einer Maßnahme in Bezug auf die gesteckten Ziele. Sie überprüft auf Effektivität.
EVALUATIONOrientierung nach dem Zeck:
Legitimations-orientiert
Zieladäquatheit
Hat die Aufgabe, Informationen zu ermitteln, zu bewerten und zu dokumentieren.
Seiteneinsteiger StR V. Heise
8
Methoden – Stile – Strategie - Modell
METHODIK
Wissenschaftlich
QuantitativStatistische VerfahrenKategorial bestimmt
„naturalistisch“
QualitativVerbal beschreibend & interpretierende Verfahren entdeckend
Seiteneinsteiger StR V. Heise
9
Methoden – Stile – Strategie - Modell
EVALUATIONSINTERESSE
ErkenntnisStrenge Verfahren Theoriegestützt Generalisierbar Unabhängig -distanziert
ErfahrungFaustregeln von prakt. Interessen geleitet Situativ Teil eines Entwicklungsprozesses
Seiteneinsteiger StR V. Heise
10
Methoden – Stile – Strategie - ModellErkenntnis
Erfahrung
Wissen-schaftlich
Natura-listisch
EASTERBY - SMITH
Exp. Forschung aufklärende EVA
zieloffene EVA
Systemorientierte EVA Intervenierende
EVA
Seiteneinsteiger StR V. Heise
11
Methoden – Stile – Strategie - Modell Welche Maßnahme soll...
mit welcher Zwecksetzung / proving - improvingvon wem
wann und wo
vor welchem metatheoretischen Hintergrund
mit welchen Methoden
unter Einsatz welcher finanziellen, personellen und sachlichen Mitteln durchgeführt werden ?
Unter Berücksichtigung welcher inneren und äußeren Betrachtungsgegenstände und deren Beziehungsverflechtung
Seiteneinsteiger StR V. Heise
12
Ist Soll
Diskrepanz
Methoden – Stile – Strategie - Modell
Handlungs-optimie-rung !
Handlungsmodell : WEBIKLANTERMANN
SituationPerson
ZIELE
H1
H1.1 H1.2
H2
H2.1 H2.2
H3
H3.1 H3.2
Handlungspläne hierarchisch geordnet
Handlungsausführung
Ausführungskontrolle
ERGEBNIS
Folgen und Bewertung der Folgen
Seiteneinsteiger StR V. Heise
13
Evaluation im Schul- und Bildungswesen 1. DIMENSIONEN
TILLER“ kognitive Landkarte“
Kontrolle Wachstum/ Entwicklung
Rechenschaft externe Sicht
Professionalismus
interne Sicht
EVALUATION
MACHT Verständnis
Verantwortung Vertrauen
summativ extern
formativ
Selbst intern
BeurteilenBewertenTestenHarte Daten
VerstehenEinblickeEinsichten
Konsens- bildungVon der Basis ausgehend
Leistungsindikatoren Produkt
FlexibilitätProzess
ManagementZieleRationalitätPlanung
Seiteneinsteiger StR V. Heise
14
Evaluation im Schul- und Bildungswesen 2. ARGUMENTE
TILLER“ kognitive Landkarte“
Kontrolle Wachstum/ Entwicklung
Rechenschaft
Professionalismus
MACHT Verständnis
Verantwortung Vertrauen
Zur Rechenschaftslegung
Zur Schulentwicklung
SelbstreflexionBeteilungsinstrument
Argumente fürEVALUATIONin der Schule
Seiteneinsteiger StR V. Heise
15
Evaluation im Schul- und Bildungswesen 3. Welchen Nutzen kann Evaluation für die eigenen Arbeit haben ?
Erfahrungen dokumentieren und verfügbar machenSituationskontrolle
erhöhen
Neue Perspektiven der Arbeit und der Berufsrolle erkennen
Basis für Verständigung über Ziele und Grundlagen gemeinsamer Arbeit schaffen
Die Unbestimmtheit von Erfolg und Wirkung der Arbeit reduzieren
Eigene Praxis neu sehen
Sinnvolle und falsche Routinen erkennen
Begrenzte Ressourcen wirksam einsetzen
Handlungsbedarf erkennen
Rechenschaft ablegen über Zielerreichung und Erreichen von Qualitätsstandards
Bestätigung für bewährte und erfolgreiche Praxis
Gesicherte Grundlagen für Arbeitsplanung und Entscheidungen schaffen
Zielklarheit erhöhen
Vereinzelung des Lehrers im Unterricht aufheben
Unterrichtsbezogenen Kommunikation und Kooperation stützen
Schule – eine lernende OrganisationFreier Raum für Eigenes
Seiteneinsteiger StR V. Heise
16
Evaluation im Schul- und Bildungswesen 4. Ermittlung von Evaluationsgegenständen bei Lehr-und Lernprozessen
durch das Strukturgitterverfahren
Schule Lehrer SchülerVoraus-setzungen des Lernens und Lehrens
Bedarfs-ermittlungCurriculum Bedingungen
Lehr-kompetenz
Erfahrungs-horizontIndiv.ZieleIndiv. Voraussetzung
Prozesse des Lernens
Lehr-verhalten
Lernverhalten
Ergebnisse des Lernens
Qualitäts-kriterien
Lernerfolg
BANKDurch eine sukzessive Weiterführung des Verfahrens ist der Evaluationsgegenstand zu operationalisieren !
Seiteneinsteiger StR V. Heise
17
Evaluation im Schul- und Bildungswesen 5. Evaluationsmethoden
BANK
Welches Verfahren eignet sich für unserer Fragestellung am besten ?
Stärken- Schwächen Analyse Fragebogen
Gedankenlandkarte
TagebuchDokumentenanalyse
Interview
Foto-Dokumentation
Expertenbefragung
Biographie - Studie
Schwarzes Brett
Test
Aufsätze
Kartenabfrage
Schreibgespräch
BeobachtungAnalyse von Statistiken
Leitfaden-Gespräche
Die Entscheidung für ein bestimmtes Verfahren ist Teil des Evaluationsprozesses !
Seiteneinsteiger StR V. Heise
18
Evaluation im Schul- und Bildungswesen 6. Evaluationsverfahren
Peer -Review
Interne Evaluation mit „ kritischem Freund“
Fremder Blick. TIMMS; PISA Schule definiert Aufträge, das Evaluationsverfahren wird von außen aufbereitet.
Begleitung einer internen Evaluation durch eine kompetente Person, die in regelmäßigen Abständen berät.
Externe Evaluation durch Schulaufsicht
Selbstevaluation als Schule, als Fachkonferenz, als Gruppe oder als Lehrperson
Externe, aber mit den Problemen von Schule vertrauten Evaluatoren legen Bereiche und Instrumente fest, mit denen evaluiert wird.
Erkenntnisgewinn durch eigene „distanzierte“ Reflexion.
Seiteneinsteiger StR V. Heise
19
Evaluation im Schul- und Bildungswesen 7. Erfassungsverfahren von Evaluationen
Einstufung grading
Reihung ranking
Punktevergabe scoring
Zuteilung apportioning
süß salzig sauer
0 1 2 3 4 51
2
3
4
Zeitablauf timing
Seiteneinsteiger StR V. Heise
20
Evaluation im Schul- und Bildungswesen 8. Evaluationsrelevante Faktoren
Qualität
Motivation
Angemessenheit
Zeitmanagement
Unterricht
Seiteneinsteiger StR V. Heise
21
Evaluation im Schul- und Bildungswesen 9. Evaluationsrelevante Faktoren
Kooperation Koordination
Schulkultur
Personalpolitik Personalentwicklung
Schulmanage-ment
Schule
Seiteneinsteiger StR V. Heise
22
Evaluation im Schul- und Bildungswesen 10. Evaluationsrelevante Frageobjekte
Fakten
Wünsche/ Bedarf
Einstellungen/ Meinungen
Emotionen
Wie viel Zeit hatten die Schüler zur Bearbeitung des AB
Sollte Ihr Lehrer mehr Zeit für eine Fachdiskussion einräumen ?
Inwieweit stimmen Sie folgender Aussage zu : “ Sportunterricht sollte nur am Nachmittag stattfinden „
Wahrnehmungen Inwieweit trifft die Aussage zu: „ Die Lehrkräfte an dieser Schule arbeiten systematisch zusammen „ Wie fühlen Sie sich, wenn der Lehrer ............
Seiteneinsteiger StR V. Heise
23
Evaluation im Schul- und Bildungswesen 11. Arbeitsschritte von Evaluationen
1. Evaluationsbereich auswählen und Ziel der Evaluation klären !
2. Evaluationskriterien und Qualitätsindikatoren vereinbaren !
3. Vorgehen planen und Methoden zur Datensammlung auswählen !
6. Daten sammeln und aufbereiten !
7. Daten analysieren und bewerten !8. Konsequenzen vereinbaren und nächste Schritte planen !
5. Rolle der Schulaufsicht klären ( Kontrakt ) !
4. Daten und Personenidentitätsschutz abklären !
Seiteneinsteiger StR V. Heise
24
Evaluation im Schul- und Bildungswesen 12. Wie sollen Fragen formuliert werden ?
Verständlich für den, der sie beantworten soll.Sie soll Antwort geben, worauf man eine Antwort haben will.Sie muss spezifisch auf einen umrissenen Bereich gestellt sein.Sie soll nur nach einer Sache fragen.Sie soll nicht hypothetisch sein !
Der Fragebogen muss erprobt werden !!!
SKOLVERT S
Sie soll so kurz, wie möglich sein.
Suggestivfragen vermeiden !Antwortalternativen klar voneinander abgrenzen und gleichwertig formulieren.Alle denkbaren Alternativantworten sollten erfasst werden.
Die Anordnung der Fragen sollte die Abfragelogik nicht erkennen lassen.
Frage muss ethisch vertretbar sein.
Seiteneinsteiger StR V. Heise
25
Evaluation im Schul- und Bildungswesen 13. Interaktionszeiterfassung
Zeit
Geführtes L–S Gespräch
Lehrer Vortrag
Moder. Fachdiskussion
Schüler fragen Lehrer
Bearbeiten eines AB
Reine Schüler – Aktivität
0 2 4 5 6 8 10 12 14 16 18 min
EINSTIEG 1. ERARBEITUNGSPHASE
Seiteneinsteiger StR V. Heise
26
Ausgewähltes Beispiel :
Evaluation im Schul- und Bildungswesen 14.Gemeinsame Sichtweise für die eigene Schulpraxis entwickeln. Rating Assessment
HandlungNegative Einschätzung des Handlungsschrittes
Positive Einschätzung des Handlungsschrittes
Station - Was geschah wann ? Was tat der Lehrer ?
Was tat der Schüler A
Schritt allgemein
EINSTIEG LABOR
Seiteneinsteiger StR V. Heise
27
Ausgewähltes Beispiel :
Evaluation im Schul- und Bildungswesen 15.
Beobachtungsbogen zu Arbeitstechniken und Methodenkompetenzen von Schülern
Entnimmt dem Material gezielt relevante Informationen
Benennt das der Aufgabenstellung zugrunde liegende Problem.
Plant und strukturiert das eigene Vorgehen
Formuliert Hypothesen
Vollständig teils/teils gar nicht
Seiteneinsteiger StR V. Heise
28
Ausgewähltes Beispiel :
Evaluation im Schul- und Bildungswesen 16.
Beurteilung von Unterricht
Der Lehrer stellt kaum Praxisbezug her.
Die Gestaltung des Unterrichtes ist abwechslungsreich.
Es wird genug Zeit zur Bearbeitung von AB eingeräumt.
Es herrscht ein angenehmes Arbeitsklima.
- - - 0 + + +
- - - 0 + + +
- - - 0 + + +
- - - 0 + + +
Seiteneinsteiger StR V. Heise
29
Ausgewähltes Beispiel :
Evaluation im Schul- und Bildungswesen 17.
Evaluationszielscheibe
5 4 23
praxisbezogen
verständlichauthentisch
emphatisch
Grad der Fachlichkeit
souveräne Unterrichtsführungzielorientiert
abwechslungsreich
Seiteneinsteiger StR V. Heise
30
Evaluation im Schul- und Bildungswesen 18. Auswertung gesammelter Daten
1. Wie können die Daten zu einer Analyse aufbereitet und visualisiert ?
2. Was sind die zentralen Aussagen ?
3. Was bestätigt, was widerspricht unseren Einschätzungen ?
4. Welche Ergebnisse sind überraschend ?
5. Wo und warum zeigen sich Ungereimtheiten ?
6. Wozu sagen die Ergebnisse nichts aus ?
7. Wo zeigt sich Handlungsbedarf ?
Seiteneinsteiger StR V. Heise
31
Auswertung gesammelter Daten
Evaluation im Schul- und Bildungswesen 19. Wie können die Daten zu einer
Analyse aufbereitet und visualisiert ?z.B. Auswertung der DimensionenVon jedem Item werden die Rohdaten in einen Zahlenwert transformiert. Bei fehlenden Antworten ist der Neutralwert zu nehmen. Bei mehr als zwei Fehlstellen bleiben die Daten unberücksichtigt.Anschließend sind die Zahlenwerte der Items pro Dimension zusammenzurechnen ( Summenscore) und die Summenscores durch die Anzahl der Beteiligten zu dividieren und z.B. in einen Profilbogen zu übertragen.
Abfragepunkte
SummenscoreGruppeEinzelner
Seiteneinsteiger StR V. Heise
32
Bedenkenswertes
Evaluation im Schul- und Bildungswesen 20.
Evaluation tritt in einem ausgesprochen rationalen Gewand auf und hat doch einen erheblichen „ emotionalen Tiefgang“. BURKHARD 1998
Die ethischen und moralischen Ansprüche an eine Evaluation sollten gründlich bedacht und bei Zweifel verändert werden.
Die Gefahr, zuviel interessantes Material anzusammeln, ist größer als die Möglichkeit einer effizienten Nutzbarmachung.
Eine gute Evaluationskultur braucht Zeit und Vertrauen neben der Gewinnung von Routine bei der professionellen Nutzung der Evaluationsinstrumente.
Offenheit, Transparenz , Zugänglichkeit und Aussagen zur Validität der Daten ist Kennzeichen für eine solide Evaluation. Die beste Evaluation ist die, die man selbst geplant, durchgeführt und ausgewertet hat.
Prozesse, Gruppen und sich selbst evaluieren zu können, ist eine Lehrerkompetenz.
Daher !
Seiteneinsteiger StR V. Heise
33
Literatur
Qualität entwickeln: Evaluieren, Friedrich Jahresheft 2001
Schratz, M.: Methodenkoffer, erste Hilfe zur Selbstevaluation. – In: Qualität entwickeln, a.a.O., S. 113 - 136
