Vergleichsarbeiten DVA im Kontext der Qualitätsentwicklung – Umgang mit den Ergebnissen Gastvortrag für Lehramtsstudierende Universität Tübingen, 20.Januar

Vergleichsarbeiten „DVA“ im Kontext der Qualitätsentwicklung – Umgang mit den Ergebnissen

Gastvortrag für Lehramtsstudierende

Universität Tübingen, 20.Januar 2011

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Gastvortrag Universität Tübingen für Diplom- Masterstudierende, 20.01.2011 - 2 31 – Müller-Rosigkeit

„DVA“ im Kontext der Schulentwicklung

Umgang mit den Ergebnissen

Kritikanalyse

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


... als Reaktion auf das schlechte Abschneiden in internationalen den Schulleitungsstudien

Rücknahme vonstaatlichen Vorgaben

Rechenschaftslegung der Erreichung von Zielvorgaben

Vorgabe von Zielen

Paradigmenwechsel bei der Steuerung der Schulen …

Stärkung der Eigenverantwortung der Einzelschule

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Kernpunkte der aktuellen Schulentwicklung zwischen Freiheit und Bindung

Schulentwicklungspläne:

Schulprogramm, Leitbild, Schulkonzept …

Kerncurriculum und Schulcurriculum

Bildungsstandards

Kontingentstundentafel

Qualitätssicherung und Qualitätsentwicklung: Evaluationo Zentrale, systematische Lernstandserhebungen „DVA/VERA“

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Informelle, frei wählbare Verfahren (Beobachtungsbogen,

Fragebogen, Interviews etc.)

EVALUATION

Selbstevaluation Fremdevaluation

Standardisierte, verpflichtend einzusetzende

Lernstandserhebungen„VERA/DVA“

Gegenstand ist der Umgang mit den

Lernstandserhebungen „VERA/DVA“

„DVA“ - Vergleichsarbeiten als Instrument der Evaluation

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Die Vergleichsarbeiten „DVA“ sind standardisierte Lernstandserhebungen,

die von Lehrkräften und Fachdidaktikern in Zusammenarbeit mit

Empirikern nach sozialwissenschaftlichen Methoden entwickelt werden.

An Verfahren dieser Art werden folgende Anforderungen gestellt: zielgerichtete und systematische Konstruktion von Aufgaben standardisierte Durchführung, Korrektur, Auswertung Erprobung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter/bundesweiter Vergleichswerte Evaluation der Arbeiten und des Verfahrens

In Baden-Württemberg werden Vergleichsarbeiten „DVA“ für die

weiterführenden Schularten (HS, RS, GY) im Lande selbst entwickelt,

in der Grundschule wird das bundesweite Verfahren „VERA“ eingesetzt.

„DVA“ - Standardisierte Testverfahren

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Unterschied Vergleichsarbeiten zu Klassenarbeiten

Vergleichsarbeiten „DVA“

sind standardisierte Tests, die – unabhängig vom Unterricht und der Klassensituation – das Erreichen von Kompetenzen des Bildungsstandards messen. Sie zielen damit auf nachhaltige Lernergebnisse.

Die Bewertungsmaßstäbe werden empirisch ermittelt.

Klassenarbeiten

sind informelle Verfahren, die – abhängig vom Unterricht und der Klassensituation – den Lernerfolg aktueller Unterrichtseinheiten überprüfen. Sie zielen damit auf lernprozessnahe Überprüfung des Lernerfolgs.

Die Bewertung unterliegt dem pädagogisch-didaktischen Expertenurteil der Lehrkräfte.

Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen

Zielsetzungen einen wichtigen Stellenwert in der Schule!

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


SEV in BW: Qualitätshaus jeder einzelnen Schule

Prozesse

Voraussetzungen und Bedingungen

Ergebnisse und Wirkungen

IUnterricht

IIProfessionalität der

Lehrkräfte

IIISchulführung und Schulmanagement

IVSchul- und

Klassenklima

VInner- und

außerschulische Partnerschaften

Rahmenvorgaben

Sächliche und personelle Ressourcen

Schüler/-innen sowie deren Lebensumfeld

Fachliche und überfachliche Lernergebnisse

Schul-/Laufbahn-erfolg

Bewertung schulischer Arbeit

Qualitä tssicherung und Qualit ä tsentwicklung

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


„DVA” – Einbettung in den Orientierungsrahmen

Orientierungsrahmen zur Schulqualität

„Prozesse“ – „Qualitätsbereich I, Unterricht“ Bei der „Gestaltung der Lehr- und Lernprozesse“ wird die Aufbereitung, Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Vergleichsarbeiten, in den Blick genommen.

„Ergebnisse und Wirkungen“ – „fachliche Lernergebnisse“

Die Rückmeldungen dienen dazu, dass die Schule ihre Arbeit an den von den Schülerinnen und Schülern erbrachten fachlichen Leistungen, zum Beispiel aus den Vergleichsarbeiten, reflektiert.

„Qualitätssicherung und Qualitätsentwicklung“

Der Blick wird auf die systematische Weiterentwicklung von Schule und Unterricht gerichtet. Dementsprechend wird gefragt, wie die Schule Selbstevaluation durchführt, ob sie sich beispielsweise an einer systematischen Abfolge von einzelnen Schritten orientiert.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Zielsetzungen der Vergleichsarbeiten „DVA“

Qualitätsentwicklung der Schule

Die Vergleichsarbeiten überprüfen, inwieweit es den Schulen gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung vor Ort.

Die Arbeiten liefern landesweite Vergleichswerte für die Selbstevaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation.

Feststellung des Lernstands der Schülerinnen und Schüler

Die Vergleichsarbeiten vermitteln den Lehrkräften, den Schülerinnen und Schülern sowie deren Eltern in bestimmten Fächern objektive Informationen über den individuellen Lernstand in Hinblick auf ausgewählte Schwerpunktbereiche des Bildungsstandards.

Die Informationen zu den Lernvoraussetzungen der Klasse und einzelner Schülerinnen und Schüler, die zu Beginn eines neuen Bildungsabschnittes festgestellt werden, können bei der gezielten Planung des weiteren Unterrichts helfen.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter




Kritikanalyse

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Vergleichsarbeiten ermöglichen eine objektive Feststellung des Leistungsstands und einen Vergleich mit Referenzwerten. Der Erfahrungshorizont der Lehrkräfte, der in der Regel auf die Klasse und die Schule beschränkt ist, wird dadurch erweitert.

Die Daten können von verschiedenen Personengruppen unterschiedlich genutzt werden:

in erster Linie von der einzelnen teilnehmenden Fachlehrkraft hinsichtlich des eigenen Unterrichts

von Lehrerteams - einer Klasse, hinsichtlich der Förderung von Einzelschüler/innen oder Schülergruppen - eines Faches, hinsichtlich der fachdidaktischen Weiterentwicklung- der Jahrgangsstufe, hinsichtlich der Förderung ganzer Klassen oder klassenübergreifender Schülergruppen

von benannten und befugten Schulteams hinsichtlich der schulischen Grundsätze, des Leitbilds, der Rahmenbedingungen, ….

Nutzung durch verschiedene Gruppen

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Die Nutzung der Daten sollte zielgerichtet und systematisch verlaufen.

Ergebnisse werden analysiert

Ergebnisse werden interpretiert

Konsequenzen werden gezogen (Ziele werden formuliert, Maßnahmen geplant und umgesetzt)

Die Auswertungsergebnisse werden in eigener Verantwortung für die interne Schulentwicklung genutzt.


Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


1. Schritt: Analyse der Ergebnisse (1)

Ergebnisse analysieren heißt,

die in der Auswertungsmappe dargestellten Ergebnisse systematisch betrachten und Auffälligkeiten feststellen:

Bedeutung von Zahlenwerten und Darstellungen klären extrem hohe und extrem niedrige Werte ermitteln Vergleiche mit Bezugsgruppen ziehen

(Parallelklassen, Schule, Land, Gesamtheit) bedeutsame Unterschiede feststellen inhaltliche Zuordnungen zum Bildungsplan vornehmen Vergleich mit eigenen Erwartungen herstellen

Dies geschieht jeweils auf der Ebene einzelner Schüler/innen, der Klasse,

der Parallelklassen, der Schule.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Analyse der Ergebnisse (2)

Auswertungsmappe “Klasse”

für die durchführenden Lehrkräfte

zeigt den Lernstand der Klasse

konzipiert für den klassenbezogenen Vergleich

Auswertungsmappe “Schule”

für die Schulleitung oder Schulteams

Überblick über Leistungen der Schule insgesamt

konzipiert für den klassenübergreifenden Vergleich

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


zurück

Auswertungsmappe “Klasse” - Gesamttest

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Auswertungsmappe “Klasse” – Lösungshäufigkeiten Items

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Auswertungsmappe “Klasse” - Schwerpunktbereiche

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Auswertungsmappe “Klasse” - Leistungsgruppen

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Auswertungsmappe “Klasse” - Einzelergebnisse

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Auswertungsmappe „Schule“ - Gesamttest

Wie viel Prozent wurden im Mittel insgesamt von den Schülerinnen und Schülern gelöst?Inwieweit weichen die jeweiligen Klassenergebnisse von der Vergleichsstichprobe ab?

ParallelklassenvergleichReferenzbereich jeweils10% und mehr

Klasse 9 b:weicht insgesamt deutlich von den anderen Klassen ab und liegt unterhalb des Referenzrahmens

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Auswertungsmappe „Schule“ - Schwerpunktbereiche

Wie viel Prozent der Items in den einzelnen Schwerpunktbereichen wurden im Mittelvon den Schülerinnen und Schülern der jeweiligen Klassen gelöst?Inwieweit weichen die Klassen von der Vergleichsstichprobe ab?

ParallelklassenvergleichReferenzbereich jeweils10% und mehr

Klasse 9b: weicht im SPB II deutlich nach unten vom Referenzbereich und von den anderen Klassen ab

Klasse 9d:weicht im SPB II deutlich nach oben vom Referenzbereich und von den anderen Klassen ab

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Auswertungsmappe „Schule“ - Leistungsgruppen

Wie verteilen sich die Schülerinnen und Schüler der jeweiligen Klassen (Kurse, Gruppen) in den einzelnen Schwerpunktbereichen auf die Leistungsgruppen? Inwieweit weichen die Verteilungen von der Vergleichsstichprobe ab?

Parallelklassenvergleichbezüglich der Verteilung in den LG:

Klasse 9bstark besetzte untere LG,dafür schwach besetzte mittleren LG

Klasse 9cschwach besetzte mittlere LG, dafür stark besetzte Randgruppen

Klasse 9dstark besetzte obere LG, dafür schwach besetzte mittlere LG

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


2. Schritt: Interpretation der Ergebnisse

Ergebnisse interpretieren heißt,

die aus der Analyse gezogenen Erkenntnisse systematisch und umfassend deuten:

erste Bewertungen vornehmen und Erklärungen suchen

Auffälligkeiten und Abweichungen umfassend deuten

mögliche Ursachen und Hintergründe suchen

Vermutungen über Zusammenhänge formulieren

Bei den Rückmeldungen handelt es sich um Momentaufnahmen. Zur Absicherung und Stützung der Erklärungsansätze sollten daher weitere relevante Kriterien und Erkenntnisse herangezogen werden.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Schulleistungsmodell

Schulleistungen werden durch vielfältige Faktoren beeinflusst, die in

einem komplexen Zusammenhang zueinander stehen und sich

wechselseitig bedingen.

Bedingungsfaktoren finden sich in mehreren Bereichen:

Persönlichkeit der einzelnen Schülerin/des einzelnen Schülers Klasse Unterricht/Fach Schule

Einer systematischen Interpretation sollte daher ein Schulleistungsmodell

zugrunde gelegt werden.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Störende Einflussfaktoren bei der Interpretation

Subjektive Persönlichkeitstheorien können die Erklärungsansätzeverfälschen.

Halo-Effekt(Gesamteindruck aufgrund von Sympathie/Antipathie wird auf einzelne Eigenschaften übertragen)

Logische Fehler(von einer Eigenschaft wird auf eine andere geschlossen)

Milde- oder Strengeeffekt(als „gut“ eingeschätzte Schüler/innen werden milder bewertet,als „schlecht“ eingeschätzte Schüler/innen werden strenger bewertet)

Ähnlichkeitsfehler / Kontrastfehler (Beurteiler schreibt der zu beurteilenden Person ähnliche oder gegensätzliche Merkmale wie sich selbst zu)

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


3. Schritt: Konsequenzen ziehen

Konsequenzen ziehen heißt,

Ziele für das weitere Vorgehen formulieren, Maßnahmen planen und umsetzen:

für die Schule für einen bestimmten Fachbereich

für eine gesamte Jahrgangsstufe

für den eigenen Unterricht

für bestimmte Klassen

für die einzelne Schülerin / den einzelnen Schüler

Die Erreichung der Ziele und Durchführung der Maßnahmen sollte immer wieder reflektiert werden.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Bereiche für Zielformulierungen und Maßnahmenplanungen

Mögliche Bereiche, die für Zielformulierungen und Maßnahmenplanungen genutzt werden können – unter Beachtung der jeweils gegebenen sächlichen und personellen Ressourcen:

Unterrichtsqualität

Diagnose und Förderung

Kooperations- und Teamstrukturen

Reflexion

Der Umgang mit den Daten – die drei Schritte Analyse, Interpretation, Konsequenzen ziehen – sollte dokumentiert werden.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter




Kritikanalyse

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Kritisierte Aspekte : Akzeptanz durch Lehrkräfte

Lehrkräfte haben ein geringes Interesse an empirisch ermittelten Daten.Sie können diese nicht ohne weitere Hilfe für die Unterrichts- und Schulentwicklung nutzen. Es wird befürchtet, dass die Daten als Kontrollinstrument dienen.

Der Umgang mit empirischen Daten war früher kein bzw. selten Inhalt der Lehrerausbildung. Die datengestützte Unterrichtsentwicklung erfordert Veränderungen in der Tätigkeit und Selbstwahrnehmung der Lehrkräfte. Zur Implementation der DVA wurde eine „Handreichung zum Umgang mit den Ergebnissen“ entwickelt, ebenso werden Fortbildungen an der Landesakademie angeboten.

Die Daten der „DVA“ verbleiben an der Schule und werden nur intern genutzt. Sie werden nicht an das LS zurückgemeldet und haben keine Kontrollfunktion.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Kritisierte Aspekte: Lernmotivation

Nichtwissen/Nichtkönnen erzeugt bei Schülerinnen und Schülern Versagensängste mit negativen Auswirkungen auf die Lernmotivation.

Dies gilt nicht isoliert für Vergleichsarbeiten, sondern für alle Beurteilungssituationen.

Schule und Lehrkräfte sollten durch Informationen über Sinn und Zweck der Tests sowie durch eine motivierende, leistungsfördernde Haltung eventuell bestehende Ängste abbauen und die Schüler/-innen unterstützen. Wenn Schüler/-innen und auch deren Eltern bewusst wird, dass mit den Ergebnissen der Vergleichsarbeiten ein fundierter landesweiter Bezugsrahmen geliefert wird, der auch der eigenen Lernbiographie zugute kommt, wird dies eher Anreiz als Abschreckung sein.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Kritisierte Aspekte: Lernprozessdiagnose

Die Lernprozesse und Denkvorgänge der Schüler/innen werden nicht erfasst, wodurch keine Aussage über die detaillierten Leistungsschritte („tatsächliche Leistung“) getroffen werden kann.

Lernstandserhebungen sind Momentaufnahmen, die den Leistungsstand objektiv zurückmelden und eine Einordnung aufgrund des Referenzrahmens ermöglichen. Sie sind damit ein Mosaikstein in der Beurteilung von Schülerleistungen.

Bei Auffälligkeiten sind weitere Verfahren einzusetzen formelle Verfahren, wie Tests zur Prozessdiagnose oder

Schulleistungstests und informelle Verfahren, wie systematische Beobachtung, diagnostische

Gespräche führen oder Fehleranalysen.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Kritisierte Aspekte: Fairer Vergleich

Lehrkräfte können für erreichte Klassenleistungen nur bedingt verantwortlich gemacht werden, da Klassen unterschiedlichen Rahmenbedingungen unterliegen.

Bei der Interpretation der Daten sind die sozialen Kontextfaktoren einer Klasse mitzubedenken. Für einen eindeutigen fairen Vergleich müssten Sozialfaktoren erhoben werden, die datenschutzrechtlich meist problematisch sind. Bei VERA 3 wird derzeitig ein Verfahren zu einem fairen Vergleich angeboten, das auf der Einschätzung der Lehrkräfte basiert. Hierbei können Lehrkräfte ihre Klasse mit einer Gruppe von Klassen vergleichen, die in der Zusammensetzung des sozialen Kontextes ähnlich sind.

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter

Platzhalter


Informationen zu den Diagnose- und Vergleichsarbeiten:

www.dva-bw.de

Documents

Vergleichsarbeiten DVA im Kontext der Qualitätsentwicklung – Umgang mit den Ergebnissen Gastvortrag für Lehramtsstudierende Universität Tübingen, 20.Januar