72
Integriertes Schulmanagement- informationssystem (ISMIS) Zwischenbericht - Bestandsaufnahme Prof. Dr. Andreas Breiter Dipl.-Inf. Emese Stauke Dipl.-Inf. Angelina Lange Institut für Informationsmanagement Bremen GmbH (ifib) Am Fallturm 1 28359 Bremen {abreiter, stauke, alange}@ifib.de April 2006 Im Auftrag des

Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Integriertes Schulmanagement-informationssystem (ISMIS)

Zwischenbericht - Bestandsaufnahme

Prof. Dr. Andreas Breiter Dipl.-Inf. Emese Stauke Dipl.-Inf. Angelina Lange Institut für Informationsmanagement Bremen GmbH (ifib) Am Fallturm 1 28359 Bremen {abreiter, stauke, alange}@ifib.de

April 2006

Im Auftrag des

Page 2: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches
Page 3: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Inhalt

ABBILDUNGSVERZEICHNIS........................................................................................................................4

TABELLENVERZEICHNIS ............................................................................................................................5

ABKÜRZUNGSVERZEICHNIS ......................................................................................................................6

1 EINLEITUNG .................................................................................................................................... 8

2 GRUNDLAGEN ................................................................................................................................ 10 2.1 THEORETISCHER BEZUGSRAHMEN......................................................................................................... 10 2.2 INFORMATIONSBEDARFSMODELL........................................................................................................... 15 2.3 METHODISCHES VORGEHEN ................................................................................................................ 18

3 VERWALTUNGSSYSTEME .................................................................................................................20

4 SCHULMANAGEMENTINFORMATIONSSYSTEME.................................................................................. 23 4.1 INTERNATIONALE ERFAHRUNGEN ÜBER DIE EINFÜHRUNG UND NUTZUNG VON SCHULINFORMATIONSSYSTEMEN..........23

4.1.1 Neuseeland .......................................................................................................................23 4.1.2 Niederlande.......................................................................................................................24 4.1.3 Großbritannien..................................................................................................................24

4.2 BEISPIELE FÜR DATA WAREHOUSE IN US SCHULDISTRIKTEN ........................................................................25 4.2.1 Broward County Public Schools Data Warehouse und Virtual Counselor..............................25 4.2.2 Tucson Unified School District - TUSDStats......................................................................... 30

4.3 KWALITEITSKAART – QUALITÄTSKARTEN IN DEN NIEDERLANDEN.................................................................... 31 5 RÜCKMELDESYSTEME ..................................................................................................................... 34

5.1 VERA ..........................................................................................................................................36 5.2 LERNSTAND 9 .................................................................................................................................39 5.3 KOMPETENZMESSUNG UND –RÜCKMELDUNG IN UNGARN........................................................................... 40 5.4 GROW NETWORK (USA) ...............................................................................................................43

5.4.1 Hintergrund: Schulleistungstests in den USA ......................................................................43 5.4.2 Rahmenbedingungen im Schulsystem von New York City .................................................. 44 5.4.3 Forschungsfragen und -methoden .................................................................................... 46 5.4.4 Empirische Ergebnisse...................................................................................................... 46

6 SCHULINFORMATIONSSYSTEME DER BUNDESLÄNDER .......................................................................49

7 IST-STAND IN BREMEN ...................................................................................................................54 7.1 ENTSCHEIDUNG FÜR MAGELLAN.......................................................................................................... 54 7.2 EVALUATION MAGELLAN ................................................................................................................... 55

7.2.1 Ergebnisse der software-ergonomischen Evaluation.......................................................... 56 7.2.2 Ergebnisse der Nutzerumfrage...........................................................................................57

7.3 VERA IN BREMEN .......................................................................................................................... 59 7.4 POLITISCHE EBENE .......................................................................................................................... 59 7.5 EBENE DER SCHULAUFSICHT............................................................................................................... 60 7.6 EBENE DER LEHRKRÄFTE ....................................................................................................................62

8 AUSBLICK ...................................................................................................................................... 67

LITERATURVERZEICHNIS .........................................................................................................................69

ANHANG……………………………………...........................................................................................................73

A MARKTANALYSE VON SCHULVERWALTUNGSSYSTEMEN……………………………………………………………..……..74

B SCHULINFORMATIONSSYSTEME DER BUNDESLÄNDER IM INTERNET……………………………………..………….107

C SCHULVERGLEICHSTESTS IN DEUTSCHLAND…………………………………………………………………………………….181

Page 4: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Abbildungsverzeichnis Seite 4

Abbildungsverzeichnis

Abbildung 1 - Vereinfachte Architektur für ein integriertes Schul-Management-Informationssystem..................................................................................................11

Abbildung 2 – Typologie Schulinformationssysteme ........................................................ 13

Abbildung 3 – Schools Interoperability Framework ((CoSN 2004), S. 15) .......................... 15

Abbildung 4 – Vorgehensmodell für das Informationsmanagement nach (Choo 1995) ..... 16

Abbildung 5 – Institutionelle Rahmung der Datennutzung durch Lehrkräfte.................... 18

Abbildung 6 – Broward Virtual Counselor – Acedemic History........................................ 28

Abbildung 7– Broward Virtual Counselor –Graduation Informaion ................................. 28

Abbildung 8– Broward Virtual Counselor – Testinformation ........................................... 28

Abbildung 9– Broward Virtual Counselor – Periodic Grade ............................................ 29

Abbildung 10– Broward Virtual Counselor – Absences Calender..................................... 29

Abbildung 11 – Startseite TUSDStat ................................................................................. 30

Abbildung 12 – Datenangebot TUSDStats (Long, Rivas et al. 2005)................................... 31

Abbildung 13 - Qualitätskarten in den Niederlanden .......................................................32

Abbildung 14 – VERA-Rückmeldung: Verteilung der Schüler/innen nach Fähigkeitsniveaus.............................................................................................................................. 38

Abbildung 15 - VERA-Rückmeldung: eingeschätzte und tatsächliche Lösungsprozente ... 38

Abbildung 16 - VERA-Rückmeldung: Schüler/innen unterhalb des Fähigkeitsniveau 2.....39

Abbildung 17 - Lernstand9: Auswahl der Darstellung ..................................................... 40

Abbildung 18 - Lernstand9: Übersicht der Klassen und Fächer (alle Eingaben wurden abgeschlossen) ...................................................................................................... 40

Abbildung 19 - Lernstand9: aufgabenweiser Vergleich der Jahrgänge in Arithmetik....... 40

Abbildung 20 – Ungarn: Beispiel für Diagrammdarstellung (Durchschnittswerte) ...........43

Abbildung 21 –Ungarn: Beispiel für Diagrammdarstellung (box plots).............................43

Abbildung 22: Beispiele für Grow Class Reports ............................................................. 45

Abbildung 23 - Ergebnisse der Schule - Überblick für eine Schulinspektion (Senatsverwaltung für Bildung 2006) ..................................................................... 62

Abbildung 24 - Zyklenmodell der Vergleichsarbeiten (Helmke 2004) ..............................63

Abbildung 25 - VERA: Vergleiche ................................................................................... 64

Page 5: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Tabellenverzeichnis Seite 5

Tabellenverzeichnis

Tabelle 1 – Verfahren der Informationsbedarfsanalyse nach (Voß and Gutenschwager 2001)....................................................................................................................... 16

Tabelle 2: Ebenenmodell der Informationsbedarfe in Schulen ......................................... 17

Tabelle 3 - Funktionsmatrix für Schulverwaltungssoftware (Auswahl) .............................22

Tabelle 4 - System der Standardsetzung und Standardüberprüfung in NRW................... 35

Tabelle 5: Sichten auf das Schulinformationssystem in New York ................................... 45

Tabelle 6 – Übersicht Schulinformationssysteme der Bundesländer (o keine vollständigen Stammdaten).................................................................................... 53

Page 6: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Abkürzungsverzeichnis Seite 6

Abkürzungsverzeichnis

AIP Acadmeic Improvement Plan AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches Realschulnetz bspw. beispielsweise BW Baden-Württemberg BY Bayern bzw. beziehungsweise CD-ROM Compact Disc Read-Only Memory d.h. das heißt DWH Data Warehouse DWH Data Warehouse etc. et cetera EU Europäische Union EVS elektronisches Schulverzeichnis ggf. gegebenenfalls HB Bremen HCES Hungarian Centre for Evaluation Studies HE Hessen HH Hamburg i.d.R. in der Regel IBM International Business Machines IGLU Internationale Grundschul-Lese-Untersuchung IS Informationssystem ISMIS Integriertes Schulmanagementinformationssystem IT Informationstechnologie KEF Kritische Erfolgsfaktoren LIS Landesinstitut für Schule LMS Lernmanagementsysteme MIS Management Informationssystem MS Microsoft MV Mecklenburg-Vorpommern NCLB No Child Left Behind NI Niedersachsen NW Nordrhein-Westfalen PC Personal Computer PISA Programme for International Student Assessment RMS Rückmeldesysteme RP Rheinland-Pfalz s. siehe SfBW Senator für Bildung und Wissenschaft

Page 7: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Abkürzungsverzeichnis Seite 7

SH Schleswig-Holstein SIF Schools Interoperability Framework SIS Schulinformationssystem SL Saarland SMIS Schulmanagementinformationssystem SMIS Schulmanagementinformationssystem SN Sachsen SQL Structured Query Language ST Sachsen-Anhalt TDWI The Data Wwarehouse Institut TH Thüringen u.a. und anderen u.A: unter Anderem u.v.m. und viel mehr USA United States of America usw. und so weiter VERA Vergleichsarbeiten vgl. vergleiche z.B. zum Beispiel

Page 8: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Einleitung Seite 8

1 Einleitung

In Schulen finden sich bereits heute unterschiedliche Informationssysteme für die ver-schiedenen Entscheidungsebenen von der ministeriellen Ebene bis zur einzelnen Lehr-kraft. Dabei ist grundsätzlich zu unterscheiden zwischen Systemen, die auf die Unterstüt-zung des Lern- und Lehrprozesses ausgerichtet sind und Systemen, die für die Verwal-tung und strategische Managemententscheidungen dienen. Häufig wird unter Schulin-formationssystemen allerdings nur der Aspekt der Verwaltungsunterstützung herausge-stellt. Durch die zunehmende Datenmenge aufgrund der zahlreichen Schulleistungstests sowie der Selbstevaluationsverfahren, die bis auf die Ebene der Klasse und der einzelnen Schülerinnen und Schüler herunter gebrochen werden können, steigen auch die Anforde-rungen an ein Informationssystem zur Analyse und Rückmeldung der Daten.

Im Rahmen des Projektes „Integriertes Schul-Management-Informationssystem (ISMIS)“ soll bis Ende 2007 zwei Kernfragen nachgegangen werden:

• Welche Komponenten sind aus Sicht der verschiedenen Entscheidungsträger für eine nachhaltige Nutzung erforderlich?

• Wie muss eine Systemarchitektur für ein integriertes Informationssystem gestaltet sein, das den Anforderungen der verschiedenen Entscheidungsebenen gerecht wird?

Dabei sollen in einem ersten Schritt die Rahmenbedingungen im Schulsystem des Landes Bremen untersucht und diese in Beziehungen zu den Ansätzen in anderen Bundeslän-dern gesetzt werden. Dieser Zwischenbericht spiegelt einerseits die Ergebnisse der ersten Interviewrunde mit Entscheidungsträgern auf den unterschiedlichen Ebenen des Schul-systems wider. Andererseits stellt er auf der Basis eines speziell für diese Fragestellung entwickelten Rahmenmodells auch internationale Entwicklungen in Form von Fallstudien vor. Hieraus lassen sich dann in einem zweiten Schritt die Anforderungen an ein integ-riertes Informationssystem aus Sicht der Endnutzer formulieren und mit den Erfahrungen der Nutzung aus anderen Ländern kontrastieren.

In Kapitel 2 werden zunächst der theoretische Bezugsrahmen der Untersuchungen, zent-rale Begriffsabgrenzungen und die bisherige Vorgehensweise erläutert. In den darauf folgenden Kapiteln werden verschiedene Systeme aus dem In- und Ausland vorgestellt. Die Fallstudien unterscheiden sich hierbei in der gewählten Methodik und dem Aggrega-tionsgrad der Darstellung. Einige der vorgestellten Systeme wurden mit Hilfe von Doku-mentenanalysen und Interviews untersucht und beschreiben lediglich die Funktionalität des Systems. Bei anderen Fallstudien handelt es sich um Sekundärfallstudien in denen auch Ergebnisse zur Einführung des Systems oder dessen Nutzung durch verschiedene Zielgruppen aufbereitet werden. In Kapitel 3 werden Schulverwaltungssysteme vorgestellt und der Funktionsumfang verschiedener Produkte einander gegenübergestellt. In Kapitel 4 werden verschiedene Schulmanagementinformationssysteme aus dem Ausland und ihre Entwicklung vorgestellt. Auf Rückmeldesysteme mit Hilfe derer die Ergebnisse aus Vergleichsarbeiten und Lernstandserhebungen dargestellt werden können, wird in Kapi-tel 5 näher eingegangen und zwei in- und zwei ausländische Systeme vorgestellt. In Ka-pitel 6 befindet sich eine Übersicht über die Informationsbereitstellung der 16 deutschen Bundesländer über ihre Schulen im Internet. Auf die Bremen-spezifische Situation in

Page 9: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Einleitung Seite 9

Bezug auf alle Bereiche schulischer Informationssysteme wird in Kapitel 7 genauer ein-gegangen. Hierbei wird sowohl auf die Entscheidung des Bundeslandes für die flächen-deckende Einführung des Schulverwaltungssystems Magellan und eine Evaluation dieses Systems eingegangen, als auch die Ergebnisse aus Interviews zur Durchführung und Rückmeldung von VERA vorgestellt. Abschließend wird in Kapitel 8 ein Ausblick auf die weiteren Schritte im Projekt ISMIS gegeben.

Page 10: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 10

2 Grundlagen

Im Folgenden werden die theoretischen Grundlagen des Projektes und dieses Zwischen-berichtes beschrieben. Es wird sowohl auf den Bezugsrahmen als auch auf grundsätzli-che begriffliche Klärungen und die bisherige Vorgehensweise im Projekt ISMIS eingegan-gen.

2.1 Theoretischer Bezugsrahmen

Wie in Unternehmen, in der öffentlichen Verwaltung und zunehmend auch im Schulwe-sen werden vermehrt IT-Systeme eingesetzt. Die Verwaltung von Schulen, der Schüler-schaft und von Lehrkräften erfolgt genauso mit Hilfe elektronischer Systeme wie die Stun-denplangestaltung oder die Budgetverwaltung durch den Schulträger. Einige deutsche Bundesländer haben für die Schüler- und Lehrerdatenverwaltung eigene Softwarelösun-gen entwickelt, in manchen größeren Kommunen gibt es einheitliche kommerzielle Lö-sungen. In der Regel müssen Schulen und ihre Leitungen mit mehreren Systemen für unterschiedliche Zwecke arbeiten, die nur eingeschränkt miteinander kompatibel sind.

Im Kern geht es um Basisverwaltungsdaten über Schülerinnen und Schüler und Lehrkräf-te, deren detaillierte Analyse für Schulen aufgrund fehlendem Know-how und Ressourcen nahezu unmöglich ist. Dennoch wird ihnen eine große Bedeutung in Kombination mit Leistungsdaten im Rahmen der Qualitätssicherung zugesprochen. Empirische Ergebnisse oder Erfahrungen über die Nutzung liegen allerdings noch nicht vor.

Neben den umfangreichen Datenbanken zur Sammlung und Auswertung der Leistungs-daten bei den Kultusministerien haben einige Regionen bzw. Kommunen bereits Daten-banksysteme für die Steuerungsdaten von Schule (Lehrer-/Schülerdaten, sozio-demografische Daten, Fächeranwahl, Stundentafel, Fehlzeiten usw.) aufgebaut. Dazu kommen teilweise zentral, teilweise dezentral aufgebaute Informationssysteme für Lehr-kräfte zur Bereitstellung von Unterrichtsmaterialien anhand der verabschiedeten Stan-dards. Diese Datensammlung ergibt ein Volumen, das bisher im Schulsystem nicht ver-fügbar war. Selbstverständlich kommen zur Erhebung, Speicherung und Analyse der Da-ten nur IT-gestützte Verfahren in Frage. Aber selbst diese unterschiedlichen Datenbank-systeme lassen sich nicht mehr ad hoc managen. Eine Kombination der Datenerhebungen zu Leistungsuntersuchungen mit Schulverwaltungsdaten ist gewünscht, scheitert aber bisher an der mangelnden Verknüpfung der Systeme, datenschutzrechtlichen Fragen und der fehlenden Akzeptanz bei Lehrkräften. In Zukunft sind aus techischer Sicht daher inte-roperable Systeme erforderlich, die im Unternehmenskontext als Data Warehouse be-zeichnet werden (s. (Heuer and Saake 2000)).

Page 11: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 11

Abbildung 1 - Vereinfachte Architektur für ein integriertes Schul-Management-Informationssystem

Bislang wenig erforscht ist die Unterstützung des Rückmeldeprozesses durch Informati-onssysteme. Betrachtet man die Ergebnisse der Vergleichsstudien, Leistungstests oder auch der Large-Scale-Assessment als Datengrundlage für Entscheidungsprozesse auf allen Ebenen des Schulsystems, so wird deutlich, dass hierdurch Grundfragen der Infor-mationslogistik (vgl. (Krcmar 2000)) berührt werden. Dies bedeutet das Vorhandensein der richtigen Information (aktuell benötigt, verstanden, fehlerfrei), zum richtigen Zeit-punkt (sofort zur momentanen Verwendung, für die Fällung von Entscheidungen ausrei-chend), in der richtigen Menge (so viel wie nötig, so wenig wie möglich), am richtigen Ort (beim Empfänger verfügbar) und in der erforderlichen Qualität (ausreichend detail-liert, unmittelbar).

Erst eine Integration all dieser Datenbestände erlaubt mehrdimensionale Auswertungen und reduziert den Erhebungs- und Pflegeaufwand. Gerade die Sicherstellung der Daten-qualität wird bei steigenden Volumina zu einer großen Herausforderung. Um zu verste-hen, welche Entscheidungsunterstützung durch integrierte Systeme möglich wäre, lassen sich verschiedene Beispiele finden, die hier erweitert und auf das deutsche Schulsystem bezogen wurden:

• Analyse der Zusammenhänge zwischen Variablen, z.B. zwischen unentschuldig-tem Fehlen und Schülerleistungen;

• Analyse von Mustern über die Zeit, z.B. zwischen Schulanfang, Unterrichtsausfall und Fehlstunden über mehrere Jahre;

• Antworten auf „was-wäre-wenn-Fragen“, z.B. wie viele Schülerinnen bzw. Schü-ler werden nicht versetzt, wenn die Leistungskriterien angehoben werden und wie verändert sich der Lehrerbedarf je nach Anmeldungen?;

Page 12: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 12

• Anpassung des kommunalen Schulentwicklungsplans auf Basis der Analyseer-gebnisse ;

• Evaluation der strategischen Entscheidungen über die Schulreformen, z.B. Redu-zierung der „Wiederholerquote“ durch Einführung von Ganztagsangeboten oder Wirkung von zusätzlichen Stützkursen für bestimmte Schülergruppen auf die Lernleistungen?

Die Aspekte der informationstechnischen Unterstützung von Entscheidungsprozessen werden in anderen Ländern im Kontext der Schule wesentlich häufiger untersucht. Insbe-sondere in den USA hat sich eine eigene Forschungs- und Beratungsrichtung etabliert, die sich mit „data-driven decision-making“ im schulischen Kontext beschäftigt (vgl. (AASA 2002; CoSN 2004; Learning-Point-Associates 2004; Stringfield, Wayman et al. 2005; Breiter and Light 2006)). Auch in europäischen Ländern steigt das Interesse an der stärkeren Nutzung der existierenden datenbestände zur Verbesserung des Schulsystems. So werden in den Niederlanden Informationssysteme für die Aufbereitung der schulindi-viduellen Rückmeldung erprobt und das Ungarische Zentrum für Kompetenzmessung und Schulevaluation (Értékelési Központ, Budapest) hat gemeinsam mit einem Unternehmen eine Software für die schulbezogene Auswertung landesweiter Vergleichsarbeiten entwi-ckelt.

Für das Verständnis der in diesem Bericht dargestellten Fallbeispiele ist es notwendig, einige Begriffe zu erklären und zu einander in Beziehung zu setzen, da sie in der Fachli-teratur nicht einheitlich verwendet werden:

Informationssysteme (IS) dienen der Deckung von Informationsbedarfen durch aufein-ander abgestimmte Elemente personeller, organisatorischer und technischer Natur (vgl. (Krcmar 2000), S.45). Im Rahmen der Untersuchung sind aber vor allem technische In-formationssysteme von Interesse, mit denen Informationen erfasst, verarbeitet, übertra-gen, tranformiert, gespeichert und bereitgestellt werden können (vgl. (Voß and Gu-tenschwager 2001), S.86).

Unter Schulinformationssystemen (SIS) werden im Folgenden also alle elektronischen Systeme verstanden, über die Informationen zu einzelnen Schulen und der Gesamtheit aller Schulen einer Einheit (Bundesland, Schulregion, Stadtteil, …) verwaltet und abgerufen werden können. Für verschiedene operative Prozesse und Zielgruppen existieren verschiedene Ausprägungen von Schulinformationssystemen, die Informationen für den jeweiligen Zweck bereitstellen. In

Abbildung 2 ist die Typologie der einzelnen Schulinformationssystemarten dargestellt.

Page 13: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 13

Abbildung 2 – Typologie Schulinformationssysteme

Elektronische Schulverzeichnisse (ESV) sind Systeme, über die Stammdaten von Schu-len, wie die Adresse oder die Telefonnummer, abgerufen werden können. Die verfügba-ren Informationen sind mit denen in einem Telefonbuch oder in den Gelben Seiten ver-gleichbar. Die Zielgruppe der Schulverzeichnisse ist somit i.d.R. die Öffentlichkeit. Inner-halb der schulischen Administration werden diese Systeme ebenfalls genutzt. Für die Mitarbeiterinnen und Mitarbeiter stehen allerdings meist weitere Informationssysteme zur Verfügung. Die Informationen werden meist über das Internet in Form statischer Linklisten oder durchsuchbarer Datenbanken bereitgestellt. Teilweise werden die Daten auch auf CD-ROMs bereitgestellt, die beim Bundesland oder dem Schulträger erfragt werden können.

Schulverwaltungssysteme (SVS) dienen der Administration. Es werden Informationen über Schulen, Schülerinnen und Schüler, Lehrkräfte, Gebäude, Finanzen u.s.w. innerhalb der schulischen Organisationseinheiten verwaltet. Schulverwaltungssysteme unterstützen das Verwaltungspersonal auf der operativen und taktischen Ebene.

Rückmeldesysteme (RMS) werden für die Bereitstellung von Ergebnissen aus der Evalu-ation von Schulen bzw. Schülerleistungen genutzt. Die Evaluation kann sowohl extern in Form standardisierter Tests (PISA, IGLU, VERA, …) oder Schulinspektionen als auch intern in Form von Schülerfeedback oder interner Parallelarbeiten erfolgen. Mit Hilfe von Rück-meldesystemen werden die Ergebnisse in für die Zielgruppe aufbereiteter Form zur Ver-fügung gestellt, um die Unterrichts- und Schulentwicklung zu fördern.

Lernmanagementsysteme (LMS) dienen der direkten Unterstützung des Lern- und Lehr-prozesses. Dabei werden entweder Lernprozesse individualisiert gesteuert oder Materia-lien und Kommunikationswerkzeuge zur Verfügung gestellt. Oftmals werden derartige Systeme auch unter E-Learning-Plattformen subsumiert. Im Folgenden werden Lernma-nagementinformationssysteme nicht weiter betrachtet, da sie vor allem zur Unterstützung der direkten Interaktion zwischen Lehrenden und Lernenden dienen, die in diesem Pro-jekt nur am Rande beleuchtet wird.

Page 14: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 14

Schul-Management-Informationssysteme (SMIS) werden für die Planung, Steuerung und Kontrolle im Schulsystem eingesetzt. Sie liefern Informationen mit deren Hilfe Ent-scheidungen auf unterschiedlichen Ebenen des Schulsystems getroffen werden können. Die Daten in einem SMIS werden i.d.R. aus bestehenden Systemen der Schulverwaltung gezogen und mit weiteren Daten kombiniert. Ein SMIS kann somit Teile der Daten aus SVS, RS und LMS enthalten. SMIS finden nicht nur in den Kultusministerien Anwendung sondern können auch innerhalb einzelner Schulen für Stundenplangestaltung und Unter-richts-Feedback zum Einsatz kommen. Die Vielfalt der lediglich schulintern eingesetzten Systeme und die teilweise nur schulinterne Bekanntheit der Systeme erschweren jedoch eine systematische Erfassung solcher schulinterner SMIS. Im Rahmen des Projektes ISMIS werden sie deshalb nicht näher betrachtet. Dasselbe gilt für schulinterne Schülerinforma-tionssysteme in denen Stammdaten, Anwesenheit und Noten der Schüler einer Schule verwaltet werden.

Im Rahmen des Projektes ISMIS sollen die Möglichkeiten integrierter Schulmanagement-informationssysteme untersucht werden. In einem integrierten Schulmanagementin-formationssystem (ISMIS) werden Daten aus den vielfältigen Schulinformationssystemen der verschiedenen Bereiche des Schulsystems zusammengeführt und für verschiedene Zielgruppen aufbereitet. Die Basis für die Schulverwaltungssysteme in denen sowohl die Stammdaten von Schulen, Schülern und Schulerinnen sowie Lehrkräften als auch Daten über weitere Aspekte wie Ressourcen enthalten sind. Sie werden mit weiteren Informati-onen aus verschiedenen Systemen ergänzt.

Ein integriertes Schulmanagementinformationssystem kann zum einen für die Unterstüt-zung von Entscheidungsprozessen auf verschiedenen organisatorischen Ebenen (schulin-tern, Kultusministerium, …) dienen. Zum anderen werden die operativen und administra-tiven Tätigkeiten unterstützt, indem alle relevanten Informationen zentral vorliegen und nicht an verschiedenen Stellen unter Umständen redundante Daten zusammengesucht werden müssen. Ein weiterer Vorteil ist, dass aus einer zentralen Datensammlung aller Bereiche verschiedene Informationssysteme gespeist werden könnten. So könnten bspw. elektronische Schulverzeichnisse Daten aus dem ISMIS beziehen.

Für die technische Umsetzung eines ISMIS bietet sich eine Data Warehouse-Architektur an. In einem Data Warehouse werden Daten aus operativen Systemen in einer zentralen Datenbank zusammengeführt und in ein gemeinsames Datenschema überführt. Es erfolgt somit eine redundante Speicherung der Daten. Die Motivation bei der Erstellung eines Data Warehouses ist in der Regel die hohe Analysierbarkeit der Daten. Die Datenbestände werden meist historisiert vorgehalten, so dass auch Auswertungen über längere Zeit-räume durchgeführt werden können. (vgl. (Heuer and Saake 2000))

Eine andere Möglichkeit die verschiedenen operativen Systeme stärker miteinander zu verzahnen und so eine bessere Informationsbereitstellung zu gewährleisten, stellt die Verbesserung der Interoperabilität der Einzelsysteme dar. Eine Variante hierfür ist das Schools Interoperability –Framework (SIF). Dieses Rahmenmodell legt Standards für Software in und um Schule fest, die es ermöglichen, dass Daten auch zwischen Systemen verschiedener Hersteller ausgetauscht werden können, wenn die Produkte entsprechend zertifiziert wurden. Der sogenannte Zone Integration Server regelt den Datenaustausch zwischen den verschiedenen Programmen. (vgl. Abbildung 3, www.sifinfo.org)

Page 15: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 15

Abbildung 3 – Schools Interoperability Framework ((CoSN 2004), S. 15)

Im Beispiel reicht die Verknüpfung von Daten vom Schülertransport (in den USA auch durch die „gelben Busse“ bekannt) über Energiesparmaßnahmen (wie auch im Bremer Projekt) bis hin zum Bibliothekssystem.

2.2 Informationsbedarfsmodell

Die empirische Forschung zu Managementinformationssystemen (vgl. (Gorry and Scott Morton 1989; Zwass 1992; Lee 1999; Laudon and Laudon 2002)) zeigt, dass unterschiedli-che Schlüsselakteure unterschiedliche Informationsbedarfe haben, die zuerst analysiert und identifiziert werden müssen. Im Sinne der Informationslogistik stellt sich also die Frage, wie die Informationen akkurat zur rechten Zeit den richtigen Akteuren im Schul-system zur Verfügung gestellt werden können.

Das in

Page 16: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 16

Abbildung 4 dargestellte Prozessmodell nach Choo (Choo 1995) verdeutlicht, welche Schritte notwendig sind um das Informationsmanagement einer Organisation aufzubauen. Grundlage für das Informationsmanagement bilden die Informationsbedarfe der verschiedenen Personengruppen innerhalb der Organisation (Information Needs). Diese müssen gesammelt und gegeneinander abgewägt werden (Information Acquisition). Basierend auf den Informationsbedarfen wird mit Hilfe der Informationstechnologie ein „Organisationsgedächtnis“ aufgebaut, in dem die produzierten Daten und Begriffe strukturiert werden (Information Organization and Storage). Diese Datenbank wird im Schritt „Information Product and Services“ um Dienstleistungen für die verschiedenen Nutzergruppen und wie bspw. die Sicherstellung der Datenqualität erweitert. Der Zugang zu den Daten im Informationssystem erfolgt im Schritt „Information Distribution“. Aus den Informationen entsteht Wissen in dem sie durch Interpretation in Entscheidungsprozessen angewendet werden (Information Use). Die Anwendung des Wissens wiederum führt zu Verhaltensänderungen (Adaptive Behaviour), die wiederum Einfluss auf die Informationsbedarfe und deren Strukturierung haben können. Bei Veränderung der Informationsbedarfe muss das Informationssystem entsprechend angepasst werden und der Kreislauf beginnt von vorn.

Abbildung 4 – Vorgehensmodell für das Informationsmanagement nach (Choo 1995)

Eine Informationsbedarfsanalyse kann mit Hilfe verschiedenster Verfahren vorgenommen werden. Nach Voß und Gutenschwager können subjektive, objektive und gemischte Ver-fahren unterschieden werden. (vgl. Tabelle 1)

Subjektive Verfahren Objektive Verfahren Gemischte Verfahren

- Offene Befragung / (un-) struktu-riertes Interview - Wunschkataloge - Befragung der Mitarbeiter/innen im Tätigkeitsumfeld - Introspektion - Laut-Denken-Protokoll

- Strategieanalyse - Aufgabenanalyse - Dokumentenanalyse - Entscheidungsanalyse - Input-Process-Output-Analyse - Sozio-technische Analyse

- Strukturierte Befragung - Methode der KEFs - Weiterentwicklung aus dem Kon-text (Evolution) - Entwicklung aus dem Bestehen-den (Ist-Situation bzw. Tätigkeits-analysen

Tabelle 1 – Verfahren der Informationsbedarfsanalyse nach (Voß and Gutenschwager 2001)

Die ermittelten Informaitonsbedarfe lassen sich nach Gorry und Scott Morton (Gorry and Scott Morton 1971) auf unterschiedliche Entscheidungsebenen (strategisch = Kernziele betreffend, taktisch = Bereitstellung notwendiger Ressourcen, operativ = Abwicklung der

Page 17: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 17

Aufgaben) zurückführen, auf denen Daten mit unterschiedlichen Eigenschaften notwendig sind. So haben Entscheidungsträger auf der strategischen Ebene Bedarf an aggregierten Daten, die möglichst alle Unternehmensbereiche abdecken sollen und Vorhersagen er-lauben. Akteure auf der operativen Ebene benötigen eher detaillierte hochaktuelle Daten, die für ihren spezifischen Bereich die Entscheidungen unterstützen sollen. Im Schulsys-tem lassen sich fünf grundsätzliche Handlungsebenen mit spezifischen Akteursgruppen differenzieren, die einen jeweils unterschiedlichen Informationsbedarf haben (s. Tabelle 2).

Ebene Akteure Informationsbedarf

Klassen- raum

Lehrkräfte

Schüler/innen

Disaggregierte Schülerdaten

Noten, Testergebnisse

Anwesenheit, Verweise

Schule Schulleitung

Schulverwaltung

Aggregierte Längsschnittsdaten über Schüler und Fächer

Noten, Testergebnisse

Anwesenheit, Verweise

Aggregierte Längsschnittsdaten bzgl. der Schulverwaltung

Stundenplanung / Raumbelegung

Spezielle Förderprogramme (Sonderpädagogischer Bedarf)

Personalplanung und Fortbildungsplanung

Haushalt

Schul- träger

Schulverwaltung Aggregierte Längsschnittsdaten bzgl. der Schulentwick-lungsplanung

Externe Anforderungen (Ausstattung, Liegenschaftsverwal-tung usw.)

Schul- aufsicht

Schulamt

Kultusministerium

Aggregierte Längsschnittsdaten über Schüler, Fächer, Schu-len

Externe Anforderungen (z.B. EU-Auswertungen)

Schul- umfeld

Eltern

Lokale Gemeinschaft

Disaggregierte Schülerdaten

Aggregierte Schuldaten

Tabelle 2: Ebenenmodell der Informationsbedarfe in Schulen

Die Grundannahme basiert darauf, dass die Nutzung von Testergebnissen durch die un-terschiedlichen Entscheidungsebenen determiniert wird und dadurch auch die entspre-chenden technischen Systeme gestaltet sind. Diese Rahmensetzung erfolgt „top-down“.

So bestimmen die Regularien der Kultusministerien und die Art der Nutzung (oft als Ran-kings im Vergleich zu anderen Bundesländern) die weitere Verwendungsweise durch die Schulaufsicht. Deren Rolle ist die eines Mittlers zwischen Politik und Schule bzw. Schul-leitung. Durch sie wird der Rahmen gesetzt, ob und ggf. wie Schulen die Daten für sich nutzen können bzw. sollen. Innerhalb der Schule, und das wissen wir aus empirischen Studien zur Qualitätsentwicklung, spielt die Schulleitung die entscheidende Rolle (vgl. (Buchen 1995; Sergiovanni 1995; Ackermann, Scheunpflug et al. 2000; Altrichter 2000; Fullan 2001). Ihre Vorgaben, Erwartungen und Maßnahmen geben die jeweilige Nutzung in den (Fach-)Kollegien vor.

Zugleich ergibt sich aus der konkreten Nutzung der Ergebnisse durch die (Fach-)Lehrkräfte eine Rückbewegung von unten nach oben („bottom-up“). Es werden Erwar-tungen an die Schulleitung (auch Ablehnung) formuliert, es gibt Anforderungen an die technische Unterstützung oder die Auswertungsformen. Dies wird in die Schulleitung und

Page 18: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 18

(je nach Kommunikationskultur) auch bis zur Schulaufsicht geleitet. Bestenfalls finden sich die Rückmeldungen von den Lehrkräften vor Ort auch wieder auf der ministeriellen Ebene wieder, was ggf. zu Veränderungen in der Testgestaltung, in der Rückmeldung oder auch bzgl. der Angebote der Unterstützungssysteme bis hin zur Fortbildung zur Fol-ge hat. Das Zusammenspiel dieser beiden (teilweise gegenläufigen) Bewegungen ist in Abbildung 5 dargestellt.

Abbildung 5 – Institutionelle Rahmung der Datennutzung durch Lehrkräfte

2.3 Methodisches Vorgehen

Im Laufe der Ist-Analyse wurden hauptsächlich subjektive Verfahren, wie offene Befra-gung, (un-)strukturierte Interviews, Befragung der Mitarbeiter/innen im Tätigkeitsumfeld und das Laut-Denken-Protokoll eingesetzt. Der Grund der Auswahl und der Art der An-wendung werden in den jeweiligen Abschnitten erläutert. Da es sich um ein neues Unter-suchungsfeld handelt, eignen sich explorative qualitative Methoden besser als bspw. standardisierte Befragungen. Mit Hilfe eines Desk Researchs war es möglich sowohl theoretische Grundlagen als auch Praxisbeispiele in Form von Fallstudien zur Planung, Einführung und Nutzung von Schulinformationssystemen zu sammeln. Auch die Ermitt-lung von Schulinformationssystemen der Bundesländer im Internet und deren Gegen-überstellung fallen in diesen Bereich. Die Erkenntnisse des Desk Research wurden bzw. werden in den nächsten Wochen durch zahlreiche Interviews ergänzt. Die Interviews die-nen zum einen der Erstellung einer Anforderungsanalyse aus den verschiedenen Per-spektiven (vgl. Abschnitt 2.2) und zum anderen dem Erfahrungsaustausch mit anderen Projekten. Hierzu wurden Gespräche mit Vertretern aller vier Ebenen (Lehrkräfte, Schul-leitung, Schulaufsicht, politische Ebene) sowie mit Vertretern aus Forschung und Entwick-

Page 19: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Grundlagen Seite 19

lung geführt. Nach dem Erfassen des Ist-Standes soll eine Informationsbedarfanalyse nach den Verfahren von Voß und Gutenschwager (vgl. Tabelle 2) erfolgen.

Für die prototypischen Entwicklungen werden klassische Software-Entwicklungsmethoden eingesetzt, dabei wird ein besonderes Augenmerk auf die Partizi-pation gelegt.

Page 20: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Verwaltungssysteme Seite 20

3 Verwaltungssysteme

Die in Abschnitt 2.1 definierten Schulverwaltungssysteme (SVS) bilden den Kern eines integrierten Schulmanagementinformationssystem (ISMIS). Stammdaten wie Name, Ad-resse, etc. sind die Basis für alle weiteren Informationssysteme, die einen personifizierten Zugang verwenden oder personenbezogene Daten der Schule verarbeiten. Je nachdem welches Potenzial ein SVS bietet, kann es in ISMIS die Rolle eines Datendienstleiters an-nehmen. Im Rahmen der Bestandsaufnahme wurde von dem studentischen Projekt Quas-sel an der Universität Bremen im Studiengang Informatik eine Marktanalyse durchge-führt, mit deren Hilfe die Potenziale einiger Systeme aufgedeckt werden und damit deren Eignung für ein ISMIS untersucht werden konnte.

Der deutsche Markt für Schulverwaltungssoftware ist schwer überschaubar. Neben kom-merziellen Programmen sind auch viele Eigenentwicklungen von Schulen bzw. Lehrkräf-ten aufzufinden. Die Leistungsspektren der verfügbaren Software variieren hierbei ebenso stark wie ihre Qualität. Die Palette reicht von hoch spezialisierten Programmen für be-stimmte Aufgaben bis hin zu integrierten Managementinformationssystemen, die Schulen bei allen anfallenden Arbeiten unterstützen. Als Basisfunktionalität der meisten Produkte lässt sich die Verwaltung von Schüler-, Lehrer, Klassen und Personaldaten identifizieren. Hierauf aufbauend sind zahlreiche weitere Funktionalitäten, wie z.B. Notenverwaltung, Stundenplanung etc. zu finden. Komplexere Programme sind häufig modular gestaltet und auf eine bestimmte Schulart ausgerichtet. Als einfacher Indikator für die Größe des Funktionsumfangs sowie die Qualität des Programms lässt sich der Preis der Software heranziehen. Kleinere Tools bzw. Entwicklungen aus dem semiprofessionellen Sektor kosten in der Regel nicht mehr als 500 EUR. Professionelle, kommerzielle Programme bewegen sich hingegen im Preissegment von 1.000 bis 1.500 EUR exklusive anfallender Kosten für Support und Wartung. Softwareergonomie wird auch im Bereich Schulverwal-tung eher klein geschrieben.

Die Anzahl der an Schulen eingesetzten Programme ist sehr groß und es gibt primär Ein-zel- oder Insellösungen. Eine flächendeckende Ausstattung mehrerer Schulen mit dersel-ben Software wird durch das Manko der fehlenden Mandantenfähigkeit vieler Program-me zusätzlich erschwert. Ordnungsansätze durch die Landesbehörden in diesem Bereich sind bisher eher zaghaft. Niedersachsen bietet seinen Schulen beispielsweise kostenlos Software an, um eine einheitlichere Lösung zu etablieren und Verwaltungsaufgaben im Bereich der Landesstatistik zu vereinfachen. Der deutsche Markt für Schulverwaltungs-software ist durch seine semiprofessionellen Wurzeln sowie die unterschiedliche Bedürf-nisse der einzelnen Bundesländer eine gigantische Baustelle. Durch den niedrigen Grad der Kommerzialisierung, der besonders im Vergleich mit den USA auffällig wird, ist es für Schulen äußerst schwer, geeignete Lösungen zu lokalisieren.

Die häufigsten Schnittstellen sind auf MS Office-Produkte sowie SQL und HTML ausgelegt. Neben der Unterstützung von Serienbrieffunktionalitäten dienen sie besonders der Ver-bindung mit anderen Schulverwaltungsprogrammen, um synergetische Effekte zu nutzen, bzw. die Übernahme von Daten aus Fremdsystemen zu erleichtern.

Die wichtigsten Zielgruppen der angebotenen Programme sind die Schulleitungen und Sekretariate der Schulen, da diese naturgemäß mit Verwaltungsaufgaben betraut sind.

Page 21: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Verwaltungssysteme Seite 21

Einige der Programme unterstützen jedoch zusätzlich Lehrkräfte im Bereich der Noten-verwaltung.

Trotz des Umgangs mit personenbezogenen Daten verfügen nicht alle Programme über ausreichende Maßnahmen für Datenschutz und Datensicherheit. Die am häufigsten zu findenden Schutzmaßnahmen sind Rollenkonzepte, passwortbasierter Zugriffsschutz so-wie Datenreplikation mit einem zentralen Server.

Die erkennbaren Sicherheitsmängel resultieren oft direkt aus der Architektur der Syste-me. Viele der eingesetzten Programme beruhen auf MS Access und sind nur bedingt netzwerktauglich, was eine Sicherung der Daten erschwert. Ein Großteil der angebotenen Programme sind Einzelplatzlösungen, oder solche die nachträglich um Netzwerkfunktio-nalitäten erweitert wurden. Abgesehen von Magellan und Edunite ist keines der betrach-teten Programme wirklich mandantenfähig, obwohl die Landesbehörden hieran großes Interesse haben dürften, um einheitliche Konzepte zu realisieren.

Im Bereich Support und Wartung ist eine telefonische Hotline die häufigste Lösung. Kom-plette Maintenance-Angebote für Schulen sind nur bei großen Anbietern wie z.B. Stüber erhältlich.

Um eine Übersicht über alle Produkte zu schaffen, wurde eine Matrix aufgestellt, die alle untersuchten Produkte und Funktionalitäten enthält und diese in einer Matrix miteinan-der verknüpft darstellt. In jeder Zeile wird eine Schulverwaltungssoftware behandelt. In den Spalten werden die wichtigsten Funktionalitäten dargestellt. Dabei bedeutet ein Kreuz, dass die in der Zeile stehende Software über diese Funktion verfügt. Die ausführli-che Marktanalyse nach Kriterien befindet sich im Anhang.

Page 22: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Verwaltungssysteme Seite 22

Fun

ktio

nal

ität

en

Schü

ler-

, Dat

en-,

Kla

ssen

- un

d Pe

rson

alve

rwal

tung

Bet

rieb

sver

wal

tung

für

Ber

ufss

chul

en

Not

enve

rwal

tung

Abi

tur-

/Fa

chho

chsc

hulb

erec

hnun

gen

Zeug

nisd

ruck

Seri

enbr

ieffu

nktio

n

Erst

ellu

ng v

on S

tatis

tiken

und

übe

rsic

hten

Erfa

ssun

g un

d el

ektr

onis

che

Übe

rmitt

lung

der

Lan

dess

tatis

tiken

Dat

enim

port

und

-ex

port

”Not

izbu

ch“

für

Lehr

er, z

uges

chni

tten

e Ve

rwal

tung

(z.

B. M

yMag

ella

n)

Bib

lioth

eksv

erw

altu

ng

Inve

ntar

isie

rung

Verw

altu

ng d

es H

aush

alte

s

Stun

denp

lane

rste

llung

Vert

retu

ngsp

lan

Magellan x x x x x x x x x x

ASV x x x x x x x x x

Atlantis x x x x x x x x x x

Bbs-Planung x x x x x x x x x

Edunite x x x x x x

gp-Units x x x

LuSD 2000 x x x x x x

Omnia x x x x x x x x x x

Pesasos/Ostertun x x x x x x

Persona-SVS x x x x x x

Rektor@2000 x x x x x x

SchoolExpert x x x x x x x x x

Sibank x x x x x x

S-Plan x x x x x x x x x x x x x

SV7 x x x x x x x x

Winschool x x x x x x x x x x x x

Tabelle 3 - Funktionsmatrix für Schulverwaltungssoftware (Auswahl)

Page 23: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 23

4 Schulmanagementinformationssysteme

Schulmanagementinformationssysteme (SMIS) werden für die Planung, Steuerung und Kontrolle im Schulsystem eingesetzt. In ihnen werden steuerungsrelevante Daten zu-sammengeführt und aufbereitet, um den verschiedenen Entscheidungsinstanzen (Schulleitung, Kultusministerium, u.s.w.) einen Überblick über aktuelle Entwicklungen zu ermöglichen. In diesem Abschnitt werden zunächst empirische Ergebnisse über die Einführung und Nutzung von SMIS im Ausland kurz zusammengefasst. Darauf folgend werden beispielhaft drei verschiedene Schulmanagementinformationssysteme vorgestellt.

4.1 Internationale Erfahrungen über die Einführung und Nutzung von Schulinformationssystemen

Bislang spielen Schulinformationssysteme weder in der Schulforschung noch in der Lite-ratur über Management-Informationssysteme in Deutschland eine Rolle. Zum einen be-ginnt die Implementierung erst langsam in deutschen Schulen, bei Schulträgern und Mi-nisterien, zum anderen wird die Nutzung und damit Fragen der Effektivität und Effizienz nicht evaluiert. Im Folgenden soll daher auf drei empirische Untersuchungen aus Neu-seeland, den Niederlanden und Großbritannien zurückgegriffen werden. Darauf aufbau-end werden Ergebnisse aus der formativen Evaluation der Implementierung eines Schul-informationssystems für Leistungsdaten in den USA vorgestellt und diskutiert.

4.1.1 Neuseeland

Ausgangspunkt in Neuseeland war eine Schulreform Anfang der 90er Jahre, die für alle Schulen die Rechenschaftspflicht einführte: „Over the last decade or more, schools have been required by law to regularly submit reports on many aspects of school operations, assess student achievement and report results against pre-specified achievement objec-tives and demonstrate that mandated programme delivery requirements have been met“ ((Nolan and Lambert 2001), S.72). Ein Regierungswechsel Ende der 90er Jahre verursachte zudem einen Blickwechsel von administrativen und Kennzahlen bezogenen Systemen hin zu sogenannten „classroom-oriented information systems“, die auch qualitative Daten sowie laufende Lehrerbeurteilungen integrieren. Nolan und Lambert (Nolan and Lambert 2001) untersuchten in drei Schulen die Nutzung der Systeme für die innerschulische Ent-scheidungsunterstützung. Die Einsatzformen in den drei Schulen waren sehr unterschied-lich: jährliche individuelle Schülerberichte, die sich aus den Leistungsdaten sowie Portfo-lios ergaben, Fächer bezogene Auswertungen zum Aufspüren von Defiziten oder spezielle Berichte für Eltern über die Lernprozesse ihrer Kinder. Dabei identifizierten sie „learning communities“ in den Schulen, die sich durch fünf Eigenschaften auszeichnen:

• „Activities that establish and develop, as necessary, shared understandings, be-liefs and values central to the school culture;

• The collective determination of school wide goals, priorities and directions;

• The delegation of responsibility to teacher syndicates for all curriculum planning, implementation and review;

Page 24: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 24

• Collaborative development of the school budget and the allocation of resources by consensus;

• Collegial review of programmes within and across syndicate1 boundaries and staff workshops to identifiy and share best practices regarding learning, teaching and the assessment of student performance“ ((Nolan and Lambert 2001), S.76)

Aus den drei Fallstudien ergaben sich zwei Erfolgsfaktoren zum Aufbau einer „learning community“, die sich auch mit Ergebnissen von Studien aus den Niederlanden (vgl. (Visscher 1996)) decken:

„(1) the strength of commitment by school leaders and teachers to learning com-munity principles, and (2) the technical understanding and know-how of the prin-cipal particularly and, to a lesser extent, the staff rather than system characteris-tics or design features.“ ((Nolan and Lambert 2001), S.83)

Wesentlich zum Erfolg trägt bei, dass alle Beteiligten die Daten verstehen, sie bewerten und daraus Entscheidungen bzw. Handlungen ableiten können, und dies in angemesse-nem Verhältnis zwischen Aufwand und Ertrag.

4.1.2 Niederlande

Visscher und Bloemen (Visscher and Bloemen 2001) basieren ihre Studien in zehn Schu-len in den Niederlanden auf einer Korrelationsmatrix aus Nutzungsart und -intensität sowie externen Einflussfaktoren. Am Ende der Analyse blieben vier Faktoren übrig, die sich aus den Fällen als bedeutend für die Nutzung von Schulinformationssystemen erwie-sen haben ((Visscher and Bloemen 2001), S.93ff.):

• Haltung der Schulleitung: überall dort wo die Schulleitung von der Nutzung über-zeugt war, findet auch eine weit gefächerte Nutzung statt.

• Umfang der Schulungen: da institutionellen Angebote zur Fortbildung für Schul-leitungen in diesem Bereich fehlen, müssen sich Nutzungsroutinen autodidaktisch bzw. schulintern erarbeitet werden.

• Interne Unterstützung: die gegenseitige Unterstützung im Kollegium ist wesent-lich für eine Verbreitung der Nutzung.

• Austausch über pädagogische und verwaltungsbezogene Fragen: Intensive Nutzer der Schulinformationssysteme tauschen sich stärker über allgemeine pädagogi-sche und verwaltungsbezogene Fragen aus.

4.1.3 Großbritannien

Wild und andere (Wild, Smith et al. 2001) haben die Erfahrungen mit einem weit verbrei-teten Schulinformationssystem untersucht. Dabei wurden sowohl Primary Schools als auch Secondary Schools mit Hilfe eines Fragebogens in drei Wellen (1990, 1996, 1999) über die Nutzungsintensität und -formen befragt. Das betrachtete Produkt umfasst zahl-reiche Module, die nicht in allen Schulen eingesetzt werden ((Wild, Smith et al. 2001), S.102ff.). Sie reichen vom Bibliothekssystem (für Ausleihe), über ein Inventarprogramm

1 „syndicates“ können gleichgesetzt werden mit Fachschaften bzw. Fachbereichen

Page 25: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 25

(Asset Management System) über die Finanzplanung und Buchhaltung, Schüler-/Lehrerverwaltung bis zur Notenverwaltung und Verwaltung der Testergebnisse. Dabei beinhalten die meisten Module verschiedene Optionen für die Datenauswertung (z.B. Kreuztabellen) und ihre Visualisierung (durch Grafiken oder Tabellen). Am häufigsten genutzt wurden zwei Module:

• STAR (Students Teaching and Academic Record). Datenbank in der alle Daten über die Schüler/innen gespeichert sind (Noten, verantwortliche Lehrkräfte, Special needs, medizinische Daten usw.) und die automatisch aktualisiert wird.

• MIDAS (Management Information Data Access System). Datenbank für die Schul-verwaltung, d.h. Finanzen, Adressen, Stundenplan, Termine.

Am wichtigsten für Managemententscheidungen war das dritte Kernmodul FMS (Financi-al Management System) für Buchhaltung und Finanzplanung. Aufgrund der hohen Auto-nomie der Einzelschule und der starken zentralen Kontrolle wird immer stärker Wert auf Auswertungen hinsichtlich der Schülerleistungen gelegt. Die Nutzung der verschiedenen Module für Entscheidungsprozesse in den Schulen variiert stark, was die Autoren zu fol-gender ernüchternder Schlussfolgerung kommen lässt:

„The results of these studies showed an overall improvement of data handling op-erations in schools using SIMS [School Information Management System, Anm. d. Verf.]. Many area of administration have been delineated and clarified as a result of using a computerised information system. However it is one thing to have the data and another to process it effectively and use it as a source of information. The initial stages of our study suggest that these processing tools are reasonably comprehen-sively available in SIMS but are not necessarily being used by schools.“ ((Wild, Smith et al. 2001), S.119)

4.2 Beispiele für Data Warehouse in US Schuldistrikten

4.2.1 Broward County Public Schools Data Warehouse und Virtual Counselor

Im US-Bundesstaat Florida liegt der fünftgrößte Schuldistrikt der USA – Broward. Dort wurde ein Data Warehouse entwickelt welches durch die Schulleitung, Lehrkräfte, nicht-pädagogisches Personal, Schüler und deren Eltern genutzt wird. Es ist möglich Informati-onen wie Testergebnisse, Schülerentwicklung, Schulperformance und Gebäudewartung abzurufen und zu analysieren. Das Broward County Public Data Warehouse gewann im August 2002 den TDWI (The Data Warehouse Institut) Best Practices Award in der Katego-rie „Regierung/Gemeinnützigkeit“. Broward wurde Ende 1995 mit 2 Millionen US-Dollar aus dem „IBM´s Reinventing Education“-Programm gefördert und konnte so die Start-phase mit den anfallenden Beratungskosten zu Design, Entwicklung und Betrieb des Data Warehouses finanzieren. Der Distrikt investierte auch selbst noch einmal 2 Millionen US-Dollar für den Kauf von Servern, Datenbank und die Business Intelligence (BI)-Software Prio. (Hammond 2003)

Das „Broward County Education Reinventing“-Projekt hatte zum Ziel eine Lösung zu ent-wickeln, die sowohl die Speicherung als auch den Zugang zu langfristigen Daten über Schüler bzw. Schülerinnen und Schulen ermöglicht, um die Entscheidungsfindung und strategische Planung des Schuldistrikts zu unterstützen. Das Data Warehouse in Broward hat es geschafft, Daten die bisher in unterschiedlichen und unabhängigen Datenbanken

Page 26: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 26

nur über unterschiedliche Zugänge erreichbar waren, in einem zentralen System zu-sammenzuführen und diese Informationen somit in die Hände der Schulen zu geben. (Spielvogel, Brunner et al. 2001)

Das Data Warehouse des Broward Public School District bietet weit mehr als bspw. das in vielen anderen Distrikten eingesetzte Produkt „Pinnacle Gradebook“ mit dem lediglich die Noten der Schüler und Schülerinnen verwaltet und abgerufen werden können. Im Data Warehouse von Broward werden Unmengen an Daten bezüglich mehr als einer Mil-lion Schüler gespeichert. Vom Kindergarten bis zur Abschlussklasse werden individuelle Testergebnisse, Zwischennoten, Anwesenheits- und Unpünktlichkeitsvermerke, Demogra-fiedaten, Gesundheitsvorsorge und vieles mehr erfasst und gespeichert. (Hammond 2003)

Die verschiedenen Benutzer werden neben der Nutzung der eingesetzten Prio BI-Software auch in der Analyse der Daten trainiert. Vor der Einführung des Data Warehou-ses wurden die Daten einer Schule einmal im Jahr in Form eines langen papiernen Be-richts an die jeweilige Schule versendet. Die Testergebnisse der Schüler waren ebenfalls Bestandteil dieses statischen Berichts. Durch die notwendige Vorbereitung der Papierbe-richte an die Schulen war die Wartezeit auf die Testergebnisse der Schüler recht lang. Mittlerweile wurden die papiernen Berichte abgeschafft, da sich das Data Warehouse zum Hauptberichtssystem für Schülerinformationen im Distrikt entwickelt hat. Durch die BI-Software sind Auswertungen nach verschiednen Eigenschaften der Schüler möglich und die Testergebnisse können mit demografischen Informationen, die im System enthal-ten sind, ergänzt werden, so dass Muster besser erkannt werden können. Des Weiteren können die Daten auch manipuliert werden, sodass frühere Theorien und Ideen sozusa-gen getestet werden können – „was wäre gewesen wenn?“. Der Zugang zu den Daten erfolgt über ein webbasiertes Interface in dem häufig abgerufene Berichte bereits aus-gewertet zum download zur Verfügung stehen. Es gibt viele verschiede Nutzergruppen, Berechtigungen, Kontexte, Zugänge und Formate im Broward Data Warehouse. Manche Benutzer haben eine Vollversion der BI-Software bei sich installiert und wurden entspre-chend geschult. Sie erstellen eigene angepasste Abfragen um spezifischen Fragestelllun-gen nachzugehen. Andere wiederum nutzen vorgefertigte Anfragen über einen erweiter-ten Browser. Wieder andere bekommen die Daten die für ihre Planungs- und Entschei-dungsprozesse wichtig sind, automatisch vom System zugeschickt. (Spielvogel, Brunner et al. 2001)

Lehrkräfte nutzen das System hauptsächlich, um die Leistung ihrer Schülerinnen und Schülern zu betrachten und Schwachstellen zu identifizieren. Im Rahmen der Definition von Academic Improvement Plans (AIPs) kann dann entsprechend gegengesteuert wer-den. Die Betrachtung historisierter Daten ermöglicht es den Lerhkräften die Entwicklung von Schülern bzw. Schülerinnen über einen längeren Zeitraum zu betrachten und sie entsprechend ihrer Begabungen zu fördern. Schneidet die gesamt Klasse in einem Test-abschnitt schlechter ab, kann die Lehrkraft den Lehrplan entsprechend verändern, um die Defizite auszugleichen. (Hammond 2003)

Eine wichtige Erfahrung bei der Einführung des Data Warehouses war, dass die Nutzung eines solchen Systems von oben nach unten gefördert werden sollte. Anfänglich wurde versucht Lehrkräfte mit dem System vertraut zu machen – ihnen wurden Laptops und die BI-Software zur Verfügung gestellt, um Anfragen an das Data Warehouse stellen zu kön-nen. Doch von 150 Lehrkräften in der Pilotphase nutzten nur zwei bis drei Personen das System wirklich. Sie benötigen den Zugriff auf die Daten nur wenige Male im Schuljahr. Die angeschaffte BI-Software Prio ist sehr mächtig und der Umgang mit ihr deshalb nur

Page 27: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 27

recht schwer zu erlernen. Eine regelmäßige Nutzung und grundsätzliche Kenntnisse im Umgang mit dem PC sind notwendig. Der Start mit den Lehrkräften gestaltete sich also schwierig, so dass die Zielgruppe auf Schulleitungs- und -verwaltungspersonal verscho-ben wurde, da bei ihnen eine regelmäßigere Nutzung zu erwarten war. Die Eingabemas-ken und verfügbaren Daten wurden entsprechend ihren Bedürfnissen verändert und Schulungen durchgeführt. Sie nutzen das System sehr intensiv, so dass mittlerweile (Stand: 2001) wieder die Lehrkräfte stärker in den Blick genommen werden, in dem ein-fachere Prozesse für sie eingerichtet werden. Das System wird aber nicht nur für strategi-sche Planungen auf Distrikt- und Schulebene genutzt sondern ist so stark institutionali-siert, dass sogar Arbeitsverträge und Wartungsanfragen darin gespeichert werden und somit nicht nur der Schulentwicklungsplanung sondern auch der Verbesserung der logis-tischen Abläufe der einzelnen Schulen dient. An einigen Schulen wurden zusätzlich so genannte Data Marts erstellt, in denen lokale Informationen wie Noten oder Beobachtun-gen der Lehrkräfte mit den Daten des Data Warehouses zusammengeführt werden kön-nen - local assessment and behavioral information. Die Data Marts werden hierbei nicht statt des Data Warehouses genutzt sondern in Verbindung mit diesem. Es ermöglicht der Schulverwaltung auf lokalschulische Daten und Daten aus dem Data Warehouse mit nur einem Zugang zuzugreifen und diese miteinander zu verknüpfen. Problematisch gestal-ten sich hierbei der Support und die Wartung der Data Marts, die innerhalb der Schule erfolgen müssen. Es wird deshalb im Distrikt versucht so viele Informationen wie möglich im Data Warehouse abzubilden um die Data Mart-Aktivitäten der Schulen möglichst ge-ring zu halten. Aber nicht für alle Daten macht eine Abbildung im Data Warehouse Sinn. (Spielvogel, Brunner et al. 2001)

Mit Hilfe des Virtual Counselor haben auch Eltern Zugriff auf die Daten ihrer Kinder im Data Warehouse. Über das Internet können sie unter der Adresse https://www.browardschools.com/virtualcounselor/ beispielsweise die Anwesenheit ihrer Kinder in der Schule überprüfen oder aber deren Stundenplan einsehen. Die Screenshots in Abbildung 6 bis Abbildung 10 verdeutlichen, welche Daten den Eltern zur Verfügung stehen.

Page 28: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 28

Abbildung 6 – Broward Virtual Counselor – Acedemic History

Abbildung 7– Broward Virtual Counselor –Graduation Informaion

Abbildung 8– Broward Virtual Counselor – Testinformation

Page 29: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 29

Abbildung 9– Broward Virtual Counselor – Periodic Grade

Abbildung 10– Broward Virtual Counselor – Absences Calender

Page 30: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 30

4.2.2 Tucson Unified School District - TUSDStats

Die folgende Darstellung basiert im Wesentlichen auf die Untersuchung von (Long, Rivas et al. 2005) und eigener Recherchen im Internet. Das System TUSDStats des Tuscon Schuldistriktes im US-Bundesstaat Arizona kombiniert Daten aus verschiedenen Systemen des Distrikts. TUSDStats beinhaltet sowohl Schul- und Distriktsdaten (Prüfungsdaten, de-mografische Daten, Schulprofile und Bewertungen) als auch schülerbezogene Daten. Der größte Teil der Daten im TUSDStats stammt aus dem zentralen Schülerinformationssystem Mojave. Im Schuldistrikt Tuscon gibt es ungefähr 110 Schulen mit insgesamt mehr als 60.000 Schülern.

TUSDStats ist ein vom Distrikt selbst geschaffenes Data Warehouse, ein sogenanntes „home-grown system“. Zum Zeitpunkt als das System entwickelt wurde, gab es auf dem Markt nur wenige Anbieter und deren Systeme schienen nicht geeignet zu sein. Ein sol-ches System selbst auf die Beine zu stellen ist ein sehr komplexes Unterfangen und setzt hohe finanzielle und menschliche Ressourcen vor raus.

Abbildung 11 – Startseite TUSDStat

Das System ist über das Internet unter der Adresse http://tusdstats.tusd.k12.az.us/ er-reichbar (s. Abbildung 11). Ein Großteil der Daten ist für die Öffentlichkeit zugänglich (bspw. Testergebnisse auf Schulebene, die Schulprofile, die Anwesenheitsquoten u.v.m.). Schülerbezogene Daten hingegen sind durch ein Passwort geschützt und nur für authori-sierte Benutzer zugänglich. Autorisierte Benutzer werden in fünf unterschiedliche Kate-gorien mit unterschiedlichen Rechten unterschieden: Verwaltungsmitarbeiter/innen beim Distrikt und in den Schulen, Schulleiter, Lehrer und Eltern. Während ein Schulleiter bspw. Daten über alle Klassen, Jahrgangsstufen und einzelne Schüler einsehen kann, haben Eltern lediglich Zugriff auf die Testergebnisse, Anwesenheitsangaben u.s.w. ihres Kindes.

Page 31: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 31

TUSDStats dient jedoch nicht nur dem Abrufen von Daten, sondern auch der Datenerfas-sung. So ist die Schulleitung bspw. dazu verpflichtet den school accountability plan über TUSDStats zu vervollständigen.

Im TUSDStats-System werden sowohl vorgegebene Anfragen angeboten als auch die Er-stellung webbasierter Reports nach selbst gewählten Kriterien ermöglicht. TUSDStats aggregiert Daten auf verschiedenen Ebenen und kann die Ergebnisse in Form von Tabel-len und Grafiken anzeigen. In Abbildung 12 ist das Datenangebot und die Gliederung des-selben im TUSDStats-System zu sehen.

Abbildung 12 – Datenangebot TUSDStats (Long, Rivas et al. 2005)

Auf Distriktebene wird das System zur Identifikation von Schulen mit geringer Leistung und allgemeiner distriktweiter Themenfelder verwendet. Einige Lehrer verwenden die Auswertungen aus TUSDStats für Präsentationen im Lehrerkollegium oder vor Eltern. Die Daten die mit Hilfe des Systems verfügbar sind, ermöglichen Diskussionen und können helfen Entscheidungen zu legitimieren. Des Weiteren werden die Auswertungen für die Planung von Unterstützungsmaßnahmen einzelner Schüler genutzt.

4.3 Kwaliteitskaart – Qualitätskarten in den Niederlanden

In den Niederlanden werden bereits seit einigen Jahren standardisierte Berichte über die Schulqualität erstellt („Kwaliteitskaart“). Ziel ist die umfassende Information der Schulöf-fentlichkeit über verschiedene Aspekte des Schullebens. Seit 2003 werden die „Qualitäts-karten“ für die Grundschulen auch im Internet zur Verfügung gestellt. Zielgruppen sind neben den Eltern und der interessierten Öffentlichkeit auch potenzielle (neue) Lehrkräfte für die Schule (s. (Janssens and Visscher 2004)).

Page 32: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 32

Abbildung 13 - Qualitätskarten in den Niederlanden

Die Qualitätskarten werden u.a. durch regelmäßige Schuluntersuchungen durch externe Evaluatoren („Periodiek Kwaliteitsonderzoek (PKO)“) gefüllt. Darin enthalten sind Fragen nach dem schulischen Qualitätsmanagement, zu den Lehr- und Lernmethoden und den schulischen Rahmenbedingungen. Insofern werden sowohl Output-Indikatoren als auch Prozessindikatoren dargestellt. Das daraus abgeleitete Qualitätsprofil findet sich dann in den Qualitätskarten wieder. Diese werden regelmäßig aktualisiert, je nach dem, welche aktuelle Evaluation stattgefunden hat – dazu wird auch zu jedem Bericht das jeweilige Datum angegeben. Es wird sehr viel Wert auf „weiche“ Qualitätskriterien neben den „harten Fakten“ wie Testergebnisse, Absolventen usw. gelegt. Dabei geht es auch um die Art der Formulierung für die Zielgruppen, z.B. durch die Vermeidung von Fachtermini. Auf den ersten Blick sind durch die Farbcodierung (grün für „erfüllt“, rot für „nicht er-füllt“ und weiß für „offen“) die Stärken und Schwächen erkennbar. (vgl. Abbildung 13)

Bisher gibt es nur wenige Untersuchungen zur Nutzung und Nützlichkeit der Qualitäts-karten. Dijkstra et al. (Dijkstra 2001)haben einen Kriterienkatalog entwickelt, mit dem die Form der öffentlichen Rückmeldung von Schulqualität bewertet werden kann:

• Genauigkeit: „fairer“ Vergleich, Mehrebenenanalyse, Validität der Indikatoren (bei kleinen Populationen), Rangordnungen transparent machen (was unter-scheidet Rang 17 von Rang 18?), Angabe von Konfidenzintervallen, Nachvollzieh-barkeit der Datenerhebung (Prozessqualität)

• Gebrauchstauglichkeit: Abgrenzung der Aussagekraft der Indikatoren und Be-richte (für Rechenschaft oder Schulentwicklung), Veränderungsmaße integrieren (jährliche Verbesserungen), große Verbreitung organisieren, einfache Bedienbar-keit mit vielen Hilfestellungen für alle Zielgruppen.

Page 33: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulmanagementinformationssysteme Seite 33

• Sorgfältigkeit: Schulen müssen die Möglichkeit bekommen, die Ergebnisse selbst vor Veröffentlichung zu verifizieren und keine Schule darf bevorzugt behandelt werden.

Hieraus leiten sie folgende Empfehlungen für die Einführung von Qualitätskarten ab:

• Breiter Zugang zu den Informationen (Internet, aber auch telefonische Anfragen) • Unterstützung bei der Interpretation der Daten (insbesondere bei Eltern bereits

vor Auswahl der Schule) • Einbeziehung der Schulen bei der Entwicklung der Qualitätskarten

Page 34: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 34

5 Rückmeldesysteme

Die bundesweit geltenden Bildungsstandards im Primarbereich zur Entwicklung und Ver-gleichbarkeit der Qualität schulischer Bildung im föderalen Wettbewerb der Länder wur-den am 15.10.2004 von der Kultusministerkonferenz verabschiedet.

„In landesweiten Orientierungs- oder Vergleichsarbeiten überprüfen die Länder in eigener Verantwortung, in welchem Umfang die Standards erreicht werden. Die-ses Verfahren dient der Qualitätssicherung und begleitet den Lernprozess.“ (KMK-Pressemitteilung 2002b)

Die Überprüfungen sollen in der Primarstufe beginnen und auch in den weiterführenden Schulen ab Jahrgangsstufe 5 bzw. 7 durchgeführt werden. Zeitpunkt und konkrete Aus-gestaltung regeln die Länder selbständig. Auf der Grundlage der Standards sollen Aufga-benpools (Beispielaufgaben) aufgebaut und kontinuierlich weiterentwickelt werden, die den Ländern und ihren Schulen für ihre jeweiligen Prozesse interner und externer Evalu-ation sowie für ihre Curriculumentwicklung zur Verfügung stehen. Die Länder stellen hierbei Aufbau und Pflege der Aufgabenpools sicher.

„ … Darüber hinaus werden die Länder in landesweiten bzw. länderübergreifen-den Orientierungs- oder Vergleichsarbeiten überprüfen, in welchem Umfang die vereinbarten Standards tatsächlich erreicht werden. Ziel dieses Verfahrens soll es sein, eine Qualitätssicherung zu gewährleisten, sich darüber länderübergreifend auszutauschen und es den Schülerinnen und Schülern in allen Ländern der Bun-desrepublik Deutschland zu ermöglichen, in allen Bildungsgängen über individu-elle Förderung die gesetzten Ziele zu erreichen. … Die Bildungsstandards bezie-hen sich auf Kenntnisse, Kompetenzen und Fähigkeiten, die von Schülerinnen und Schülern erworben werden sollen.“ (KMK-Pressemitteilung 2002a)

Demnach gibt es für einen Bildungsmanager drei zentrale Fragen: Prozess- und Outco-mequalität zu entwickeln und zu bewahren, die Ressourcen effektiv zu nutzen und mit einem strategischen Überblick die Institution zu führen. ((Preedy, Glatter et al. 2001), S.31)

Um die Outcomequalität in der Schule beurteilen zu können, wird die Lernleistung auf unterschiedlichen Wegen gemessen. Für diese Zwecke werden an verschiedenen Punkten der Schullaufbahn Leistungsmessungen durchgeführt. Noch nie in der Geschichte Deutschlands wurden so viele zentrale Lernstandsmessungen, Schulvergleichstests und dezentrale Parallelarbeiten geschrieben, wie in den letzten fünf Jahren. Die Testverfahren werden mit Kontext– und Bedingungsfaktoren ergänzt, wodurch eine faire Beurteilung der Ergebnisse ermöglicht werden soll.

Eine beispielhafte Ausgestaltung der systematischen Überprüfung bietet das Bundesland Nordrhein-Westfalen, deren System in Tabelle 4 dargestellt wird.

Page 35: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 35

Jahrgangsstufe Lernstandsüberprüfung Curriculare Standards

1

2

-

-

-

-

3 Parallelarbeiten (auf freiwilliger Basis) -

4

(1. Halbjahr)

Zentrale Lernstandserhebungen (Vergleichsar-beiten) in Deutsch und Mathematik

Übergangsprofil, KMK-Bildungsstandards Ende Klasse 4

5 - -

6 - Anforderungen am Ende der Klasse 6 in den Kernlehrplänen

7

(2. Halbjahr)

Parallelarbeiten (schulische Aufgabenstellung) in Deutsch, Englisch und Mathematik

-

8 - Anforderungen am Ende der Klasse 8 in den Kernlehrplänen

9 Zentrale Lernstandserhebungen in Deutsch, Englisch und Mathematik

-

10

(2. Halbjahr)

Abschlussprüfungen mit zentralen schriftlichen Prüfungsaufgaben (ab dem Schuljahr 2006/07)

Anforderungen am Ende der Klasse 10 in den Kernlehrplänen, KMK- Bildungsstandards

Tabelle 4 - System der Standardsetzung und Standardüberprüfung in NRW

Bereits heute werden auch in Deutschland Informations- und Kommunikationstechniken in großen Umfang bei der Umsetzung der Untersuchungen eingesetzt. Die Verwendung lässt sich entlang der Prozesskette beschreiben:

• Aufgabenerstellung (zentral durch Fachdidaktiker, pädagogische Psychologen), Skalendefinition inkl. Tests (Reliabilität, Validität, Objektivität) – Sammlung und Erschließung in zentralen Datenbanken

• Aufgabenbereitstellung und Aufgabenauswahl (zentral und/oder schul-/klassenspezifisch) – Abwicklung über geeignete Plattformen

• Testdurchführung (u.U. Stichprobengenerierung) – vor Ort, aber auch zuneh-mend elektronisch („computer-based tests“)

• Testauswertung (zentral / dezentral) – in Rechenzentren oder auch lokal in der Schule mit Hilfe von statistischer Software

• Ergebnisrückmeldung und Visualisierung – papier-basiert (Bericht) und zu-nehmend mit Hilfe von Software (lokal/zentral)

• Hinweise und Materialien zur Unterrichtsentwicklung (Curricula, Unterrichts-beispiele, Kontakte, Fortbildungen) – web-basierte Verweisstrukturen

Im Laufe des Projektes ISMIS sollen Teile aus dieser Prozesskette prototypisch entwickelt werden. Hierzu zählen Aufgabenbereitstellung, Testauswertung, Ergebnisrückmeldung sowie webbasierte Verweisstrukturen.

Die Ergebnisrückmeldung stellt aus Sicht der Lehrkräfte in Schulen das wichtigste Ele-ment für die Nützlichkeit der Leistungstests auf der Schulebene dar. Daher sind alle Pro-jekte dieser Art mittlerweile sehr an Rückmeldedesign interessiert, wobei sich derzeit die

Page 36: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 36

pädagogisch-psychologische Forschung vor allem auf die papierbasierte Rückmeldung fokussiert. Eine Nutzung moderner Informations- und Kommunikationssysteme ist bislang nicht in Betracht gezogen worden. Durch eine enge Zusammenarbeit mit dem Projekt VERA an der Universität Koblenz-Landau lassen sich die Erfahrungen mit bisherigen Rückmeldesystemen nutzen und für die eigene Systementwicklung nutzen. In anderen Bundesländern, vor allem aber in der Schweiz und in Österreich wird bereits intensiv an Informationssystemen zur Bereitstellung von Aufgaben für Parallelarbeiten gearbeitet. Die hierdurch erzielbare Entlastung der Lehrkräfte kann auch zur weiteren Akzeptanz der Evaluationsverfahren insgesamt beitragen.

Im Folgenden wird zunächst die Lernstandserhebung VERA beschrieben. In den Abschnit-ten 5.2, 5.3 und 5.4 werden verschiedene existierende Rückmeldesysteme und Erfahrun-gen mit ihrer Nutzung vorgestellt.

5.1 VERA

Das Projekt VERA (Vergleichsarbeiten in der Grundschule) ist ein Gemeinschaftsunter-nehmen von sieben Bundesländern (Berlin, Brandenburg, Bremen, Mecklenburg-Vorpommern, Nordrhein-Westfalen, Rheinland-Pfalz, Schleswig-Holstein). In jährlichem Turnus werden kurz nach Beginn der 4. Klassenstufe in allen Grundschulklassen in den Fächern Mathematik und Deutsch Vergleichsarbeiten geschrieben. Durchgeführt wird das Projekt VERA von der Projektgruppe Empirische Bildungsforschung an der Universität in Landau (Leitung: Prof. Dr. Andreas Helmke und Jun. Prof. Dr. Ingmar Hosenfeld) in enger Zusammenarbeit mit den auftraggebenden Ministerien.

Vergleichsarbeiten verfolgen mehrere Ziele, wie zum Beispiel die Qualitätssicherung und die damit verbundene Verbesserung der Unterrichtsqualität, die Weiterentwicklung von diagnostischen Lehrerkompetenzen, was auch eine fundierte Schullaufbahnberatung der Eltern mit sich bringt, und die leichtere Durchsetzung innovativer Rahmenpläne und Kerncurricula. (Helmke, Hosenfeld et al. 2004)

VERA ist kein bloßes "System Monitoring" (dazu würde eine Stichprobe genügen), son-dern umfasst neben der Bestandsaufnahme ausdrücklich auch die Schul- und Unter-richtsentwicklung.

"Nach der Durchführung werden die Vergleichsarbeiten von den Lehrkräften schulintern nach vorgegebenen Richtlinien ausgewertet und mit Hilfe einer von uns entwickelten Software per Internet an den zentralen Datenserver in Landau geschickt, der anschließend für die Ergebnisrückmeldung verwendet werd." (Helmke 2004)

Das VERA-System ist eine onlinebasierte Lösung, auf alle beteiligten Schulen während des Testverlaufes Zugriff haben. Über das System werden die Lehrkräfte während der Dauer der Vergleichstests begleitet, so dass sie hierüber alle nötigen Informationen sowie die Testaufgaben erhalten. Nach der Durchführung der Tests, geben die Lehrkräfte über dieses System die Test-Ergebnisse ein. Nachdem die Ergebnisse verarbeitet und ausge-wertet sind, haben sie ebenfalls über das VERA-System die Möglichkeit, die Rückmeldun-gen diesbezüglich online einzusehen.

Das Projekt VERA umfasst zwei Rückmeldewellen. In einer ersten Welle erhalten die Klas-sen jeweils etwa eine Woche nach Übermittlung ihrer Daten an die Universität in Landau die für die pädagogische Nutzung besonders wichtigen Ergebnisse zurückgemeldet. Diese

Page 37: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 37

umfassen die Zuordnungen zu den Fähigkeitsniveaus für jedes Kind, die Verteilungen der Fähigkeitsniveaus in der Klasse und der Schule (sobald alle Klassendaten vorliegen), In-formationen zur diagnostischen Kompetenz der Lehrkraft (in Mathematik) und Informati-onen zu den Fehlerhäufigkeiten.

Wenn die Daten der Zentralstichproben vollständig erfasst sind, beginnt die zweite Rück-meldung. Dabei werden den Klassen zwei weitere Vergleichsmaßstäbe zur Einordnung der eigenen Ergebnisse angeboten: die Fähigkeitsverteilungen des jeweiligen Bundes-landes und einer länderübergreifend gebildeten Gruppe von Klassen ähnlicher Zusammensetzung („fairer“ Vergleich).

Ergebnisse auf Landesebene sind im Projekt VERA in zweierlei Hinsicht von Bedeutung: Zum einen dienen sie als Vergleichsgrundlage für die Ergebnisrückmeldungen an die Schulen und Klassen, die ihr Ergebnisprofil mit dem durchschnittlichen Profil ihres Lan-des vergleichen und so spezifische Stärken und Schwächen ausmachen können. Zum anderen dienen sie als Referenz für Veränderungen über die Zeit hinweg: Gelingt es den Ländern, ihre Ergebnisse - gemessen an den jeweiligen Vorjahresergebnissen bzw. dem vorangegangenen Ergebniszyklus - zu verbessern? VERA wurder erstmals im Herbst 2004 durchgeführt. Im Herbst 2005 erfolgte die zweite Erhebung. In den folgenden Jahren werden die Vergleichsarbeiten einmal jährlich durchgeführt werden.

Die Rezeption via Internet ist bisher noch schwierig, insbesondere Lehrkräfte in Grund-schulen nicht über die notwendigen IT-Kompetenzen verfügen. Es gibt vielfältige Auswer-tungsmöglichkeiten, ihre Nutzung hängt aber von schulinternen und -externe Bedingun-gen ab.

Insbesondere die Gestaltung der Rückmeldungen wird zunehmend für wichtig erachtet, ohne klar zu stellen, wie sie zu erfolgen hat. Für Lehrkräfte angemessene Rückmeldun-gen sind methodisch aufwändig und die Akzeptanz variiert. Insbesondere werden Ver-säumnisse eher dem elterlichen Umfeld und der sozialen Situation der Schülerinnen und Schüler zugeschrieben, als dem eigenen Handeln. Dennoch werden Rückmeldungen über die eigene Klasse in Studien (Ditton and Arnoldt 2004; Schwippert 2004) überwiegend positiv eingeschätzt allerdings als wenig verwendbar für den eigenen Unterricht bewertet (Ditton and Arnoldt 2004).

In der Fachliteratur wird zwischen internen und externen förderlichen Bedingungen der Nutzung differenziert. Zu den internen gehören: pädagogisch-psychologische Expertise, ausreichende Motivation, Akzeptanz, professionelles Selbstverständnis, Stabilität von Ge-wohnheiten. Zu den externen zählen: Reformklima (s. (Fend 2003)), EDV- und Finanzaus-stattung der Schule, Evaluations- und Kooperationsklima/Rolle der Schulleitung, Supervi-sion, Unterstützung durch Schulaufsicht, Moderatoren und Qualitätsberater, Institutionali-sierte Hilfe zur Dateninterpretation, Unterstützung durch Wissenschaft, Akzeptanz seitens der Eltern, Verankerung im Schulprogramm. (Helmke 2004)

Im Folgenden werden einige Ausschnitte aus der VERA-Rückmeldung mit Hilfe der Abbil-dungen Abbildung 14 bis Abbildung 16 aufgezeigt.

Page 38: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 38

Abbildung 14 – VERA-Rückmeldung: Verteilung der Schüler/innen nach Fähigkeitsniveaus

Abbildung 15 - VERA-Rückmeldung: eingeschätzte und tatsächliche Lösungsprozente

Page 39: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 39

Abbildung 16 - VERA-Rückmeldung: Schüler/innen unterhalb des Fähigkeitsniveau 2

5.2 Lernstand 9

Seit 2004 wird in Nordrhein-Westfalen landesweit jährlich in allen neunten Klassen der Haupt-, Real-, Gesamtschulen und Gymnasien verpflichtend die Lernstandserhebung „Lernstand9“ durchgeführt. Das Konzept der Lernstandserhebung in der Jahrgangsstufe 9 ist an das von VERA angelehnt. Die Bildungsstandards für diese Population werden in den Fächern Deutsch, Mathematik und Englisch überprüft. Im Fach Englisch werden nur diejenigen Schülerinnen und Schüler verpflichtend geprüft, die dieses Fach ab der 5. Jahrgangsstufe absolvieren. Alle anderen Schülerinnen und Schüler können freiwillig an dem Test teilnehmen.

Die Tests finden, ebenso wie bei VERA, an zentral festgelegten Tagen an allen Schulen in NRW statt. Die Aufgaben werden der Schule in Papierform zugeschickt. Die Auswertung der Lernstandserhebung erfolgt schulintern durch die Fachlehrkräfte.

Lernstand9 ist für die Betrachtung interessant, da die Schulen bei der Auswerung durch ein webbasiertes Computerprogramm unterstützt werden. Alle Schulen melden sich mit Hilfe eines individualisierten Zugangs am System an, in dem sie ihre Ergebnisse der Klas-se in den drei Fächern eintragen können (s. Abbildung 18). Nach Eingabe der Daten er-folgt sofort eine Auswertung und Rückmeldung. Die Diagramme werden dynamisch ge-neriert und ausgegeben. Es ist möglich über die Weboberfläche unterschiedliche Verglei-che anzustellen. So können Klassen, Jahrgangsstufen, der Schultyp und eine Schule mit dem gleichen Standorttyp miteinander verglichen werden (s. Abbildung 17). Ein Beispiel für die Darstellung der Ergebnisse ist in Abbildung 19 zu sehen.

Page 40: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 40

Abbildung 17 - Lernstand9: Auswahl der Darstellung

Abbildung 18 - Lernstand9: Übersicht der Klassen und Fächer (alle Eingaben wurden abgeschlossen)

Abbildung 19 - Lernstand9: aufgabenweiser Vergleich der Jahrgänge in Arithmetik

5.3 Kompetenzmessung und –rückmeldung in Ungarn

Zu den neuen EU-Beitrittsländern gehört das mitteleuropäische Land Ungarn. Nach den Angaben des Hungarian Central Statistical Office gibt es in Ungarn über 10.000 Bildungs-einrichtungen mit knapp zwei Millionen Kinder und Jugendliche und 190.000 Lehrkräften (HCSO 2005). Das Értékelési Központ (Hungarian Centre for Evaluation Studies, HCES), führt nationale und internationale Vergleichsstudien in der öffentlichen Bildung durch, um das Schulsystem zu evaluieren bzw. das Wissen und die Kompetenzen der Schülerin-nen und Schüler aufzuzeichnen (Lesen und Verstehen, Mathematik, Naturwissenschaften, Informatik). Das Testkonzept und das Psychometrik-Modell sind methodologisch an die PISA-Studie angelehnt.

Page 41: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 41

Seit 1986 nehmen ungarische Schülerinnen und Schülern an den Systemmonitoring-Untersuchungen teil. Diese dienen zur Aufzeichnung der Leistungsentwicklung einer be-stimmten Schülerpopulation und werden seit 1991 alle zwei Jahre durchgeführt. Das be-deutet, dass sie nicht nur ein Standbild über das Wissen der Schülerschaft, sondern auch dass Daten für eine Längsschnittuntersuchung und Trendentwicklung geliefert werden.

Die neue Meßserie wurde im Jahre 2002 direkt nach der Bekanntgabe der unterdurch-schnittlichen PISA-Ergebnissen des ungarischen Bildungssystems gestartet. Dies war der Auslöser für ein neues Qualitätsmanagement in Schulen. Die Kompetenzmessungen wer-den jedes Jahr in verschiedenen Jahrgängen durchgeführt. Das Ziel ist keine einfache Lernstandsmessung sondern die Antwort auf die Frage, ob die Befähigung der Schülerin-nen und Schüler vorhanden ist, ihr schulisches Wissen im realen Leben anzuverwenden und für den weiteren Wissensausbau nutzen zu können. Außerdem wurde als Ziel die Schaffung einer lokalen schulischen Messkultur gesetzt. Das Kennenlernen der Messme-thoden und –werkzeuge, der Zugang der Schulen zu den Daten und Verfahren, mit denen sie ihre eigenen Auswertungen durchführen können, fördern die Akzeptanz der landes-weiten Messung. (Schüttler 2004)

In 2002 wurde das Output-Wissen der 5. und 9. Jahrgänge auf den Fachgebieten Lesen, Verstehen und Mathematik gemessen. Nach politischen Veränderungen in Ungarn wur-den im Jahr 2003 alle ungarische Schülerinnen und Schüler der Jahrgänge 6. (120.000 Personen) und 9. (110.175 Personen) wieder auf den Gebieten Lesen, Verstehen und Ma-thematik getestet. Nach einer vorher bestimmten Stichprobe wurden aus jedem Jahrgang aller Schulen 20 Testhefte zum HCES eingesendet und ausgewertet, das bedeutet eine Datenmenge von 51.503 Tests aus dem 6. und 27.048 Tests aus dem 10. Jahrgang. Das erste Mal in der Geschichte der Lernstandmessungen in Ungarn wurden somit im Jahr 2002 Kompetenzstufen der Schülerinnen und Schüler bestimmt, außerdem wurden die soziokulturellen Einflüsse der Schule auf die Lernleistung in die Auswertung mit einbezo-gen.

In 2004 wurden die Tests auf die Populationen 6., 8. und 10. Jahrgang ausgeweitet. Alle Schülerinnen und Schüler landesweit wurden am gleichen Tag zur gleichen Zeit in Lesen, Verstehen und Mathematik getestet. Die Untersuchung wurde mit zusätzlichen Schüler- und Schulfragebogen zu den Kontextdaten, Umgebungsvariablen und Möglichkeiten der Schule angereichert. Hierzu dient ein spezieller sozioökonomischer Index namens HÉI.

Die Auswertung der zentralen Stichprobe wurde im HCES durch ausgebildete Codierer durchgeführt. Multiple-Choice-Fragen wurden automatisiert, offene Fragen hingegen durch Gruppen ausgewertet. Dadurch wurde eine intersubjektive Übereinstimmung an-gestrebt. Die Kontextdaten (z.B. sozioökonomischer Status und umfeldbedingte Faktoren in speziellen Schulen) wurden daraufhin mit den Testdaten gemischt. Die Testergebnisse außerhalb der Stichprobe wurden nicht zentral ausgewertet, konnten aber von den Lehr-kräften in den Schulen selbst mit Hilfe eines Codeheftes und der dafür zur Verfügung ge-stellten Software schulintern ausgewertet werden.

Die Daten der Schulfragebögen wurden zu diesem Zeitpunkt noch nicht ausgewertet, dienten nur zur Selbstevaluation der Schulen. Die Schülerfragebögen wurden zu der je-weiligen Schule zugeordnet, daraus wurde für die Schule ein SES-Index erarbeitet. Mit Hilfe des HÉI-Index können die Schulen ihre tatsächlich erreichten Ergebnisse den erwar-teten Ergebnissen im Hinblick auf die sozioökonomischen Hintergründe gegenüberstel-len. Dies ermöglicht den Schulen eine Einschätzung der Ergebnisse, die die sizioökono-

Page 42: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 42

mischen Gegebenheiten der Schülerinnen und Schüler behinhaltet. (Balázs and Zempléni 2004)

Die Rückmeldung der Ergebnisse erfolgt auf zwei unterschiedlichen Wegen. Nach der Auswertung wird ein schulindividualisierter, papierbasierter Bericht an alle teilnehmen-den Schulen geschickt. Dieser Bericht enthält diverse Darstellungen zu den folgenden Themen:

• Durchschnittliches Ergebnis der Schule im Vergleich zu allen ungarischen Schulen

• Durchschnittliches Ergebnis der Schule im Vergleich zu allen städti-schen/ländlichen Schulen

• Durchschnittliches Ergebnis der Schule im Vergleich zu ähnlich großen Städ-ten/Dörfern/Schulen

• Verteilung der Schülerleistungen in ähnlich großen Städten/Dörfern/Schulen

• Verteilung der erreichten Punkte der Schüler der Schule

• Verteilung der Ergebnisse nach Kompetenzstufen

• Ergebnisverteilung mit box plots

• Trendanalyse

• Vergleich der erreichten Werte mit den erwarteten Werten (HÉI-Index)

Die Diagramme werden ausführlich erklärt und mit Beispielen belegt. In einem nächsten Schritt wird eine Software mit den digital aufbereiteten Ergebnissen an die Schulen ge-schickt. Die Datenbank der Software enthält die Ergebnisse der zentralen Stichprobe. Die Schulen können nach Erhalt der Software die Ergebnisse der selbst ausgewerteten Tests eintragen, die nicht zur zentralen Stichprobe gehören, somit in die Auswertung einbezie-hen. Die eingetragenen Ergebnisse werden mit Hilfe der Software sofort in Form von Dia-grammen sichtbar gemacht (vgl. Abbildung 20 und Abbildung 21). Im Folgenden wird die Funktionsweise der Software näher beschrieben. Die Lehrkräfte und Schulleitungen be-kommen somit die Möglichkeit die Daten der Zentralstichprobe mit einer speziellen Soft-ware zu analysieren, die per Post in die Schulen geschickt wurde. Der Zugriff auf die Da-ten erfolgt über einen individuellen Schulcode.

Auf der Startseite erhält der Benutzer eine Übersicht über die wichtigsten Daten der Eva-luation in tabellarischer Form. Hier kann der Benutzer die Auswahl der Testhefte (A oder B), des Faches (Mathematik oder Lesen) und der Jahrgangsstufen (6, 8 oder 10) treffen. Zur Darstellung der Ergebnisse werden drei Diagrammtypen verwendet:

• Durchschnittswerte durch Balkendiagramme (Landesdurchschnitt, Durchschnitt nach Städte/Dörfer, Durchschnitt nach ähnlich großen Städten/Dörfer/Schulen)

• Percentilwerte im Vergleich zum Land, Städte/Dörfer oder zu ähnlich großen Städten/Dörfer/Schulen (die Daten können für den gesamten Test oder aufgaben-individuell ausgewertet werden)

• Box plots durch die Darstellung von Minimum und Maximum, dem unteren und oberen Percentil, dem unteren und oberen Quartil und dem Median

Page 43: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 43

Abbildung 20 – Ungarn: Beispiel für Diagrammdarstellung (Durchschnittswerte)

Abbildung 21 –Ungarn: Beispiel für Diagrammdarstellung (box plots)

Ein Ranking der Schulen oder der Schülerinnen bzw. Schüler ist mit der Software nicht möglich. Es besteht jedoch die Möglichkeit die Daten der eigenen Schule denen anderer gegenüberzustellen, was bei der papierbasierten Version nicht möglich war. Die Durch-schnittswerte beziehen sich auf die Test-Items und nicht auf die getesteten Personen. In der letzten Testphase wurde die Software von ca. 20% (geschätzt durch den Leiter der HCES) der Schulen für die Selbstevaluation eingesetzt. Eine Studie der derzeitigen Nut-zung der Testergebnisse in Schulen ist in Planung.

Eine Besonderheit dieser Vorgehensweise ist die Tatsache, dass die Schule „Herr der Da-ten“ ist und die Möglichkeit der Evaluation der eigenen Arbeit geschffen wird, ohne dass externe Einblick nehmen können. Ein weiterer Aspekt hierbei ist die Wahl einer CD-ROM als Medium. Auf diese kann nicht übers Internet zugegriffen werden, was eine gewisse „gefühlte Sicherheit“ bei der Nutzung der Daten in der Schule erzeugt.

5.4 Grow Network (USA)

5.4.1 Hintergrund: Schulleistungstests in den USA

In den USA haben psychometrische Verfahren zur Ermittlung von Leistungen in Bildungs-prozessen eine lange Geschichte (für eine historische Übersicht s. (Lemann 1999)). Von der Einführung von Schulvergleichstests versprach man sich, dass Schulen insbesondere in benachteiligenden Regionen besser identifiziert und Fördermaßnahmen für Schülerin-nen und Schüler gezielter durchgeführt werden könnten (vgl. (Tyack and Cuban 1995)). Seitdem haben alle Bundesstaaten und die meisten Schuldistrikte Vergleichstests einge-führt. Getestet werden je nach Bundesstaat oder Distrikt alle Alters- bzw. Klassenstufen bis zur High School, in vielen Fällen aber auch nur bestimmte Stufen.

Eine drastische Veränderung hinsichtlich der Nutzung der Testergebnisse im Schulwesen ergab sich durch die Verabschiedung des neuen Schulgesetzes der Bush-Regierung im

Page 44: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 44

Jahr 2001 (s. (Linn, Baker et al. 2002)). Im „No-Child-Left-Behind-Act (NCLB)“ wurde ver-ankert, dass Schulen und Schuldistrikte nur dann Anspruch auf Bundeszuschüsse haben, wenn sie in einem definierten Zeitraum die Testergebnisse verbessern. In Folge des NCLB-Gesetzes wurde die Bedeutung der Testergebnisse als diagnostisches Werkzeug und als Möglichkeit zu stärker datengestützten Entscheidungsprozessen in der Schule hervorgehoben. Dahinter steht der Gedanke, die Schülerleistungen als Basis für Entschei-dungen auf der Ebene der Klassen, der Fächer, der Schule und des Distrikts zu nutzen. In zahlreichen Untersuchungen sind die Vor- und Nachteile dieser Fokussierung diskutiert worden (s. bspw. (Herman and Gribbons 2001; Thorn 2001; Linn, Baker et al. 2002)).

„Support for such testing seems to grow as you move further from students, going from teacher to principal to central office administration to school board member to state board member, state legislator, and governor.“ ((Kohn 2002), S. 350)

Allerdings blieb die Frage offen, wie Schulen bzw. Lehrkräfte überhaupt mit den Daten umgehen sollen, welche Konsequenzen sie für ihre Alltagspraxis daraus ziehen und wie sie darauf vorbereitet werden können: “The practice of applying large-scale data to class-room practice is virtually nonexistent” ((Herman and Gribbons 2001), S. 1).

5.4.2 Rahmenbedingungen im Schulsystem von New York City

Die Schulen in New York City bilden das größte Schulsystem in den USA (für eine Über-sicht zum US-Schulsystem mit Bezug auf ihre IKT-Integration s. (Breiter 2001)). Insgesamt werden in fünf Regionen an 1.200 Schulen 1,1 Millionen Schülerinnen und Schüler von 79.000 Lehrkräften unterrichtet. Dazu kommen weitere 15.000 Beschäftigte wie Schullei-tungen (sic!), Berater/innen, Sozialarbeiter/innen oder Sekretariate (s. http://www.nycenet.edu/stats). Seit 2001 wird eine stärkere Überprüfung der Schulen und Distrikte angestrebt. Vom Unternehmen GrowNetwork Inc. wurde dazu ein webbasiertes Informationssystem eingekauft, das die jährlichen Vergleichstests in den Klassen vier bis acht so aufbereitet, dass Lehrkräfte, Eltern, Schulleitung und die Verantwortlichen beim Distrikt darauf direkt zugreifen können. Ziel war es, die Lücke zu schließen, die sich zwi-schen den aufwändig erhobenen Testdaten und der Nutzung für die Unterrichtspraxis der Lehrkräfte ergeben hatte. Zuvor wurden die Daten ausschließlich auf Schulleitungs- und Distriktebene eingesehen und verwendet. Das lag zum einen an der Qualität der Daten und deren Aufbereitung (in der Regel Zahlenkolonnen oder dicke Tabellenbände) zum anderen aber auch an der Verbindlichkeit ihrer Nutzung.

Mit GrowNetwork können die Schülerergebnisse des vergangenen Schuljahrs pro Klasse zu Beginn des neuen Schuljahrs in leicht verständlicher Form zur Verfügung gestellt wer-den. Als Hintergrund ist zu beachten, dass in den New Yorker Schulen die Klassen jedes Jahr neu zusammengesetzt werden, d.h. es gibt keinen Klassenverband im engeren Sinne mit einer durchgehenden Klassenlehrerin. Dadurch kommt dem Überblick über die zuvor erbrachten Leistungen der Schülerinnen und Schüler eine größere Bedeutung zu. Das Informationssystem unterscheidet vier Sichten mit unterschiedlichen Zugriffsrechten (s. Tabelle 5):

Sicht Art der Daten Zielgruppe

Schule aggregierte Daten, diffe-renziert nach Fächern und Schulstufen

Schulleitung, Dist-rikt, local communi-ty

Page 45: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 45

Klasse Ergebnisse der Schülerin-nen und Schüler nach Fächern

Lehrkräfte, Fortbil-dungskoordinato-ren

Fach aggregierte Daten nach Schulstufen und nach Aufgabenbereichen

Lehrkräfte, Fachko-ordinatoren

Schüler/in Einzelergebnisse pro Fach und nach Aufgabenberei-chen

Eltern, Schü-ler/innen, Lehrkräf-te

Tabelle 5: Sichten auf das Schulinformationssystem in New York

Abbildung 22: Beispiele für Grow Class Reports

Im oberen Teil von Abbildung 22 erkennt man die Gruppierung der Schüler/innen nach Leistungsstärke mit ihren Skalenwerten (im Beispiel Englisch, Klasse 5). Der untere Teil zeigt für diese Klasse die spezielle Ausprägung für die verschiedenen Niveaustufen in den State Standards („Information and Understanding“, Literary Response and Expression“ und „Critical Analysis“) im Vergleich zum Punktedurchschnitt im Bundesstaat. Im zugriffsgeschützten webbasierten System (http://info.grow.net) gibt es zudem Verweise auf die Standards, Erläuterungen über die Konstruktion der verwendeten Skalen, sowie zu weiterführenden Materialien (online und in Papierform) für Lehrkräfte zur Vertiefung bestimmter Unterrichtsinhalte.

Page 46: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 46

In den Berichten für Schülerinnen und Schüler sowie differenziert nach Fächern werden weitergehende Hinweise auf die Lehrpläne und zu Materialien gegeben. Dabei steht die Frage im Vordergrund, welche Maßnahmen der Lehrkräfte zur Verbesserung der einzel-nen Leistungen möglich wären. Für die Eltern gibt es zusätzliche Informationen und Hin-weise, wie die Daten verstanden werden können und wie sie selbst ihre Kinder unterstüt-zen könnten (Beispiele finden sich unter http://growparents.com/NYC). Der Zugriff auf die individuellen Schülerdaten sowie auf die aggregierten Schuldaten ist nur für autorisierte Personen möglich. Die Vertraulichkeit wird – soweit technisch realisierbar – gewährleis-tet, da hier ein hohes Maß an Sensibilität und Misstrauen bei Lehrkräften, Administrato-ren und Eltern existiert.

5.4.3 Forschungsfragen und -methoden

In einem mehrjährigen Forschungsprojekt2 wurde die Frage untersucht, wie Lehrkräfte die nun vorliegenden Daten für ihre Unterrichtspraxis nutzen und welche Erwartungen von Seiten der Schulleitung und der Schulverwaltung für deren Nutzung gesetzt werden.

Um die Stufen der Verarbeitung von Daten zu analysieren, wurden Interviews mit den Entscheidungsträgern beim Department of Education und mit verschiedenen Akteuren in Distrikten geführt. Zudem werden mit Hilfe verschiedener Szenarien, d.h. Versionen von aufbereiteten Testergebnissen versucht, die handlungsleitenden Aspekte bei den Lehr-kräften durch Gruppendiskussionen zu rekonstruieren. Das Projekt ist auf zwei Jahre mit drei Phasen aufgeteilt (vgl. (Breiter and Light 2004; Light, Wexler et al. 2004)).

Phase: Welche Erwartungen haben die Entscheidungsträger beim Schuldistrikt hinsicht-lich der Nutzung des Systems? 44 Interviews in 15 der 34 Schuldistrikte mit Superinten-dents, Fachreferenten, Lehrerfortbildner und IT-Koordinatoren.

Phase: Welches Verständnis haben Lehrkräfte und Schulleitungen hinsichtlich der Nut-zung der Daten für die Unterrichtsentwicklung? 76 Interviews in 15 Schulen aus vier Schuldistrikten mit 22 Lehrkräften, zehn Fortbildner, 13 Mitglieder der Schulleitung, sowie zehn teilnehmende Beobachtungen und 31 Szenarien mit Lehrkräften.

Phase: Quantitative Befragung mit 200 Lehrkräften und 150 Mitgliedern der Schulleitung.

In diesem Beitrag wird ausschließlich auf die Ergebnisse der beiden ersten qualitativen Phasen rekurriert. Dabei standen insbesondere die organisatorischen Rahmenbedingun-gen und ihr Einfluss auf die Interpretation der Daten im Vordergrund.

5.4.4 Empirische Ergebnisse

Auf der Seite der zentralen Verwaltung beim Department of Education wurde in den In-terviews stark auf die Aussagekraft der Tests im Hinblick auf einen stärkeren Wettbewerb unter den Schulen gesetzt. In New York werden Geldpreise für diejenigen Superinten-dents ausgelobt, die „ihre“ Testergebnisse steigern können. Die Systemsentwickler beim Department of Education betonen, dass Schul- und Unterrichtsorganisation durch Analyse

2 Das Projekt am Education Development Center / Center for Children and Technology (CCT) wird von der Carnegie Foundation gefördert. Der Autor war im Rahmen eines Forschungsaufenthaltes für mehrere Mo-nate an der Vorbereitung und Durchführung der qualitativen Interviews beteiligt. Der Dank gilt insbesonde-re Drs. Daniel Light, Margaret Honey, Cornelia Brunner und Ellen Mandinach vom CCT.

Page 47: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 47

der Ergebnisse angepasst werden könnten, um die Schülerleistungen stetig zu steigern. Auch wenn Vorbehalte gegenüber der Aussagekraft dieser Tests bestünden, würden sie dennoch als Schlüsselkennzahl für Schulqualität verwendet.

Auf der Distriktebene sind die Sichtweisen differenzierter, trotz des hohen Drucks von der Zentrale: für die meisten Superintendents sind die Berichte eine gute Möglichkeit, die eigenen Leistungen bei der Verbesserung der Schulen im eigenen Distrikt darzustellen – viele sind skeptisch hinsichtlich deren Aussagekraft, haben aber die politische Marsch-route internalisiert. Auf der Schulebene fanden sich ebenfalls sehr unterschiedliche Posi-tionen. Die Spanne reicht von Schulleitungen, die ihrer Pflicht nachkommend die Tests durchführen, aber ihre Verwendung weitestgehend ignorieren, bis zu denjenigen, die Testergebnisse als wesentliches Kriterien für die Bewertung von Schulqualität und Unter-richtserfolg ansehen. Somit bestätigte sich auch hier die These von Kohn (Kohn 2002) nachdem die Auseinandersetzung mit den Testergebnissen immer differenzierter wird, je tiefer sich die Akteure in der Schulhierarchie befinden bzw. je näher sie dem eigentlichen Unterrichtsgeschehen sind.

Noch unterentwickelt ist das Bild der Lehrkräfte, die in diesem Konzept die eigentlichen Adressaten der Daten sind. Für die meisten interviewten Lehrkräfte ermöglichten die Be-richte erstmals überhaupt den Zugriff auf Daten über die Leistungstests. Zuvor waren sie auf Schul- oder Distriktebene versickert. Aus den Gruppeninterviews kristallisierten sich drei Kernthemen heraus.

1. Die Berichte sind „Conversation Starter“: Viele Interviewpartner sprachen über die Berichte und die Testergebnisse im Allgemeinen als einen Startpunkt, um ins Gespräch im Kollegium, mit Schüler/innen und Eltern über die Qualität von Schule zu kommen. Insbesondere ging es um die Bedeutung von Leistungstests und de-ren Bezug zu den Standards und zum Lehrplan, um die Bedingungen zur Verbes-serung der Lernbedingungen, sowie um den Fortbildungsbedarf der Lehrkräfte.

2. Die Berichte helfen Lehrkräften bei der Verbesserung der Unterrichtsqualität: Einige Interviewpartner betonten, dass die Berichte dabei helfen würden, ihre Unterrichtsvorbereitung besser auf die Bedürfnisse der Schülerinnen und Schüler abzustimmen. Für andere waren die Testergebnisse ähnlich wie Zensuren eine weitere Möglichkeit, die Leistungsfähigkeit in der Klasse zu beurteilen und ent-sprechende Unterrichtseinheiten zu planen. Nur wenige Lehrkräfte sahen die Ge-fahr, die Testergebnisse als alleinigen Maßstab zu verwenden und danach den Unterricht auszurichten („teaching to the test“).

3. Die Berichte als Brücke zwischen den Akteuren im Schulsystem: Die Berichte wurden von allen Interviewten als eine Möglichkeit beschrieben, insbesondere mit Eltern, aber auch mit Fachkolleginnen und -kollegen sowie Fortbildnern über die individuellen Schülerleistungen zu kommunizieren und daraus Verbesse-rungsvorschläge zu formulieren.

Deutlich hervorzuheben ist die besondere Art der Lehrkräfte im Umgang mit den Daten. Da sie meistens über geringe Kenntnisse hinsichtlich psychometrischer Verfahren und statistischer Auswertungen verfügen, haben sie die Daten auf der Basis ihrer langjähri-gen Praxiserfahrungen interpretiert. Vor allem wurde die Reliabilität der Testdaten im-mer wieder angezweifelt: was sei mit Schülerinnen und Schüler mit niedrigen Testergeb-nissen, die aber nur einen schlechten Tag gehabt hätten; was mit denjenigen, die drin-gend Unterstützung benötigten, aber in den Test gut abschnitten? Problematisch wurde die Verwendung von Einzel-Scores statt Zonen bzw. Kompetenzstufen angesehen. Die

Page 48: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Rückmeldesysteme Seite 48

Fokussierung auf einen einzelnen Wert, statt einer bestimmten Kompetenzstufe erschien vielen Interviewten als inadäquat. Die Bedeutung für ihren eigenen Unterricht wurde sehr distanziert eingeschätzt. Für ihre Klasse seien die Daten ein Merkmal unter vielen nach denen die Leistungen der Schülerinnen und Schüler beurteilt würde. Über die Verwen-dung der aggregierten Daten als eine Maßzahl für die Schule machten sie sich erheblich mehr Sorgen, da sie die Testergebnisse als ungeeignet für ein Gesamturteil über die Schule empfanden. Dies gewinnt vor dem Hintergrund der Rolle von Tests im US-amerikanischen Schulsystem an Bedeutung, da es zu weit reichenden Konsequenzen führt, wenn eine Schule „schlecht“ bewertet wird. Ingesamt wurde aus den Interviews deutlich, dass Lehrkräfte sich zwar positiv über die Verfügbarkeit und Aufbereitung der Daten äußerten, ihre Bedeutung für ihre eigenen Handlungen aber als relativ gering ein-schätzten, da hier ihre Unterrichtserfahrungen eine erheblich größere Rolle spiele. Als eine wichtige Voraussetzung wurde die zeitnahe Verfügbarkeit der Daten zu Beginn eines Schuljahres eingefordert. Bislang war der Zugriff erst nach mehreren Wochen möglich, wodurch die Nützlichkeit beim Umgang in einer neu formierten Klasse nicht gegeben war. Sehr positiv wurden von den Lehrkräften die zusätzlichen Materialien und der Ver-weis auf die Standards in der webbasierten Version bewertet. Darin wurde ein Mehrwert für die Unterrichtsplanung und -durchführung gesehen und die Erläuterung der Kompe-tenzstufen und ihr Bezug zu den Standards halfen beim Verständnis der Auswertungen und damit für die Gespräche mit Kolleg/innen, Schüler/innen und Eltern.

Page 49: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulinformationssysteme der Bundesländer Seite 49

6 Schulinformationssysteme der Bundesländer

Im Folgenden wird ein Überblick über die technischen Systeme der 16 Bundesländer in Deutschland vorgestellt mit denen Informationen über die Schulen der Öffentlichkeit (ü-ber das Internet) zugänglich gemacht werden. Ziel der Betrachtungen ist es aufzuzeigen welche Informationen über einzelne Schulen in den verschiedenen Bundesländern in welcher Form veröffentlicht werden. Da die Systeme große Unterschiede in Funktionsum-fang und Datenbestand aufweisen ist zunächst allgemein von Schulinformationssystemen (SIS) die Rede. Die meisten der gefundenen Angebote lassen sich den elektronischen Schulverzeichnissen zuordnen. In einigen Fällen handelt es sich jedoch auch um Schul-Management-Informationssysteme. Eine ausführliche Beschreibung und Übersicht der verschiedenen Systeme mit zahlreichen Screenshots zur Verdeutlichung findet sich im Anhang.

Einige Schulträger wie zum Beispiel die Stadt München bieten ebenfalls eigene Schulin-formationssysteme für ihre Schulen im Internet an. Auch diese Initiativen sind u.U. für das Projekt ISMIS interessant. Sie werden allerdings im Rahmen der Bestandsaufnahme in diesem Zwischenbericht nicht genauer betrachtet, sondern sollen im weiteren Projekt-verlauf Berücksichtigung finden.

Die Systeme unterscheiden sich sowohl in der Art der Informationsbereitstellung als auch im Umfang der verfügbaren Informationen über die Schulen. Bezüglich der Informations-bereitstellung lassen sich grob drei Arten unterscheiden:

• Statische Listen: Einige Bundesländer stellen die Daten über Schulen über fest-gelegte (Link-)Listen bspw. geordnet nach Schulart oder Bezirk zur Verfügung. Bei diesen Systemen besteht keine Möglichkeit nach einer Schule mit bestimmten Pa-rametern zu suchen.

• Suchmöglichkeiten nach verschiedenen Parametern: Viele Systeme bieten ver-schiedene Suchmöglichkeiten zur Selektion einzelner Schulen an. Es ist bspw. möglich Schulen mit besonderen Unterrichtsangeboten zu suchen oder Schulen in der Nähe des eigenen Wohnortes anzeigen zu lassen. Auch die Suche nach Infor-mationen über eine bestimmte Schule über ihren Schulnamen ist bei diesen Sys-temen in der Regel möglich. Die Art der angebotenen Suchmöglichkeiten und festlegbaren Parametern unterscheidet sich von System zu System.

• Erstellung von Reports: Einige wenige Systeme bieten neben der Suche nach und Anzeige von Schuldaten die Möglichkeit Auswertungen auf Basis der zugrun-de liegenden Datenbank zu erstellen. Durch das Festlegen verschiedener Parame-ter (Durchschnittsnote, Schüleranzahl, Betreuungsquote, …) werden dann Tabel-len, Listen und Grafiken generiert, die der Anfrage des Benutzers entsprechen. Ein Beispiel für einen solchen Report in einem öffentlich zugänglichen Schulin-formationssystem ist eine Liste aller Schulen des Bundeslandes in dem die durch-schnittliche Abiturnote im vergangen Schuljahr besser als 3,0 war.

Die in den Systemen bereitgestellten Informationen lassen sich in drei Gruppen untertei-len:

Page 50: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulinformationssysteme der Bundesländer Seite 50

• Stammdaten: Unter Stammdaten werden in diesem Zusammenhang neben dem Schulnamen und der Schulnummer, die Adresse der Schule und Kontaktmöglich-keiten durch Angabe der Telefon- und Faxnummer, der E-Mail-Adresse und ggf. der Homepage der Schule verstanden. Die Stammdaten bilden in der Regel die Basis der Schulinformationssysteme der Bundesländer und sind in fast allen ver-fügbar.

• Kontextinformationen: Für viele Schulen werden neben den Stammdaten auch statistische Daten wie die Anzahl der Schüler und Schülerinnen oder die zugewie-sene Anzahl an Lehrerstunden angegeben. Diese Daten dienen der Beschreibung der schulischen Rahmenbedingungen, die mess- oder zählbar sind. Die Art und der Umfang der bereitgestellten Daten sind sehr unterschiedlich und reichen von der Angabe der Anzahl der Lehrkräfte bis hin zur Angabe der Sitzenbleiberquote im Vergleich zu derjenigen im entsprechenden Bundesland und der des jeweili-gen Stadtteils. Auch die Ergebnisse aus Schulvergleichstests gehören in diese Gruppe.

• Schulprofile: Eine weitere Informationsart die in den Schulinformationssystemen der Bundesländer identifiziert werden konnte sind, qualitativer Natur und liegen in der Regel in textueller Form vor. Diese „weichen Faktoren“ beschreiben das pädagogische Profil der Schule oder besondere Aspekte des Schulalltages. Die so bereitgestellten Informationen dienen der Darstellung von Besonderheiten der Schule, die aus den bloßen Zahlen nicht ablesbar wären. Eine wichtige Rolle spielt hier vor allem die pädagogische Ausrichtung der Schule.

Die Stammdaten und Kontextdaten stammen in der Regel aus bereits existierenden Ver-waltungssystemen in den Kultusministerien. In wie weit diese im jeweiligen SIS direkt ausgelesen bzw. automatisiert übertragen werden oder aber eine manuelle Aktualisie-rung erfolgt, ließ sich im Rahmen der Bestandsaufnahme noch nicht für alle betrachteten Angebote klären. Da die SIS jedoch durch operative Systeme gespeist werden kann hier von einer grundsätzlichen Aktualität der Daten ausgegangen werden. Meist wird in den Schulinformationssystemen angegeben wann die Angaben zum letzten Mal aktualisiert wurden oder welchem Stand die angezeigten Daten entsprechen. Auch die Vollständig-keit der Daten ist bezüglich der Stammdaten i.d.R. gegeben.

Die „weichen Faktoren“ hingegen werden meist von den Schulen selbst über entspre-chende Redaktionssysteme eingetragen und gepflegt. Die Vollständigkeit und Aktualität der Daten hängt also von der jeweiligen Schule ab. Wenn die Schulen nicht dazu ver-pflichtet sind bspw. ihr Schulprofil im System einzutragen und regelmäßig zu aktualisie-ren, kann dies dazu führen, dass keine oder veraltete Daten zu einer Schule angezeigt werden. Ein Informationssystem in dem die erwarteten Daten nicht oder nur veraltet vor-liegen verfehlt seinen Zweck. Bei den im Folgenden beschriebenen Systemen wird des-halb wo möglich eine Einschätzung der Aktualität und Vollständigkeit des Systems vorge-nommen. Die Aktualität von Systemen ohne Aktualisierungsdatum kann nur mit guter Kenntnis der regionalen Schullandschaft eingeschätzt werden.

In der Regel ist das entsprechende Kultusministerium für die Veröffentlichung von Infor-mationen über Schulen verantwortlich. Hierfür werden verschiedene bestehende Platt-formen wie die Websites des Bundeslandes, des Kultusministeriums oder aber die Lan-desbildungsserver genutzt.

Page 51: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulinformationssysteme der Bundesländer Seite 51

Für den Vergleich der verschiedenen Systeme der Bundesländer ist es wichtig auch die Zielsetzung und die Zielgruppen zu betrachten. Einige Systeme dienen lediglich der Be-reitstellung von Kontaktinformationen von Schulen für Eltern und andere Interessierte. Es gibt aber auch vermehrt Bestrebungen die Transparenz des Schulsystems zu erhöhen. Für die Öffentlichkeit sollen die Rahmenbedingungen und Profile der Schulen deutlicher her-ausgestellt werden. Des Weiteren soll ein Wettbewerb und Erfahrungsaustausch zwischen Schulen über ihre pädagogischen Konzepte entstehen, der im Endeffekt zu einer Verbes-serung von Schule insgesamt führt. Als Bestandteil der Berichtslegung von Schulen wer-den neben dem öffentlichen Bereich der Informationssysteme auch passwortgeschützte Bereiche für die Schulleitung, die Schulaufsicht und Behördenmitarbeiter bereitgestellt, in denen weitere Daten abrufbar sind.

In Tabelle 6 wird ein Überblick über bestehende Angebote der Bundesländer gegeben und gekennzeichnet auf welchem Weg welche Art von Informationen über Schule bereit-gestellt werden. Detailliertere Informationen zu den einzelnen Systemen befinden sich im Anhang. Es konnten bis zu diesem Zeitpunkt noch nicht alle oben skizzierten Fragestel-lungen beantwortet werden. Eine Einschätzung der Gesamtsituation in Deutschland er-scheint jedoch möglich.

Alle Bundesländer bieten in irgendeiner Form Informationen über ihre Schulen im Inter-net an. In Mecklenburg-Vorpommern beschränkt sich die Darstellung jedoch auf eine Liste der schulischen Homepages. Weitere Stammdaten wie Adressen und Telefonnum-mern werden nicht zur Verfügung gestellt. Die Mehrheit der Bundesländer bietet Such-möglichkeiten nach verschiedenen Parametern wie dem Ort und der Schulart an. In die-sen Systemen ist auch die Suche nach einer bestimmten Schule durch Angabe des Schul-namens oder der Schulnummer möglich.

Der Umfang der bereitgestellten Informationen liegt zwischen der bloßen Angabe der Schuladresse und einem umfangreichen Schulporträt, wie bspw. in Sachsen oder Berlin. In den meisten Systemen werden keine Angaben über die Zielgruppen gemacht, die obi-gen Betrachtungen machen jedoch deutlich, dass auch hier Unterschiede bestehen. So bilden im Bayerischen Realschulnetz explizit die Eltern die zentrale Zielgruppe. Im Sys-tem des Landes Hessen werden jedoch neben den Stammdaten hauptsächlich Unterlagen für den Schulalltag bereitgestellt, weshalb dieses Angebot eher an die Lehrkräfte gerich-tet zu sein scheint. Lediglich das Statistische Informationssystem des Kultusministeriums Thüringen und die Schulporträts Sächsischer Schulen bieten einen Login für Mitglieder der Schulaufsicht um weitere nichtöffentliche Informationen abzurufen.

Page 52: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulinformationssysteme der Bundesländer Seite 52

Art Informationen

Land System Betreiber

stat

istis

che

List

en

Such

mög

lichk

eite

n

Rep

orte

rste

llung

Stam

mda

ten

Kont

extin

form

atio

nen

Schu

lpro

file

BW Wegweiser Bildung Kultusministerium BW x x x

BW service-bw Innenministerium BW x x

BY Schuldatenbank Bayerisches Staatsministerium für Unterricht und Kultus

x x x

BY Bayerisches Real-schulnetz

Bayerisches Staatsministerium für Unterricht und Kultus

x x x x

BY Bayerisches Gymna-sialnetz

Bayerisches Staatsministerium für Unterricht und Kultus

x x x x

BE Schulverzeichnis Berliner Senat für Bildung, Jugend und Sport

x x x

BE Schulportraits Berliner Senat für Bildung, Jugend und Sport

x x x

BB Elektronisches Schul-verzeichnis

Ministerium für Bildung, Jugend und Sport Brandenburg

x x

HB Schulinformations-system

Bremer Senat für Bildung und Wissenschaft

x x x x

HH Schulinfosystem Behörde für Bildung und Sport Hamburg

x x x

HE Schulinformations-system Amt für Lehrerbildung Hessen

x x

MV Schulliste Landesinstitut für Schule und Aus-bildung

x o

NI Suche nach Schulen

Niedersächsisches Landesamt für Lehrerbildung und Schulentwick-lung

x x

NW Schulsuche

Ministerium für Schule und Weiter-bildung des Landes Nordrhein-Westfalen

x x x

NW learn-line.nrw.de Landesinstitut für Schule/Qualitäts-agentur NRW

x x x

RP Schulinformations-system

Ministerium für Bildung, Frauen und Jugend Rheinland-Pfalz

x x

SL Schuladressen Ministerium für Bildung, Kultur und Wissenschaft des Saarlandes

x x

SN Schuldatenbank Sächsisches Staatsministerium für Kultus

x x

SN Schulporträts Sächsisches Staatsministerium für Kultus

x x x x x

Page 53: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Schulinformationssysteme der Bundesländer Seite 53

ST Schulsuche Kultusministerium Sachsen-Anhalt x x

ST Schulsuche Landesbildungsserver Sachsen-Anhalt, Bereich Technik

x x

SH Schuldatenbank Institut für Qualitätsentwicklung an Schulen Schleswig-Holstein

x x x x

TH Verzeichnis von Schulhomepages Kultusministerium Thüringen

x o

TH Statistisches Informa-tionssystem Kultusministerium Thüringen

x x x x

Tabelle 6 – Übersicht Schulinformationssysteme der Bundesländer (o keine vollständigen Stammdaten)

Berlin, Sachsen und Thüringen sind in Deutschland die Vorreiter was die Offenlegung von Informationen über Schulen für die Öffentlichkeit angeht. Sie verfolgen hierbei ähnliche Ziele (schulische Qualitätssteigerung, Erhöhung der Transparenz und des Austauschs), setzten diese aber unterschiedlich um. So wird in Sachsen auf eine qualitative Darstel-lung der Schulen gesetzt, die zwar durch die Verwendung einheitlicher Kriterien eine grundsätzliche Vergleichbarkeit der Schulen ermöglicht, zum anderen aber durch die größtenteils deskriptive Form der Angaben keinen direkten Vergleich erlaubt. In Berlin hingegen werden hauptsächlich „harte Fakten“ über die Schulen bereitgestellt, die teil-weise zusätzlich den entsprechenden Durchschnittswerten der Schulart, des Bundeslan-des und der Region gegenübergestellt werden.

Das System SIS-TKM des Bundeslandes Thüringen bietet umfangreiche Möglichkeiten der Datenanalyse über Schulen. Die Art der Informationsbereitstellung (OLAP-System, dyna-mische Berichte) ist jedoch mit der in den Schulporträts Berlins und Sachsens nicht ver-gleichbar. Während dort die einzelne Schule im Mittelpunkt steht, ist das thüringische System eher dazu geeignet Daten auf einer höheren Ebene zu interpretieren.

Trotz stärkerer Umorientierung zur Output-Steuerung und Förderung des Wettbewerbs zwischen den Schulen vermeiden alle Bundesländer ein bloßes Ranking anhand einzel-ner Faktoren. Soweit über „unverfängliche Daten“ wie die Schülerzahl hinausgehende Infos bereitgestellt werden, werden diese durch weitere Informationen in den richtigen Kontext gerückt.

Ergebnisse aus internen und externen Evaluationen oder Schulvergleichstests wie bspw. in den USA üblich werden in keinem der betrachteten Schulinformationssysteme angege-ben. In Berlin wird allerdings angegeben in wie weit und wann Evaluationen statt gefun-den haben. Die Angabe der Ergebnisse liegt im Ermessen der Schulen. In den Sächsi-schen Schulporträts werden die Rückmeldungen zur Schulqualität durch Schüler, Eltern, Lehrer und Sonstige aufgelistet und Inhalt und Vorgehen kurz beschrieben. Ergebnisse werden auch hier nicht zur Verfügung gestellt.

Page 54: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 54

7 Ist-Stand in Bremen

Der Senat für Bildung und Wissenschaft in der Freien Hansestadt Bremen vertritt die Mei-nung: „Ein wesentliches Element von Qualitätsbetrachtungen ist der Vergleich mit ver-gleichbaren Anderen.“ (SfBW-HB 2004) Er steht für die Förderung der Transparenz im Bereich der Qualitätsbetrachtung. In diesem Sinne wurden schon mehrere Maßnahmen in der Stadtgemeinde Bremen und in der Seestadt Bremerhaven initiiert, um die Bil-dungsqualität zu optimieren.

Ein erster Schritt in diese Richtung war die flächendeckende Einführung des Schulinfor-mationssystems Magellan. Im folgenden Abschnitt 7.1 wird zunächst der Entscheidungs-prozess der Einführung erläutert. In Abschnitt 7.2 wird eine Evaluation des Systems und seiner Nutzung ein Jahr nach der Einführung beschrieben.

Ein weiterer Schritt zur Steigerung der schulischen Qualität in Schule ist die Teilnahme an den Vergleichsarbeiten VERA (s. Abschnitt 5.1) deren Durchführung in Bremen im Ab-schnitt 7.3 genauer betrachtet wird.

7.1 Entscheidung für Magellan

Die Deputation für Bildung hat vor dem Hintergrund des Berichtes des von Schul- und Behördenvertretern getragenen Reformprojektes (Neuordnung der Aufgabenwahrneh-mung der Freien Hansestadt Bremen Teilprojekt Bildung) und auf Basis der von der Fir-ma Roland Berger herausgearbeiteten Kriterien im Rahmen der internen Qualitätssiche-rung den Grundsatzbeschluss gefasst, eine geeignete Schulverwaltungssoftware für die Schulen in der Stadtgemeinde Bremen und für die senatorische Dienststelle anzuschaffen und schrittweise einzuführen.

An der Ausschreibung haben sich zwei Unternehmen mit unterschiedlichen Produkten beteiligt: die Firma Stüber Software mit den Produkten Magellan und da Vinci; sowie die Firma Federas Beratung AG. Das Auswahlverfahren wurde aufgrund der Bewertung an Hand eines Pflichtenheftes und Kriterienkataloges sowie unter fachlicher Bewertung nach einer mit der zentralen Beschaffungsstelle beim Finanzsenator abgestimmten Gewich-tung der Kriterien durchgeführt. Die Auswahlentscheidung fiel eindeutig zugunsten der Firma Stüber Software aus.

Somit stimmte die Deputation der Anschaffung der Programme Magellan und da Vinci von der Firma Stüber Software und der dargestellten Finanzierung zu. Zunächst sollte das System im Rahmen eines Pilotprojektes mit fünf Schulen und einer senatorischen Dienst-stelle erprobt werden. Erst wenn diese Phase erfolgreich abgeschlossen sein wprden, sollte die flächendeckende Einführung an allen Schulen der Stadtgemeinde Bremen vor-genommen werden.

Für das Pilotprojekt wurden im Jahr 2002 rund 145.000 EUR für fünf Lizenzgebühren und für die Einrichtung eines zentralen Servers veranschlagt. Die nach einer entsprechenden Entscheidung im Jahre 2003 anfallenden einmaligen Kosten für eine flächendeckende Ausstattung der öffentlichen Schulen in der Stadtgemeinde Bremen belaufen sich auf

Page 55: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 55

zusätzlich 555.000 EUR. Die Gesamtkosten in Höhe von ca. 700.000 EUR setzen sich dann wie folgt zusammen:

• Schulverwaltungsprogramm Magellan Version 3: 232.000 EUR

• Erweiterung und Anpassung einschl. Lizenzkosten für die Client-Server-Installation: 237.000 EUR

• Installation des Magellan –Replikationsservers: 105.000 EUR

• Reportgenerator: 475 EUR

• Stundenplanprogramm daVinci: 58.000 EUR

• Supportschulung für fünf Mitarbeiter: 23.000 EUR

• lnstallationskosten 35.000 EUR

Die Finanzierung sollte zunächst aus der Budgetrücklage des Produktplans Bildung erfol-gen, später über das Sondervermögen Immobilien und Technik mit einer jährlichen Abfi-nanzierung von Zins und Tilgung aus der Rücklage.

Die Folgekosten für Softwarepflege und -updates sowie einen Second-Level-Support in Höhe von rund 175.000 EUR fielen nach der Einführung der Software ab 2004 an. Bei die-ser Kalkulation wurde vorausgesetzt, dass sowohl die Durchführung der Anwenderschu-lung als auch die Abdeckung des First-Level-Supportes (Hotline, Fehlerdiagnose und –behebung etc) durch Mitarbeiter der senatorischen Dienststelle erfolgt.

Magellan wurde im Jahr 2004 flächendeckend in allen Bremer Schulen als Schulverwal-tungssoftware eingeführt und in Betrieb gesetzt. Nach einer Eingewöhnungsphase von einem Jahr wurde die Nutzung des Systems evaluiert. Die Ergebnisse dieser Evaluation befinden sich im nächsten Abschnitt 7.2.

7.2 Evaluation Magellan

Die Nutzung der Software Magellan 4 der Firma Stüber wurde von dem studentischen Projekt Quassel an der Universität Bremen im Studiengang Informatik evaluiert.3 Es wur-de eine vierphasige software-ergonomische Evaluation durchgeführt, die durch eine Um-frage zur Nutzung und Nuterzufriedenheit ergänzt wurde.

Das Programm Magellan ist ein umfassendes Werkzeug zur Verwaltung von Schulen und beinhaltet unter anderem Funktionen für die Schülerverwaltung, das Erstellen von Zeug-nissen und die Abiturqualifikationsberechnung. Bei der software-ergonomischen Evalua-tion wurden die Kernmodule „Magellan-Basismodul“ und „Magellan-Oberstufenmodul“ untersucht, da diese den primär genutzten Funktionsumfang abbilden. Wegen der ergo-nomischen Ähnlichkeit der Zusatzmodule (”Magellan Berufsbildende Schulen“, „Magel-lan Datawarehouse“, „Magellan-Landesstatistik“ und „MyMagellan“) lassen sich die ge-wonnenen Evaluationsergebnisse weitestgehend übertragen

3 Besonderer Dank gilt hierbei den durchführenden Studierenden Marco Coorssen, Daniel Drieling, Meik Hansen, Björn Peter, Marion Urbach und Stefanie Weßler für ihre Arbeit!

Page 56: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 56

Die software-ergonomische Evaluation der Magellan-Software verlief in vier Phasen:

1. Sichtung von und explorative Einarbeitung in Magellan

2. Erstellung eines Kriterienkatalogs

3. Expertentests in Form einer heuristischen Evaluation

4. semi-strukturierte Interviews mit Magellan-Nutzerninnen bzw. -Nutzern

Den Abschluss der Evaluation bildete die Analyse der Ergebnisse, in der alle gesammel-ten Informationen zusammengeführt, miteinander verknüpft und aufbereitet wurden, um Rückschlüsse auf die Benutzungsfreundlichkeit und die Nutzerzufriedenheit der Magel-lan-Software ziehen zu können. In den nächsten Abschnitten erfolgt die Beschreibung und Erläuterung der Resultate.

7.2.1 Ergebnisse der software-ergonomischen Evaluation

Auf Basis der eigenen Erfahrungen der Studierenden im Umgang mit dem Magellan-System und nach Auswertung der Nutzertests sowie der Zusammenfassung der drei Nut-zer-Interviews kann eine vorläufige und vorsichtige Abschätzung der Nutzerzufriedenheit gegeben werden.

Nahezu übereinstimmend haben die befragten Nutzer die vielseitigen Möglichkeiten und Funktionalitäten der Software hervorgehoben und diese als sinnvolle Unterstützung im Arbeitsalltag angesehen. Dieses positive Empfinden schlägt sich auch in Bezug auf die Gestaltung bei der Gesamtbetrachtung von Magellan nieder.

Jedoch führten die Befragten auch einige Kritikpunkte auf, die sie für verbesserungswür-dig halten. Trotz der diversen Möglichkeiten wird das Arbeiten mit dem System oft als „umständlich“ beschrieben. Einige Interviewpartner bevorzugen ihr voriges Arbeiten, egal ob manuell in Papierform oder bereits durch Computerunterstützung. Hierfür wur-den die Gewohnheit, die höhere Bearbeitungsgeschwindigkeit und mehr Flexibilität als Gründe genannt. An dieser Stelle sei jedoch auf die nicht bedingte Repräsentativität der Nutzertests zu verwiesen und ebenso kritisch anzumerken, dass auch die Bequemlichkeit der Nutzer einer Arbeitsumstellung entgegenwirken kann.

Eindeutig ist aber, dass Magellan in einigen speziellen Fällen die Arbeit nicht komplett unterstützen kann, da es Aufgaben gibt, die sich nicht mit Magellan erledigen lassen. Beispiele hierfür sind Sonderfälle bei der rechtlichen Unterscheidung zwischen Erzie-hungs- und Sorgeberechtigten, die Magellan nicht unterstützt. Für von der Behörde an-geforderte Statistiken existieren zumeist vorgefertigte Muster, jedoch entsteht den Nutzer n in Einzelfällen Mehraufwand, wenn sie beispielsweise für die Beantragung von Sozial-arbeitern eigene Auswertungen erstellen müssen.

Auch wenn der technische Support von allen Seiten als jederzeit äußerst freundlich und kompetent geschildert wird, sind sich alle Befragten einig, dass eine praxisbezogene Schulung unabdingbar ist. Im aktuellen Schulungskonzept sehen sie jedoch einige Ver-besserungsmöglichkeiten. So sollten Schulungen möglichst zeitnah zur Einführung von Magellan erfolgen und der praktische Einsatz und Nutzen in der alltäglichen Arbeit im Vordergrund stehen.

Zusammenfassend ergibt sich trotz einiger Mängel und Kritikpunkte ein positives Er-scheinungsbild des Schulverwaltungssystem Maggelan aus Benutzersicht. Auch wenn die Nutzer in einigen Bereichen Überarbeitungs- und Verbesserungsbedarf sehen, sind sie

Page 57: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 57

im Grunde genommen von den Möglichkeiten, die Magellan ihnen bietet, überzeugt, so-dass auf eine große Zufriedenheit mit der Software zu schließen ist.

Nach Abschluss der Evaluation hinsichtlich software-ergonomischer Gesichtspunkte sa-gen, dass Magellan überwiegend den existierenden Richtlinien, Gesetzen und Normen genügt. Jedoch zeigte die Untersuchung, dass das System einige Schwachstellen aufweist. Einige kleinere Schwächen wurden im Bereich der Zielgruppen-Ausrichtung gefunden. Gerade für Benutzer mit geringen PC-Erfahrungen wäre der konsequentere Einsatz einer kontextuierten Hilfestellung von Vorteil. Größere Probleme ergeben sich besonders für unerfahrene Nutzer dann, wenn sie ein Dialogfenster während der Nutzung minimieren, da ihnen unter Umständen nicht bewusst ist, dass der Dialog erst beendet werden muss, bevor sie mit ihrer Arbeit fortfahren können. Im Bereich der Barrierefreiheit ergeben sich auch deutliche Probleme. Alternative Eingabegeräte werden beispielsweise gar nicht unterstützt und die Anpassung von Schriftart und -größe für Nutzer mit körperlichen Ein-schränkungen ist nicht möglich. Scheinbar hat das Thema Barrierefreiheit in der Ent- und Weiterentwicklung von Magellan bisher keine Rolle gespielt. Jedoch hat sich der Herstel-ler Stüber Software auf Anfrage durchaus an diesem Thema interessiert gezeigt und den Nachholbedarf erkannt.

Die meisten Kritikpunkte beziehungsweise Verstöße gegen die Heuristiken in den Exper-tentests traten jedoch im Bereich der Fehlerbehandlung sowie im Umgang mit Falschein-gaben der Nutzer auf. So werden fehlerhafte Eingaben zum Teil ohne Hinweis an die nut-zenden Personen korrigiert und auf den als zuletzt korrekt bekannten Wert zurückgesetzt. Dadurch besteht die Gefahr, dass unbemerkt falsche Daten in das System übernommen werden, was negative Auswirkungen auf die Datenqualität hat. Genauso problematisch ist die aufgedeckte Schwachstelle, dass es durch SQL-Fehler oder die Rückgängig-Funktion zu eklatanten Datenverlusten kommen kann. So wird zum Beispiel nicht nur die letzte Eingabe widerrufen, sondern es werden alle Eingaben auf die Werte zurückgesetzt, die sie zum Zeitpunkt der letzten Speicherung hatten. Hieraus resultiert ein Mehraufwand für die Benutzer. Generell müssen SQL-Fehler vom System abgefangen werden, da die entsprechenden Fehlermeldungen für die meisten Nutzer nicht verständlich sind.

Bei genauerer Betrachtung der Software wird jedoch schnell klar, dass Magellan ein sehr mächtiges System ist. So werden den Schulbediensteten zahlreiche Unterstützungen in der Bewältigung ihrer täglichen Arbeit angeboten. Aufgrund dieser Komplexität werden aber auch gewisse Anforderungen an die Fähigkeiten der Nutzer gestellt. Hierunter fallen zum einen domänenspezifische Kenntnisse im Bereich der Schulverwaltung und zum an-deren grundlegende Kenntnisse in der Benutzung von PCs sowie gegebenenfalls Erfah-rungen im Umgang mit Microsoft-Produkten.

Aus diesen Anforderungen ergibt sich ein verstärkter Schulungs- bzw. Einarbeitungsbe-darf, der in Anbetracht der Möglichkeiten von Magellan durchaus vertretbar ist. Die Nut-zer sollten durch eine intensive und möglichst praxisbezogene Schulung auf die qualifi-zierte Anwendung der Schulverwaltungssoftware vorbereitet werden.

7.2.2 Ergebnisse der Nutzerumfrage

Als Ergänzung zu der software-ergonomischen Evaluation des Schulverwaltungssystems Magellan wurde eine Umfrage zur besseren Einschätzung der Nutzerzufriedenheit an allen Bremer Schulen durchgeführt. Da es sich um eine Software handelt, die den Ar-beitsalltag in Schulen unterstützen soll, ist eine gute Benutzbarkeit von großer Bedeu-tung. Eine solche fördert zudem die Akzeptanz von Magellan unter den Nutzern, weshalb

Page 58: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 58

eine Untersuchung der Software helfen soll, Stärken und Schwächen von Magellan zu erkennen und um darausgehend mögliche Verbesserungen in der Organisation, Schulung und technischen Implementation des Systems ableiten zu können.

Im Folgenden werden einige vor der Durchführung der Befragung aufgestellte Hypothe-sen den Ergebnissen der Umfrage gegenübergestellt. Die detaillierteren Auswertungen, die diese Aussagen untermauern und weitere Evaluationsergebnisse sind in (SfBW-HB 2004) zu finden.

1. Schulen im Sekundarbereich benutzen Magellan häufiger als Schulen der Primarstufe

Wie erwartet, benutzen Grundschulen, die Gewöhnlicherweise von weniger Schülerinnen und Schülern besucht werden, Magellan im Schnitt seltener als größere Sekundarschu-len. Für diese Schulen scheint eine solche Software nützlicher zu sein.

2. Sekretariate benutzen Magellan häufiger als Schulleitungen

Da Magellan unserer Meinung nach viele Stärken im administrativen Bereich einer Schu-le besitzt, erwarteten wir, dass das Sekretariat die Hauptnutzerinnen und Hauptnutzer von Magellan sind. Da die Software anscheinend ihre Aktivitäten gut unterstützt, wurde diese Hypothese bestätigt.

3. In der Einführungsphase traten sehr oft Software-Probleme auf, bei denen der telefoni-sche Support genutzt wurde

Trotz der Einführung traten kurz nach der Einführung von Magellan natürlich einige Probleme auf, die sich hauptsächlich im Umgang mit der Software ergaben. Aus diesem Grund wählten die Nutzerinnen und Nutzer als erstes die Software-Hotline, wenn Schwie-rigkeiten auftraten.

4. Heute treten nur noch selten Probleme auf und man versucht sie selber zu lösen

Heute sind die Nutzerinnen und Nutzer viel seltener mit Problemen konfrontiert und ver-suchen dann, diese zu allererst selber zu lösen, bevor sie Kolleginnen und Kollegen oder den externen Support um Hilfe bitten.

5. Die durchschnittliche Nutzung liegt bei 3-10 Stunden pro Woche

Begründet in Erfahrungen und Vorwissen aus geführten Interviews im Rahmen unseres Projektes erwarteten wir, dass die wöchentliche Nutzung schon oberhalb von 3 Stunden anzusiedeln ist. Jedoch ahnten wir ebenso, dass es nur recht wenige Personen geben sollte, die mehr als 10 Stunden pro Woche aufbringen.

6. Die am häufigsten genutzten Funktionen sind Schülerdaten einsehen und Formular-druck

Aufgrund der starken administrativen Unterstützung durch Magellan wurde erwartet, dass hauptsächlich das Einsehen und die Pflege der Schüler-Stammdaten sowie der For-mulardruck die am häufigsten verwendeten Funktionen seien. Obwohl aus Sicht der Schulleitung zu sagen ist, dass auch der Umgang mit den Personaldaten besonders wich-tig ist.

7. Magellan bietet nur eine kleine Unterstützung im Job

Insgesamt äußerten 76,5% aller Antwortenden, dass Magellan sie in der Ausübung ihres Jobs viel oder sogar sehr viel unterstützen würde. Obwohl Magellan ein sehr umfangrei-ches Werkzeug für Schulen ist, vermuteten wir, dass die möglicherweise problematische und umständliche Bedienung der Software ein Hindernis sein könnte. Es scheint, dass

Page 59: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 59

dies nicht der Fall ist, da Magellan trotz einiger Schwächen den Schulen offensichtlich eine gute Unterstützung bietet.

8. Magellan hilft Zeit zu sparen

Durch den Einsatz von Magellan sagten die Befragten, habe sich ihre Arbeit vereinfacht. Jedoch führt dies nicht zu einer Zeitersparnis. Erwartet wurde jedoch, dass durch die e-lektronische Datenverarbeitung (z.B. Speicherung, Einsehen, Suche und Pflege) Zeit ge-spart werden könnte, jedoch scheint sich dies durch Schwächen von Magellan in der Be-nutzung nicht niederzuschlagen.

9. Wenig Schulung und geringe Computererfahrungen führen zu einer geringeren Nut-zung von Magellan

Die Umfrageergebnisse zeigen keine eindeutigen Zusammenhänge zwischen dem Um-fang erhaltener Schulungen, dem Grad vorhandener Computerkenntnisse und der Nut-zungsintensivität.

10. Schulleitungen benutzen Magellan nur selten

Eindeutig ist, dass Schulleiterinnen und -leiter nicht die Hauptnutzerinnen und Hauptnut-zer von Magellan sind, da Sekretariatsbeschäftigte das System häufiger benutzen. Auf der einen Seite gibt es eine große Gruppe von Schulleitenden, die Magellan weniger als 3 Stunden pro Woche bedienen. Auf der anderen Seite gibt es aber auch eine beträchtliche Gruppe von 20%, die pro Woche mehr als 15 Stunden in die Nutzung von Magellan inves-tieren.

7.3 VERA in Bremen

Im Folgenden werden erste Ergebnisse vorgestellt, die bei der Untersuchung der VERA-Ergebnisse in Bremen erarbeitet wurden. Basierend auf dem in Abschnitt 2.2 und Abbildung 5 vorgestellten Modell werden im Projekt ISMIS sowohl die Anforderungen und Erwartungen als auch die erlebten Nutzungsformen und das Feedback der verschie-denen Ebenen (Politik, Schulaufsicht, Schulleitung und Lehrkräfte) untersucht. Die Infor-mationsbedarfanalyse läuft zurzeit noch bei den unterschiedlichen Zielgruppen in der Schule. Aus den bisherigen Erhebungen kann in diesem Bericht die Sicht der Lehrkräfte erläutert werden. Eine Informationsbedarfsanalyse aus Sicht der Schulleitung und der Fachkoordinatoren ist erst für die nächste Phase des Projektes ISMIS geplant.

7.4 Politische Ebene

Vergleichsarbeiten als Instrument der Qualitätsentwicklung sind noch nicht vollständig etabliert. Die Beteiligten gewöhnen sich erst langsam an das Verfahren und optimieren es gleichzeitig. Das gilt für das Land Bremen wie für die anderen Bundesländer glei-chermaßen. „Der Senat vertritt die Auffassung, dass diese Verfahren zunächst zum selbst-verständlichen Bestandteil schulischer Arbeit werden müssen und unterstützt daher die Schulen, dies mit wachsender Professionalität tun zu können.“ (SfBW-HB 2004)

Der Senat schätzt den Stellenwert der Vergleichsarbeiten als Diagnoseinstrument für den schulischen Entwicklungsprozess als sehr hoch ein. Deshalb ist es von großer Bedeutung, dass die Bewertung und Interpretation in der Einzelschule mit ihrem jeweiligen Kontext

Page 60: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 60

vorgenommen wird. Derartige Auseinandersetzungen mit Ergebnissen aus Leistungsver-gleichen haben schon begonnen, gehören aber noch nicht überall zum Alltagsgeschäft. Es ist deshalb zurzeit auch noch nicht festgelegt, in welcher Form und Aufbereitung und zu welchem Zeitpunkt Leistungsergebnisse von Einzelschulen zentral (der Öffentlichkeit) bereitgestellt werden können. Hier soll zunächst der Bewertungsprozess zwischen den Beteiligten in den einzelnen Schulen als ein zentral wichtiger Baustein des Qualitätssi-cherungsprogramms abgewartet und analysiert werden. (SfBW-HB 2004)

7.5 Ebene der Schulaufsicht

Durch Lernstandserhebungen als Teil der schulinternen Qualitätssicherung und –entwicklung können sich Schulen zum einen vergewissern, in wie weit erwartete Stan-dards erreicht wurden und zum anderen zielgerichtet Maßnahmen zur Förderung der Schülerinnen und Schülern sowie zur Weiterentwicklung des Unterrichts einleiten. Die Schulaufsicht soll die Daten als aussagekräftige Basis für die Schulbegleitung und per-spektivisch für die Schulinspektion nutzen. Sie soll zu der externen Analyse und Bewer-tung der Ergebnisse beitragen, aus schulübergreifender Sicht Rückmeldung geben und bei der Umsetzung der notwendigen Konsequenzen aus den Ergebnissen behilflich sein.

Aus diesen Zielen ergeben sich im Überblick die folgenden Aufgabenbereiche der Schul-aufsicht für die Arbeit mit den Lernstandserhebungen (s. (SfBW-HB 2005)).

1. Unterstützung und Begleitung der Lernstandserhebungen • Durchführung von Informationsveranstaltungen (Schulleitungen, Fachar-

beitskreise) • Absprachen mit den Schulleitungen über die schulinterne Information und

den Umgang mit den Ergebnissen • Veranlassung, Durchführung und Unterstützung von Fortbildungsmaß-

nahmen • Controlling der Implementation in den Schulen

2. Unterstützung und Qualitätssicherung der Arbeit mit den Lernstandserhebungen in den Schulen

• Beratung bei Bedarf (Ansprechpartner für Umsetzungsprobleme der Vor-gaben in den Schulen)

• ggf. exemplarische Beobachtung des Ablaufes in einzelnen Schulen • Nachbereitung der Vergleichsarbeiten in Schulleiterdienstbesprechungen • Organisation eines Austausches zwischen den Schulen über Auswertungs-

und Verarbeitungsstrategien

3. Auswertung der standardisierten Schulberichte ber Verlauf und Ergebnisse der Lernstandserhebungen

• Auswertung der Berichte zu den Lernstandserhebungen im Hinblick auf das Verfahren und im Hinblick auf die erreichten Ergebnisse

• Berichterstattung zu den schulübergeifenden Ergebnissen der Lernstands-erhebungen in Schulleiterdienstbesprechungen

Page 61: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 61

• ggf. exemplarische Analyse der Auswertungs- und Verarbeitungsverfah-ren an einzelnen Schulen im Hinblick auf die Identifikation von typischen Problemen und Best-Practice-Beispielen

• Identifikation von Schulen mit besonders guten Ergebnissen sowie von Schulen mit unbefriedigender Wirksamkeit und besonderem externen Un-terstützungsbedarf

• Ziel- und Leistungsvereinbarungen mit diesen Schulen über Maßnahmen zur Qualitätsverbesserung

• Beratung bei Bedarf (zur Unterstützung von Maßnahmen zur Unterrichts-entwicklung)

• Veranlassung und Unterstützung von Fortbildungsmaßnahmen zur Quali-tätsverbesserung

• zusammenfassende Berichterstattung über die Ergebnisse an den SfBW

4. Beratung und Intervention in Schulen mit dauerhaft unbefriedigender Wirksam-keit in Kooperation mit LIS u.a. (perspektivisch, erst auf Grundlage sich wiederho-lender Ergebnisse möglich)

• Identifikation von Schulen mit dauerhaft unbefriedigender Wirksamkeit - im Hinblick auf schwache aber auf Grund der Kontextbedingun-

gen erwartungsgemäße Ergebnisse - im Hinblick auf erwartungswidrig schlechte Ergebnisse

• Verständigung mit den Schulen über die Interpretation und Bewertung des Ergebnisses

• Anregung/Veranlassung von ergänzenden internen und/oder externen E-valuationsmaßnahmen zur genaueren Abklärung der möglichen Ursachen der Ergebnisse

• Anforderung von Planungen der betroffenen Schule für die Reaktion auf die Ergebnisse (Schulprogramm, besonderer Arbeitsplan)

• Ziel- und Leistungsvereinbarungen mit den Schulen über Schwerpunkte der Schulentwicklung, im Bedarfsfall Vorgaben

• Begleitendes Controlling der Arbeit der Schulen an einer Verbesserung ih-rer Ergebnisse

• Bereitstellung oder Vermittlung von besonderen Ressourcen und Unter-stützungsangeboten

Aus Gesprächen mit Schulaufsichtsbeamten stellte sich heraus, dass diese jedoch keine umfassende Einsicht in die Ergebnisse bei der letzten VERA-Erhebung hatten und somit nur sehr eingeschränkt die oben genannten Aufgaben wahrnehmen konnten. Lediglich in Fällen, in denen die Schule selbst (bei Problemen) auf die Schulaufsicht zugegangen ist, konnte sie ihren Beratungsaufgaben nachgehen. Die Schulen sind verpflichtet die Aus-wertung der VERA-Ergebnisse in ihre Jahresplanung mit einzubeziehen. Es ist zu erwar-ten, dass im Dialog über die Umsetzung der Pläne unter Umständen auch über die VERA-Ergebnisse und die Folgemaßnahmen gesprochen wird.

Die Beratungs- und Unterstützungsarbeit der Schulaufsicht würde wesentlich erleichtert, wenn es eine Möglichkeit gäbe verschiedene Daten einer Schule wie bspw. Schülerzahl, Migrationsanteil, Sozialstruktur, Raumbedingungen und Ergebnisse jeglicher durchge-führten Tests (VERA, CITO in Bremerhaven, etc.) in einer Übersicht einfach zusammenzu-stellen um so auf Schulbesuche und andere Betreuungsaspekte besser und umfassender

Page 62: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 62

vorbereitet zu sein. Die befragten Schulaufsichtsbeamten könnten sich dafür eine techni-sche Unterstützung sehr gut vorstellen. Abbildung 23 zeigt wie VERA-Ergebnisse bspw. bei einer Schulinspektion in die Bewertung und Beratung mit einfließen können.

Abbildung 23 - Ergebnisse der Schule - Überblick für eine Schulinspektion (Senatsverwaltung für Bildung

2006)

7.6 Ebene der Lehrkräfte

Nach großen (vor allem technischen) Schwierigkeiten in der ersten VERA-Runde verlief die zweite Durchführung von VERA in Bremen aus Sicht der befragten Lehrkräfte wesent-lich reibungsloser. Mittlerweile werden sowohl die VERA-Durchführung als auch die Dis-kussion der Ergebnisse in den Schulalltag integriert und die Ergebnisse werden vermehrt für die Unterrichtsentwicklung genutzt. In einzelnen Schulen gibt es auch schon Beispiele für curriculare Veränderungen und veränderte Schwerpunktsetzungen aufgrund der Ana-lyse der VERA-Ergebnisse. Im Folgenden werden einige Praktiken und Schlussfolgerun-gen beispielhaft beschrieben. Vier Besuche bzw. Interviews zeigten bereits, dass der Um-gang von Schule zu Schule starkt verschieden ist. Die folgenden Beschreibungen können deshalb nicht als repräsentativ angesehen werden, verdeutlichen aber die Möglichkeiten und Grenzen.

Page 63: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 63

Abbildung 24 - Zyklenmodell der Vergleichsarbeiten (Helmke 2004)

In Abbildung 24 ist ein Zyklenmodell der VERA-Arbeiten zu sehen. Unter Berücksichti-gung der individuellen, schulischen und externen Bedingungen erfolgt hierin nach der Rezeption eine Reflexion der Ergebnisse. In den beobachteten Schulen geschah dies meist in den entsprechenden Fachkonferenzen. Die Lehrkräfte der an VERA teilnehmen-den Klassen beschäftigten sich im Vorfeld zunächst mit den Ergebnissen ihrer eigenen Klassen, die dann im Rahmen der Fachkonferenz vorgestellt wurden. In einem Fall wur-den zwischen den teilnehmenden Lehrkräften auch die drei Bereiche des Mathematiktests Geometrie, Arithmetik und Sachaufgaben thematisch aufgeteilt und von jeweils einer Lehrkraft in Hinblick auf die gesamte Schule analysiert und dann dem Kollegium präsen-tiert. In der anschließenden Diskussion wurden Vergleiche zwischen den Parallelklassen aufgestellt und über methodische und curriculare Ursachen für Auffäligkeiten gesprochen und Möglichkeiten der Veränderung diskutiert. Diese Anpassungen des Unterrichts durch die Testergebnisse finden sich als Aktion in obigem Modell wieder. Da die Vergleichsar-beiten über einen längeren Zeitraum mehrfach an den Schulen durchgeführt werden, können diese Anpassungen und ihre Folgen erneut evaluiert werden. Der Kreislauf be-ginnt von vorn.

Es können unterschiedliche Vergleiche aufgestellt und analysiert werden (s. Abbildung 25).

Page 64: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 64

Abbildung 25 - VERA: Vergleiche

1) Verteilungsbezogener „sozialer“ Vergleich: Anhand des innerschulischen Vergleichs wurden relative Stärken und Schwächen in den Fächern Deutsch und Mathematik aufge-deckt und mögliche Gründe hierfür analysiert.

Eine Lehrkraft versuchte zum Beispiel in diesem Schuljahr mit ihrer Klasse Geometrie im Block erst gegen Ende des Schuljahres zu unterrichten, anstatt wie im Lehrbuch vorgese-hen immer mal wieder verteilt auf das gesamte Schuljahr. Dies führte zu schlechteren Ergebnissen ihrer Klasse in diesem Bereich der Mathematikaufgaben als in den anderen Klassen, da ihre Schüler weniger Praxis hatten. Die Ursache für eine signifikante Abwei-chung war somit gefunden. Da die Ergebnisse im Bereich Geometrie der betrachteten Schule allerdings auch insgesamt schwächer ausfielen als erwartet und unter dem Durchschnitt des Bundeslandes lagen, soll in Zukunft hier ein besonderer Schwerpuntk gesetzt werden. Durch diese Ergänzung des innerschulischen Vergleichs um Landeser-gebnisse wird es zusätzlich möglich, verbindlicher relative Stärken und Schwächen zu identifizieren. Dieser Vergleich wurde in jeder beobachteten Schule durchgeführt und rege diskutiert.

Verteilungsbezogener „fairer“ Vergleich: Durch die Berücksichtigung des schulischen Einzugsgebietes können sich Klassen nicht nur mit dem Landesdurchschnitt vergleichen, sondern auch mit einer Gruppe von Klassen, deren Schülerschaft der eigenen Klasse ähn-lich ist. Hierbei finden auch die sozialen Gegegebenheiten der jeweiligen Stadtteile Be-rücksichtigung.

Der „faire“ Vergleich wurde in den betrachteten Schulen zur Verortung der eigenen Leis-tung genutzt und führte ähnlich wie der Vergleich mit dem Bundesland zur Bestätigung des aktuell eingeschlagenen Weges oder aber zu Motivation zur Veränderung.

2) Kriterialer Vergleich: Der Vergleich der Leistungen der einzelnen Schüler und Schüle-rinnen mit den kriterial gefassten Fähigkeitsniveaus, ermöglicht die Ausrichtung nicht nur an einer sozialen Norm, sondern auch eine Orientierung an den Rahmenlehrplänen der Länder sowie an den Bildungsstandards. Seit 2005 orientieren sich die VERA-Aufgaben noch stärker an den von der KMK beschlossenen Bildungsstandards.

Die Schulen nutzten diese Testergebnisse zur Überprüfung ihrer Einschätzung der Leis-tungen einzelner Schüler und noch einmal zur Einschätzung der schulischen Gesamtsi-tuation, nach dem Motto „x % der Schüler haben Kompetenzstufe 1 oder 2 erreicht – das

Page 65: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 65

ist doch gar nicht so schlecht!“. An einigen Schulen schien jedoch kein Bewusstsein dafür vorhanden zu sein, dass die Kompetenzstufen die Erfüllung der Bildungsstandards abbil-den, weshalb die dreistufige Klassifizierung als recht willkürliche Einordnung der Schüler in Schubladen empfunden wurde. Der kriteriale Vergleich trug in den beobachteten Schulen zur Verortung des eigenen Standpunktes bei. An einigen Schulen wurden Einzel-gespräche mit Schülern und Schülerinnen geführt, deren Ergebnisse schlechter waren als die von der Lehrkraft erwartet wurde. So sollten evtl. Ursachen wie eine schlechte Form am Testtag oder aber generelle Unsicherheiten in einem bestimmten Aufgabengebiet aufgedeckt und u.U. Fördermaßnahmen ergriffen werden. An einer Schule wurden die Ergebnisse der Schüler und Schülerinnen in die jährlichen Elterngespräche mit einbezo-gen.

Teilweise wurden in den betrachteten Schulen jedoch nicht nur die aggregierten Ergeb-nisse auf dem Niveau einzelner Themenbereich diskutiert, sondern auch die Durchfüh-rung einzelner Testaufgaben. So wurde an einer Schule bspw. festgestellt, dass alle Klas-sen große Probleme bei der Bearbeitung von Aufgaben des Deutschtestes hatten, in de-nen Informationen aus Werbeanzeigen und Bahnfahrkarten herausgelesen werden soll-ten. Als Folge dieser Feststellung beschloss das Kollegium häufiger alltagsbezogene Auf-gaben und diskontinuierliche Texte wie z.B. Eintrittskarten zu Fußballspielen in den Un-terricht einzubeziehen.

3) Vergleichen im zeitlichen Verlauf: Werden z.B. Teile der Vergleichsarbeit im Verlauf der 4. Klassenstufe wiederholt, lässt sich der Erfolg gezielter innerschulischer Förder-maßnahmen empirisch prüfen. Ein besonderer Vorteil eines zeitbezogenen Vergleichs auf Schulebene (ins Besondere der Schulentwicklung) liegt darin begründet, dass die Kon-textbedingungen der Schule relativ konstant bleiben. Vergleiche der Länderergebnisse im zeitlichen Verlauf ermöglichen darüber hinaus eine Analyse landesspezifischer und bun-deslandübergreifender Trends.

Keine der besuchten Schulen verglich die Ergebnisse der erneuten VERA-Runde mit den vorigen. Dies wurde vor allem dadurch begründet, dass andere Schüler und Lehrer getes-tet wurden und somit keine grundsätzlichen Aussagen möglich wären.

Alle Vergleichsmöglichkeiten tragen zur grundsätzlichen Verortung des aktuellen Stand-punktes einer Schule bei. Eine Schule stellte bspw. fest, dass mit der Einführung des neu-en Mathematiklehrbuches allem Anschein nach der richtige Weg eingeschlagen wurde. Die Schule schnitt insgesamt besser als der Bundeslanddurchschnitt und die Schulen des „fairen“ Vergleichs ab. Als wichtig wurde auch angesehen, dass Förderklassen genauso gut abschnitten wie die Klassen ohne Kinder mit Einschränkungen. Dieser Sachverhalt sollte den Eltern, die teilweise befürchten ihre nicht behinderten Kinder würden durch den integrativen Unterricht benachtteiligt, mitgeteilt werden.

Insgesamt berichteten alle Lehrkräfte an allen betrachteten Schulen übereinstimmend, dass die für die VERA-Ergebnisse zur Verfügung gestellten Daten zu umfangreich seien. Die detaillierten Fehleranalysen zu den einzelnen Aufgaben wurden somit weitestgehend als unnötig empfunden und in den Schulen nicht verwendet. Die Lehrkräfte wünschten sich größere Einflussmöglichkeiten auf die Zusammenstellung der Grafiken und Tabellen. Hierzu zählen u.A. stärker aggregierte Überblicksgrafiken in denen die Fähigkeitsniveaus aller Klassen der Schule neben die des Landes und des „fairen“ Vergleichs gestellt wer-den könnten. Bei der Entwicklung des Prototypen zur Rückmeldung von Leistungsdaten in der nun folgenden Projektphase soll dieser Wunsch nach individuell zusammenstellbaren Ergebnissen Berücksichtigung finden.

Page 66: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ist-Stand in Bremen Seite 66

Page 67: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ausblick Seite 67

8 Ausblick

Als erstes Zwischenergebnis der Ist-Analyse wurde deutlich, dass eine IT-Unterstützung von Entscheidungsprozessen im Schulsystem sowohl in pädagogischer Hinsicht als auch in Hinsicht auf die Verwaltung in Deutschland erst am Anfang steht. In wieweit überhaupt der Wunsch nach Datentransparenz besteht und ob es eine Nachfrage nach entsprechen-den Informationssystemen gibt, kann nicht abschließend beantwortet werden. Auffallend ist aber in den dargestellten Fallstudien, dass die Initiative fast immer aus den Kultusbe-hörden bzw. von den Schulträgern kamen und nur selten von den Lehrkräften ausgingen. Hier besteht durchaus die Gefahr der Verselbstständigung von Datenanalyse und –auswertung ohne Berücksichtigung der Bedarfe derjenigen, bei denen die Daten erhoben wurden.

Mit der weitreichenden Einführung von Leistungstests wird ein Schulentwicklungsprozes-ses angestoßen, der mit anderen Reformen zur Verbesserung von Unterrichtsqualität abgestimmt werden muss. Er beinhaltet Maßnahmen zur Schaffung von Verfahrenswei-sen und Abstimmungsformen im Umgang mit der Verteilung, Teilung und Nutzung von Informationen in der Schule. Entscheidend ist dabei zu berücksichtigen, dass Aufwand und Ertrag in einem wirtschaftlich vertretbaren Verhältnis stehen, was bei der Einführung von IT-Systemen auch in der Schulverwaltung nicht immer gegeben ist. Die Nutzung von Werkzeugen im Rahmen der Leistungstests impliziert die Förderung der diagnostischen Kompetenz von Lehrkräften, die Fähigkeit zur Dateninterpretation auf Steuerungsebene sowie die handwerkliche Schulung im Umgang. Die größte Herausforderung besteht in der Bedeutung für die Unterrichtsentwicklung, d.h. die Verknüpfung der Ergebnisse mit pädagogisch-didaktischen Entscheidungen wie bspw. Binnendifferenzierung oder Integ-ration in bestehende Bewertungs- und Beurteilungsschemata.

Schulen und Schulbehörden in Deutschland haben diesbezüglich noch erheblichen Nach-holbedarf. Weder Lehrkräfte noch Schulleitungen und Schulbehörden sind technisch, pä-dagogisch oder organisatorisch ausreichend vorbereitet auf derartige Kontroll- und Ent-scheidungsmechanismen. Standards und Leistungstests sowie der systematische Einsatz von Portfolios und anderen Instrumenten zur qualitativen Prozessbewertung von Schüler-leistungen sind erst im Entstehen begriffen. Durch die Datenvolumina ist eine technische Infrastruktur in den Schulen und beim Schulträger ebenso erforderlich, wie eine dauer-hafte Sicherstellung des technischen Betriebs und die inhaltliche Betreuung der Endnut-zer. Zudem sind grundlegende Fragen zu Datenschutz und Datensicherheit bei einer digi-talen Bereitstellung noch nicht geklärt.

Aus den Fallstudien wurde deutlich, dass zwischen der Datenaufbereitung in einem In-formationssystem und der Nutzung durch Lehrkräfte noch eine große Diskrepanz herrscht. Hiermit schließt sich der Kreis zu den Ergebnissen aus der MIS-Forschung, denn die großen Hoffnungen und Mühen, die in die Sammlung aller Daten gesteckt werden, finden sich kaum in ihrer Nutzung wieder. Welche Konsequenzen für die staatliche Steue-rung des Schulsystems in Deutschland gezogen werden, ist bislang noch offen. Die Nut-zung von IKT für die Unterstützung der Unterrichts- und Schulentwicklung ist in Deutsch-land nicht nur praktisch unterentwickelt, sondern in der Forschung nicht existent. Bisher wissen wir zu wenig über die Nutzung (und den Nutzen) von Informationssystemen, den-

Page 68: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Ausblick Seite 68

noch werden sie zunehmend in Schulen eingeführt. Dabei orientieren sich die Implemen-tierungsvorhaben in erster Linie am Bedarf der Schulbehörden (auf Landesebene oder auf kommunaler Ebene), weniger am Bedarf der Schule oder gar der einzelnen Lehrkraft. Die „Demokratisierung der Daten“, d.h. der Zugang in der Schule durch die einzelne Lehrkraft und die Rückkopplung an Schülerinnen und Schüler sowie ihrer Eltern wird aber zu anderen Entscheidungsformen und -arenen als bisher führen:

„…when the owners of information start to get nervous and anxious, that is an early sign that the practices of knowledge management are having some effect.“ (Petrides and Nodine 2003).

Im weiteren Verlauf des Projektes ISMIS soll zunächst eine Übersicht der Bremer IT-Landschaft in Form einer Ist-Analyse erarbeitet werden. Des Weiteren sind bereits Termi-ne mit Ansprechpartnern in den Kultusministerien Sachsen, Berlin und Thüringen ange-setzt um von ihren Erfahrungen beim Aufbau öffentlicher Schulinformationssysteme zu profitieren. Ein weiterer Schritt ist eine stärkere Informationsbedarfsanalyse für die Ziel-gruppen durchzuführen um diese in die Anforderungsdefinition für ein ISMIS einfließen zu lassen. Bis 30.September 2006 werden dann auch Prototypen zu den Themen Aufga-benpool und Rückmeldesystem fertig gestellt sein. Für das Frühjahr 2007 ist ein Work-shop in Bremen geplant.

Page 69: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Literaturverzeichnis Seite 69

Literaturverzeichnis

AASA (2002). Using Data To Improve Schools. What's Working? Arlington, VA, American Association for School Administrators. Ackermann, H., A. Scheunpflug, et al., Eds. (2000). Schulleiter-Handbuch. Schulleitung im gesellschaftlichen Umbruch. München, Oldenbourg. Altrichter, H. (2000). Qualitätsanforderungen, Schulevaluation und die Rolle der Schullei-tung. Schulleiter-Handbuch. Schulleitung im gesellschaftlichen Umbruch. H. Ackermann, A. Scheunpflug, N. Schröck and J. Wissinger. München, Oldenbourg: 85-98. Balázs, I. and A. Zempléni (2004). "A hozottérték-index és a hozzáadott pedagógiai érték számítása a 2003-as kompetenciamérésben." Új Pedagógiai Szemle 2004(december): 36-50. Breiter, A. (2001). "Digitale Medien im Schulsystem: Organisatorische Einbettung in Deutschland, den USA und Großbritannien." Zeitschrift für Erziehungswissenschaft 4(4): 625-639. Breiter, A. and D. Light (2004). Decision Support Systems in Schools – from Data Collec-tion to Decision Making. America's Conference on Information Systems (AMCIS), New York, NY. Breiter, A. and D. Light (2006). "Data for School Improvement: Factors for designing effec-tive information systems to support decision-making in schools." IEEE Educational Tech-nology & Society. Buchen, H. (1995). Schulleitung und Schulentwicklung: ein Reader. Stuttgart u.a., Raabe. Choo, C. W. (1995). Information Management for an Intelligent Organization: The Art of Environmental Scanning. Medford, NJ, Learned Information. CoSN (2004). Vision to Know and Do: The Power of Data as a Tool in Educational Decision Making. Data-driven decision-making. Washington, DC, Consortium for School Network-ing. Dijkstra, A., Karsten, S, Veenstra, R & Visscher, A.J. (2001). "Het oog der natie: scholen op rapport. Standaar-den voor de publicatie van schoolprestaties." Assen: Koninklijke van Gorcum. Ditton, H. and B. Arnoldt (2004). "Schülerbefragungen zum Fachunterricht – Feedback an Lehrkräfte." Empirische Pädagogik 18(1): 115-139.

Page 70: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Literaturverzeichnis Seite 70

Fend, H. (2003). Beste Bildungspolitik oder bester Kontext für Lernen? Über die Verant-wortung von Bildungspolitik für pädagogische Wirkungen. Die besten Bildungssysteme. S. Larcher and J. Oelkers. Neuchatel, Bildungsmonitoring Schweiz: 29-37. Fullan, M. G. (2001). Leading in a Culture of Change. San Francisco, CA, Jossey-Bass. Gorry, G. A. and M. S. Scott Morton (1971). "A Framework for Management Information Systems." Sloan Management Review 13(1): 55-70. Gorry, G. A. and M. S. Scott Morton (1989). "A Framework for Management Information Systems." Sloan Management Review Spring. Hammond, M. (2003). "Broward County Public Schools - BI Case Study." Business Intelli-gence Journal(9/18/2003). HCSO (2005). Data of Education (Preliminary data). Budapest, Hungarian Central Statisti-cal Office. 2005. Helmke, A. (2004). "Von der Evaluation zur Innovation: Pädagogische Nutzbarmachung von Vergleichsarbeiten in der Grundschule." Das Seminar i.E. Helmke, A. (2004). "Von der Evaluation zur Innovation: Pädagogische Nutzbarmachung von Vergleichsarbeiten in der Grundschule." Das Seminar 2: 90-112. Helmke, A., I. Hosenfeld, et al. (2004). Vergleichsarbeiten als Instrument zur Verbesse-rung der Diagnosekompetenz von Lehrkräften. Schulleitung und Schulentwicklung. R. Arnold and C. Griese. Hohengehren, Schneider-Verlag: 119-144. Herman, J. and B. Gribbons (2001). Lessons learned in using data to support school in-quiry and continuous improvement: Final report to the Stuart Foundation. Los Angeles, CA, Center for the Study of Evaluation. Heuer, A. and G. Saake (2000). Datenbanken: Konzepte und Sprachen, mitp Landsberg. Janssens, F. and A. Visscher (2004). "Naar een Kwaliteitskaart voor het primair onder-wijs." Pedagogische Studiën 81: 371-383. KMK-Pressemitteilung (2002a). 299. Plenarsitzung der Kultusministerkonferenz am 17./18. Oktober 2002 in Würzburg. KMK-Pressemitteilung (2002b). 298. Plenarsitzung der Kultusministerkonferenz am 23. und 24. Mai 2002 in Eisenach. Kohn, A. (2002). "Fighting the tests: A practical guide to rescuing our schools." Phi Delta Kappan 82(5): 349-357. Krcmar, H. (2000). Informationsmanagement. Berlin / Heidelberg / New York, Springer.

Page 71: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Literaturverzeichnis Seite 71

Laudon, K. and J. P. Laudon (2002). Management information systems: managing the digital firm, 7th edition. Englewood Cliffs, NJ, Prentice-Hall. Learning-Point-Associates (2004). Guide to Using Data in School Improvement Efforts. A Compilation of Knowledge From Data Retreats and Data Use at Learning Point Associates. Naperville, IL, Learning Point Associates (NCREL). Lee, A. S. (1999). Researching MIS. Rethinking Management Information Systems. W. Cur-rie and R. Galliers. New York, Oxford University Press: 7-27. Lemann, N. (1999). The Big Test. The Secret History of American Meritocracy. New York, NY, Farrar, Straus & Giroux. Light, D., D. Wexler, et al. (2004). How Practitioners Interpret and Link Data to Instruction: Research Findings on New York City Schools' Implementation of the Grow Network. Con-ference of the American Educational Research Association (AERA), San Diego, CA. Linn, R. L., E. L. Baker, et al. (2002). "Accountability Systems: Implications of Require-ments of the No Child Left Behind Act of 2001." Educational Researcher 31(6): 3-16. Long, L., L. Rivas, et al. (2005). The Evoluation of a Home Grown Data Warehouse: TUSDStats. Wingspread Conference on Data-Driven Decision Making. Nolan, C. J. P. and M. Lambert (2001). Information Systems for Leading and Managing Schools: Changing the Paradigm. Pathways to Institutional Improvement with Information Technology in Educational Management. IFIP TC3/WG3.7 Fourth Working Conference on Information Technology in Educational Management (ITEM 2000), July 27-31, Auckland, New Zealand. C. J. P. Nolan, A. C. W. Fung and M. A. Brown. Norwell, MA, Kluwer: 71-85. Petrides, L. A. and T. R. Nodine (2003). Knowledge Management in Education: Defining the Landscape. Half Moon Bay, CA, Institute for the Study of Knowledge Management in Education (ISKME). Preedy, M., R. Glatter, et al., Eds. (2001). Educational Management: strategy, quality and resources. Buckingham Philadelphia, Open Universtity Press. Schüttler, T. (2004). ""A kompetenciamérések elsõsorban az iskola számára jelzik az eredményességet" Beszélgetés Vári Péterrel a teljes körû tanulói kompetenciamérések tapasztalatairól." Új Pedagógiai Szemle 2004(február): 70-79. Schwippert, K. (2004). "Leistungsrückmeldungen an Grundschulen im Rahmen der Inter-nationalen Grundschul-Lese-Untersuchung (IGLU)." Empirische Pädagogik 18(1): 62-81. Senatsverwaltung für Bildung, J. u. S. B. (2006). Materialien zur Schulinspektion - Ausga-be für Grundschulen. Berlin. 2006. Sergiovanni, T. J. (1995). The principalship: a reflective practice perspective. Boston, Allyn and Bacon.

Page 72: Integriertes Schulmanagement- informationssystem (ISMIS) · AIS Assessment Information System BB Brandenburg BE Berlin BGN Bayrisches Gymnasialnetz BI Business Intelligence BRN Bayrisches

Literaturverzeichnis Seite 72

SfBW-HB (2004). Mitteilung des Senats vom 13. Juli 2004. Bremen, Senator für Bildung und Wissenschaft der freien Hansestadt Bremen. SfBW-HB (2005). "Zentrale Lernstandserhebungen 2004 - Leitfaden für die Schulaufsicht." Entwurf auf der Grundlage einer Vorlage aus NRW im Rahmen des Projekts VERA Stand: 11.Mai.2005. Spielvogel, R., C. Brunner, et al. (2001). "IBM Reinventing Education Grant Partnershipo Initiative - Individual Site Reports." Center for Children and Technology (CCT Reports), New York(Broward County Public Schools): S. 11-20. Stringfield, S., J. C. Wayman, et al. (2005). Scaling Up Data Use in Classrooms, Schools, and Districts. Scaling Up Success: Lessons Learned from Technology-Based Educational Improvement. C. Dede, J. P. Honan and L. C. Peters. San Francisco, CA, Jossey-Bass: 133-152. Thorn, C. A. (2001). "Knowledge Management for Educational Information Systems: What is the State in the Field?" Education Policy Analysis Archives 9(47). Tyack, D. and L. Cuban (1995). Tinkering toward Utopia. A Century of Public School Re-form. Cambridge, MA, Harvard University Press. Visscher, A. J. (1996). "Information technology in educational management as an emerg-ing discipline." International Journal of Educational Research 25(4): 291-296. Visscher, A. J. and P. P. M. Bloemen (2001). CSIS Usage in School Management: A Com-parison of Good and Bad Practice Schools. Pathways to Institutional Improvement with Information Technology in Educational Management. IFIP TC3/WG3.7 Fourth Working Conference on Information Technology in Educational Management (ITEM 2000), July 27-31, Auckland, New Zealand. C. J. P. Nolan, A. C. W. Fung and M. A. Brown. Norwell, MA, Kluwer: 88-97. Voß, S. and K. Gutenschwager (2001). Informationsmanagement. Berlin u.A., Springer. Wild, P., D. Smith, et al. (2001). Has a Decade of Computerization Made a Difference in School Management. Pathways to Institutional Improvement with Information Technology in Educational Management. IFIP TC3/WG3.7 Fourth Working Conference on Information Technology in Educational Management (ITEM 2000), July 27-31, Auckland, New Zealand. C. J. P. Nolan, A. C. W. Fung and M. A. Brown. Norwell, MA, Kluwer: 99-120. Zwass, V. (1992). Management Information Systems, W. C. Brown Publishers.