Qualitätsentwicklung - Evaluation - das Beispiel Universitätsbibliothek Duisburg - Essen

Qualitätsentwicklung - Evaluation - das Beispiel Universitätsbibliothek Duisburg - Essen

Verfahrensstand und Erfahrungen September 2006

Albert Bilo Geschäftsbereichsleiter Benutzung und Organisation der UB

Albert Bilo 2Evaluierungsprozess UB 2006

Übersicht

• Stand des Verfahrens - zeitlicher Ablauf

• Motivation der Beteiligung

• Ausgangssituation im Management einer UB

• Vorgehensmodelle im Verfahren

• erste Ergebnisse und Einschätzungen


Stand des Verfahren - zeitlicher Ablauf (1)November 2005 Anfrage des ZfH ob interessiertDezember 2005 Rektorat entscheidetJanuar 2006 Info_material an E & Q über QM in BibliothekenFebruar 2006 erste inhaltliche BesprechungMärz 2006 drei Infoveranstaltung für UB -

Mitarbeiter(innen)April 2006 Bildung einer internen AG ca.

Mtl. Sitzung, grosse Zieldiskussion Mai 2006Eingangs- und MitarbeiterbefragungJuli 2006 KundenbefragungJuli / August 2006 Struktur, Gliederung, Inhalte Selbstbericht

Auswahl der PeersSeptember / Oktober Selbstbericht schreiben

Gruppengespräche / Interviews des ZfHSeptember 2006 FoBi Mitarbeiter-, der Kundenbefragung


Stand des Verfahren - zeitlicher Ablauf (2)Perspektive

November 2006 Selbstbericht

Dezember 2006 Redaktion Selbstbericht ZfH

Januar 2007 Besuch der Peers

Februar 2007 Bericht der Peers

Frühjahr 2007 Abschlussbericht aus Befragungen, Interviews,externer EvaluationDiskussion UB des Abschlussberichtes, Reflexion zum VerfahrenMaßnahmen, SchwerpunkteZiel und Leistungsvereinbarungen


Stand des Verfahren - zeitlicher Ablauf (3)

1 2 3 4 5 6 7 8 9 10 11 12

Ablauf des Evaluationsverfahrens

1.Vorbe-

reitung

2.Interne Evaluation:Selbstbericht der

evaluierenden Einheit

4.Ergebnis-reflexion

5.Follow up

3.Externe

Evaluation:Peer Review


Motivation (1)

• Fusion von zwei Universitäten• Fusion von zwei Bibliotheken• Erhebliche organisatorische Veränderungen• Veränderungen am Medienmarkt und im Berufsbild• Budgetierung• Synergie- und Strukturauflagen

Wir müssen nicht (nur) verändern, es ändert sich

bereits


Motivation - Veränderung


Motivation (2)

Veränderungen erzeugen • Verunsicherungen• Gefahren• Risiken• Sinnfragen

Statt Fluchtverhalten und Orientierungslosigkeit• Orientierung• Aktivierung• Einflußnahmen


Motivation - Illustrationen

• Wieso verwenden kanadische Holzfäller stumpfe Äxte ?

• Wie verhalten sich i-Dötzchen beim Überqueren der Straße ?

• Welches Phänomen kann man beobachten, wenn ältere Menschen die Straße überqueren ?

Albert Bilo 10

Evaluierungsprozess UB 2006

Ausgangsituation im Management einer UB• Kein äußerer Zwang• gute Gründe, Anderen den Vortritt zu lassenaber: aktive Rolle in den Maßnahmen zur Meisterung umfassender und

weitreichender Veränderungen

Bislang nur gemäßigter BWL-Fetischismus (k)ein Leitbild(k)eine Kosten-Leistungsrechnungkeine Zertifizierung nach ISO 9000(k)ein Controllingkonzept(k)eine Marketingstrategie

(k) = pragmatische Ansätze statt Dogmen und Fetisch

Albert Bilo 11


Ausgangsituation im Management einer UB• Evaluation befasst sich mit Handlungsfeldern in den herkömmliche

ökonomische Bewertung zu kurz greifen• Evaluation findet unter maßgebliche Beteiligung der zu evaluierenden

Einrichtung statt• Evaluation heißt Bewertung der Maßnahmen in ihrer Wirksamkeit• Evaluation liefert Beurteilungskriterien für die Veränderungen• Evaluation ist eine Methode um Qualität bestimmen zu können und ist

ein Prozess der Einschätzung von Effektivität, Effizienz, Nutzen und Relevanz der Maßnahmen

• Qualität ist die Fähigkeit der Bibibliothek die festgestellten und implizierten Bedürfnisse der Kunden zu befriedigen

ein kundenbezogener und angebotsbezogener Ansatz - keine Bewertung von Mitarbeitern

Albert Bilo 12


Ausgangsituation im Management einer UBUnsere Ziele• Standort bestimmen• Veränderungen meistern• Schwachstellen identifzieren• Mitarbeiterpositionen

einsammeln• Kundenwünsche einsammeln• Positionierung in der Uni• Bestätigung von Stärken• Qualitätssicherung• Qualitätsentwicklung• Abschwächung permanenter

Selbstlegitimation

Unsere Erwartungen:

• ein faires Verfahren

• kein vorgeschobenes Verfahren für Rationalisierungsabsichten (ergebnisoffen)

• Akzeptanz für objektive Hindernisse

• Moderation und Unterstützung

• einen Statusbericht

• Empfehlungen Stärken/Schwächen

• Grundlagen für die weitere Entwicklungsplanung

Albert Bilo 13


VorgehensmodellBildung einer bibliotheksinternen

Arbeitsgruppe• Forum• Multiplikatoren• Bearbeitung• BeratungZusammensetzung• aus jedem Arbeitsbereich• aus jeder LaufbahnBenutzung: Dezernentin und zwei

Dipl. Bibl.Organisation: Dezernent und ein

Dipl. Bibl.Medien: eine Mitarb. Mittlerer DienstZwei FachreferentenEin Geschäftsbereichsleiter

Kommunikation / Transparenz:

• Einladungen / Tagesordnungen

• Protokolle

• Moderation

• Fortbildungs- Infoveranstaltungen

• eigene Web-Seite mit Archiv

• Datenschutz

• Rückspiegelung von Ergebnissen

• Autorisierung von Papieren und Maßnahmen durch AG

Albert Bilo 14


Vorgehensmodell (vgl. Zeitplan)

• Vorstellung des Verfahrens in drei Fortbildungsterminen • Bildung einer Arbeitsgruppe• Vorbereitung, Durchführung einer Mitarbeiterbefragung• Vorbereitung, Durchführung einer Kundenbefragung• Organisator. Vorbereitung von Gesprächsgruppen / Interviews• Auswahl von externen Gutachtern• Vorbereitung und Anfertigung eines Selbstberichtes Vorbereitung

der Besuche durch die Gutachter

• Zwischenergebnisse, Zusammenfassungen, Reflexionen

Eine institutionelle Evaluation, d.h. die ganze Einheit in allen Aspekten

Methodenmix

Albert Bilo 15


Vorgehensmodell (Arbeitsteilung)Was leistet das ZfH ?• ein Vorgehensmodell / Methode • Zeitpläne und organisat.Ablauf• Umsetzung der Vorgaben in

Befragungssets• Durchführung, Aufbereitung,

Auswertung• Moderation• Interviews• Redak. Selbstbericht• Orga. Gutachterbesuche• Abschlussbericht

Was leistet die UB ?

• was soll in die Fragebögen

• welche Themen sind wichtig

• welche Bereiche sind zu beachten

• wie sind die Ergebnisse zu bewerten

• interne Öffentlichkeitsarbeit

• Selbstbericht anfertigen

• Reflexion, Schlüsse, Interpretation

Arbeitsmaterialien:Workshops, Diskussionen, quantitative Daten aus Befragungen und Statistik sowie qualitative Daten aus Interviews und von externen Gutachtern

Albert Bilo 16


Vorgehensmodell (Methode)

Mitarbeiterbefragung

Kundenbefragung

Interviews

Experten

Identifikation von Handlungsfeldern, Themen,

Stärken, Schwäche

Interessant: Schnittmenge und Differenzmenge

Selbstbericht

Albert Bilo 17


Vorgehensmodell (z.B. Mitarbeiterbefragung)

Fragen an das Dezernat 2 – Organisation

Hat die Fusion Verbesserungen für die Mitarbeitergebracht?

Sind die Mitarbeiter motiviert?

Wie kann der Finanzbedarf objektiviert undkontinuierlich mit den Zuweisungen abgeglichenwerden? Wie können wir (mehr) Geld für Investitionen

bekommen? Finanzmittel durch Werbeflächen. Wurde darüber

schon nachgedacht?

Gespräche Mitarbeitende / externe Gutachtende

Wie sieht der Personalentwicklungsplan konkretaus?

Wie sieht ein Konzept zur Personalentwicklungaus?

Vorbereitung Befragung: was ist wichtig ? Protokollauszug:

Albert Bilo 18


Vorgehensmodelle (z.B. Selbstbericht)

Leitende Fragen:•Wo stehen wir ?

•Wo wollen wir hin ? (mit Begündung: Warum ? Zu welchem Zweck ? Woher rührt die Anforderung ?)

•Was sind unsere Aufgaben ?

•Welche Maßnahmen sind zu ergreifen ?

•Wie sind die Maßnahmen in ihrer Wirkung einzuschätzen ?

Neben den organisatorischen Beschreibungen der UB zielt die Gliederung auf eine Darstellung der Kategorien der ZLV und hierauf werden die leitenden Fragen angewendet.

Albert Bilo 19


Vorgehensmodell (z.B. externe Gutachter)

Vorschlagsliste der Arbeitsgruppe nach den Kriterien:

a) Insider

b) NRW

c) außerhalb NRW

d) außerhalb Bibliothekswesen

e) Bibliothekar aber nicht UB

Vorstellung und Diskussion im Rektorat

Bestätigung und Festlegung durch Rektorat

Albert Bilo 20


Erste Ergebnisse, z. B. Zufriedenheit der Mitarbeiter/innen

Externe Gutachter

Einzel-/Gruppen-gespräche

Kunden-befragung

Mitarbeiter-befragung Selbstbericht

6,8

16,1

34,7

24,6

16,9

0,8

4,2

18,8

45,8

12,5

18,8

0,0

7,9

12,7

28,6

33,3

15,9

1,6

11,6

20,9

46,5

18,62,3

0,0

2,42,4

24,4

31,7

36,6

2,4

6,5

25,8

32,3

22,6

12,90,0

0%

20%

40%

60%

80%

100%

insgesamt Duisburg Essen Benutzung Medienbearbeitungandere Bereiche

"Wenn Sie an Ihre derzeitige Arbeitssituation denken, inwieweit stimmen Sie der Aussage 'Ich habe genügend Zeit zur Erledigung meiner Aufgaben' zu?" - Angaben in %trifft nicht

zu

stimme voll und ganz zustimme eher zu

weder noch

stimme ehernicht zustimmeüberhauptnicht zu

Albert Bilo 21


Erste Ergebnisse (z.B. Kundenbefragung)

Albert Bilo 22


Erste Einschätzungen (1)Vorliegende erste Ergebnisse liefern schon wichtige Hinweise

Themen und Ziele, Interpretationen erarbeitet die UB

ZfH als externe Sicht gewährleistet Zeitpläne, Organisation und Verfahrensschritte

Der Aufwand ist nicht unerheblich - der Zeitplan aber solide und realistisch

Das Ergebnis als Abschlussbericht läßt eine umfassende Darstellung erwarten, gespeist aus verschiedenen sich

ergänzenden ggf. auch neutralisierenden Quellen

Es gibt bislang keine Einflussnahmen auf das Verfahren durch Gremien oder Instanzen.

Kennzahlensystem, ZLV und Evaluierung könnten zeitlich und inhaltlich besser abgestimmt sein.

Albert Bilo 23


Erste Einschätzungen (2)

Wir erwartet, dass....

Themen und Inhalte der Ergebnisse stark durch unsere Vorarbeit fokusiert sind.

Überraschungen neugierig machen und werde uns selbstbewußt damit auseinander setzen.

die Qualität des Verfahrens stark durch unser Engagement bestimmt ist.

es vorteilhafter ist, sich (weitgehend) selbst zu evaluieren als evaluiert zu werden.

.wir Instrumentarien an die Hand bekommen, um nach Innen wie nach

Außen uns künftig stukturierter positionieren können

Vielen Dank für Ihre Aufmerksamkeit

Documents

Qualitätsentwicklung - Evaluation - das Beispiel Universitätsbibliothek Duisburg - Essen