Upload
belakane-wellendorf
View
106
Download
0
Embed Size (px)
Citation preview
Was ist und wie misst man Qualität in der Wissenschaft?
Dr. Sigrun Nickel | DAAD-Lektoren Seminar | 22.Juli 2014
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 2
Agenda
1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international
2. Überblick über Qualitätsbegriffe
3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung
4. Literaturhinweise
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 3
Agenda
1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international
2. Überblick über Qualitätsbegriffe
3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung
4. Literaturhinweise
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 4
Einen großen Raum nehmen Informationen ein, die eine Beurteilung von Leistungen in Forschung, Lehre und Studium in Hochschulen und Forschungseinrichtungen ermöglichen. Methoden: Indikatorgestützte Leistungsvergleiche, Peer Reviews/Evaluationen, wissenschaftliche Studien.
Längst geht es nicht mehr nur um die Offenlegung wissenschaftlicher Ergebnisse gegenüber Politik und Gesellschaft, sondern verstärkt auch um die Bewertung und Kontextualisierung erbrachter Leistungen etwa in Form von Evaluationen, Akkreditierungen, Benchmarks, indikatorgestützter Leistungsvergleiche und wissenschaftlicher Studien.
Vor diesem Hintergrund hat sich eine vielfältige Szene an Institutionen etabliert, die solche Informationen bezogen auf Hochschulen und Forschungseinrichtungen produzieren.
Hintergründe für gestiegenen Bedarf an
Informationen zur Qualitätsbeurteilung
5Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014
In Deutschland aktive nationale Institutionen mit Informations-angeboten zur Leistungsbeurteilung in der Forschung
Quelle: Nickel, Duong, Ulrich 2013:Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.
6Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014
In Deutschland aktive nationale Institutionen mit Informations-angeboten zur Leistungsbeurteilung in Studium und Lehre
Quelle: Nickel, Duong, Ulrich 2013:Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.
7
In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in der Forschung
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014
Quelle: Nickel, Duong, Ulrich 2013:Informationen zur Leistungsbeurteilung in Forschung, Lehre und Studium.
In Deutschland aktive internationale Institutionen mit Informationsangeboten zur Leistungsbeurteilung in Studium und Lehre
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014
- Diskussion um europäisches Ranking während der Französischen Ratspräsidentschaft Im Zusammenhang mit European Classification: Classification
und Ranking als Instrument der Transparenz
Französische „Presidency Declaration“
- Alternative zu Shanghai-Ranking (genauer vgl. Ranking-Übersicht: http://www.che-ranking.de/cms/?getObject=47&getLang=de)
- Online-Portal U-Multirank: http://www.multirank.eu/
- Beteiligung aktuell: 879 Hochschulen in 70 Ländern weltweit
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 9
Projekt „Global University Ranking“
1. Schemes on education Types of degrees offered Range of subjects offered Orientation of degrees
(academic/professional) European educational profile
2. Schemes on reasearch and innovation Research intensiveness Innovation intensiveness
research European research profile
3. Schemes of students and staff profile International orientation Involvement in life-long-learning
4. Institutional schemes Size Mode of delivery Community services Public/Private funding Legal status
10
Diversifizierung im europäischen
Hochschulraum
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014
2010 dritte Projektphase beendet: http://www.u-map.eu/
2005 Projektstart: Classifying European Institutions of Higher Education (CEIHE) – Mapping Diversity
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 11
U-Multirank bildet Hochschulprofile ab
Aufbauend auf U-Map, vgl. Folie 10
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 12
Agenda
1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international
2. Überblick über Qualitätsbegriffe
3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung
4. Literaturhinweise
„Qualität ist flüchtig, gleichzeitig aber die ‚driving force‘ des Hochschulsystems.“
Ada Pellert, 2002
Qualität ist anspruchsvoll
„Quality should be seen as a multi-dimensional und subjective concept. Good quality depends upon the objectives and criteria a person or group judges to be relevant in a specific context.“
Frans van Vught, 1994
Qualität ist relational
„Die Qualität von Forschung, Lehre und Studium zeigt sich in den sichtbaren Ergebnissen“.
Qualität ist nachweisbar
Sigrun Nickel, 2014
Exzellenz
Ziel- und Zweckerfüllung („fitness for purpose“)
Eignung des Ziels („fitness of purpose“)
Erfüllung formaler Richtlinien („compliance“)
Erfüllung von Standards
Kundenzufriedenheit
Gegenwert für Investitionen („value for money“)
Verantwortlichkeit („accountability“)
Fähigkeit zum institutionellen Wandel („capacity for change“)
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 16
Verbreitete Qualitätsbegriffe im
Hochschulbereich
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 17
Agenda
1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international
2. Überblick über Qualitätsbegriffe
3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung
4. Literaturhinweise
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 18
Kausalkette im Qualitätsmanagement
Zielqualität Prozessqualität Ergebnisqualität
Qualität der Zielsetzungen in Forschung sowie Lehre und Studium
Qualität der internen Prozesse einer Hochschule
Qualität der Ergebnisse der Studienangebote und Forschungsbereiche einer Hochschule
Qualität der Wirkungen der Studienangebote und Forschungsbereiche einer Hochschule
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 19
Unterschiedliche Qualitätsebenen in
Hochschulorganisationen
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014
Qualitätsziele entscheidend bestimmt…
20
Agenturen für Qualitätssicherung
Stiftungen
Institute für Ranking/Rating
Studierende
Arbeitgeber
Weiterbildungsnachfrager
Scientific Community
Staat / Ministerien
BetriebeStaatliche und private Hochschulen
Staatliche und private Forschungsinstitute
Weiterbildungs-anbieter
Schulen
Politische Parteien
Kommunalverwaltung
Wirtschaft
Verbände
Ministerien
Forschungsförderung
EU
Medien
Alumni
Eltern Potentielle und aktuelle Arbeitgeber der Absolventen
PotentielleStudierende
Hochschule
MitbewerberÖffentlichkeit
Stadt / Region
S
taat
Leistungsabnehmer
Private Einrichtungen
… durch hochschulinterne und -externe Anspruchsgruppen
Nach Urs Scheidegger (2001): Management des Strategiepro-zesses von Universitäten
Zielqualität
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 21
Spezifisch: verständlich und einfach auf einen speziellen Sachbereich
hin formuliert
Messbar: der Erreichungsgrad kann anhand von Daten festgestellt werden
Anspruchsvoll: herausfordernd
Realistisch: umsetzbar
Terminiert: der Zeitraum, in dem das Ziel erreicht werden soll, ist angegeben; evtl. Meilensteine
Qualitätsbeurteilung
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 22Messe ich Performanz oder Qualität?
Qualität ist
eine Eigenschaft oder ein Bündel an Eigenschaften
Indikatoren sind (meist) ‚Proxies‘
Frage: Welche Informationen sind für die Qualitätsentwicklung der Hochschule relevant?
Indikatoren messen in der Regel nicht genau das, was gesteuert werden soll und sind in erster Linie Kommunikationsanlässe.
Bezug von Indikatoren zu Zielen muss klar sein
Frage: Warum messen wir gerade das? Zeitpunkt der Messung beachten
Für Qualitätssicherung sind Frühwarnsignale wertvoll Verhaltenssteuernde Wirkungen von Indikatoren reflektieren
Frage: Was soll durch die Messung erreicht werden?
Nebenwirkungen beachten
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 23
Indikatoren – Was muss man
beachten?
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 24
„The application of mathematical and statistical methods to books and other media of communication“ (Pritchard, 1969).
Bibliometrie ist mit dem Aspekt der quantitativen Untersuchung der Wissenschaft ein Teilgebiet der Wissenschaftssoziologie, mit dem Aspekt der quantitativen Untersuchung von (publizierten) Informationen Teilgebiet der Informationswissenschaft und hat ihre Ursprünge in der Bibliothekswissenschaft.
Bibliometrische Indikatoren:
- Publikationen als Proxy für Produktivität (-> Spezialisierung)
- Koautorenschaften als Proxy für Kooperation (-> Netzwerkanalysen)
- Zitierungen als Proxy für Wahrnehmung in der wiss. Community
Forschungsindikatorik am Beispiel
Bibliometrie
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 25
Für die Gewinnung bibliometrischer
Daten genutzte Datenbanken
Web of Science (WoS) – vor allem Science Citation Index
Scopus Database (Elsevier)
Chemical Abstracts Service (CAS) Literaturdatenbank
INSPEC database for Physics, Electronics & Computing
Physical Review Online Archive (PROLA)
SAO/NASA Astrophysics Data System (ADS)
Google Scholar Citations
Wissenschaftsrat: Forschungsrating
Soziologie 2008, Bewertungskriterien
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 26
Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf
Wissenschaftsrat: Forschungsrating
Soziologie 2008
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 27
Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf
Wissenschaftsrat: Forschungsrating
Soziologie 2008
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 28
Wissenschaftsrat (WR) (2008): Steuerungsgruppe der Pilotstudie Forschungsrating im Auftrag des Wissenschaftsrates. Forschungsleistungen deutscher Universitäten und außeruniversitärer Einrichtungen in der Soziologie Ergebnisse der Pilotstudie Forschungsrating des Wissenschaftsrats. Köln. http://www.wissenschaftsrat.de/texte/pilot_ergeb_sozio.pdf
Qualität in Lehre und Studium als
mehrdimensionales Konstrukt
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 29
Multifaktorielles Modell der Lehrveranstal-tungsqualität Quelle: Rindermann 2009
Beispiele Qualitätsindikatoren
Studium und Lehre
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 30
Qualitätsindikator Gewichtung
Benotung der Lehrveranstaltung (LV) insgesamt durch Studierende
50 %
Einschätzung der Angemessenheit des Arbeitsaufwandes
12,5 %
Einschätzung der Strukturierung der LV 12,5 %
Einschätzung des Engagements und der Motivation des Dozenten/der Dozentin
12,5 %
Einschätzung der Fähigkeit des Dozenten/der Dozentin, auf Fragen und Belange der Studierenden einzugehen
12,5 %
Nach: Craanen, Michael 2009: Fakultätsübergreifende Evaluation der Lehre am Karlsruher Institut für Technologie - KIT
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014
31 verschiedene Indizes
„Kernset“ von 13 Indizes, die für alle Fächer verwandt werden
Indizes werden 1-10 Einzelitems gebildet
Skala von 1-sehr gut bis 6-sehr schlecht
Einteilung in Spitzen-, Mittel- und Schlussgruppe nach (nicht) signifikanter Abweichung vom Bundesmittelwert (im jeweiligen Fach)
31
Indikatorenbildung beim nationalen
CHE-Ranking: Studierendenurteile
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 32
Indikator Mittelwert Fallzahl GruppeMittelwert für alle
Hochschulen
Gesamturteil 3,63 52 3 2,91
Lehrangebot 3,5 52 3 2,92
E-Learning 2,89 41 3 2,43
Methodenausbildung 2,77 52 2 2,38
Praxisbezug 3,65 51 2 3,45
Studienorganisation 3,71 52 3 2,96
Betreuung 3,16 50 3 2,41
Kontakt Studierende 2,49 50 3 2,15
Arbeitsmarktbezug 3,4 45 2 3,29
IT-Infrastruktur 2,19 44 2 2,39
Räume 3,64 49 3 2,95
Bibliotheken 2,64 47 3 2,25
Auslandsaufenthalte 3,44 32 3 2,78
Evaluationen 3,69 41 3 2,85
[1] 1 = Spitzengruppe, 2 = Mittelgruppe, 3 = Schlussgruppe, 100 = nicht gerankt
Überblick Indizes (ein Fachbereich)
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014
Lehrangebot MittelwertGesamt-
MittelwertStandard-
abweichungFallzahl
Anteil gut bis
sehr gut
Anteil mangel-haft bis
un-genügend
Inhaltliche Breite des Lehrangebots
3,37 2,69 1,24 52 28,8% 19,2%
Forschungsbezug der Lehrveranstaltungen
3,24 2,89 1,22 49 28,6% 22,4%
Internationale Ausrichtung des Lehrangebots
3,8 3,35 1,38 46 19,6% 34,8%
Interdisziplinäre Bezüge innerhalb des Lehrangebots
3,32 2,66 1,32 47 27,7% 17%
Didaktische Vermittlung des Lehrstoffs
3,39 2,77 1,13 51 23,5% 19,6%
Möglichkeit, frühzeitig an der Forschung teilzunehmen
4,00 3,24 1,30 47 14,9% 42,6%
33
Detaildaten auf Einzelitemebene (ein FB)
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 34
Agenda
1. Gestiegener Bedarf an Informationen zur Qualitätsbeurteilung national und international
2. Überblick über Qualitätsbegriffe
3. Unterschiedliche Qualitäten in Hochschul- und Forschungseinrichtungen und deren Messung
4. Literaturhinweise
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 35
Harvey, L. / Green, D. (1993): Defining Quality. In: Assessment and Evaluation in Higher Education, Vol. 18, No 1, S. 9-34.
Hornbostel, S. (2010): (Forschungs)Evaluation. In: Simon, D. / Knie, A. / Hornbostel, S. (Hg.): Handnbuch Wissenschaftspolitik. Wiesbaden, S. 293-309
Kehm, B.M. (2014): Global university rankings: impacts and unintended effects. In: European Journal of Education, 49 (1), S. 102-112. Download: 10.1111/ejed.12064, abgerufen am 15.07.14.
Lessenich, S. (2014): Gibt es richtiges Leben im Falschen? Eine Warnung. In: DUZ 06/2014, S. 22.
Pellert, A. (2002): Hochschule und Qualität. In: Reil, T. / Winter, M. (Hg.): Qualitätssicherung an Hochschulen: Theorie und Praxis. Bielefeld, S. 21-29.
Nickel, S. (Hg.) (2014): Implementierung von Qualitätsmanagementsystemen. Erfahrungen aus der Hochschulpraxis. Gütersloh. Download: http://www.che.de/downloads/CHE_AP_163_Qualitaetsmanagementsysteme_2014.pdf,
Nickel, S. / Duong, S. / Ulrich, S. (2013): Informationsstrukturen zur Beurteilung von Leistungen in Forschung, Lehre und Studium. Akteure und Datenangebote in Deutschland. Download: http://www.che.de/downloads/CHE_AP_172_Leistungsbewertung_in_der_Wissenschaft.pdf, abgerufen am 15.07.14.
Literaturhinweise
Qualität in der Wissenschaft | Dr. Sigrun Nickel | 22.07.2014 36
Rindermann, H. (2009): Lehrevaluation. Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerba sierten Unterrichts. 2. Leicht korrigierte Auflage. Landau.
van Vught, F. A. (ed.) (2009): Mapping the Higher Education Landscape. Towards a European Classification of Higher Education. Towards a European Classification of Higher Education. Dordrecht.
van Vught, F.A. / Ziegele, F. (eds.) (2012): Multidimensional Ranking. The Design and Development of U-Multirank. Dordrecht.
Schmooch, U. (2014): Trotz alledem: Mitmachen lohnt sich. Eine Entwarnung. In: DUZ 06/2014, S. 23.
Serrano-Velarde, K. (2008): Evaluation, Akkreditierung und Politik. Zur Organisation von Qualitätssicherung im Zuge des Bologna-Prozesses. Wiesbaden.
Sondermann, M. / Simon, D. / Scholz, A.-M. / Hornbostel, S. (2008): Die Exzellenzinitiative: Beobachtungen aus der Implementierungsphase. iFQ-Working Paper No. 5. Bonn. Download: http://www.forschungsinfo.de/Publikationen/Download/working_paper_5_2008.pdf, abgerufen am 24.06.2013.
Literaturhinweise