Embed Size (px)
Citation preview
Heinrich-Heine-Universität Düsseldorf
Philosophische Fakultät
Lehrveranstaltungsevaluation im Sommersemester 2012
- Methode, Ergebnisse, Perspektiven -
Düsseldorf, Juli 2012
Studiendekanat der Philosophischen Fakultät der Heinrich-Heine-Universität Düsseldorf Autoren des Berichtes: Dr. Joachim Koblitz, Studiendekan Mail [email protected] Fon 0211 - 81 12133
Frank Meier, M.A. Mail [email protected] Fon 0211 - 81 13338
Der Bericht ist unter http://www.phil-fak.uni-duesseldorf.de/studierende/evaluation/evaluationsberichte/ veröffentlicht.
Inhalt
Zur Erläuterung ....................................................................................................................... 1
1 Instrumentarium ...................................................................................................... 1
1.1 Änderungen des Instrumentariums ......................................................................... 2
2 Organisation und Ablauf der Evaluation .................................................................. 4
2.1 Datenbasis .............................................................................................................. 4
2.2 Zeitplan ................................................................................................................... 5
2.3 Rücklauf .................................................................................................................. 6
3 Ergebnisse .............................................................................................................. 9
3.1 Testtheoretische Qualität des Instrumentariums ..................................................... 9
3.2 Fakultätsweite Einschätzung der Veranstaltungsqualität ......................................... 9
3.3 Einschätzung der studentischen Belastung durch den Erwerb von BN bzw. Vor- und Nachbereitungen von Veranstaltungen ...........................................................10
3.4 Einschätzung der Veranstaltungsqualität nach Veranstaltungstypen und Fächern .16
3.5 Die Veranstaltungen im Kontext der Ankündigungen und Module ..........................18
3.6 Differenzierte Einschätzung der Veranstaltungsqualität .........................................19
4 Rückmeldung an die Dozentinnen und Dozenten und die Institute .............................21
4.1 Rückmeldung zur skalengebundenen Einschätzung der Veranstaltungsqualität .........21
4.2 Rückmeldung zur frei formulierten Einschätzung der Veranstaltungsqualität ..............21
5 Zusammenfassung ................................................................................................22
Anhang A: Die Fragen ............................................................................................................23
Anhang B: Testtheoretische Qualität und Kennwerte des Instrumentariums ..........................25
Anhang C: Beispiel-Screenshots des Fragebogens ................................................................26
Zur Erläuterung
Die Philosophische Fakultät führt zur nachhaltigen Sicherung und Verbesserung der Qualität der Lehre in jedem Semester eine Lehrveranstaltungsevaluation durch.
Die dahinter stehende Grundidee ist, dass Lehrende und Studierende die Möglichkeit haben sollen, sich noch im laufenden Semester über die Evaluationsergebnisse auszutauschen. Dies bedingt wegen der Auswertungs- und Berichterstellungszeit einen Evaluationszeitrah-men, der kurz nach der Mitte der Vorlesungszeit liegt. Nachteilig dabei ist, dass nicht alle Sitzungen der Lehrveranstaltungen als Urteilsbasis zur Verfügung stehen, vorteilhaft ist, dass die Urteilsbildung der Studierenden tatsächlich zeitnah stattfinden kann und dass Stu-dierende und Lehrende über den Faktor „Qualität der Lehre“ ins Gespräch kommen und im Kontext dieses Feedbackprozesses so gemeinsam an seiner Verbesserung arbeiten können.
Im Rahmen dieser Evaluation wird den Lehrenden, deren Veranstaltungen evaluiert wurden, erstmals eine „leere“ Powerpoint-Präsentation an die Hand gegeben, in die sie ihre individu-ellen Ergebnisse übertragen und deren sie Leitfragen nutzen können, um den erwähnten Dialog mit den Studierenden in der Lehrveranstaltung zu strukturieren. Die Präsentation ist auf der Website der Fakultät neben dem Evaluationsbericht zu finden.
Den evaluierenden Studierenden sollte dabei klar sein, dass diese Form der Evaluation kein "Notenvergeben" ist, bei dem Lehrende für ihre Lehrleistung abgestraft oder auch belohnt werden sollen. Diese Evaluation ist vielmehr der Versuch, einen Prozess in Gang zu setzen, in dem sich alle Beteiligten auf Augenhöhe begegnen, um gemeinsam und im beiderseitigen Interesse an der Verbesserung universitärer Lehre zu arbeiten. Evaluationsbericht und indi-viduelle Evaluationsergebnisse können dazu nur den Anlass und die Informationsbasis lie-fern, an der Qualitätsverbesserung arbeiten müssen Sie alle gemeinsam.
In dieser Evaluation werden mehr Daten erhoben, als hier dargestellt und auch den Lehren-den individuell ausgehändigt werden können. Den Instituten und Studiengangsleitungen wird ausdrücklich angeboten, spezielle fach- oder studiengangsspezifische Fragestellungen auf Basis der vorliegenden Daten zu bearbeiten. Darüber hinaus besteht die Möglichkeit, zusätz-lich auf die Daten der Studiengangsevaluation zuzugreifen, so dass eine breitere Datenbasis für eventuell angestrebte Veränderungsprozesse vorliegt.
Aus Gründen des Datenschutzes und der notwenigen Breite der Datenbasis werden keine Veranstaltungen in Auswertungen einbezogen, die auf den Aussagen von weniger als fünf Evaluierenden beruhen. Es erfolgen in diesen Fällen auch keine besonderen Benachrichti-gungen darüber; sollten also individuelle Rückmeldungen zu Veranstaltungen ausbleiben, ist dies der Grund dafür.
Joachim Koblitz Studiendekan
1
1 Instrumentarium
Es wurde in den letzten Semestern ein Konzept zur Online-Evaluation erarbeitet und erprobt, nach dem für alle Veranstaltungsformen ein identischer Kernsatz von Items eingesetzt wur-de; zusätzlich wurden einige differenzierende Fragen zu den Besonderheiten spezifischer Veranstaltungsformen gestellt.
Die so differenziert zu berücksichtigenden Veranstaltungsformen sind Seminar und Sprach-kurs.
Nach der Änderung der BA- und Masterprüfungsordnungen, wonach in Vorlesungen die An-wesenheit nicht überprüft wird, wurde bereits im letzten Semester auf die Evaluation der Vor-lesungen leider verzichtet, da die Entwicklung der Teilnahmezahlen in Vorlesungen nicht mehr vorhersehbar ist. In dem Maß, in dem Studierende in HIS-LSF zu Vorlesungen zuge-lassen werden, ihre Anwesenheit aber nicht mehr überprüft wird, muss davon ausgegangen werden, dass mehr Studierende als zuvor durch die Zulassung eine Evaluationsberechtigung erwerben, tatsächlich aber an der Vorlesung nicht teilnehmen. Dies verzerrt die „Stichpro-benbildung“ bei Vorlesungen noch mehr als zuvor und verhindert die zuverlässige Berech-nung von Rücklaufquoten, so dass die Aussagekraft der in Vorlesungen gewonnenen Daten zu gering würde.
In diesem Semester werden erstmals keine Tutorien mehr evaluiert, da es sich im WS 11/12 als Problem erwiesen hatte, dass es oftmals keine feste Zuordnung von TutorInnen zu einem bestimmten Tutorium mehr gab, vielmehr tauschten die TutorInnen identische Veranstaltun-gen häufig untereinander, so dass die angekündigten Zuordnungen von TutorInnen zu Ver-anstaltungen nicht mehr stimmten. Dadurch ist die Grundidee der persönlichen Rückmel-dung für die Lehrenden nicht mehr realisierbar.
Die individuellen Rückmeldungen an die Lehrenden werden nicht an den Durchschnittswer-ten aller Veranstaltungen der Fakultät und des jeweiligen Faches als "Normgröße" orientiert, sondern konsequenterweise an den Durchschnittswerten der Veranstaltungsformen - min-destens fakultätsweit, und dort, wo die Datenbasis groß genug ist, auch an der einzelnen Veranstaltungsform im eigenen Fach.
Die Entwicklung des Instrumentariums und die eventuell benutzten Quellen und Vorlagen sowie weitere Literaturhinweise sind in früheren Evaluationsberichten unter http://www.phil-fak.uni-duesseldorf.de/studierende/evaluation/evaluationsberichte/ zu finden.
Die 30 Items des Fragebogens bilden die insgesamt sieben Urteilsdimensionen
Methodik und Aufbau
Interessantheit und Relevanz
Dozentenverhalten
Gesprächsführung
Schwierigkeit und Umfang
Qualität der Referatvorträge
Auswahl der Referatthemen,
von denen natürlich - je nach Veranstaltungsform - den Studierenden immer nur der für die jeweilige Veranstaltung zutreffende Teil präsentiert wurde.
2
1.1 Änderungen des Instrumentariums In Erweiterung der bisherigen Technik war der Fragebogen im WS 11/12 erstmals auch für die Darstellung und Bearbeitung auf Tablet-PCs und Smartphones optimiert. Rückmeldun-gen von Studierenden bestätigen das Funktionieren auch dieser Präsentationstechniken.
Die zu den jeweiligen Veranstaltungsformen gestellten Fragen sind Tabelle 1 zu entnehmen.
Tabelle 1: Faktoren und Items nach Veranstaltungsformen
Sem
inar
/Übu
ng
Spr
achk
urs
Methodik und Aufbau
Der/Die Dozent/in vermittelt den Stoff anschaulich und verständlich.
Der/Die Dozent/in baut die Veranstaltung gut auf und führt sie gut durch.
Die Veranstaltung gibt einen guten Überblick über das Themengebiet.
Das im Sprachkurs verwendete Lehrbuch ist für universitäre Zwecke gut geeignet.
Der/Die Dozent/in setzt das Lehrbuch in angemessener Weise ein.
Der/Die Dozent/in setzt über das Lehrbuch hinausgehend gute Unterrichtsmaterialien (Folien, Arbeitsblätter, Texte, audiovisuelle Medien, etc.) zur Unterstützung des Lernens ein.
Der/Die Dozent/in setzt gute Unterrichtsmaterialien (z. B Literatur, Folien, Skript, Arbeitsblätter, audiovisuelle Medien etc.) zur Unterstützung des Lernens ein.
Interessantheit und Relevanz
Der/Die Dozent/in gestaltet die Veranstaltung interessant.
Der/Die Dozent/in verdeutlicht zu wenig die Verwendbarkeit und den Nutzen des behandelten Stoffes.
Der/Die Dozent/in fördert mein Interesse am Themenbereich.
Der/Die Dozent/in fördert mein Interesse am Spracherwerb.
Dozentenverhalten
Der/Die Dozent/in verhält sich Studierenden gegenüber freundlich und respektvoll.
Der Dozentin/Dem Dozenten scheint der Lernerfolg der Studierenden gleichgültig zu sein.
Der/Die Dozent/in geht auf Fragen der Studierenden ausreichend ein.
In der Veranstaltung herrscht eine gute Arbeitsatmosphäre.
Mit den Rückmeldungen durch den Dozenten/die Dozentin (Feedback, Fehlerkorrektur etc.) bin ich sehr zufrieden.
Gesprächsführung
Der/Die Dozent/in fördert die aktive Mitarbeit der Teilnehmer und Teilnehmerinnen.
Es besteht ausreichend Gelegenheit für Fragen und Diskussionen.1
Die Veranstaltung ist eine gute Mischung aus Wissensvermittlung und Diskussion.
Der Sprachkurs ist eine gute Mischung aus theoretischem Spracherwerb (Grammatik, Vokabeln etc.) und Anwendung des Gelern-ten.
Schwierigkeit und Umfang
Der Schwierigkeitsgrad der Veranstaltung ist:
Das Tempo der Veranstaltung ist:
Der Stoffumfang ist:
Die Anforderungen für einen Beteiligungsnachweis sind:
Qualität der Referatsvorträge
Die Referenten und Referentinnen sind auf Fragen und Diskussionen meist gut vorbereitet.
Das wirklich Relevante wird bei den Referaten zu wenig hervorgehoben.
Die Referenten und Referentinnen stellen den Stoff meist verständlich dar.
Auswahl der Referatsthemen
Die Referatsthemen sind in inhaltlicher und didaktischer Hinsicht gut ausgewählt.
Die einzelnen Referate stehen mehr oder weniger unvermittelt nebeneinander.
Die Lehrveranstaltung ist eine bloße Aneinanderreihung von Referaten mit nur geringer Moderation durch die /den Dozierenden.
1 Im Sprachkursfragebogen entfällt „und Diskussionen“.
3
Die Items werden jeweils auf einer fünfstufigen Skala mit den Endpunkten "stimmt nicht" (1) und "stimmt" (5) bzw. "viel zu niedrig" vs. "viel zu hoch" (bei "Schwierigkeitsgrad" und "Tem-po") und "viel zu gering" vs. "viel zu hoch" (bei "Stoffumfang") beantwortet.
Fünf Items wurden zur Vermeidung von automatisierten Antworttendenzen negativ formuliert, es müssen also vor der Auswertung einige Items "umgepolt"1 werden, damit bei späteren Summen- oder Durchschnittsbildungen nur gleichsinnige Aussagen zusammengefasst wer-den.
Nach der Umpolung werden aus den Antworten auf die Items jedes Faktors die Mittelwerte berechnet, damit die Faktoren bei auch unterschiedlicher Itemzahl untereinander vergleich-bar werden.
Zusätzlich zu diesen Fragen wurde als zusammenfassende Bewertung die Aussage "Die Veranstaltung ist für die Studierenden empfehlenswert" auf der gleichen fünfpoligen Skala eingeschätzt.
Auf Hinweise aus früheren Veranstaltungsevaluationen hin und als Folge der Reakkreditie-rungen der letzten Semester wurden aufgenommen:
Die inhaltliche Durchführung der Lehrveranstaltung entspricht ihrer Vorankündigung.
Die Veranstaltung ist gut mit anderen Veranstaltungen desselben Moduls abgestimmt.
Die Veranstaltung ist gut mit den Kompetenzzielen des zugehörigen Moduls abgestimmt.
Außerdem wurden einige Zusatzinformationen erhoben, die zu weiteren Analysen hilfreich sein können:
Welche der folgenden elektronischen Angebote wurden in der Veranstaltung eingesetzt: Ilias, Moodle, Online-Selbsttests, Voting-System, Elektronischer Semesterapparat
Wie viel Zeit wenden Sie im Durchschnitt pro Woche (außerhalb der Veranstaltung) für die Vor- und Nachbereitung des Stoffes auf?
An wie vielen Sitzungen haben Sie nicht teilgenommen?
Besuch im Rahmen des fachübergreifenden Wahlpflichtbereichs bzw. des Studium Universale?
Studiengang, in dessen Rahmen die Veranstaltung besucht wurde
Semesterzahl diesem Fach
Geschlecht
Muttersprache Deutsch?
Zusätzlich war die Gelegenheit gegeben, nicht an eine bestimmte Frage gebundene Kom-mentare und Einschätzungen abzugeben.
Die nach dem Öffnen der Mail noch erforderliche Zeit für das Einloggen in die Evaluations-seite und das Bearbeiten des Fragebogens liegt bei etwa fünf Minuten.
Der vollständige Fragensatz mit allen Antwortmöglichkeiten ist in Anhang A wiedergegeben.
1 Die Rohwerte werden also nach folgendem Muster ausgetauscht:
1 → 5
2 → 4
3 → 3
4 → 2
5 → 1
4
2 Organisation und Ablauf der Evaluation
2.1 Datenbasis
Gemäß der Planung sollte allen Dozentinnen und Dozenten eine Rückmeldung über alle ihre Veranstaltungen im SS 12 gegeben werden. Davon ausgenommen wurden lediglich die Ver-anstaltungen des Kubus-Programms, das im Rahmen einer Kubus-eigenen Evaluation aus-gewertet wird. Die Datenbasis für die vorliegende Evaluation bilden alle Zulassungsfälle, d.h. alle Anmeldungen von Studierenden, die sich online für eine der in HIS-LSF verzeichneten Veranstaltungen angemeldet hatten und die von den Dozentinnen und Dozenten als "zuge-lassen" vermerkt worden waren.
Erfahrungsgemäß werden Online-Anmeldungen von den Studierenden aber nicht rückgängig gemacht, wenn sie nach Veranstaltungsbeginn entscheiden, an einer Veranstaltung doch nicht teilzunehmen oder einfach nicht mehr zu dieser erscheinen. Ebenso muss davon aus-gegangen werden, dass die Dozentinnen und Dozenten gerade bei Veranstaltungen mit gro-ßen Teilnehmerzahlen die Datenpflege in HIS-LSF nicht kontinuierlich durchführen (können), dass also Studierende an Veranstaltungen teilnehmen, die nicht als "zugelassen" markiert sind, und andererseits solche "zugelassen" sind, die längst nicht mehr teilnehmen. Dieses Problem wird bei allen Veranstaltungen mit vielen Teilnehmenden kaum vollständig lösbar sein. Um seine Auswirkungen zumindest zu begrenzen, wurden die Geschäftsführungen frühzeitig gebeten, alle Lehrenden auf die bevorstehende Evaluation hinzuweisen und um die Aktualisierung der HIS-LSF-Datenbank zu bitten.
Auf Grund der großen Teilnehmerzahlen gerade in Vorlesungen ist diese Maßnahme aller-dings kaum zumutbar und sicherlich schwer zu realisieren; es muss davon ausgegangen werden, dass eine nicht zu ermittelnde Anzahl Studierender angeschrieben wurde, obwohl diese nicht (mehr) an der entsprechenden Vorlesung teilgenommen haben. Dies bedeutet allerdings nicht, dass sie auch tatsächlich missbräuchlich von der Möglichkeit zur Evaluation Gebrauch gemacht haben. Andererseits dürften viele an Veranstaltungen teilnehmende Stu-dierende nicht an der Evaluation teilgenommen haben, weil sie in HIS-LSF nicht "zugelas-sen" waren.
Da nicht für alle Veranstaltungen eine Online-Anmeldung erwünscht und ermöglicht war (z.B. ist häufig bei Kolloquien, Doktoranden- oder Forschungsseminaren ausschließlich eine per-sönliche Anmeldung erforderlich) können Veranstaltungen ohne Online-Anmeldung in die-sem Rahmen nicht evaluiert werden.
Es wurden also zunächst alle Lehrveranstaltungen außer Vorlesungen und Tutorien in die Stichprobe aufgenommen, die im SS 12 an der Philosophischen Fakultät der Heinrich-Heine-Universität Düsseldorf gehalten wurden und für die eine Online-Belegung möglich war.1
1 Bei Ringvorlesungen und Veranstaltungen, die im Teamteaching durchgeführt werden, ist davon auszugehen,
dass die Teams ein gemeinsames inhaltliches und didaktisches Konzept vertreten, das von den Studierenden auch als Einheit wahrgenommen und eingeschätzt wird. Deshalb wurde für diese Veranstaltungen nur ein ein-ziger Fragebogen vorgelegt, aber zwischen Personen differenzierende Urteile in Form einer offenen Frage wurden erbeten. Im Fragebogen war dazu folgender Hinweis gegeben: "Die Fragen sind durchgängig im Sin-gular formuliert. Sollte Ihre Veranstaltungen von mehreren Dozenten/innen durchgeführt werden (z.B. im Te-amteaching oder als Ringveranstaltung), bewerten Sie bitte die Gemeinschaftsleistung des Dozententeams. Sie bekommen unten die Gelegenheit, zu den individuellen Leistungen der einzelnen Dozenten/innen Stellung zu nehmen."
5
Die Zahl dieser Lehrveranstaltungen wurde reduziert um diejenigen
- bei denen ersichtlich war, dass sie als Blockveranstaltung erst nach dem Evaluierungs-zeitraum stattfinden würden
- weniger als fünf Studierende in HIS-LSF als "zugelassen" eingetragen waren, so dass von maximal vier Personen evaluierende Daten zu erwarten waren. Zum einen wäre eine sol-che Datenbasis zu schmal, um begründete Aussagen machen zu können, zum anderen würde die Anonymität der Befragten zumindest fraglich werden
- bei denen die Angaben im HIS-LSF unvollständig waren. Teilweise waren überhaupt kei-ne Studierenden zugelassen, teilweise fehlten Informationen über die Dozenten.
Die nach dieser Maßnahme aus HIS-LSF gewonnene reduzierte Liste weist 692 Veranstal-tungen mit insgesamt 23.540 zugelassenen Teilnahmefällen nach, die per Email zur Evalua-tion der jeweiligen Veranstaltung aufgefordert wurden.
Beim Export der Studierendendaten von HIS-LSF nach EvaSys und in allen anderen Zu-sammenhängen dieser Evaluation wurden die von der Evaluationsordnung der Heinrich-Heine-Universität Düsseldorf vorgegebenen sowie die weiteren einschlägigen Vorschriften des Datenschutzes selbstverständlich befolgt. Sämtliche Informationen über die Teilneh-mer/innen der Befragung wurden direkt nach dem Datenimport nach EvaSys anonymisiert. so dass zu keinem Zeitpunkt ein Rückschluss auf die Personen der antwortenden Studieren-den möglich war.
2.2 Zeitplan
30.05.12 Information der Dozierenden über die Geschäftsführungen der Institute und Seminare der Philosophischen Fakultät über die geplante Evaluation. Bitte, die Namensbestände in HIS-LSF zu überprüfen und bei den Studierenden für die Teilnahme zu werben.
04.06.12 Gewinnen der zugrunde liegenden Daten aus HIS-LSF
07.06.12 Freischalten der Evaluationsseite, Email an die Studierenden mit der Bitte, sich an der Evaluation zu beteiligen
15.06.12 Erinnerungsmail an diejenigen, die noch nicht reagiert haben
17.06.12 Schließen der Evaluationsseite
29.06.12 Versand der individuellen Ergebnisse an die Dozentinnen und Dozenten und Möglichkeit, den Studierenden die Ergebnisse zu vermitteln, sie zu diskutieren und ggf. Erläuterungen von den Studierenden einzuholen
02.07.12 Vorlage des Evaluationsberichts und Veröffentlichung im Netz
Abbildung 1 verdeutlicht, dass ca. 50 % aller Evaluationen innerhalb der ersten vier Tage nach Freischalten der Evaluationsseite vorgenommen wurden.
6
Abbildung 1: Bearbeitungszeitpunkt der Fragebögen zwischen dem 07.06.12. und 17.06.12 in Prozent vom Rücklauf
2.3 Rücklauf
Von den nominell 23.540 per Email angeschrieben Teilnahmefällen wurden 83 nicht erreicht, in der Regel weil das Speichervolumen des überfüllten Empfängerpostfachs nicht ausreichte.
Die verbleibenden 23.457 Teilnahmefälle bilden somit die Grundgesamtheit, die nominell für die Beantwortung der Fragen zur Verfügung stand. Die Bearbeitung der Fragen erfolgte oh-ne nennenswerte Probleme, 3 Studierende nutzten die angebotene Möglichkeit, eine Email an das Evaluationsteam zu schreiben; sie wiesen darauf hin, dass eine Veranstaltung in HIS-LSF fälschlicherweise nicht als (noch nicht zu evaluierendes) Blockseminar angekündigt war.
Aus dieser Grundgesamtheit von 23.457 Teilnahmefällen haben sich 4.024 Studierende an der Evaluation beteiligt, so dass die durchschnittliche Rücklaufquote aller Veranstaltungen der Fakultät 17,1% beträgt und somit knapp über dem Wert des vorherigen Semesters liegt. Insgesamt hat die Rücklaufquote noch kein befriedigendes Niveau erreicht. Allerdings zeigt die Erfahrung, dass die vorherige Ankündigung einzelner Dozierenden, die späteren Evalua-tionsergebnisse unmittelbar im Anschluss an die Befragung in der Lehrveranstaltung vorzu-
7
stellen und zu diskutieren, zu einem deutlichen Zuwachs bei der Beteiligung der Studieren-den führen.
In 32 Veranstaltungen haben sich überhaupt keine Studierenden an der Evaluation beteiligt, bei 326 Veranstaltungen lag die Beteiligung unter der Anonymisierungsschwelle von 5 Teil-nehmenden und können somit nicht individuell ausgewertet werden. Dadurch entfielen 888 beantwortete Fragebögen.
Nach diesen Reduzierungen standen von den 692 Veranstaltungen 334 für die Auswertung zur Verfügung, zu denen insgesamt 3.136 Rückmeldungen abgegeben wurden. Diese 3.136 Rückmeldungen bilden die Datenbasis für alle folgenden Aussagen.
Die Verteilung der Größe der 334 Veranstaltungen nach der Anzahl der in HIS-LSF zugelas-senen Studierenden ist Abbildung 2 zu entnehmen.
Abbildung 2: Anteil berücksichtigter Veranstaltungen (senkrecht) nach dazu jeweils zugelas-senen Studierenden (waagrecht)
Die Bandbreite der Rücklaufquoten gibt Abbildung 3 wieder, Tabelle 2 spezifiziert diese Da-ten institutsweise.
8
Abbildung 3: Prozentuale Rückläufe der 334 Veranstaltungen
Tabelle 2: Rücklaufquoten in den auswertbaren Veranstaltungen, institutsweise1
Zahl der
Veranstaltungen Zahl der Dozentin-nen und Dozenten
Durchschnittliche Rücklaufquote der
auswertbaren Veranstaltungen
Institut für Anglistik und Amerikanistik 56 (81) 32 (42) 20 % (21 %)
Institut für Germanistik 65 (68) 44 45) 22 % (18 %)
Institut für Geschichtswissenschaften 29 (33) 23 (21) 23 % (21 %)
Institut für Jüdische Studien 2 (2) 1 (2) 38 % (30 %)
Institut für Klassische Philologie 5 (8) (5) 8 23 % (25 %)
Institut für Kunstgeschichte 14 (19) 10 (13) 29 % (23 %)
Institut für Medien- und Kulturwissenschaft 17 (20) 13 (13) 21 % (21 %)
Institut für Modernes Japan 14 (29) 10 (13) 22 % (28 %)
Institut für Philosophie 24 (34) 17 (16) 18 % (16 %)
Institut für Romanistik 32 (42) 20 (24) 27 % (29 %)
Institut für Sozialwissenschaftlichen 54 (72) 42 (39) 29 % (29 %)
Institut für Sprache und Information 22 (18) 16 (13) 24 % (29 %)
Tabelle 3: Rücklaufquoten nach Veranstaltungsarten
Durchschnittliche Rücklaufquote der
auswertbaren Veranstaltungen Anzahl der auswertbaren
Veranstaltungen
Seminar 24 % (22 %) 308 (368)
Sprachkurs 25 % (30 %) 26 (39)
1 In Klammern jeweils die Werte des WS 11/12.
9
3 Ergebnisse
3.1 Testtheoretische Qualität des Instrumentariums
Die Struktur des Instrumentariums, seine testtheoretischen Kennwerte und die der einzelnen Items wurden geprüft; die Überprüfungen erbrachten ausnahmslos akzeptable Kennwerte, die die uneingeschränkte Interpretierbarkeit der mit dem Fragebogen erhobenen Ergebnisse belegen. Vorgehen und Ergebnisse sind in Anhang B dokumentiert.
3.2 Fakultätsweite Einschätzung der Veranstaltungsqualität
Nach der in Kapitel 1 beschriebenen Mittelwertbildung werden die Antworten auf die einzel-nen Items der sieben Faktoren durch die Mittelwerte der Faktoren repräsentiert, die, genau wie jedes einzelne Item, Werte zwischen 1 und 5 annehmen können, wobei "1" den negati-ven und "5" den positiven Pol bezeichnet. Es gilt also: je höher der Zahlenwert, desto besser die Einschätzung. Eine Ausnahme bilden die Items zu "Schwierigkeit und Umfang" ("Schwie-rigkeitsgrad der Veranstaltung", "Tempo der Veranstaltung", "Stoffumfang" und ggf. "Zusätz-liche zeitliche Belastung durch das Tutorium"), deren Extrema als "viel zu hoch" bzw. "viel zu niedrig" gekennzeichnet sind. Hier läge der optimale Wert genau zwischen diesen beiden Extrema, also bei "3"; eine Abweichung nach unten würde eine Veranstaltung als "zu leicht", "zu langsam" bzw. "zu inhaltsarm", eine Abweichung nach oben als "zu schwer", "zu schnell" bzw. als "mit Stoff überfrachtet" kennzeichnen.
Die Betrachtung der Ergebnisse auf Basis der einzelnen Urteile über alle Dozierenden hin-weg würde nun aber noch nichts über die einzelnen Dozierenden aussagen.
Angenommen, es gäbe einige wenige ganz vorzügliche Veranstaltungen mit einer sehr gro-ßen Hörerzahl, dann würden diese wenigen guten Veranstaltungen die Werte der - ange-nommen! - vielen schlechten mit jeweils wenigen Hörern nach oben verfälschen.
Mit anderen Worten: eine faire Beurteilungsbasis gibt nur eine Analyse auf Basis der Mittel-werte der einzelnen Veranstaltungen: Analyseeinheit darf also nicht der einzelne Studieren-de sein, sondern Analyseeinheit muss der Mittelwert sein, der sich aus allen Einschätzungen aller Teilnehmer einer Veranstaltung ergibt. Dann liegen nicht mehr 3.136 Urteile vor, son-dern 334 Durchschnittsurteile aus 334 Veranstaltungen. Diese Werte können Tabelle 4 ent-nommen werden.
Dabei werden folgende erste Ergebnisse deutlich:
Alle Werte liegen deutlich im positiven Bereich der Skalen, kein Mittelwert fällt unter den Skalenmittelwert 3, die besten Wert sind mit 4,4 "Dozentenverhalten“ und Gesprächsfüh-rung“ in den Sprachkursen.
Die Veranstaltungen liegen in der Skala „Schwierigkeit und Umfang“ mit einem Durch-schnitt von zwischen 3,1 geringfügig über der optimalen Balance zwischen "zu anforde-rungsreich" und "zu anforderungsarm" (also 3.0), werden also als minimal zu anforde-rungsreich empfunden.
Sprachkurse werden in der Regel positiver, aber auch als anspruchsvoller eingeschätzt als Seminare.
"Dozentenverhalten" ist in allen Veranstaltungsarten die am besten beurteilte Dimension.
10
Die Einschätzungen in den Faktoren, die von den Lehrenden unmittelbar beeinflusst wer-den können ("Methodik und Aufbau", "Dozentenverhalten“ und „Gesprächsführung“) sind in der Regel besser als die Urteile in dem Faktor, der eher von Studienordnungen und ähnlichen Vorgaben abhängt ("Interessantheit und Relevanz"). Mit anderen Worten: die Dozierenden werden besser eingeschätzt, als die Studienordnungen und -pläne, nach denen sie lehren.
Zusammenfassend: ein insgesamt positives Bild, das sich im Vergleich zum WS 11/12 nicht verändert hat.
Tabelle 4: Faktorenweise Darstellung der Ergebnisse (Mittelwerte aus N = 334 Veranstaltungen)
Seminar/Übung Sprachkurs Gesamt
N x̄ s N x̄ S N x̄ s
Methodik und Aufbau
308 4,0 0,64 26 4,0 0,63 334 4,0 0,64
Interessantheit und Relevanz 308 3,7 0,71 26 4,1 0,60 334 3,8 0,70
Dozentenverhalten 308 4,2 0,53 26 4,4 0,51 334 4,2 0,53
Gesprächsführung 308 4,1 0,62 26 4,4 0,48 334 4,1 0,62
Schwierigkeit und Umfang
308 3,1 0,26 26 3,4 0,33 334 3,1 0,27
Qualität der Referatsvorträge
215 3,8 0,46 215 3,8 0,46
Auswahl der Referatsthemen
216 4,0 0,56 216 4,0 0,56
3.3 Einschätzung der studentischen Belastung durch den Erwerb von BN bzw. Vor- und Nachbereitungen von Veranstaltungen
Um im Kontext aktueller Diskussionen über die Belastung von Studierenden aktuelles Da-tenmaterial zu haben, wurde für alle Veranstaltungen außer Tutorien die Frage „Die Anforde-rungen für einen Beteiligungsnachweis sind: …“ aufgenommen, die von „viel zu gering“ (1) bis „viel zu hoch“ (5) skaliert wurde. Hier ist also „3“ der Wert, der eine ausgewogene und angemessene Belastung repräsentiert.
Tabelle 5 gibt die Ergebnisse, gegliedert nach Veranstaltungsarten, wieder.
Tabelle 5: „Anforderungen für einen BN“ nach Veranstaltungsarten
Die Anforderungen für einen Beteili-
gungsnachweis sind … Anzahl der auswertbaren
Veranstaltungen
Seminar 3,1 308
Sprachkurs 3,2 26
11
Vor dem Hintergrund der Tatsache, dass der höchste Belastungswert von 3,2 nur um 0,2 über dem „Idealwert“ von 3,0 liegt, muss die vergangene und teilweise immer noch andau-ernde Debatte über zu hohe Belastungen beim Erwerb von BN stark relativiert werden. Im WS 11/12 lagen die Vergleichswerte bei 3,1 bzw. 3.0.
Die gleiche Analyse, diesmal differenziert nach Instituten (vgl. Tabelle 6), offenbart, dass die Abweichungen vom Idealwert 3,0 so minimal sind, dass man von einer „Punktlandung“ spre-chen kann. Offenbar haben die Institute hier die optimale Balance gefunden.
Tabelle 6: „Anforderungen für einen BN“ nach Instituten
Die Anforderungen für einen Beteiligungsnachweis sind …
Anzahl der auswertbaren Veranstaltungen
Institut für Anglistik und Amerikanistik 3,1 56
Institut für Germanistik 3,1 65
Institut für Geschichtswissenschaften 3,0 29
Institut für Jüdische Studien 3,2 2
Institut für Klassische Philologie 3,2 5
Institut für Kunstgeschichte 3,1 14
Institut für Medien- und Kulturwissenschaft 3,1 17
Institut für Modernes Japan 3,2 14
Institut für Philosophie 3,2 24
Institut für Romanistik 3,2 32
Institut für Sozialwissenschaften 3,2 54
Institut für Sprache und Information 3,3 22
Die Antworten auf die Frage, wie viel Zeit die Studierenden im Durchschnitt pro Woche au-ßerhalb der Veranstaltung für die Vor- und Nachbereitung des Stoffes aufwenden, sind in Abbildung 4 dargestellt.
12
Abbildung 4: „Wie viel Zeit wenden Sie im Durchschnitt pro Woche (außerhalb der Veranstal-
tung) für die Vor- und Nachbereitung des Stoffes auf?“ (N=3113 gültige Antwor-ten)
Auch hier ist in völliger Übereinstimmung mit den Ergebnissen aus dem WS 11/12 eine Überlastung nicht erkennbar. Ca. 12 % der Studierenden bereiten sich gar nicht vor oder nach, bis zu einer Stunde Zeit für die Vor- und Nachbereitung einer Lehrveranstaltung benö-tigen ca. 40 % der Studierenden, bis zu zwei Stunden ca. 66 %. Mit anderen Worten: über 85 % der Studierenden haben eine Vor- und Nachbereitungszeit von maximal zwei Stunden – ein Wert, der mit den Überlegungen im Rahmen der Bologna-Reform völlig übereinstimmt.
Da die evaluierten Veranstaltungen aber einen zeitlichen Umfang zwischen 1 und 7 SWS haben und ein nahezu linearer Zusammenhang zwischen SWS-Umfang und Vor- bzw. Nachbereitungszeit besteht, wurden beide Werte zu einem Summenwert addiert, der die gesamte zeitliche Belastung durch die jeweilige Veranstaltung wiedergibt. Die Ergebnisse sind Abbildung 5 zu entnehmen.
13
Abbildung 5: Zusammengefasste relative Häufigkeiten der Summen aus Präsenzzeit und Zeit
für die Vor- und Nachbereitung der Veranstaltung in Zeitstunden (N=3096 gülti-ge Antworten)
Tabelle 7: Durchschnittliche zeitliche Belastung (Präsenz- und Vor- bzw. Nachbereitungs-zeit) je Veranstaltung nach Veranstaltungsarten in Zeitstunden (N=3096 gültige Antworten)
Belastung in Zeitstunden
Seminar 2,9
Sprachkurs 4,2
Nach der Beseitigung methodischer Mängel in der Evaluation des WS 11/12 konnten die Summen aus Präsenzzeit und Zeit für die Vor- und Nachbereitung der Veranstaltung in Stunden, differenziert nach Studiengangsarten bzw. nach Studiengängen, ermittelt werden.
14
Tabelle 8: Summen aus Präsenzzeit und Zeit für die Vor- und Nachbereitung der Veranstal-tung in Stunden, differenziert nach Studiengangsart (N=2835 gültige Antworten)
Stunden N
BA Kernfach 2,9 1243
BA Ergänzungsfach 2,8 613
BA Integierter Studiengang 3,3 644
Master 3,0 298
Magister 4,4 5
Diplom 5,4 5
Promotion 2,6 4
Gasthörer/in 2,5 11
Sonstige 4,5 12
15
Tabelle 9: Summen aus Präsenzzeit und Zeit für die Vor- und Nachbereitung der Veranstal-tung in Zeitstunden, differenziert nach BA- und Masterstudiengängen (N=2798 gültige Antworten)
Stunden N
B.A. Antike Kultur (Ergänzungsfach) 3,0 7
B.A. Englisch (Kernfach) 2,9 260
B.A. Englisch (Ergänzungsfach) 2,6 120
B.A. Germanistik (Kernfach) 2,6 352
B.A. Germanistik (Ergänzungsfach) 2,5 140
B.A. Geschichte (Kernfach) 2,7 143
B.A. Geschichte (Ergänzungsfach) 2,8 63
B.A. Informationswissenschaft und Sprachtechnologie (Integrierter Studiengang) 3,6 65
B.A. Informationswissenschaft (Ergänzungsfach) 2,8 21
B.A. Jüdische Studien (Kernfach) 6,8 3
B.A. Jüdische Studien (Ergänzungsfach) 4,6 4
B.A. Kommunikations- und Medienwissenschaft (Ergänzungsfach) 2,6 48
B.A. Kunstgeschichte (Kernfach) 3,8 88
B.A. Kunstgeschichte (Ergänzungsfach) 3,8 15
B.A. Linguistik (Integrierter Studiengang) 3,4 159
B.A. Linguistik (Ergänzungsfach) 3,5 32
B.A. Medien und Kulturwissenschaft (Integrierter Studiengang) 3,3 145
B.A. Modernes Japan (Kernfach) 3,9 112
B.A. Modernes Japan (Ergänzungsfach) 3,5 27
B.A. Philosophie (Kernfach) 2,8 96
B.A. Philosophie (Ergänzungsfach) 2,7 36
B.A. Politikwissenschaft (Ergänzungsfach) 3,0 43
B.A. Romanistik (Kernfach) 2,8 189
B.A. Romanistik (Ergänzungsfach) 3,2 41
B.A. Sozialwissenschaften (Integrierter Studiengang) 3,1 275
B.A. Soziologie (Ergänzungsfach) 2,9 16
M.A. The Americas / Las Américas / Les Amériques) 3,7 8
M.A. Englisch 2,9 18
M.A. European Studies 3,2 22
M.A. Germanistik 3,3 60
M.A. Geschichte 2,7 35
M.A. Informationswissenschaft und Sprachtechnologie) 2,8 4
M.A. Kunstgeschichte 3,4 17
M.A. Linguistik 2,3 8
M.A. Literaturübersetzen 3,4 18
M.A. Medienkulturanalyse 3,7 7
M.A. Modernes Japan 3,0 11
M.A. Philosophie 3,3 19
M.A. Politische Kommunikation 2,8 25
M.A. Romanistik 3,1 8
M.A. Sozialwissenschaften 2,6 38
16
3.4 Einschätzung der Veranstaltungsqualität nach Veranstaltungs-typen und Fächern
Eine zwischen Instituten vergleichende Betrachtung kann einerseits durch visuelle Inspektion der Daten, andererseits durch eine zufallskritische Absicherung der Differenzen zwischen den Instituten vorgenommen werden.
Zur visuellen Inspektion geben die Abbildungen 6 und 7 die jeweiligen Mittelwerte instituts-weise wieder. Die Anzahl der zugrundeliegenden Veranstaltungen ist Tabelle 6 zu entneh-men; ein Institut (Institut für Jüdische Studien) konnte wegen der zu geringen Veranstal-tungszahl nicht berücksichtigt werden.
Abbildung 6: Veranstaltungsqualität nach Instituten
17
Abbildung 7: Veranstaltungsqualität nach Instituten
Abbildung 7 zeigt die Verteilung der Variablen „Schwierigkeitsgrad“, „Tempo“ und „Stoffum-fang“, die insofern numerisch nicht mit den obenstehenden Variablen verglichen werden können, als sie zwischen 1 und 5 skaliert sind („viel zu gering“ bis „viel zu hoch“ bzw. „viel zu niedrig“ bis „viel zu hoch“), wobei der Wert 3 die „Ideallinie“ darstellt.
18
Abbildung 8: Veranstaltungsqualität (alle Institute) nach Veranstaltungsarten
Die generelle Zufriedenheit der Studierenden kann also als "gut" bezeichnet werden, weiter-gehende und spezifizierte Aussagen sind nur auf der Ebene der einzelnen Dozierenden bzw. der Veranstaltungen möglich.
3.5 Die Veranstaltungen im Kontext der Ankündigungen und Mo-dule
Als Folge der Reakkreditierungen des SS 11 und des WS 11/12 wurde untersucht, inwieweit
die inhaltliche Durchführung der Lehrveranstaltung ihrer Vorankündigung entspricht
die Veranstaltung gut mit anderen Veranstaltungen desselben Moduls abgestimmt ist
die Veranstaltung gut mit den Kompetenzzielen des zugehörigen Moduls abgestimmt ist.
Alle diese Fragen sind Indikatoren dafür, inwieweit sich die Studierenden auf die Planungs-vorgaben der Institute verlassen können. Gleichzeitig können sie als Anzeichen dafür gewer-tet werden, inwieweit die Strukturvorgaben der Studiengänge den Lehrenden bekannt sind und von ihnen berücksichtigt werden.
Die Passung von Vorankündigung und ihrer Umsetzung gelingt in den Instituten in unter-schiedlichem Ausmaß und sie ist insgesamt besser als die Abstimmung der Veranstaltung mit den anderen Veranstaltungen des Moduls und mit seinen Kompetenzzielen. Letzteres
19
kann möglicherweise auf einen gewissen Grad an mangelnder Information zurückgeführt werden, zumal auch auf Seite der Studierenden hier Defizite zu finden sind: die beiden Fra-gen nach den Zusammenhängen der Veranstaltung mit dem Modul werden jeweils von ei-nem Viertel der Antwortenden mit „weiß nicht“ beantwortet, die Frage nach der Übereinstim-mung von Ankündigung und ihrer Umsetzung von nur 13 Personen.
Abbildung 9: Veranstaltungsqualität nach Veranstaltungsarten
3.6 Differenzierte Einschätzung der Veranstaltungsqualität
Da trotz aller positiven Ergebnisse alle oben dargestellten Werte eine mehr oder weniger große Bandbreite aufweisen, muss Evaluation im Hinblick auf ein anzustrebendes Quali-tätsmanagement auch versuchen, Gründe für diese Streuungen zu finden, um entweder schlechtere Werte verbessern zu helfen oder im Sinne von "best practice" von als gut evalu-ierten Dozentinnen und Dozenten zu lernen.
Dazu wurden verschiedene potenzielle Einflussgrößen daraufhin untersucht, ob sie signifi-kante Effekte in den untersuchten Faktoren nachweisbar machen.
Die Prüfung statistisch signifikanter Unterschiede zwischen verschiedenen Teilgruppen macht deutlich, dass nicht nur die Personen der Dozentinnen und Dozenten und die (damit konfundierten) einzelnen Veranstaltungen potenzielle Wirkfaktoren für Zufriedenheit oder
20
Unzufriedenheit sind, sondern dass erhebliche Wechselwirkungen zwischen diesen Faktoren sowie Personenmerkmalen der Studierenden und strukturellen Bedingungen bestehen.
Diese Wechselwirkungen sind so differenziert, dass ihnen die pauschale Darstellung in die-sem Bericht nicht gerecht werden kann. Hier muss wieder auf das eingangs schon gemachte Angebot der Analyse spezieller fach- oder studiengangsspezifischer Fragestellungen auf Basis der vorliegenden Daten verwiesen werden.
Die individuelle Rückmeldung an jede Dozentin und jeden Dozenten sollte nicht nur als In-formation über wahrgenommenes Verhalten aufgenommen werden, sondern sie sollte im Kontext der oben dargestellten Ergebnisse auch den Blick dafür öffnen, welche zusätzlichen Rahmenbedingungen zu diesen Rückmeldungen geführt haben können.
21
4 Rückmeldung an die Dozentinnen und Dozenten und die Institute
4.1 Rückmeldung zur skalengebundenen Einschätzung der Veran-staltungsqualität
Vor dem oben beschriebenen Hintergrund und angesichts der datenschutzrechtlichen Rah-menbedingungen werden die erfassten Daten in zwei Formen zurückgemeldet:
das Dekanat, die Geschäftsführungen der Fächer, alle Lehrenden und Studierenden sowie das Rektorat werden über die Ergebnisse in Form des vorliegenden Berichts informiert. Die-ser Bericht enthält keine Individualergebnisse und gibt Daten nur in aggregierter Form als Mittelwerte und Streuungen über die Studierenden bzw. Veranstaltungen wieder.
Für die individuelle Rückmeldung an die Dozentinnen und Dozenten werden die durch-schnittlichen Mittelwerte des betreffenden Veranstaltungstyps des jeweiligen Faches und der Fakultät grafisch dargestellt und in dieser Grafik zusätzlich die Werte der jeweiligen Veran-staltung.
Diese individuellen Grafiken werden den Dozentinnen und Dozenten auf einem gesonderten Blatt je Veranstaltung mit der Hauspost in einem verschlossenen Umschlag "Persönlich" / "Vertraulich" zugestellt.
4.2 Rückmeldung zur frei formulierten Einschätzung der Veranstal-tungsqualität
Die Möglichkeit, ohne vorgegebene Fragen Stellung zur Veranstaltung und dem/der Dozie-renden zu beziehen, wurde auffällig oft dann genutzt, wenn die skalengebundenen Urteile ausgeprägt positiv oder ausgeprägt negativ ausfielen. Sie wird also eher bei deutlich zu-stimmender oder ablehnender Grundhaltung benutzt. Sie sind alle pointiert, "deutlich" und zum Teil drastisch formuliert. In ganz seltenen Fällen sind die Äußerungen grenzwertig. Trotzdem werden ausnahmslos alle Formulierungen in den Individualrückmeldungen wörtlich wiedergegeben, ohne Rechtschreibfehler zu korrigieren oder sehr drastisch-kritische Äuße-rungen oder "Lobeshymnen" stilistisch anzupassen oder gar zu zensieren.
Der Wert dieser "freien" Formulierungen ist in einer sehr plastischen Darstellung der sonst in den Grafiken und Tabellen leicht verschwindenden individuellen Einschätzung zu sehen.
Aus Gründen des Datenschutzes werden diese Daten hier selbstverständlich nicht wieder-gegeben.
22
5 Zusammenfassung Grundsätzlich und im Durchschnitt gilt: die Ergebnisse sind fakultätsweit weiterhin gut; sie
liegen mit wenigen Ausnahmen weit im oberen Drittel der Skala und belegen eine den Studierenden zugewandte und engagierte Grundhaltung der Dozierenden sowie ange-messene Methodik und guten Aufbau der Veranstaltungen. In der Regel würden Maß-nahmen zur Qualitätsverbesserung also der „Feinjustierung“ dienen.
Die Ergebnisse geben weiterhin ein sehr homogenes Bild der Fakultät. Es gibt zwar Un-terschiede zwischen Instituten, häufig lassen sich diese aber eindeutig auf einzelne Per-sonen zurückführen; auch andere Variablen, die zu unterschiedlichen Einschätzungen führen könnten, sind nur sehr selten zu identifizieren. Eindeutig ist der einzelne Dozent die Hauptquelle für Varianz zwischen den Veranstaltungsbeurteilungen.
Es fällt auf, dass die Qualität der Sprachkurse in der Regel deutlich besser eingeschätzt wird, als die der Seminare, obwohl die Arbeitsbelastung in Sprachkursen als deutlich grö-ßer angegeben wird. Die Studierenden zeigen bei entsprechend gut konzipierten und durchgeführten Veranstaltungen also durchaus die erforderliche Anstrengungsbereit-schaft.
Die freien Kommentare beziehen sich sehr häufig im Detail auf methodisch-didaktische Mängel, veraltete oder „langweilige“ Präsentations- oder Arbeitsformen, unprofessionellen Umgang mit Unruhe und Störungen seitens der Teilnehmenden sowie auf Mängel in Technik und Raumausstattung.
Nachdem seit ca. sechs Semestern mit dem eingesetzten Evaluationsverfahren gearbeitet wird, sind jetzt Regelmäßigkeiten in der Einschätzung der Lehrenden erkennbar, so dass in Zusammenarbeit mit den Evaluationsbeauftragten der Institute über die bloße Evaluati-on hinaus die Arbeit am Qualitätsmanagement der Lehre aufgenommen werden kann.
Es wird zur Erleichterung der Auswertung durch die Lehrenden eine Power-point-Vorlage zur Verfügung gestellt, mit deren Hilfe die Ergebnisse im Dialog mit den Studierenden be-sprochen werden können.
In der Folge dieser Evaluation wird durch die aus dem Projekt iQu zur Verfügung gestell-ten Personalstellen erstmals systematisch mehr getan werden können, als den status quo zu dokumentieren: datenbasierte, gezielte Ansprache und Förderung einzelner Lehrender, hochschuldidaktische Breitenangebote, Förderung medialer Kompetenz der Lehrenden, Erarbeitung von Qualitätskonzepten für die Lehre und ihrer Organisation sowie systemati-sche Überprüfung und Verbesserung der Studierbarkeit unserer Studiengänge werden ab dem Sommer 2012 nach und nach intensiver realisiert werden, als dies bisher möglich war.
Der höchst unbefriedigende Rücklauf wird im WS 12/13 erstmals dadurch zu verbessern versucht, dass alle Vorlesungen wieder in die Evaluation einbezogen werden, und zwar in Form einer paper-and-pencil-Evaluation. Dieses bei großen TN-Zahlen sehr aufwändige Verfahren scheint angesichts der verbesserten Stellensituation im Studiendekanat erst-mals realisierbar zu sein.
23
Anhang A: Die Fragen Wird die Lehrveranstaltung von mehreren Dozenten bzw. Dozentinnen durchgeführt (z.B. im Te-
amteaching oder als Ringveranstaltung)? ein/e Dozent/in mehrere Dozenten
Wurden in dieser Veranstaltung zum Zeitpunkt der Befragung bereits Referate von Studierenden gehalten? Ja Nein
Besuchen Sie die Veranstaltung im Rahmen des Fachübergreifenden Wahlpflichtbereichs bzw. des Studium Universale?
Beurteilung der Lehrveranstaltung
Diese Fragen sind Tabelle 1 zu entnehmen
Falls sich im Verhalten der einzelnen Dozentinnen bzw. Dozenten nennenswerte Unterschiede gezeigt haben, haben Sie hier die Möglichkeit diese kurz zu beschreiben:
Welchen Umfang hat die Lehrveranstaltung in Semesterwochenstunden (SWS)? (Hinweis: Ein "normales" Seminar, das regulär 2 Stunden in der Woche stattfindet, hat einen Umfang von 2 SWS.) 1 SWS, 2 SWS, 3 SWS, 4 SWS, 5 SWS, 6 SWS, 7 oder mehr SWS
Wie viel Zeit wenden Sie im Durchschnitt pro Woche (außerhalb der Veranstaltung) für die Vor- und Nachbereitung des Stoffes auf?
Gar keine Zeit, bis zu 30 Min, bis zu 1 Stunde, bis zu 1,5 Stunden, bis zu 2 Stunden, bis zu 2,5 Stunden, bis zu 3 Stunden, bis zu 3,5 Stunden, bis zu 4 Stunden, bis zu 4,5 Stunden, bis zu 5 Stunden, 5 oder mehr Stunden
Welche der folgenden elektronischen Angebote wurden vom Dozenten/von der Dozentin in der Veranstaltung eingesetzt (Mehrfachnennungen sind möglich)? Keine, Lernplattform ILIAS, Lernplattform Moodle, Online-Selbsttests, Abstimmgeräte/Voting-System, Elektronischer Semesterapparat, Sonstige
Ein Fragebogen mit vorgegebenen Aussagen zu Antwortmöglichkeiten kann natürlich nicht bei jeder Veranstaltung allen Besonderheiten gerecht werden. Nutzen Sie bitte deshalb - falls Sie es möchten - diesen Kasten zu Anmerkungen über weitere positive und/oder negative Aspekte der Lehrveranstaltung:.
Angaben zur Person
Bitte geben Sie Ihr Geschlecht an. weiblich männlich
Ist Deutsch Ihre Muttersprache? Ja Nein
24
Im Rahmen welchen Studiengangs besuchen Sie diese Veranstaltung? B.A. Antike Kultur (Ergänzungsfach) B.A. Englisch (Kernfach) B.A. Englisch (Ergänzungsfach) B.A. Germanistik (Kernfach) B.A. Germanistik (Ergänzungsfach) B.A. Geschichte (Kernfach) B.A. Geschichte (Ergänzungsfach) B.A. Informationswissenschaft und Sprachtechnologie (Integrierter Studiengang) B.A. Informationswissenschaft (Ergänzungsfach) B.A. Jiddische Kultur, Sprache und Literatur (Ergänzungsfach) B.A. Jüdische Studien (Kernfach) B.A. Jüdische Studien (Ergänzungsfach) B.A. Kommunikations- und Medienwissenschaft (Ergänzungsfach) B.A. Kunstgeschichte (Kernfach) B.A. Kunstgeschichte (Ergänzungsfach) B.A. Linguistik (Integrierter Studiengang) B.A. Linguistik (Ergänzungsfach) B.A. Medien und Kulturwissenschaft (Integrierter Studiengang) B.A. Modernes Japan (Kernfach) B.A. Modernes Japan (Ergänzungsfach) B.A. Musikwissenschaft (Ergänzungsfach) B.A. Philosophie (Kernfach) B.A. Philosophie (Ergänzungsfach) B.A. Politikwissenschaft (Ergänzungsfach) B.A. Romanistik (Kernfach) B.A. Romanistik (Ergänzungsfach) B.A. Sozialwissenschaften (Integrierter Studiengang) B.A. Soziologie (Ergänzungsfach) M.A. The Americas / Las Américas / Les Amériques (Master) M.A. Analyse des Pratiques Culturelles (Master) M.A. Englisch (Master) M.A. European Studies (Master) M.A. Germanistik (Master) M.A. Geschichte (Master) M.A. Informationswissenschaft und Sprachtechnologie (Master) M.A. Jiddistik (Master) M.A. Jüdische Studien (Master) M.A. Kunstgeschichte (Master) M.A. Linguistik (Master) M.A. Literaturübersetzen (Master) M.A. Medienkulturanalyse (Master) M.A. Modernes Japan (Master) M.A. Philosophie (Master) M.A. Politische Kommunikation (Master) M.A. Romanistik (Master) M.A. Sozialwissenschaften (Master) Magister Allgemeine Sprachwissenschaft Magister Anglistik Magister Germanistik Magister Geschichte Magister Griechisch Magister Jüdische Studien Magister Kunstgeschichte Magister Latein Magister Modernes Japan Magister Philosophie Magister Romanistik Magister Soziologie Diplom Literaturübersetzen Promotion (alle Fächer) Gasthörer/in Sonstige
In welchem Semester studieren Sie in diesem Fach?: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 oder mehr
25
Anhang B: Testtheoretische Qualität und Kennwerte des Instrumentariums
Bevor die inhaltlichen Komponenten der Skala betrachtet werden können, musste geprüft werden, ob sie den messtechnischen Anforderungen genügt, die an eine solche Skala zu stellen sind.
Dazu gehört in erster Linie die Frage nach der Eindimensionalität, bei der beurteilt wird, ob alle Items (unabhängig von den Vorstellungen des Testkonstrukteurs!!) eine einzige inhaltli-che Dimension messen - nämlich die im Skalentitel benannte - oder ob aus den Antworten der Befragten zu schließen ist, dass die Items verschiedene Komponenten erfassen.
Zur Klärung dieser Frage wurde der Reliabilitätskoeffizient ermittelt, der in einem einzigen Wert (in der Regel als "Cronbachs α" berechnet) den Zusammenhang aller Items angibt. Er liegt zwischen 0 und 1 und sollte so hoch wie möglich sein; als zufriedenstellend werden in der Regel Werte ab etwa .7 betrachtet. Eine Skala mit einem solchen Reliabilitätskoeffizient wird also mit sehr großer Sicherheit nur eine einzige inhaltliche Dimension erfassen.
Aus der Beurteilung der Reliabilität ergeben sich Hinweise auf eventuelle Verbesserungs-möglichkeiten der Skala.
Die Ergebnisse der Itemanalyse der vorliegenden Daten sind unten zusammengefasst.
Methodik und Aufbau α = .88
Interessantheit und Relevanz α = .82
Dozentenverhalten α = .86
Gesprächsführung α = .85
Schwierigkeit und Umfang α = .73
Qualität der Referatsvorträge α = .78
Auswahl der Referatsthemen α = .65
26
Anhang C: Beispiel-Screenshots des Fragebogens
27
28
