Heinrich-Heine-Universität Düsseldorf

Philosophische Fakultät

Lehrveranstaltungsevaluation im Wintersemester 2011/12

- Methode, Ergebnisse, Perspektiven -

Düsseldorf, Januar 2012

Dekanat der Philosophischen Fakultät der Heinrich-Heine-Universität Düsseldorf Arbeitsstelle Qualitätssicherung und Evaluation (AQE) Autoren des Berichtes: Dr. Joachim Koblitz, Studiendekan Mail Koblitz@phil.uni-duesseldorf.de Fon 0211 - 81 12133

Frank Meier, M.A. Mail frank.meier@phil.uni-duesseldorf.de Fon 0211 - 81 13338

Der Bericht ist unter http://www.phil-fak.uni-duesseldorf.de/studierende/evaluation/evaluationsberichte/ veröffentlicht.

Inhalt Zur Erläuterung ....................................................................................................................... 1

1 Instrumentarium .................................................................................................... 1

1.1 Änderungen des Instrumentariums........................................................................ 1

2 Organisation und Ablauf der Evaluation ................................................................ 4

2.1 Datenbasis ............................................................................................................ 4

2.2 Zeitplan ................................................................................................................. 5

2.3 Rücklauf ................................................................................................................ 6

3 Ergebnisse ...........................................................................................................10

3.1 Testtheoretische Qualität des Instrumentariums ...................................................10

3.2 Fakultätsweite Einschätzung der Veranstaltungsqualität ......................................10

3.3 Einschätzung der studentischen Belastung durch den Erwerb von BN bzw. Vor-

und Nachbereitungen von Veranstaltungen ..........................................................12

3.4 Einschätzung der Veranstaltungsqualität nach Veranstaltungstypen und Fächern16

3.5 Die Veranstaltungen im Kontext der Ankündigungen und Module ........................18

3.6 Differenzierte Einschätzung der Veranstaltungsqualität ........................................19

4 Rrückmeldung an die Dozentinnen und Dozenten und die Institute ..........................21

4.1 Rückmeldung zur skalengebundenen Einschätzung der Veranstaltungsqualität .......21

4.2 Rückmeldung zur frei formulierten Einschätzung der Veranstaltungsqualität ............21

5 Zusammenfassung ...............................................................................................22

Anhang A: Die Fragen ...........................................................................................................23

Anhang B: Testtheoretische Qualität und Kennwerte des Instrumentariums ..........................25

Anhang C: Screenshots des Fragebogens .............................................................................26

Zur Erläuterung Die Philosophische Fakultät führt zur nachhaltigen Sicherung und Verbesserung der Qualität der Lehre in jedem Semester eine Lehrveranstaltungsevaluation durch.

Die dahinter stehende Grundidee ist, dass Lehrende und Studierende die Möglichkeit haben sollen, sich noch im laufenden Semester über die Evaluationsergebnisse auszutauschen. Dies bedingt wegen der Auswertungs- und Berichterstellungszeit einen Evaluationszeitrah-men, der etwa in der Mitte der Vorlesungszeit liegt. Nachteilig dabei ist, dass nicht alle Sit-zungen der Lehrveranstaltungen als Urteilsbasis zur Verfügung stehen, vorteilhaft ist, dass die Urteilsbildung der Studierenden tatsächlich zeitnah stattfinden kann und dass Studieren-de und Lehrende über den Faktor „Qualität der Lehre“ ins Gespräch kommen und im Kontext dieses Feedbackprozesses so gemeinsam an seiner Verbesserung arbeiten können.

Den evaluierenden Studierenden sollte dabei klar sein, dass diese Form der Evaluation kein "Notenvergeben" ist, bei dem Lehrende für ihre Lehrleistung abgestraft oder auch belohnt werden sollen. Diese Evaluation ist vielmehr der Versuch, einen Prozess in Gang zu setzen, in dem sich alle Beteiligten auf Augenhöhe begegnen, um gemeinsam und im beiderseitigen Interesse an der Verbesserung universitärer Lehre zu arbeiten. Evaluationsbericht und indi-viduelle Evaluationsergebnisse können dazu nur den Anlass und die Informationsbasis lie-fern, an der Qualitätsverbesserung arbeiten müssen Sie alle gemeinsam.

In dieser Evaluation werden mehr Daten erhoben, als hier dargestellt und auch den Lehren-den individuell ausgehändigt werden können. Den Instituten und Studiengangsleitungen wird ausdrücklich angeboten, spezielle fach- oder studiengangsspezifische Fragestellungen auf Basis der vorliegenden Daten zu bearbeiten. Darüber hinaus besteht die Möglichkeit, zusätz-lich auf die Daten der Studiengangsevaluation zuzugreifen, so dass eine breitere Datenbasis für eventuell angestrebte Veränderungsprozesse vorliegt.

Aus Gründen des Datenschutzes und der notwenigen Breite der Datenbasis werden keine Veranstaltungen in Auswertungen einbezogen, die auf den Aussagen von weniger als fünf Evaluierenden beruhen. Es erfolgen in diesen Fällen auch keine besonderen Benachrichti-gungen darüber; sollten also individuelle Rückmeldungen zu Veranstaltungen ausbleiben, ist dies der Grund dafür.

Joachim Koblitz Studiendekan

1

1 Instrumentarium Es wurde in den letzten Semestern ein Konzept zur Online-Evaluation erarbeitet und erprobt, nach dem für alle Veranstaltungsformen ein identischer Kernsatz von Items eingesetzt wur-de; zusätzlich wurden einige differenzierende Fragen zu den Besonderheiten spezifischer Veranstaltungsformen gestellt.

Die so differenziert zu berücksichtigenden Veranstaltungsformen1 sind - Seminar - Tutorium - Sprachkurs.

Zusätzlich wurden die individuellen Rückmeldungen an die Lehrenden nicht an den Durch-schnittswerten aller Veranstaltungen der Fakultät und des jeweiligen Faches als "Normgrö-ße" orientiert, sondern konsequenterweise an den Durchschnittswerten der Veranstaltungs-formen - mindestens fakultätsweit, und dort, wo die Datenbasis groß genug ist, auch an der einzelnen Veranstaltungsform im eigenen Fach.

Die Entwicklung des Instrumentariums und die eventuell benutzten Quellen und Vorlagen sowie weitere Literaturhinweise sind in früheren Evaluationsberichten unter http://www.phil-fak.uni-duesseldorf.de/studierende/evaluation/evaluationsberichte/ zu finden.

Die 33 Items des Fragebogens bilden die insgesamt sieben Urteilsdimensionen

• Methodik und Aufbau • Interessantheit und Relevanz • Dozentenverhalten • Gesprächsführung • Schwierigkeit und Umfang • Qualität der Referatvorträge • Auswahl der Referatthemen,

von denen natürlich - je nach Veranstaltungsform - den Studierenden immer nur der für die jeweilige Veranstaltung zutreffende Teil präsentiert wurde.

1.1 Änderungen des Instrumentariums In Erweiterung der bisherigen Technik war der Fragebogen im WS 11/12 erstmals auch für die Darstellung und Bearbeitung auf Tablet-PCs und Smartphones optimiert. Rückmeldun-gen von Studierenden bestätigen das Funktionieren auch dieser Präsentationstechniken.

Die zu den jeweiligen Veranstaltungsformen gestellten Fragen sind Tabelle 1 zu entnehmen.

1 Nach der Änderung der BA- und Masterprüfungsordnungen, wonach in Vorlesungen die Anwesenheit nicht

überprüft wird, musste auf die Evaluation der Vorlesungen leider verzichtet werden, da die Entwicklung der Teilnahmezahlen in Vorlesungen nicht mehr vorhersehbar ist. In dem Maß, in dem Studierende in HIS-LSF zu Vorlesungen zugelassen werden, ihre Anwesenheit aber nicht mehr überprüft wird, muss davon ausgegangen werden, dass mehr Studierende als zuvor durch die Zulassung eine Evaluationsberechtigung erwerben, tat-sächlich aber an der Vorlesung nicht teilnehmen. Dies verzerrt die „Stichprobenbildung“ bei Vorlesungen noch mehr als zuvor und verhindert die zuverlässige Berechnung von Rücklaufquoten, so dass die Aussagekraft der in Vorlesungen gewonnenen Daten zu gering würde.

2

Tabelle 1: Faktoren und Items nach Veranstaltungsformen

Semi

nar/Ü

bung

Tu

torium

Sp

rach

kurs

Methodik und Aufbau Der/Die Dozent/in1 vermittelt den Stoff anschaulich und verständlich. Der/Die Dozent/in baut die Veranstaltung gut auf und führt sie gut durch. Die Veranstaltung gibt einen guten Überblick über das Themengebiet. Das im Sprachkurs verwendete Lehrbuch ist für universitäre Zwecke gut geeignet. Der/Die Dozent/in setzt das Lehrbuch in angemessener Weise ein. Der/Die Dozent/in setzt über das Lehrbuch hinausgehend gute Unterrichtsmaterialien (Folien, Arbeitsblätter, Texte, audiovisuel-

Der/Die Dozent/in setzt gute Unterrichtsmaterialien (z. B Literatur, Folien, Skript, Arbeitsblätter, audiovisuelle Medien etc.) zur

Der/Die Tutor/in weiß über die Scheinanforderungen Bescheid. Der/Die Tutor/in scheint gut mit der Dozentin/dem Dozenten zusammenzuarbeiten.

Interessantheit und Relevanz Der/Die Dozent/in gestaltet die Veranstaltung interessant. Der/Die Dozent/in verdeutlicht zu wenig die Verwendbarkeit und den Nutzen des behandelten Stoffes. Der/Die Dozent/in fördert mein Interesse am Themenbereich. Der/Die Dozent/in fördert mein Interesse am Spracherwerb.

Dozentenverhalten Der/Die Dozent/in verhält sich Studierenden gegenüber freundlich und respektvoll. Der Dozentin/Dem Dozenten scheint der Lernerfolg der Studierenden gleichgültig zu sein. Der/Die Dozent/in geht auf Fragen der Studierenden ausreichend ein. In der Veranstaltung herrscht eine gute Arbeitsatmosphäre. Mit den Rückmeldungen durch den Dozenten/die Dozentin (Feedback, Fehlerkorrektur etc.) bin ich sehr zufrieden.

Gesprächsführung Der/Die Dozent/in fördert die aktive Mitarbeit der Teilnehmer und Teilnehmerinnen. Es besteht ausreichend Gelegenheit für Fragen und Diskussionen.2 Die Veranstaltung ist eine gute Mischung aus Wissensvermittlung und Diskussion. Der Sprachkurs ist eine gute Mischung aus theoretischem Spracherwerb (Grammatik, Vokabeln etc.) und Anwendung des

Schwierigkeit und Umfang Der Schwierigkeitsgrad der Veranstaltung ist: Das Tempo der Veranstaltung ist: Der Stoffumfang ist: Die Anforderungen für einen Beteiligungsnachweis sind: Die zusätzliche zeitliche Belastung durch das Tutorium ist:

Qualität der Referatsvorträge Die Referenten und Referentinnen sind auf Fragen und Diskussionen meist gut vorbereitet. Das wirklich Relevante wird bei den Referaten zu wenig hervorgehoben. Die Referenten und Referentinnen stellen den Stoff meist verständlich dar.

Auswahl der Referatsthemen Die Referatsthemen sind in inhaltlicher und didaktischer Hinsicht gut ausgewählt. Die einzelnen Referate stehen mehr oder weniger unvermittelt nebeneinander. Die Lehrveranstaltung ist eine bloße Aneinanderreihung von Referaten mit nur geringer Moderation durch die /den Dozierenden.

1 Im Tutoriumsfragebogen wurden die Worte "Dozent bzw. Dozentin" durch "Tutor bzw. Tutorin" ersetzt. 2 Im Sprachkursfragebogen entfällt „und Diskussionen“.

3

Die Items werden jeweils auf einer fünfstufigen Skala mit den Endpunkten "stimmt nicht" (1) und "stimmt" (5) bzw. "viel zu niedrig" vs. "viel zu hoch" (bei "Schwierigkeitsgrad" und "Tem-po") und "viel zu gering" vs. "viel zu hoch" (bei "Stoffumfang") beantwortet. Fünf Items wurden zur Vermeidung von automatisierten Antworttendenzen negativ formuliert, es müssen also vor der Auswertung einige Items "umgepolt"1 werden, damit bei späteren Summen- oder Durchschnittsbildungen nur gleichsinnige Aussagen zusammengefasst wer-den.

Nach der Umpolung werden aus den Antworten auf die Items jedes Faktors die Mittelwerte berechnet, damit die Faktoren bei auch unterschiedlicher Itemzahl untereinander vergleich-bar werden.

Zusätzlich zu diesen Fragen wurde als zusammenfassende Bewertung die Aussage "Die Veranstaltung ist für die Studierenden empfehlenswert" auf der gleichen fünfpoligen Skala eingeschätzt.

Auf Hinweise aus der letzten Veranstaltungsevaluation hin und als Folge der Reakkreditie-rungen des letzten Semesters wurden aufgenommen:

• Die inhaltliche Durchführung der Lehrveranstaltung entspricht ihrer Vorankündigung. • Die Veranstaltung ist gut mit anderen Veranstaltungen desselben Moduls abgestimmt. • Die Veranstaltung ist gut mit den Kompetenzzielen des zugehörigen Moduls abgestimmt.

Außerdem wurden einige Zusatzinformationen erhoben, die zu weiteren Analysen hilfreich sein können: • Wie viel Zeit wenden Sie im Durchschnitt pro Woche (außerhalb der Veranstaltung) für die Vor-

und Nachbereitung des Stoffes auf? • An wie vielen Sitzungen haben Sie nicht teilgenommen? • Besuch im Rahmen des fachübergreifenden Wahlpflichtbereichs bzw. des Studium Universale? • Studiengang, in dessen Rahmen die Veranstaltung besucht wurde • Semesterzahl diesem Fach • Geschlecht • Muttersprache Deutsch?

Zusätzlich war die Gelegenheit gegeben, nicht an eine bestimmte Frage gebundene Kom-mentare und Einschätzungen abzugeben.

Die nach dem Öffnen der Mail noch erforderliche Zeit für das Einloggen in die Evaluations-seite und das Bearbeiten des Fragebogens liegt bei etwa fünf Minuten.

Der vollständige Fragensatz mit allen Antwortmöglichkeiten ist in Anhang A wiedergegeben.

1 Die Rohwerte werden also nach folgendem Muster ausgetauscht: 1 → 5 2 → 4 3 → 3 4 → 2 5 → 1

4

2 Organisation und Ablauf der Evaluation 2.1 Datenbasis Gemäß der Planung sollte allen Dozentinnen und Dozenten eine Rückmeldung über alle ihre Veranstaltungen im WS 11/12 gegeben werden. Davon ausgenommen wurden lediglich die Veranstaltungen des Kubus-Programms, das im Rahmen einer Kubus-eigenen Evaluation ausgewertet wird. Die Datenbasis für die vorliegende Evaluation bilden alle Zulassungsfälle, d.h. alle Anmeldungen von Studierenden, die sich online für eine der in HIS-LSF verzeichne-ten Veranstaltungen angemeldet hatten und die von den Dozentinnen und Dozenten als "zu-gelassen" vermerkt worden waren.

Erfahrungsgemäß werden Online-Anmeldungen von den Studierenden aber nicht rückgängig gemacht, wenn sie nach Veranstaltungsbeginn entscheiden, an einer Veranstaltung doch nicht teilzunehmen oder einfach nicht mehr zu dieser erscheinen. Ebenso muss davon aus-gegangen werden, dass die Dozentinnen und Dozenten gerade bei Veranstaltungen mit gro-ßen Teilnehmerzahlen die Datenpflege in HIS-LSF nicht kontinuierlich durchführen (können), dass also Studierende an Veranstaltungen teilnehmen, die nicht als "zugelassen" markiert sind, und andererseits solche "zugelassen" sind, die längst nicht mehr teilnehmen. Dieses Problem wird bei allen Veranstaltungen mit vielen Teilnehmenden kaum vollständig lösbar sein. Um seine Auswirkungen zumindest zu begrenzen, wurden die Geschäftsführungen frühzeitig gebeten, alle Lehrenden auf die bevorstehende Evaluation hinzuweisen und um die Aktualisierung der HIS-LSF-Datenbank zu bitten.

Auf Grund der großen Teilnehmerzahlen gerade in Vorlesungen ist diese Maßnahme aller-dings kaum zumutbar und sicherlich schwer zu realisieren; es muss davon ausgegangen werden, dass eine nicht zu ermittelnde Anzahl Studierender angeschrieben wurde, obwohl diese nicht (mehr) an der entsprechenden Vorlesung teilgenommen haben. Dies bedeutet allerdings nicht, dass sie auch tatsächlich missbräuchlich von der Möglichkeit zur Evaluation Gebrauch gemacht haben. Andererseits dürften viele an Veranstaltungen teilnehmende Stu-dierende nicht an der Evaluation teilgenommen haben, weil sie in HIS-LSF nicht "zugelas-sen" waren.

Da nicht für alle Veranstaltungen eine Online-Anmeldung erwünscht und ermöglicht war (z.B. ist häufig bei Kolloquien, Doktoranden- oder Forschungsseminaren ausschließlich eine per-sönliche Anmeldung erforderlich) können Veranstaltungen ohne Online-Anmeldung in die-sem Rahmen nicht evaluiert werden.

Es wurden also zunächst alle Lehrveranstaltungen außer den Vorlesungen in die Stichprobe aufgenommen, die im WS 11/12 an der Philosophischen Fakultät der Heinrich-Heine-Universität Düsseldorf gehalten wurden und für die eine Online-Belegung möglich war.1

1 Bei Ringvorlesungen und Veranstaltungen, die im Teamteaching durchgeführt werden, ist davon auszugehen,

dass die Teams ein gemeinsames inhaltliches und didaktisches Konzept vertreten, das von den Studierenden auch als Einheit wahrgenommen und eingeschätzt wird. Deshalb wurde für diese Veranstaltungen nur ein ein-ziger Fragebogen vorgelegt, aber zwischen Personen differenzierende Urteile in Form einer offenen Frage wurden erbeten. Im Fragebogen war dazu folgender Hinweis gegeben: "Die Fragen sind durchgängig im Sin-gular formuliert. Sollte Ihre Veranstaltungen von mehreren Dozenten/innen durchgeführt werden (z.B. im Te-amteaching oder als Ringveranstaltung), bewerten Sie bitte die Gemeinschaftsleistung des Dozententeams. Sie bekommen unten die Gelegenheit, zu den individuellen Leistungen der einzelnen Dozenten/innen Stellung zu nehmen."

5

Die Zahl dieser Lehrveranstaltungen wurde reduziert um diejenigen - bei denen ersichtlich war, dass sie als Blockveranstaltung erst nach dem Evaluierungs-

zeitraum stattfinden würden - weniger als fünf Studierende in HIS-LSF als "zugelassen" eingetragen waren, so dass von

maximal vier Personen evaluierende Daten zu erwarten waren. Zum einen wäre eine sol-che Datenbasis zu schmal, um begründete Aussagen machen zu können, zum anderen würde die Anonymität der Befragten zumindest fraglich werden

- bei denen die Angaben im HIS-LSF unvollständig waren. Teilweise waren überhaupt kei-ne Studierenden zugelassen, teilweise fehlten Informationen über die Dozenten.

Die nach dieser Maßnahme aus HIS-LSF gewonnene reduzierte Liste weist 849 Veranstal-tungen mit insgesamt 30.961 zugelassenen Teilnahmefällen nach, die per Email zur Evalua-tion der jeweiligen Veranstaltung aufgefordert wurden.

Beim Export der Studierendendaten von HIS-LSF nach EvaSys und in allen anderen Zu-sammenhängen dieser Evaluation wurden die von der Evaluationsordnung der Heinrich-Heine-Universität Düsseldorf vorgegebenen sowie die weiteren einschlägigen Vorschriften des Datenschutzes selbstverständlich befolgt. Sämtliche Informationen über die Teilneh-mer/innen der Befragung wurden direkt nach dem Datenimport nach EvaSys anonymisiert. so dass zu keinem Zeitpunkt ein Rückschluss auf die Personen der antwortenden Studieren-den möglich war.

2.2 Zeitplan 07.12.11 Information der Dozierenden über die Geschäftsführungen der Institute und

Seminare der Philosophischen Fakultät über die geplante Evaluation. Bitte, die Namensbestände in HIS-LSF zu überprüfen und bei den Studierenden für die Teilnahme zu werben.

19.12.11 Gewinnen der zugrunde liegenden Daten aus HIS-LSF

22.12.11 Freischalten der Evaluationsseite, Email an die Studierenden mit der Bitte, sich an der Evaluation zu beteiligen

06.01.12 Erinnerungsmail an diejenigen, die noch nicht reagiert haben

08.01.12 Schließen der Evaluationsseite

20.01.12 Versand der individuellen Ergebnisse an die Dozentinnen und Dozenten und Möglichkeit, den Studierenden die Ergebnisse zu vermitteln, sie zu diskutieren und ggf. Erläuterungen von den Studierenden einzuholen

20.01.12 Vorlage des Evaluationsberichts und Veröffentlichung im Netz

6

Abbildung 1 verdeutlicht, dass ca. 50 % aller Evaluationen innerhalb der ersten vier Tage nach Freischalten der Evaluationsseite vorgenommen wurden.

Abbildung 1: Bearbeitungszeitpunkt der Fragebögen zwischen dem 22.12.11. und 09.01.12 in Prozent vom Rücklauf

2.3 Rücklauf Von den nominell 30.961 per Email angeschrieben Teilnahmefällen wurden 104 nicht er-reicht, in der Regel weil das Speichervolumen des überfüllten Empfängerpostfachs nicht aus-reichte.

Die verbleibenden 30.857 Teilnahmefälle bilden somit die Grundgesamtheit, die nominell für die Beantwortung der Fragen zur Verfügung stand. Die Bearbeitung der Fragen erfolgte oh-ne nennenswerte Probleme, 4 Studierende nutzten die angebotene Möglichkeit, eine Email an das Evaluationsteam zu schreiben; sie hatten in der Regel technische Fragen oder Ver-besserungsvorschläge.

Aus dieser Grundgesamtheit von 30.857 Teilnahmefällen haben sich 5.161 Studierende an der Evaluation beteiligt, so dass die durchschnittliche Rücklaufquote aller Veranstaltungen

7

der Fakultät 16,72% beträgt und somit knapp unter dem Wert des vorherigen Semesters liegt. Insgesamt hat die Rücklaufquote noch kein befriedigendes Niveau erreicht. Allerdings zeigt die Erfahrung, dass die vorherige Ankündigung einzelner Dozierenden, die späteren Evaluationsergebnisse unmittelbar im Anschluss an die Befragung in der Lehrveranstaltung vorzustellen und zu diskutieren, zu einem deutlichen Zuwachs bei der Beteiligung der Studie-renden führen.

Bei 68 Veranstaltungen haben sich überhaupt keine Studierenden an der Evaluation betei-ligt, bei 355 Veranstaltungen lag die Beteiligung unter der Anonymisierungsschwelle von 5 Antworten und können somit nicht individuell ausgewertet werden. Dadurch entfielen 893 beantwortete Fragebögen.

Nach diesen Reduzierungen standen von den 849 Veranstaltungen 426 für die Auswertung zur Verfügung, zu denen insgesamt 4.268 Rückmeldungen abgegeben wurden. Diese 4.268 Rückmeldungen bilden die Datenbasis für alle folgenden Aussagen.

Die Verteilung der Größe der 426 Veranstaltungen nach der Anzahl der in HIS-LSF zugelas-senen Studierenden ist Abbildung 2 zu entnehmen.

Abbildung 2: Anteil berücksichtigter Veranstaltungen (senkrecht) nach dazu jeweils zugelas-senen Studierenden (waagrecht)

Die Bandbreite der Rücklaufquoten gibt Abbildung 3 wieder, Tabelle 2 spezifiziert diese Da-ten institutsweise.

8

Abbildung 3: Prozentuale Rückläufe der 426 Veranstaltungen

Tabelle 2: Rücklaufquoten in den auswertbaren Veranstaltungen, institutsweise

Zahl der Veranstaltungen

Zahl der Dozentin-nen und Dozenten

Durchschnittliche Rücklaufquote der

auswertbaren Veranstaltungen1

Institut für Anglistik und Amerikanistik 81 42 21 % (24 %) Institut für Germanistik 68 45 18 % (21 %) Institut für Geschichtswissenschaften 33 21 21 % (27%) Institut für Jüdische Studien 2 2 30 % (37 %) Institut für Klassische Philologie 8 8 25 % (32 %) Institut für Kunstgeschichte 19 13 23 % (28 %) Institut für Medien- und Kulturwissenschaft 20 13 21 % (27%) Institut für Modernes Japan 29 13 28 % (22 %) Institut für Philosophie 34 16 16 % (18 %) Institut für Romanistik 42 24 29 % (29 %) Institut für Sozialwissenschaftlichen 72 39 29 % (27 %) Institut für Sprache und Information 18 13 21 % (29 %) Gesamt 426 249

1 In Klammern die Werte des SS 11.

9

Tabelle 3: Rücklaufquoten nach Veranstaltungsarten

Durchschnittliche Rücklaufquote der auswertbaren Veranstaltungen

Anzahl der auswertbaren Veranstaltungen

Seminar 22 % 368 Sprachkurs 30 % 39 Tutorium 23 % 19

10

3 Ergebnisse 3.1 Testtheoretische Qualität des Instrumentariums Die Struktur des Instrumentariums, seine testtheoretischen Kennwerte und die der einzelnen Items wurden geprüft; die Überprüfungen erbrachten mit einer Ausnahme akzeptable Kenn-werte, die die uneingeschränkte Interpretierbarkeit der mit dem Fragebogen erhobenen Er-gebnisse belegen. Vorgehen und Ergebnisse sind in Anhang B dokumentiert.

3.2 Fakultätsweite Einschätzung der Veranstaltungsqualität Nach der in Kapitel 1 beschriebenen Mittelwertbildung werden die Antworten auf die einzel-nen Items der sieben Faktoren durch die Mittelwerte der Faktoren repräsentiert, die, genau wie jedes einzelne Item, Werte zwischen 1 und 5 annehmen können, wobei "1" den negati-ven und "5" den positiven Pol bezeichnet. Es gilt also: je höher der Zahlenwert, desto besser die Einschätzung. Eine Ausnahme bilden die Items zu "Schwierigkeit und Umfang" ("Schwie-rigkeitsgrad der Veranstaltung", "Tempo der Veranstaltung", "Stoffumfang" und ggf. "Zusätz-liche zeitliche Belastung durch das Tutorium"), deren Extrema als "viel zu hoch" bzw. "viel zu niedrig" gekennzeichnet sind. Hier läge der optimale Wert genau zwischen diesen beiden Extrema, also bei "3"; eine Abweichung nach unten würde eine Veranstaltung als "zu leicht", "zu langsam" bzw. "zu inhaltsarm", eine Abweichung nach oben als "zu schwer", "zu schnell" bzw. als "mit Stoff überfrachtet" kennzeichnen.

Die Betrachtung der Ergebnisse auf Basis der einzelnen Urteile über alle Dozierenden hin-weg würde nun aber noch nichts über die einzelnen Dozierenden aussagen.

Angenommen, es gäbe einige wenige ganz vorzügliche Veranstaltungen mit einer sehr gro-ßen Hörerzahl, dann würden diese wenigen guten Veranstaltungen die Werte der - ange-nommen! - vielen schlechten mit jeweils wenigen Hörern nach oben verfälschen.

Mit anderen Worten: eine faire Beurteilungsbasis gibt nur eine Analyse auf Basis der Mittel-werte der einzelnen Veranstaltungen: Analyseeinheit darf also nicht der einzelne Studieren-de sein, sondern Analyseeinheit muss der Mittelwert sein, der sich aus allen Einschätzungen aller Teilnehmer einer Veranstaltung ergibt. Dann liegen nicht mehr 4.268 Urteile vor, son-dern 426 Durchschnittsurteile aus 426 Veranstaltungen. Diese Werte können Tabelle 3 ent-nommen werden.

Dabei werden folgende erste Ergebnisse deutlich:

• Alle Werte liegen deutlich im positiven Bereich der Skalen, kein Mittelwert fällt unter den Skalenmittelwert 3, der beste Wert ist mit 4,4 "Dozentenverhalten“ in den Sprachkursen und Tutorien.

• Die Veranstaltungen liegen in der Skala „Schwierigkeit und Umfang“ mit Werten zwischen 3,1 und 3,3 geringfügig über der optimalen Balance zwischen "zu anforderungsreich" und "zu anforderungsarm" (also 3.0), werden also als minimal zu anforderungsreich empfun-den.

• Tutorien und Sprachkurse werden in 5 von 6 Dimensionen positiver eingeschätzt als Se-minare.

• "Dozentenverhalten" ist in allen Veranstaltungsarten die am besten beurteilte Dimension.

11

• Die Einschätzungen in den Faktoren, die von den Lehrenden unmittelbar beeinflusst wer-den können ("Methodik und Aufbau" und "Dozentenverhalten) sind – mit Ausnahme der Sprachkurse – besser als die Urteile in dem Faktor, der eher von Studienordnungen und ähnlichen Vorgaben abhängt ("Interessantheit und Relevanz"). Mit anderen Worten: die Dozierenden werden besser eingeschätzt, als die Studienordnungen und -pläne, nach denen sie lehren.

• Zusammenfassend: ein insgesamt positives Bild, das sich im Vergleich zum SS 11 nicht verändert hat.

Tabelle 3: Faktorenweise Darstellung der Ergebnisse (Mittelwerte aus N = 426 Veranstaltungen)

Seminar/Übung Tutorium Sprachkurs Gesamt

N x̄ s N x̄ s N x̄ S N x̄ s

Methodik und Aufbau 368 4,0 0,6 19 4,2 0,5 39 4,1 0,6 426 4,0 0,6

Interessantheit und Relevanz 368 3,7 0,7 19 3,8 0,6 39 4,1 0,7 426 3,8 0,7

Dozentenverhalten 368 4,2 0,5 19 4,4 0,4 39 4,4 0,5 426 4,3 0,5

Gesprächsführung 368 4,0 0,6 19 4,1 0,4 39 4,2 0,6 426 4,1 0,6

Schwierigkeit und Umfang 368 3,1 0,3 19 3,2 0,32 39 3,3 0,3 426 3,2 0,3

Qualität der Referatsvorträge 229 3,8 0,6 5 3,5 0,5 234 3,8 0,6

Auswahl der Referatsthemen 229 3,9 0,6 229 3,9 0,6

12

3.3 Einschätzung der studentischen Belastung durch den Erwerb von BN bzw. Vor- und Nachbereitungen von Veranstaltungen

Um im Kontext aktueller Diskussionen über die Belastung von Studierenden aktuelles Da-tenmaterial zu haben, wurde für alle Veranstaltungen außer Tutorien die Frage „Die Anforde-rungen für einen Beteiligungsnachweis sind: …“ aufgenommen, die von „viel zu gering“ (1) bis „viel zu hoch“ (5) skaliert wurde. Hier ist also „3“ der Wert, der eine ausgewogene und angemessene Belastung repräsentiert.

Tabelle 4 gibt die Ergebnisse, gegliedert nach Veranstaltungsarten, wieder.

Tabelle 4: „Anforderungen für einen BN“ nach Veranstaltungsarten

Die Anforderungen für einen Beteili-gungsnachweis sind …

Anzahl der auswertbaren Veranstaltungen

Seminar 3,1 368 Sprachkurs 3,0 39

Vor dem Hintergrund der Tatsache, dass der höchste Belastungswert von 3,1 nur um 0,1 über dem „Idealwert“ von 3,0 liegt, muss die vergangene und teilweise immer noch andau-ernde Debatte über zu hohe Belastungen beim Erwerb von BN stark relativiert werden. Im SS 11 lag der Vergleichswert bei 3,19.

Die gleiche Analyse, diesmal differenziert nach Instituten (vgl. Tabelle 5), offenbart, dass die Werte seit dem SS 11 nahezu unverändert geblieben sind und dass die Abweichungen vom Idealwert 3,0 mit einer Ausnahme so minimal sind, dass man von einer „Punktlandung“ spre-chen kann. Offenbar haben die Institute hier die optimale Balance gefunden.

Tabelle 5: „Anforderungen für einen BN“ nach Instituten

Die Anforderungen für einen Beteiligungsnachweis sind …1

Anzahl der auswertbaren Veranstaltungen

Institut für Anglistik und Amerikanistik 3,07 (3,12) 70 Institut für Germanistik 3,10 (3,13) 66 Institut für Geschichtswissenschaften 3,07 (3,12) 3 Institut für Jüdische Studien 3,17 (3,00) 2 Institut für Klassische Philologie 3,17 (3,24) 8 Institut für Kunstgeschichte 3,06 (3,00) 19 Institut für Medien- und Kulturwissenschaft 2,92 (3,13) 19 Institut für Modernes Japan 3,16 (3,17) 24 Institut für Philosophie 3,07 (3,03) 34 Institut für Romanistik 3,06 (3,13) 42 Institut für Sozialwissenschaften 3,23 (3,23) 73 Institut für Sprache und Information 3,51 (3,25) 18 Eine Darstellung „Veranstaltungsart x Institut“ ist nicht sinnvoll, weil dann zu viele dieser Kombinationen weniger als 5 Nennungen hätten. 1 In Klammern die Werte für das SS 11.

13

Die Antworten auf die Frage, wie viel Zeit die Studierenden im Durchschnitt pro Woche au-ßerhalb der Veranstaltung für die Vor- und Nachbereitung des Stoffes aufwenden, sind in Abbildung 4 dargestellt.

Abbildung 4: „Wie viel Zeit wenden Sie im Durchschnitt pro Woche (außerhalb der Veranstal-

tung) für die Vor- und Nachbereitung des Stoffes auf?“ (N=4180 gültige Antwor-ten)

Auch hier wird eine Überlastung nicht erkennbar. Ca. 12 % der Studierenden bereiten sich gar nicht vor oder nach, bis zu einer Stunde Zeit für die Vor- und Nachbereitung einer Lehr-veranstaltung benötigen ca. 40 % der Studierenden, bis zu zwei Stunden ca. 66 %. Mit ande-ren Worten: knapp 80 % der Studierenden haben eine Vor- und Nachbereitungszeit von ma-ximal zwei Stunden – ein Wert, der mit den Überlegungen im Rahmen der Bologna-Reform völlig übereinstimmt.

Da die evaluierten Veranstaltungen aber einen zeitlichen Umfang zwischen 1 und 7 SWS haben und ein nahezu linearer Zusammenhang zwischen SWS-Umfang und Vor- bzw. Nachbereitungszeit nachzuweisen ist, wurden beide Werte zu einem Wert addiert, der die zeitliche Belastung durch die jeweilige Veranstaltung wiedergibt. Die Ergebnisse sind Abbil-dung 5 zu entnehmen.

14

Abbildung 5: Relative Häufigkeiten der Summen aus Präsenzzeit und Zeit für die Vor- und

Nachbereitung der Veranstaltung in Stunden (N=4134 gültige Antworten)

Eine nach den genauen Studiengangsbezeichnungen differenzierende Darstellung ist nicht möglich, da die Antwortenden ihre Studiengänge nicht zuverlässig angegeben haben: es wurden immer integrierte BA-Studiengänge und Kernfächer als (angebliche) Studienfächer angegeben, die es de facto nicht gibt. Um Verzerrungen zu vermeiden gibt Tabelle 6 deswe-gen lediglich die Institutsweise Verteilung der Summen aus Präsenzzeit und Zeit für die Vor- und Nachbereitung der Veranstaltung wieder.

Auffällig ist die große Spannweite selbst der Mittelwerte über die Institute hinweg: beispielsweise wird für Veranstaltungen im Institut für Klassische Philologie mit 6 Stunden ein doppelt so großer Wert angegeben, wie im Institut für Anglistik und Amerikanistik (3,1 Stunden).

Hier müssen zukünftig durch die zuverlässigere Ermittlung der Studiengänge differenzierte Daten bereitgestellt werden, um die Gründe für diese irritierenden Verteilungen zu ermitteln. Ansatzweise zeigt Tabelle 7 mögliche Gründe auf: bietet ein Institut viele Sprachkurse und kaum andere Veranstal-tungen an, ist der Wert für das Institut zwangsläufig hoch; umgekehrt bieten viele Institute keine Sprachkurse an, was den Wert zwangsläufig senkt.

15

Tabelle 6: Summen aus Präsenzzeit und Zeit für die Vor- und Nachbereitung der Veranstal-tung in Stunden, differenziert nach Instituten (N=4134 gültige Antworten)

Stunden N

Institut für Anglistik und Amerikanistik 3,1 842

Institut für Germanistik 3,2 735

Institut für Geschichtswissenschaften 3,6 246

Institut für Jüdische Studien 5,8 10

Institut für Klassische Philologie 6,0 58

Institut für Kunstgeschichte 4,1 147

Institut für Medien- und Kulturwissenschaft 5,0 191

Institut für Modernes Japan 3,9 298

Institut für Philosophie 3,6 350

Institut für Romanistik 3,7 371

Institut für Sozialwissenschaften 3,6 592

Institut für Sprache und Information 4,9 294

Gesamt 3,7 4134 Tabelle 7: Summen aus Präsenzzeit und Zeit für die Vor- und Nachbereitung der Veranstal-

tung in Stunden, differenziert nach Veranstaltungsart (N=4134 gültige Antwor-ten)

Stunden N

Seminar 3,6 3650

Sprachkurs 4,9 351

Tutorium 2,3 133

Gesamt 3,7 4134

16

3.4 Einschätzung der Veranstaltungsqualität nach Veranstaltungs-typen und Fächern

Eine zwischen Instituten vergleichende Betrachtung kann einerseits durch visuelle Inspektion der Daten, andererseits durch eine zufallskritische Absicherung der Differenzen zwischen den Instituten vorgenommen werden.

Zur visuellen Inspektion geben die Abbildungen 6 und 7 die jeweiligen Mittelwerte instituts-weise wieder.

Abbildung 6: Veranstaltungsqualität nach Instituten

17

Abbildung 7: Veranstaltungsqualität nach Instituten

Abbildung 7 zeigt die Verteilung der Variablen „Schwierigkeitsgrad“, „Tempo“ und „Stoffum-fang“, die insofern numerisch nicht mit den obenstehenden Variablen verglichen werden können, als sie zwischen 1 und 5 skaliert sind („viel zu gering“ bis „viel zu hoch“ bzw. „viel zu niedrig“ bis „viel zu hoch“), wobei der Wert 3 die „Ideallinie“ darstellt.

18

Abbildung 8: Veranstaltungsqualität (alle Institute) nach Veranstaltungsarten Die generelle Zufriedenheit der Studierenden kann also als "gut" bezeichnet werden, weiter-gehende und spezifizierte Aussagen sind nur auf der Ebene der einzelnen Dozierenden bzw. der Veranstaltungen möglich.

3.5 Die Veranstaltungen im Kontext der Ankündigungen und Mo-

dule Auf Hinweise aus der letzten Veranstaltungsevaluation hin und als Folge der Reakkreditie-rungen des SS 11 wurde untersucht, inwieweit

• die inhaltliche Durchführung der Lehrveranstaltung ihrer Vorankündigung entspricht • die Veranstaltung gut mit anderen Veranstaltungen desselben Moduls abgestimmt ist • die Veranstaltung gut mit den Kompetenzzielen des zugehörigen Moduls abgestimmt ist.

Alle diese Fragen sind Indikatoren dafür, inwieweit sich die Studierenden auf die Planungs-vorgaben der Institute verlassen können. Gleichzeitig können sie als Anzeichen dafür gewer-tet werden, inwieweit die Strukturvorgaben der Studiengänge den Lehrenden bekannt sind und von ihnen berücksichtigt werden.

Die Passung von Vorankündigung und ihrer Umsetzung gelingt in den Instituten in unter-schiedlichem Ausmaß und sie ist insgesamt besser als die Abstimmung der Veranstaltung mit den anderen Veranstaltungen des Moduls und mit seinen Kompetenzzielen. Letzteres kann möglicherweise auf einen gewissen Grad an mangelnder Information zurückgeführt werden, zumal auch auf Seite der Studierenden hier Defizite zu finden sind: die beiden Fra-

19

gen nach den Zusammenhängen der Veranstaltung mit dem Modul werden jeweils von ei-nem Drittel der Antwortenden mit „weiß nicht“ beantwortet, die Frage nach der Übereinstim-mung von Ankündigung und ihrer Umsetzung wird gerade von 19 Personen nicht beantwor-tet.

Abbildung 9: Veranstaltungsqualität (alle Institute) nach Veranstaltungsarten

3.6 Differenzierte Einschätzung der Veranstaltungsqualität Da trotz aller positiven Ergebnisse alle oben dargestellten Werte eine mehr oder weniger große Bandbreite aufweisen, muss Evaluation im Hinblick auf ein anzustrebendes Quali-tätsmanagement auch versuchen, Gründe für diese Streuungen zu finden, um entweder schlechtere Werte verbessern zu helfen oder im Sinne von "best practice" von als gut evalu-ierten Dozentinnen und Dozenten zu lernen.

Dazu wurden verschiedene potenzielle Einflussgrößen daraufhin untersucht, ob sie signifi-kante Effekte in den untersuchten Faktoren nachweisbar machen.

Die Prüfung statistisch signifikanter Unterschiede zwischen verschiedenen Teilgruppen macht deutlich, dass nicht nur die Personen der Dozentinnen und Dozenten und die (damit konfundierten) einzelnen Veranstaltungen potenzielle Wirkfaktoren für Zufriedenheit oder Unzufriedenheit sind, sondern dass erhebliche Wechselwirkungen zwischen diesen Faktoren sowie Personenmerkmalen der Studierenden und strukturellen Bedingungen bestehen.

20

Diese Wechselwirkungen sind so differenziert, dass ihnen die pauschale Darstellung in die-sem Bericht nicht gerecht werden kann. Hier muss wieder auf das eingangs schon gemachte Angebot der Analyse spezieller fach- oder studiengangsspezifischer Fragestellungen auf Basis der vorliegenden Daten verwiesen werden.

Die individuelle Rückmeldung an jede Dozentin und jeden Dozenten sollte nicht nur als In-formation über wahrgenommenes Verhalten aufgenommen werden, sondern sie sollte im Kontext der oben dargestellten Ergebnisse auch den Blick dafür öffnen, welche zusätzlichen Rahmenbedingungen zu diesen Rückmeldungen geführt haben können.

21

4 Rückmeldung an die Dozentinnen und Dozenten und die Institute

4.1 Rückmeldung zur skalengebundenen Einschätzung der Veran-

staltungsqualität Vor dem oben beschriebenen Hintergrund und angesichts der datenschutzrechtlichen Rah-menbedingungen werden die erfassten Daten in zwei Formen zurückgemeldet:

das Dekanat, die Geschäftsführungen der Fächer, alle Lehrenden und Studierenden sowie das Rektorat werden über die Ergebnisse in Form des vorliegenden Berichts informiert. Die-ser Bericht enthält keine Individualergebnisse und gibt Daten nur in aggregierter Form als Mittelwerte und Streuungen über die Studierenden bzw. Veranstaltungen wieder.

Für die individuelle Rückmeldung an die Dozentinnen und Dozenten werden die durch-schnittlichen Mittelwerte des betreffenden Veranstaltungstyps des jeweiligen Faches und der Fakultät grafisch dargestellt und in dieser Grafik zusätzlich die Werte der jeweiligen Veran-staltung.

Diese individuellen Grafiken werden den Dozentinnen und Dozenten auf einem gesonderten Blatt je Veranstaltung mit der Hauspost in einem verschlossenen Umschlag "Persönlich" / "Vertraulich" zugestellt.

4.2 Rückmeldung zur frei formulierten Einschätzung der Veranstal-tungsqualität

Die Möglichkeit, ohne vorgegebene Fragen Stellung zur Veranstaltung und dem/der Dozie-renden zu beziehen, wurde auffällig oft dann genutzt, wenn die skalengebundenen Urteile ausgeprägt positiv oder ausgeprägt negativ ausfielen. Sie wird also eher bei deutlich zu-stimmender oder ablehnender Grundhaltung benutzt. Sie sind alle pointiert, "deutlich" und zum Teil drastisch formuliert. In ganz seltenen Fällen sind die Äußerungen grenzwertig. Trotzdem werden ausnahmslos alle Formulierungen in den Individualrückmeldungen wörtlich wiedergegeben, ohne Rechtschreibfehler zu korrigieren oder sehr drastisch-kritische Äuße-rungen oder "Lobeshymnen" stilistisch anzupassen oder gar zu zensieren.

Der Wert dieser "freien" Formulierungen ist in einer sehr plastischen Darstellung der sonst in den Grafiken und Tabellen leicht verschwindenden individuellen Einschätzung zu sehen.

Aus Gründen des Datenschutzes werden diese Daten hier selbstverständlich nicht wieder-gegeben.

22

5 Zusammenfassung • Grundsätzlich und im Durchschnitt gilt: die Ergebnisse sind fakultätsweit weiterhin gut; sie

liegen mit wenigen Ausnahmen weit im oberen Drittel der Skala und belegen eine den Studierenden zugewandte und engagierte Grundhaltung der Dozierenden sowie ange-messene Methodik und guten Aufbau der Veranstaltungen. In der Regel (!) würden Maß-nahmen zur Qualitätsverbesserung also der „Feinjustierung“ dienen.

• Die Beobachtung, dass die Lehrenden persönlich sehr oft besser beurteilt werden, als die Strukturen und Studiengänge, unter bzw. in denen sie arbeiten, weist darauf hin, dass die im Frühjahr 2012 abgeschlossenen Studiengangsreformen erforderlich waren; es wird nach Abschluss ihrer Realisierung ab dem WS 12/13 zu prüfen sein, welches Bild sich dann zeichnet.

• Die Ergebnisse geben weiterhin ein sehr homogenes Bild der Fakultät. Es gibt zwar Un-terschiede zwischen Instituten, häufig lassen sich diese aber eindeutig auf einzelne Per-sonen zurückführen; auch andere Variablen, die zu unterschiedlichen Einschätzungen führen könnten, sind nur sehr selten zu identifizieren. Eindeutig ist der einzelne Dozent die Hauptquelle für Varianz zwischen den Veranstaltungsbeurteilungen.

• Die freien Kommentare beziehen sich sehr häufig im Detail auf methodisch-didaktische Mängel, veraltete oder „langweilige“ Präsentations- oder Arbeitsformen, unprofessionellen Umgang mit Unruhe und Störungen seitens der Teilnehmenden sowie auf Mängel in Technik und Raumausstattung.

• Nachdem seit ca. fünf Semestern mit dem eingesetzten Evaluationsverfahren gearbeitet wird, sind jetzt Regelmäßigkeiten in der Einschätzung der Lehrenden erkennbar, so dass in Zusammenarbeit mit den Evaluationsbeauftragten der Institute über die bloße Evaluati-on hinaus die Arbeit am Qualitätsmanagement der Lehre aufgenommen werden kann.

• Ab dem Sommersemester 2012 wird durch die aus dem Projekt iQu zur Verfügung ge-stellten Personalstellen erstmals systematisch mehr getan werden können, als den status quo zu dokumentieren: datenbasierte, gezielte Ansprache und Förderung einzelner Leh-render, hochschuldidaktische Breitenangebote, Förderung medialer Kompetenz der Leh-renden, Erarbeitung von Qualitätskonzepten für die Lehre und ihrer Organisation sowie systematische Überprüfung und Verbesserung der Studierbarkeit unserer Studiengänge.

23

Anhang A: Die Fragen • Wird die Lehrveranstaltung von mehreren Dozenten bzw. Dozentinnen durchgeführt (z.B. im Te-

amteaching oder als Ringveranstaltung)? ein/e Dozent/in mehrere Dozenten

• Wurden in dieser Veranstaltung zum Zeitpunkt der Befragung bereits Referate von Studierenden

gehalten? Ja Nein

• Besuchen Sie die Veranstaltung im Rahmen des Fachübergreifenden Wahlpflichtbereichs bzw. des Studium Universale?

• Beurteilung der Lehrveranstaltung Diese Fragen sind Tabelle 1 zu entnehmen • Falls sich im Verhalten der einzelnen Dozentinnen bzw. Dozenten nennenswerte Unterschiede

gezeigt haben, haben Sie hier die Möglichkeit diese kurz zu beschreiben: • Wie viel Zeit wenden Sie im Durchschnitt pro Woche (außerhalb der Veranstaltung) für die Vor-

und Nachbereitung des Stoffes auf? Gar keine Zeit, bis zu 30 Min, bis zu 1 Stunde, bis zu 1,5 Stunden, bis zu 2 Stunden, bis zu 2,5

Stunden, bis zu 3 Stunden, bis zu 3,5 Stunden, bis zu 4 Stunden, bis zu 4,5 Stunden, bis zu 5 Stunden, 5 oder mehr Stunden

• Ein Fragebogen mit vorgegebenen Aussagen zu Antwortmöglichkeiten kann natürlich nicht bei

jeder Veranstaltung allen Besonderheiten gerecht werden. Nutzen Sie bitte deshalb - falls Sie es möchten - diesen Kasten zu Anmerkungen über weitere positive und/oder negative Aspekte der Lehrveranstaltung:.

Angaben zur Person • Bitte geben Sie Ihr Geschlecht an.

weiblich männlich

• Ist Deutsch Ihre Muttersprache?

Ja Nein

• Im Rahmen welchen Studiengangs besuchen Sie diese Veranstaltung?

B.A. Antike Kultur (Ergänzungsfach) B.A. Englisch (Kernfach) B.A. Englisch (Ergänzungsfach) B.A. Germanistik (Kernfach) B.A. Germanistik (Ergänzungsfach) B.A. Geschichte (Kernfach) B.A. Geschichte (Ergänzungsfach) B.A. Informationswissenschaft und Sprachtechnologie (Integrierter Studiengang) B.A. Informationswissenschaft (Ergänzungsfach) B.A. Jiddische Kultur, Sprache und Literatur (Ergänzungsfach)

24

B.A. Jüdische Studien (Kernfach) B.A. Jüdische Studien (Ergänzungsfach) B.A. Kommunikations- und Medienwissenschaft (Ergänzungsfach) B.A. Kunstgeschichte (Kernfach) B.A. Kunstgeschichte (Ergänzungsfach) B.A. Linguistik (Integrierter Studiengang) B.A. Linguistik (Ergänzungsfach) B.A. Medien und Kulturwissenschaft (Integrierter Studiengang) B.A. Modernes Japan (Kernfach) B.A. Modernes Japan (Ergänzungsfach) B.A. Musikwissenschaft (Ergänzungsfach) B.A. Philosophie (Kernfach) B.A. Philosophie (Ergänzungsfach) B.A. Politikwissenschaft (Ergänzungsfach) B.A. Romanistik (Kernfach) B.A. Romanistik (Ergänzungsfach) B.A. Sozialwissenschaften (Integrierter Studiengang) B.A. Soziologie (Ergänzungsfach) M.A. The Americas / Las Américas / Les Amériques (Master) M.A. Analyse des Pratiques Culturelles (Master) M.A. Englisch (Master) M.A. European Studies (Master) M.A. Germanistik (Master) M.A. Geschichte (Master) M.A. Informationswissenschaft und Sprachtechnologie (Master) M.A. Jiddistik (Master) M.A. Jüdische Studien (Master) M.A. Kunstgeschichte (Master) M.A. Linguistik (Master) M.A. Literaturübersetzen (Master) M.A. Medienkulturanalyse (Master) M.A. Modernes Japan (Master) M.A. Philosophie (Master) M.A. Politische Kommunikation (Master) M.A. Romanistik (Master) M.A. Sozialwissenschaften (Master) Magister Allgemeine Sprachwissenschaft Magister Anglistik Magister Germanistik Magister Geschichte Magister Griechisch Magister Jüdische Studien Magister Kunstgeschichte Magister Latein Magister Modernes Japan Magister Philosophie Magister Romanistik Magister Soziologie Diplom Literaturübersetzen Promotion (alle Fächer) Gasthörer/in Sonstige

• In welchem Semester studieren Sie in diesem Fach?: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 oder mehr

25

Anhang B: Testtheoretische Qualität und Kennwerte des Instrumentariums

Bevor die inhaltlichen Komponenten der Skala betrachtet werden können, musste geprüft werden, ob sie den messtechnischen Anforderungen genügt, die an eine solche Skala zu stellen sind.

Dazu gehört in erster Linie die Frage nach der Eindimensionalität, bei der beurteilt wird, ob alle Items (unabhängig von den Vorstellungen des Testkonstrukteurs!!) eine einzige inhaltli-che Dimension messen - nämlich die im Skalentitel benannte - oder ob aus den Antworten der Befragten zu schließen ist, dass die Items verschiedene Komponenten erfassen.

Zur Klärung dieser Frage wurde der Reliabilitätskoeffizient ermittelt, der in einem einzigen Wert (in der Regel als "Cronbachs α" berechnet) den Zusammenhang aller Items angibt. Er liegt zwischen 0 und 1 und sollte so hoch wie möglich sein; als zufriedenstellend werden in der Regel Werte ab etwa .7 betrachtet. Eine Skala mit einem solchen Reliabilitätskoeffizient wird also mit sehr großer Sicherheit nur eine einzige inhaltliche Dimension erfassen.

Aus der Beurteilung der Reliabilität ergeben sich Hinweise auf eventuelle Verbesserungs-möglichkeiten der Skala.

Die Ergebnisse der Itemanalyse der vorliegenden Daten sind unten zusammengefasst.

Seminar/ Übung Tutorium Sprachkurs

Methodik und Aufbau α = .88 α = .86 α = .79

Interessantheit und Relevanz α = .80 α = .65 α = .91

Dozentenverhalten α = .82 α = .74 α = .86

Gesprächsführung α = .82 α = .71 α = .78

Schwierigkeit und Umfang α = .77 α = .63 α = .85

Qualität der Referatsvorträge α = .78 N zu gering entfällt

Auswahl der Referatsthemen α = .62 entfällt entfällt

26

Anhang C: Screenshots des Fragebogens

27

28