Embed Size (px)
Citation preview
Das Inventar zur Evaluation von Blended Learning (IEBL): Konstruktion und Erprobung in einem
Training professioneller Informationskompetenz
Johannes Peter, Nikolas Leichner, Anne-Kathrin Mayer & Günter Krampen
10. Fachtagung Psychologiedidaktik und Evaluation
Gliederung
1. Blended Learning von Informationskompetenz
2. Entwicklung des Inventars zur Evaluation von Blended Learning (IEBL)
3. Empirische Erprobung
4. Ausblick
1. Blended Learning von Informationskompetenz
Blended Learning
• Begriff mit vielen Bedeutungen (Oliver & Trigwell, 2005)
• Wird häufig als Kombination von Online- und Präsenzlehre in einer Lehrveranstaltung definiert
• Ziel: Vorteile von Online- und Präsenzlehre integrieren (Garrison & Vaughan, 2008)
Blended Learning
• Onlinelehre – Zeit- und ortsunabhängiges Lernen
– Individuelle Lerntempi (Arnold et al., 2004; Kerres, 2012)
• Präsenzlehre – Erleichtert die Erörterung von Verständnisfragen;
unmittelbare Hilfe bei Übungen möglich
– Diskussionen leichter umsetzbar (Arnold et al., 2004; Kerres, 2012)
– Dropout verringert (López-Pérez et al., 2011)
Blended Learning
• Es wird empfohlen – Präsenzlehre zur inhaltlichen Diskussion und
– Onlinelehre zur inhaltlichen Vorbereitung der Inhalte anzuwenden (Arnold et al., 2004)
• Organisatorische Vorteile bei der Lehre von Schlüsselkompetenzen – Additiv vs. integrativ
– „Statische“ Lehrinhalte in Onlinelehre
– Wissensintegration in Präsenzlehre
Informationskompetenz
• ACRL-Standards (2000) – Informationsproblem definieren,
– geeignete Information finden,
– auf geeignete Information zugreifen,
– Information bewerten und
– Information verarbeiten.
• Unzureichende Informationskompetenz unter Studierenden (z.B. Franke & Schüller-Zwierlein, 2008; Heinze, 2008)
Informationskompetenz
• Rahmenbedingungen an der Uni Trier: – Keine obligatorische Vermittlung von IK; Lehrangebote
fakultativ – Nicht/kaum im Curriculum des Psychologie-Studiums
verankert
• Ziele des Projekts BLInk (unter anderem): – Entwicklung und Evaluation von Trainingsmaterialien:
Objektiv und subjektiv – Nachhaltige Etablierung der Lehre von
Informationskompetenz im Fach Psychologie der Uni Trier
Subjektive Evaluation
• Zahlreiche Evaluationsinstrumente, z.B. – HILVE (Rindermann & Amelang, 1994)
– TRIL (Gollwitzer & Schlotz, 2003)
• Problem: Keine Rückschlüsse auf einzelne Komponenten von Blended Learning möglich
• Ziel: Instrument zu entwickeln zur subjektiven Evaluation – Allgemeine Aspekte des Seminars
– Blended Learning Aspekte
2. Entwicklung des IEBL
Entwicklung des IEBL
• Entwicklung des IEBL auf Grundlage des HILVE bzw. HILVE-II
• Ergänzend: Spezifische Skalen zur Evaluation von Online-/Präsenzanteilen
• Antwortskala (i.d.R.) 1 = „trifft nicht zu“; 7 = „trifft völlig zu“
Items aus dem HILVE-II
• Allgemeine Beurteilung des Trainings
– „Mein Wissensstand ist nach dem Training wesentlich höher als vorher.“
• Beurteilung Dozent/in
– „Die Dozentin/Der Dozent spricht verständlich und anregend.“
• Ergänzend: Items zur Akzeptanz der Präsenzlehre
– „Durch die Präsenzlehre erreiche ich ein tiefergehendes Verständnis der Lehrinhalte.“
Evaluation Blended Learning: Onlineanteile
• Glowalla, Herder, Süße & Koch (2010):
– Akzeptanz
– Lernleistung, Lernwirksamkeit (→ Objektive Evaluation)
– Lernverhalten/-zeit/Nutzungshäufigkeit (→ z.B. Logdaten)
– Usability (Facetten nach Kerkau, 2010)
– Kosten-Nutzen-Verhältnis
Evaluation Blended Learning: Onlineanteile
• Akzeptanz der Onlinelehre – „Der Vorteil von Online-Modulen, sein eigenes
Lerntempo bestimmen zu können, kommt bei diesen Lerninhalten zur Geltung.“
– „Ich hätte mir bei der Bearbeitung der Online-Module mehr direkte Hilfe seitens eines Dozierenden gewünscht.“(rekodiert)
• Usability : – „In der Online-Lernumgebung bin ich auf viele
fehlerhafte Links gestoßen.“ (rekodiert)
3. Empirische Erprobung
Empirische Erprobung: Trainings zur Informationskompetenz
• Daten aus zwei Studien bzw. Trainings • Studie 1:
– N = 67 – 78% weiblich – durchschnittliches Alter: 21.67 Jahre – 1. & 2. Studienjahr – Präsenzlehre: Integration der Inhalte mithilfe von Fallbeispielen
• Studie 2 (läuft noch): – N = 55 (vorläufig) – 81% weiblich – durchschnittliches Alter: 24.17 Jahre – ab 3. Studienjahr – Präsenzlehre: Integration der Inhalte mithilfe von eigenen
Recherchethemen
Allgemeine Bewertung des Trainings
Items Faktoren/Ladungen > .4
1 2 3
Ich lerne viel durch das Training. .768
Der Besuch des Trainings lohnt sich. .758
Mein Wissensstand ist nach dem Training wesentlich höher als vorher. .651 .402
Ich lerne etwas Sinnvolles und Wichtiges. .629 .413
Es treten oft unnötige inhaltliche Überschneidungen mit anderen Kursen auf. .566
Die behandelten Themen werden kritisch/von verschiedenen Seiten beleuchtet. .523
Das Training motiviert dazu, sich selbst mit den Inhalten zu beschäftigen. .492
Die Bedeutung/Der Nutzen der behandelten Themen wird vermittelt. .767
Der Stoff wird anhand von Beispielen veranschaulicht. .744
Der inhaltliche Aufbau des Trainings ist logisch/nachvollziehbar. .731
Ich verfüge über ein grundlegenderes Verständnis als vor dem Training. .402 .681
Ein Bezug zwischen Theorie und Praxis/Anwendung wird hergestellt. .663
Das Training ist gut organisiert. .564
Umfang des Stoffes: 1= viel zu wenig, 4= genau richtig, 7= viel zu viel. .741
Schwere des Stoffes als solches: 1= viel zu leicht, 4= genau richtig, 7= viel zu schwer. .696
Das Tempo des Trainings ist: 1= viel zu langsam, 4= genau richtig, 7= viel zu schnell. .675
Die Anforderungen sind: 1= viel zu niedrig, 4= genau richtig, 7= viel zu hoch. .627
Mein Vorwissen: 1= zu wenig, um dem Training folgen zu können, 4= genau richtig, 7= alles mir schon bekannt gewesen, Besuch überflüssig.
.563
Allgemeiner Nutzen
Didaktische Qualität
Angemessenheit
1 2 3 4 5
Die Dozentin/Der Dozent engagiert sich bei der Lehrtätigkeit und versucht Begeisterung zu vermitteln. .838
Die Dozentin/Der Dozent kann Kompliziertes verständlich machen. .793
Die Dozentin/Der Dozent ist kooperativ und aufgeschlossen. .792
Die Dozentin/Der Dozent spricht verständlich und anregend. .760
Die Dozentin/Der Dozent ist im Umgang mit den Studenten freundlich. .752
Dem/Der Dozenten/in ist es wichtig, dass die Teilnehmer etwas lernen. .744
Diskussionen werden gut geleitet (Anregung von Beiträgen, Eingehen auf Beiträge, Bremsen von Vielrednern). .637
Die Dozentin/Der Dozent fördert Fragen und aktive Mitarbeit. .618
Die Bedienung in der Online-Lernumgebung finde ich einfach. .907
In der Online-Lernumgebung habe ich mich bereits bei ihrer ersten Benutzung schnell zurechtgefunden. .844
Die Online-Lernumgebung ist übersichtlich. .800
Die Bedienung in der Online-Lernumgebung ist oft sehr verwirrend. .758
Beim wiederholten Aufrufen der Online-Lernumgebung finde ich mich schnell wieder zurecht. .691
In der Online-Lernumgebung klicke ich oft auf falsche Links und werde dann zu Seiten geführt, zu denen ich eigentlich nicht wollte.
.637
In der Online-Lernumgebung bin ich auf viele fehlerhafte Links gestoßen. .451
Durch die Präsenzlehre erreiche ich ein tiefergehendes Verständnis der Lehrinhalte. .857
Durch die Präsenzlehre wird mein Verständnis der Lehrinhalte gefestigt. .812
Die Präsenzlehre ist hilfreich, weil dort offene Fragen über die Inhalte der Online-Module beantwortet werden. .800
Die Diskussionen in der Präsenzlehre sind eine sinnvolle Ergänzung zu den Online-Modulen. .726
Die Präsenzlehre ist unnötig, die Online-Module mit Rückmeldung zu den Übungsaufgaben reichen aus. .713
Der Vorteil von Online-Modulen, sein eigenes Lerntempo bestimmen zu können, kommt bei diesen Lerninhalten zur Geltung. .787
Die Lerninhalte in Online-Modulen bereitzustellen, statt sie ausschließlich durch Präsenzlehre zu vermitteln, erscheint mir sinnvoll.
.784
Die Online-Übungsaufgaben sind nützlich für das Verständnis der Lerninhalte. .743
Die Lerninhalte werden in den Online-Modulen verständlich vermittelt. .689
Es wäre besser, auf die Online-Module zu verzichten und alle Lerninhalte durch Präsenzlehre zu vermitteln. .682
Ich hätte mir bei der Bearbeitung der Online-Module mehr Kontakt mit Dozierenden gewünscht. .907
Ich hätte mir bei der Bearbeitung der Online-Module mehr direkte Hilfe seitens eines Dozierenden gewünscht. .840
Bei der Bearbeitung der Online-Module hat mir der Austausch mit anderen Teilnehmenden gefehlt. .706
Dozent/in
Usability
Akzeptanz (Präsenz )
Akzeptanz (Online)
Fehlender soz. Austausch
Interne Konsistenz und Vergleich der Trainings
Skala α Anzahl Items
Training 1 (Präsenzlehre mit
Fallbeispielen)
Training 2 (Präsenzlehre mit
eigener Recherche) p
Allgemeiner Nutzen .79 7 6.00 (0.60) 5.80 (0.81)
Didaktische Qualität .83 6 6.16 (0.70) 5.96 (0.78)
Angemessenheit .69 5 4.16 (0.54) 3.92 (0.47) **
Akzeptanz (Online) .85 5 6.20 (0.91) 6.05 (0.92)
Fehlender sozialer Austausch .85 3 5.31 (1.53) 5.19 (1.49)
Usability .88 7 5.76 (1.02) 6.03 (0.91)
Akzeptanz (Präsenz) .89 5 4.72 (1.41) 5.48 (1.14) ***
Dozent/in .89 8 5.72 (0.94) 6.22 (0.65) ***
Korrelationen mit Veränderungen in Lerngewinn und Selbstwirksamkeit
• Studie 1(N = 67): Objektive Evaluation mittels Informationskompetenz-Wissenstest (Leichner et al., 2013); IK-Selbstwirksamkeit (Leichner et al., 2013)
• Korrelation mit der Veränderung des Wissens unter Berücksichtigung des Ausgangsniveaus
Wissenstest
r p
Allgemeiner Nutzen 0.20 Ɨ
Angemessenheit - 0.45 ***
Akzeptanz (Online) 0.26 *
Akzeptanz (Präsenz) - 0.30 **
Selbstwirksamkeit
r p
Allgemeiner Nutzen 0.24 *
Angemessenheit - 0.26 *
Akzeptanz (Online) 0.15 ns
Akzeptanz (Präsenz) - 0.07 ns
Zusammenfassung und Ausblick
• 3 allgemeine Skalen
• 5 BL-Skalen
• Unterschiede in der Bewertung der Präsenzlehre; keine Unterschiede in der Bewertung der Onlinelehre → Differenzierung scheint sinnvoll
• Positive Korrelationen erwartungskonform, negative Korrelation mit „Akzeptanz (Präsenz)“ überraschend
• Evaluation von Seminaren mit anderen Inhalten
Literatur
Arnold, P., Kilian, L., Thillosen, A., & Zimmer, G. (2004). E-Learning: Handbuch für Hochschulen und Bildungszentren. Didaktik, Organisation, Qualität (1st ed.). Nürnberg: BW Bildung und Wissen.
Franke, F. & Schüller-Zwierlein, A. (2008). Wie informationskompetent sind die bayerischen Studierenden im Jahr 2007? Retrieved from http://www.bsb-muenchen.de/fileadmin/imageswww/pdf-dateien/bibliotheksforum/2008-1/BFB_0108_12-Franke.pdf
Garrison, D. R., & Vaughan, N. D. (2008). Blended learning in higher education: Framework, principles, and guidelines (1st ed.). The Jossey- Bass higher and adult education series. San Francisco: Jossey-Bass. Retrieved from http://lib.myilibrary.com/detail.asp?ID=329505
Glowalla, U., Herder, M., Süße, C., & Koch, N. (2009). Methoden und Ergebnisse der Evaluation elektronischer Lernangebote. In L. J. Issing & P. Klimsa (Eds.), Online-Lernen. Handbuch für Wissenschaft und Praxis (pp. 309–328). München: Oldenbourg.
Gollwitzer, M., & Schlotz, W. (2003). Das "Trierer Inventar zur Lehrveranstaltungsevaluation" (TRIL): Entwicklung und erste testtheoretishe Erprobungen. In G. Krampen & H. Zayer (Eds.), Psychologiedidaktik und Evaluation IV. Neue Medien, Konzepte, Untersuchungsbefunde und Erfahrungen zur psychologischen Aus-, Fort- und Weiterbildung. (pp. 114–128). Bonn: Deutscher Psychologen Verlag.
Heinze, N. (2008). Bedarfsanalyse für das Projekt i-literacy : Empirische Untersuchung der Informationskompetenz der Studierenden der Universität Augsburg. Retrieved from http://opus.bibliothek.uni-augsburg.de/opus4/files/685/imb_Arbeitsbericht_19.pdf
Kerkau, F. (2009). Usability-Testing zur Qualitätssicherung von Online-Lernangeboten. In L. J. Issing & P. Klimsa (Eds.), Online-Lernen. Handbuch für Wissenschaft und Praxis (pp. 329–338). München: Oldenbourg.
Kerres, M. (2012). Mediendidaktik: Konzeption und Entwicklung mediengestützter Lernangebote (3rd ed.). Informatik 10-2012. München: Oldenbourg. Retrieved from http://www.oldenbourg-link.com/isbn/9783486272079
López-Pérez, M. V., Pérez-López, M. C., & Rodríguez-Ariza, L. (2011). Blended learning in higher education: Students’ perceptions and their relation to outcomes. Computers & Education, 56(3), 818–826. doi:10.1016/j.compedu.2010.10.023
Oliver, M., & Trigwell, K. (2005). Can 'Blended Learning' be redeemed? E-Learning, 2(1), 17. doi:10.2304/elea.2005.2.1.17
Rindermann, H., & Amelang, M. (1994). Das Heidelberger Inventar zur Lehrveranstaltungs-Evaluation (HILVE): Handanweisung. Heidelberg: Asanger.
