22
Abteilung Abteilung Evaluation Evaluation FernUniversität in FernUniversität in Hagen Hagen Überlegungen zur Überlegungen zur Evaluation an der FernUniversität Evaluation an der FernUniversität Stabsstelle Qualitätssicherung & Evaluation ~ Abteilung Evaluation ~ Dr. C. von Prümmer / Dr. Fritz Helms / U. Rossié November 2005

Überlegungen zur Evaluation an der FernUniversität

  • Upload
    verda

  • View
    19

  • Download
    1

Embed Size (px)

DESCRIPTION

Überlegungen zur Evaluation an der FernUniversität. Stabsstelle Qualitätssicherung & Evaluation ~ Abteilung Evaluation ~ Dr. C. von Prümmer / Dr. Fritz Helms / U. Rossié. November 2005. Rahmenbedingungen. - PowerPoint PPT Presentation

Citation preview

Page 1: Überlegungen zur Evaluation an der FernUniversität

Abteilung EvaluationAbteilung Evaluation FernUniversität in HagenFernUniversität in Hagen

Überlegungen zurÜberlegungen zurEvaluation an der FernUniversitätEvaluation an der FernUniversität

Stabsstelle Qualitätssicherung & Evaluation

~ Abteilung Evaluation ~

Dr. C. von Prümmer / Dr. Fritz Helms / U. Rossié

November 2005

Page 2: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 22

RahmenbedingungenRahmenbedingungen

Die Aufgaben und Themenstellungen der Stabsstelle Stabsstelle sind durch bestimmte Rahmenbedingungen vorgegeben.

Zu diesen gehören:

Gesetzliche und andere extern gesetzte Grundlagen HRWG, insbesondere § 6 Zielvereinbarungen Erfordernise der (Re-) Akkreditierung

Hochschulinterne Grundlagen Evaluationsordnung Hochschulkonzept zum Qualitätsmanagement in der

Lehre der FernUniversität in Hagen Bestehendes Evaluationssystem der FernUniversität

Page 3: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 33

Aufgabenbereiche und Themenfelder der Evaluation an der FernUniversität

Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005

Stabsstelle Q & E

Aufgaben-bereiche

InstitutionalResearch

Evaluations-untersuchungen

Konzepte & Instrumente

Beratung &Unterstützung

Beratung

Unterstützung

ZentraleAnlaufstelle

Themenfelder

Lehre &Studium

Kurs-/Modul-evaluation

Studiengangs-evaluation

Studiensystem & Medien

System-evaluation

Evaluationder VU

Page 4: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 44

AufgabenbereicheAufgabenbereiche

Zu den Aufgabenbereichen der Stabsstelle Stabsstelle gehören vor allem:

Institutional research Evaluationsuntersuchungen Weiterentwicklung der Konzepte und Instrumente

Beratung und Unterstützung bei konkreten Evaluationsvorhaben PraxisTransferSeminare, Schulungen Einzelberatungen

Allgemeine / übergreifende Beratung und Unterstützung Liaison / Kooperation / Mitgliedschaften (intern und extern) Clearing Stelle (intern)

Page 5: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 55

Liaison / Kooperation / Mitgliedschaften Liaison / Kooperation / Mitgliedschaften (intern und extern)(intern und extern)

Es gibt verschiedene interne wie externe Gremien, bei denen

die Stabsstelle mitarbeitet, mit beratender Stimme teilnimmt oder zu denen die Stabsstelle in Kontakt ist und mit denen sie sich

austauscht.

Hierzu gehören: Institutionelle Kooperation, intern

Ausschuss für Qualitätssicherung, beratende Mitgliedschaft . . .

Institutionelle Kooperation, Fernstudierende Evaluationsausschuß des AstA der FernUniversität Arbeitskreis Evaluation des Studierendenparlamentes der

FernUniversität . . .

Institutionelle Kooperation, extern Arbeitskreis der Evaluationsbeauftragten bzw. MitarbeiterInnen im

Bereich Evaluation and den Fachhochschulen und Universitäten im Land NRW

. . .

Page 6: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 66

Clearing StelleClearing Stelle

Es wird zunehmend deutlich, dass die FernUniversität eine Clearing Stelle einrichten muss, zur

Sammlung von Informationen über sämtliche, nicht auf einzelne Lehrgebiete beschränkte, Evaluationsuntersuchungen

Verbreitung von Informationen über bisher durchgeführte, laufende oder geplante Evaluationsvorhaben in der FernUniversität

Da das Ausmaß von Erhebungen durch gesetzliche Vorschriften sowie die Erfordernisse der (Re-) Akkreditierung enorm steigen wird, ist dringend auf die Feldpflege zu achten, um die Antwortbereitschaft der Fernstudierenden nicht unnötig zu strapazieren

Im Interesse eines effektiven Ressourcenmanagements sollte vermieden werden,

Doppelerhebungen durchzuführen bei entsprechend in der FernUniversität vorhandenem Know

how und Befragungsinstrumentarium externe Evaluationsaufträge zu vergeben

Page 7: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 77

Aufgabenbereiche der Evaluation: Übersicht

Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005

Aufgaben-bereiche

InstitutionalResearch

Evaluations-untersuchungen

Fragestellungen& Untersuchungs-verfahren

Untersuchungdurchführen

Konzepte & Instrumente

InhaltlicheWeiterentwicklung

MethodischeWeiterentwicklung

Beratung & Unterstützung

Beratung

PraxisTransfer-Seminare

Schulungen

Einzel-beratungen

Unterstützung

Hilfe bei derOperationalisierung

MethodischeUnterstützung

Umsetzung vononline Erhebungenmit SPSS-MR

ZentraleAnlaufstelle

Liaison &Kooperationen

Clearing Stelle

Page 8: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 88

Aufgabenbereiche der Evaluation (1)

Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005

InstitutionalResearch

Evaluations-untersuchungen

Fragestellungen& Untersuchungs-

verfahren

Themen mitAuftraggeberInnenabklären

MethodischesVorgehenfestlegen

Untersuchungdurchführen

Untersuchungs-population & -designdefinieren

TechnischeUmsetzungz.B. Befragungen

Konzepte & Instrumente

InhaltlicheWeiterentwicklung

Konzepte &Themenfelder fürEvaluation von ODL

MethodischeWeiterentwicklung

kontinuierlicheStandardisierung

onlineBefragungen

Page 9: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 99

Aufgabenbereiche der Evaluation (1 a)

Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005

Evaluations-untersuchungen

Fragestellungen& Untersuchungs-

verfahren

Themen mitAuftraggeberInnen

abklären

Fragestellungenkonkretisieren

Untersuchungs-populationdefinieren

AdressatInnenfür Ergebnissefestlegen

MethodischesVorgehenfestlegen

Kontakte mitKooperations-partnerInnen

Literatur-studium

Untersuchungdurchführen

Untersuchungs-population & -design

definieren

Sampledefinieren

Untersuchungs-design

Bericht /Präsentation

TechnischeUmsetzung

z.B. Befragungen

Fragebogenerstellen

Samplebildung

Anschreiben-- per Post-- online

Datensammlung& -auswertung

Page 10: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1010

Aufgabenbereiche der Evaluation (1 b)

Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005

Konzepte & Instrumente

InhaltlicheWeiterentwicklung

Konzepte &Themenfelder für

Evaluation von ODL

Evaluationskonzeptefür die FernUniversität

Aktuelle Themen voninstitutional researchrezipieren

Literaturrecherche

Forschungsergebnisserezipieren

MethodischeWeiterentwicklung

kontinuierlicheStandardisierung

Befragungen-- Fragenkataloge-- Struktur

Frage-Bibliothekausbauen

Auswertungenstandardisieren

Vorlagen für Berichte/ Präsentationen

onlineBefragungen

online (SPSS-MR):Befragungs-Softwareanpassen

anwendungsbezogeneWeiterentwicklung

Page 11: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1111

ThemenfelderThemenfelder

Die Themenfelder der Evaluation liegen vor allem in den Bereichen:

Lehre und Studium Kurs- und Modulevaluation (v.a. Kurse und

Studienmaterialien, Didaktik und Betreuung) Studiengangsevaluation (v.a. Bachelor- & Master-

Studiengänge)

Studiensystem und Medien Systemevaluation (v.a. Komponenten des

Studiensystems und Zielgruppen) Evaluation der Virtuellen Universität (v.a. Einsatz

von neuen Medien und IuK)

Page 12: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1212

Themenfelder der Evaluation: Übersicht

Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005

Themenfelder derEvaluation

Lehre &

Studium

Kurs- & Modul-evaluation

Dateikurs

Sonstige Kursform

Studiengangs-evaluation

Struktur

Kohorten-analyse

Studiensystem &

Medien

Systemevaluation& Zielgruppen

Studierende

Lehrende

Sonstige

Medien

Zugang &Nutzungs-verhalten

E-Learning

Page 13: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1313

Themenfelder der Evaluation (1)

Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005

Lehre & Studium

Kurs- & Modul-evaluation

Dateikurs

Kursmaterial

Beratung

Studierhinweise

Ergänzungen

Sonstige Kursform

Seminar

Übungen

Experimente

. . .

Studiengangs-evaluation

Struktur

Voraussetzungen

Aufbau

Zielsetzung

Kohorten-analyse

Studienziele

Studierverhalten

Studienerfolg

Verwertung des Abschlusses

Drop-OutBefragung

Page 14: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1414

Themenfelder der Evaluation (2)

Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005

Studiensystem & Medien

Systemevaluation& Zielgruppen

Studierende

Frauen & Männer

Studien-anfängerInnen

AbsolventInnen/ Drop-Outs

Ältere / jüngereStudierende

. . .

Lehrende Sonstige

InteressentInnen

Non-Starter

Externe

Medien

Zugang &Nutzungs-verhalten

Ausstattung

Verfügbarkeit

Kompetenz

Umgang mitHard- & Software

. . .

E-Learning

Angemessenheit

Nutzungs-freundlichkeit

Lernverhalten

. . .

Page 15: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1515

EvaluationsverfahrenEvaluationsverfahren

Die angewandten Evaluationsverfahren ergeben sich aus der langjährigen Evaluationspraxis der

FernUniversität Entwicklungen im Bereich der neuen Medien und

IuK, die zum Einsatz kommen

den Erfordernissen der (Re-)Akkreditierung

Hierbei ist u.a. zu berücksichtigen, dass flächendeckende Erhebungen mit höherem

Standardisierungsbedarf einhergehen Befragungen zunehmend online durchgeführt

werden

Page 16: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1616

Evaluationsverfahren: Beispiel Kurs- & Modulevaluation (Übersicht)

Überlegungen zur Evaluation an der FernUniversität / cvp / November 2005

Kurs- & Modul-evaluation

Fragebogen

standardisierteBefragung

feedback-button

onlineFragebogen

offlineFragebogen

spezifischeBefragungen

Lehrtext-kritik

onlineFragebogen

offlineFragebogen

Interview

Einzel-interview

persönlich

telefonisch

per Video-konferenz

Gruppen-interviews

persönlich

telefonisch

technischvermittelt

Monitoring

Aufzeichnungen

log-in files

Prüfungs-ergebnisse

. . .

Beobachtungen

Arbeits-verhalten

Lösungs-strategien

. . .

Page 17: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1717

Page 18: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1818

Page 19: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1919

Gegenstände der EvaluationGegenstände der Evaluation

Innerhalb der Themenfelder wendet sich die Evaluation konkreten Untersuchungsgegenständen zu

Im Rahmen der Kurs- und Modulevelaution z.B. sind dies Einzelne Kurselemente wie

StudienmaterialBeratung /Kursbetreuung / StudierhinweiseLeistungsnachweise / Klausuren / Prüfungen

Medieneinsatz

Page 20: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 2020

Page 21: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 2121

Page 22: Überlegungen zur Evaluation an der FernUniversität

FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 2222