Qualität in eLearning © Dr. M. Wirth, 29.06.2006 Folie 1 Dr. Markus A. Wirth, 29. Juni 2006 Konzepte und Methoden zur Beurteilung der Qualität von eLearning

© Dr. M. Wirth, 29.06.2006 Folie 1

Qualität in eLearning

Dr. Markus A. Wirth, 29. Juni 2006

Konzepte und Methoden zur Beurteilung der Qualität von eLearning

© Dr. M. Wirth, 29.06.2006 Folie 2


Einige einleitende Fragen…

Was bedeutet Qualität in eLearning? Wie kann man Qualität in eLearning erreichen, messen, sichern, verbessern

und zertifizieren? Was sind die zentrale Faktoren, welche die Qualität in eLearning negativ

oder positiv beeinflussen? Ist Qualitätsmanagement in eLearning nicht einfach eine neumodische

Bezeichnung für das, was wir schon lange als Bildungscontrolling in Betrieben kennen?

Ist Qualitätsmanagement in eLearning die lange ersehnte ‘Killer-application’, die eLearning nach verschiedenen Hoffnungsträgern wie ‘Content is king’ endlich zum Durchbruch verhilft?

…

© Dr. M. Wirth, 29.06.2006 Folie 3


Inhaltsübersicht

Qualität in eLearning – ‚Mode-Erscheinung‘ oder ‚Mega-Trend‘?

Reflexion zur aktuellen Qualitätslandschaft in eLearning

Qualitätsverständnisse

Qualitätsansätze

Qualitätskriterien

Vorschlag für ein integrative Qualitätskonzept: Der CEL-Ansatz der European Foundation for Management Development

© Dr. M. Wirth, 29.06.2006 Folie 4


Transformation zur Wissensgesellschaft

Internationalisierung der Bildung

Steigende horizontale und vertikale Mobilität

Ökonomisierung der Bildung

Digitalisierung von Wirtschaft und Gesellschaft

Verwendung von eLearning-gestützten Lehr-/Lernformen

Handlungsorientiertes und lebensbegleitendes Lernen

Wirtschaftliche, gesellschaftliche und bildungsspezifische Entwicklungen und Trends

Steigendes Bedürfnis nach qualitativ hochwertigen eLearning-

gestützten Aus- und Weiterbildungsprogrammen

Qualität in der Aus- und Weiterbildung ist mehr als eine Modeströmung und konstituiert einen grundlegenden Trend

© Dr. M. Wirth, 29.06.2006 Folie 5


Phase 3: QualitätsmanagementPhase 2: Qualitätssicherung

Phase 1: Qualitätskontrolle

Von der Qualitätsmanagement zu einem wertenden Qualitätsmanagement als zentrale Führungsaufgabe

Zeitliche Entwicklung

Qualität ist eine betriebliche Funktion unter vielen anderen

Für Qualität sind nur Spezialisten zuständig

Qualität besteht im wesentlichen in Produktkontrolle

Phase 1:Alter Qualitätsbegriff

(und ISO-Normenrevision vor 1994) Integration der Qualitäts-funktion in andere betriebliche Funktionsbereiche

„Jede(r) ist zuständig“

Dokumentation und Ab-sicherung gegen Haftung steht im Vordergrund

Phase 2:Rationaler Qualitätsbegriff

(ISO 9000:1994) Qualität wird zur zentralen Führungsaufgabe; Qualität manifestiert ‚neue‘ Wett-bewerbsvorteile

Neuer Kundenbegriff als Kerngedanke; nicht (nur) Dokumentation, sondern Kundennähe.

Stakeholder-Perspektive erzwingt Bewusstseinswandel

Phase 3:Emotionaler Qualitätsbegriff

(ISO 9000:2000 und TQM)

Input OutputProzess

© Dr. M. Wirth, 29.06.2006 Folie 6


Trotz der Heterogenität heutiger Qualitäts-(Management-)Ansätze…

Plan

DoCheck

Compare

Feld 1:Ansätze zur Planung

von Qualitäts-management

Feld 2:Best und

Good Practise Beispiele/Richtlinien

Benchmarking

Feld 3:Qualitäts-zertifizierung und -akkreditierung auf verschiedenen Ebenen

Feld 4:Qualitätswett-bewerbe

Hinweis:In Anlehnung an den ‚Deming-Kreis‘

© Dr. M. Wirth, 29.06.2006 Folie 7


Plan

Do

Check &Compare

FokussierteAnsätze

TQMAACSB

EQUIS

A-MBA

ASTD

ISO 9001ff.

Quality on the line

eQCheck(CanREGs)

Institute for IT Training

Comenius

DIN PAS 1037

ISO 10015

PAS 1032

Fokussierte Ansätze

DETC

QAA

French Codeof Practice

FokussierteAnsätze

Ganz-heitliche Ansätze

… lassen sie sich auf einige zentrale Grundkategorien zurückführen!

Medida Prix

Digita

Sloan-C™

© Dr. M. Wirth, 29.06.2006 Folie 8


Zentrale Problembereiche erschweren einen bedeutungsvollen Diskurs über Qualität in eLearning

Lernervariablen: Vorwissen, Einstellungen, Erfahrungen

Lernthema:Lernziele, Lerninhalte, Lernzeit

LernumgebungDeskriptiv

Präskriptiv

LernergebnisLehr-/Lernmethoden

1. Zu vereinfachendes und globales Qualitätsverständnis2. Vermengung präskriptiver und deskriptiver Qualitätsbetrachtungen

3. Umstrittener Kundenbegriff und umstrittene lernerorientierte Qualitätsbeurteilung im Bildungsbereich

4. Seggregierte Qualitätsforschung: marginaler Einbezug interdisziplinärer Forschungsergebnisse

© Dr. M. Wirth, 29.06.2006 Folie 9


Das Konstrukt „Qualität“ im Spannungsfeld verschiedener Perspektiven

Verschiedene

Qualitäts-

Konzepte

Normative Perspektive:unterschiedliche Qualitätsverständnisse Stichworte: Qualität als Ausnahme, Qualität als Perfektion, Qualität als Zweckmässigkeit, Qualität als ‚value for money‘, Qualität als Transformation

Subjektive Perspektive:unterschiedliche BetrachtungswinkelStichwort: Anspruchsgruppen

Inhaltliche Perspektive:unterschiedliche BetrachtungsebenenStichworte: Mikro, Meso, Makro, unterschiedliche Problembereiche

Prozessuale Perspektive:unterschiedliche Prozesse

und ProdukteStichworte: Input, Prozess,

Output, Outcome

Entwicklungsorientierte Perspektive:Qualität als dynamisches vs.

Qualität als stabiles Phänomen Stichworte: Entwicklungsparadigma vs.

Kontrollparadigma

© Dr. M. Wirth, 29.06.2006 Folie 10


Grundlegender Bezugsrahmen zur Betrachtung zentraler Herausforderungen von eLearning

Organisation Flexibilität und Effizienzvon Strukturen und Prozessen

Technologie Stabilität und problemgerechte Funktionalität

Ökonomie Effizienz und Effektivität des Ressourceneinsatzes

KulturInnovationsbereitschaft,Selbstorganisation

DidaktikNachhaltiger Lernerfolg(fachlich, überfachlich)

Quelle: Euler/Seufert, 2003, 6ff.

© Dr. M. Wirth, 29.06.2006 Folie 11


18 zentrale Qualitätsbereiche erweisen sich trotz unterschiedlicher Qualitätskonzeptionen als stabil

* Basierend einer eigenen Auswertung von EFQM, ISO 9000 und 10017, DIN-PAS 1032:1 und 1037, FCoP, IHEP, IITT, DETC, eduQua, QAA, EQUIS, AACSB, A-MBA, Comenius, eQcheck, ASTD, EureleA, Digita, Medida Prix

Programm/ Lerneinheit

Kulturelle Dimension

Implementation und Fortführung des Innovationsprozesses Engagement der Mitarbeiter und Lehrkräfte, ansprechende Leistungsanreize

Analyse des Marktumfeldes, strategische ZielsetzungenManagement und Dokumentation der Aus- und WeiterbildungsmassnahmeDefinition und Beschreibung der Zielgruppe

Didaktische Dimension

Pädagogische Konzepte und LernzieleMehrwert und Integration des eLearning-Einsatzes (u. der verwendeten Lehr-/Lernmeth.)Interaktion von Lernenden, Lehrenden und LerninhaltenEntwicklung und Vermittlung von LerninhaltenÜberprüfung des Lernerfolgs

Ökonomische Dimension

Nachhaltigkeit der finanziellen PlanungFinanzierung und Kostenstrukturen

Technische Dimension

Planung und Umsetzung der technologischen InfrastrukturZuverlässigkeit (Stabilität), Usability und Accessibility der verwendeten LernsoftwareWiederverwendbarkeit von technologischen Entwicklungen und Lerninhalten

Organisatorische Dimension

Organisation und Unterstützungsfunktionen für Lehrende und/oder LernendeQualifikation und Kompetenzentwicklung für Dozenten und AngestellteKontinuierliche Qualitätsverbesserung und Offenheit gegenüber Verbesserungsvorschlägen

© Dr. M. Wirth, 29.06.2006 Folie 12


Die Begründung von Qualitätskriterien ist über mehrere An-sätze denkbar, zentral sind Transparenz & Nachvollziehbarkeit

Plausibilitätsüberlegungen (z. B. stabil funktionierende Technologie als Voraussetzung für synchrone Kommunikation)

Rechtliche und im Besonderen schulrechtliche Überlegungen (z. B. Einhaltung von gesetzlichen Accessibility-Vorgaben)

Theoretische Begründungen (z. B. Lernumgebungen sollen auf die Lernvoraussetzungen der Lernenden ausgerichtet sein)

‚Best oder Good Practice‘ Beispiele (z. B. Selbstgesteuertes Lernen funktioniert in der Praxis nur bei einer lernerangemessenen Unterstützung)

Empirische Befunde (z. B. Faculty support als zentrales Element für qualitativ hochwertiges eLearning is Resultat zahlreicher unabhängiger Studien)

Arg

umen

tatio

nskr

aft

© Dr. M. Wirth, 29.06.2006 Folie 13


Entscheidungsleitendes Qualitätsmodell als Ausgangspunkt der Theoriebildung

Input Prozess Output



TechnologischeDimension

Organisatorisch-administrative Dimension

Sozio-kulturelle Dimension

Programm-Dimension

Relevante Perspektiven

- Lernende- Lehrende

- Management- Lernende

- Management

- Technische MA- Lehrende- Lernende

- Management- Lehrende- Lernende

- Lehrende- Lernende

Relevante Qualitäts-verständnisse

Nachhaltige Finanzierung und nachhaltiger Mehrwert

Minimalstandards erreichen, 0-Fehler,Mehrwert

Zweckmässigkeit hinsichtlich der Unterstützung der Programm-Stakeholder

Transformatives Qualitätsverständnis:Empowerment für Innovationen

Lern- und Transfererfolg, Stärkungder Selbstlernfähigkeit und Selbst-verantwortung der Lernenden, didaktischer Mehrwert

Zweckmässigkeit hinsichtlich stra-tegischer Ziele und institutionellerRahmenbedingungen

OrganisationFlexibilität und Effizienz

von Strukturen und Prozessen

TechnologieStabilität und

problemgerechte Funktionalität

ÖkonomieEffizienz und

Effektivität desRessourceneinsatzes

KulturInnovationsbereitschaft,Selbstorganisation

DidaktikNachhaltiger Lernerfolg(fachlich, überfachlich)

Verschiedene

Qualitäts-

Konzepte

Qualitätsperspektiven

eLea

rnin

g-H

erau

sfor

deru

ngen

© Dr. M. Wirth, 29.06.2006 Folie 14


Entscheidungsleitendes Qualitätsmodell als Basis für EFMD‘s CEL Qualitätsansatz

Input Prozess Output



TechnologischeDimension

Organisatorisch-administrative Dimension

Sozio-kulturelle Dimension

Programm-Dimension

Relevante Perspektiven

- Lernende- Lehrende

- Management- Lernende

- Management

- Technische MA- Lehrende- Lernende

- Management- Lehrende- Lernende

- Lehrende- Lernende

Relevante Qualitäts-verständnisse

Nachhaltige Finanzierung und nachhaltiger Mehrwert

Minimalstandards erreichen, 0-Fehler,Mehrwert

Zweckmässigkeit hinsichtlich der Unterstützung der Programm-Stakeholder

Transformatives Qualitätsverständnis:Empowerment für Innovationen

Lern- und Transfererfolg, Stärkungder Selbstlernfähigkeit und Selbst-verantwortung der Lernenden, didaktischer Mehrwert

Zweckmässigkeit hinsichtlich stra-tegischer Ziele und institutionellerRahmenbedingungen

© Dr. M. Wirth, 29.06.2006 Folie 15


Not eligible

No Certification

Strategic Advice

9.CEL Certification, valid for 3 years

Not ready forAudit Team Visit

Audit Team Report is not comprehensive or auditors’

recommendations are not comprehensible

1.Application

2.Eligibility

3.Self-Assessment

4.Auditors’ Review of Self-

Assessment, Student Interviews

5.Audit Team Visit

6.Audit Team Report, including evaluation results, committed

steps for improvement andAuditors’ certification

recommendations

negative

8.Awarding Body Decision

11. Application for re-certification

after 3 years

7. Programme manager’scommitment to steps to improvement, factual

correction of theAudit Team Report

10. Reporting on results concerning

the committed steps for improvementafter 1.5 years

CEL-Evaluationsverfahren

© Dr. M. Wirth, 29.06.2006 Folie 16


Qualitätsevaluation unterscheidet sich grundlegend von Sozialforschung

Qualitätsevaluation

beWERTendentscheidungsorientiertverbesserungsorientiert

Wertgesellschaftlicher Nutzen

EvaluatorAuftrag

InteressensorientiertEvaluationsumfeld

oft keine Generalisierbarkeit

Sozialforschung

WERTfreischlussfolgerungsorientiertErklärungsorientiert

Wahrheitempirische Überprüfbarkeit,logische KonsistenzWissenschafter(Auftrags-)Forschung

ErkenntnisorientiertScientific CommunityGeneralisierbarkeittheoriebildend

Quelle: Baumgartner (2005)

© Dr. M. Wirth, 29.06.2006 Folie 17


Qualität vs. Sozialforschung

Bildungs-controlling

Qualitäts-management

Einbezug der Effizienz von Bildungsprozessen über eine stärkere Transferorientierung und Betrachtung des Geschäftsnutzens und des Wertbeitrags (ROI)

Pädagogische, organisatorische, kulturelle und technische Zieldimensionen und

Betrachtungskategorien

© Dr. M. Wirth, 29.06.2006 Folie 18


Zusammenfassung

Qualität in eLearning…

… existiert nicht für sich allein (deskriptiv) und ist nicht per se erkennbar!

… steht für die nach den Ansprüchen der zu bestimmenden Stakeholder bewertete Beschaffenheit eines (durch eLearning unterstützten) Lernarrangements

Unterschiedliche Qualitätsansätze unterliegen heterogenen Qualitätsverständnissen und –zielen. In der Regel mangelt es an Transparenz bezüglich den zugrunde liegenden Qualitätsverständnissen (Ansprüchen), den relevanten Stakeholdern und der angewendeten Qualitätsbewertung (Evaluation).

EFMD‘s CEL als Versuch einer transparenten theoretischen, empirischen und argumentativen Begründung von Qualitätskriterien und Evaluationsverfahren

© Dr. M. Wirth, 29.06.2006 Folie 19


Qualität in eLearning - Konzepte und Methoden zur Beurteilung der Qualität eLearning-gestützter Aus- und Weiterbildungsprogramme

Erschienen im Oktober 2005 als Dissertation Nr. 3119 an der Universität St. Gallen (HSG) und zugleich Buchpublikation im Eusl-Verlag, Paderborn (498 Seiten, ISBN: 3-933436-61-3)

Zum Autor: Dr. Markus A. WirthDr. Wirth studierte an der Universität St. Gallen (HSG) Betriebswirtschaft und Wirtschaftspädagogik. Im Anschluss an sein Studium arbeitete er als zertifizierter Berater bei IBM Business Consulting Services im Bereich Human Capital Management und spezialisierte sich auf Strategieentwicklung, Change Management, eLearning, Performance Measurement und Knowledge Management. Gleichzeitig war er als wissenschaftlicher Mitarbeiter und Projektmanager am Institut für Wirtschaftspädagogik der Universität St. Gallen (IWP) verantwortlich für die universitätsweite Implementation der Lernplattform StudyNet. Darüber hinaus betreute er als Dozent diverse Aus- und Weiterbildungsveranstaltungen auf der universitären wie auch der berufsbildenden Stufe.

Bestellinformationen:Eusl-Verlagsgesellschaft mbH Ansprechpartner: Frau Barbara SloaneHasenberg 7, 33100 Paderborn, Deutschlandhttp://www.eusl.de

Preis: € 32.00 Bestellung per Mail: [email protected] per Fax: +49 (0) 5251 / 184102

Die Bildungssysteme und damit vor allem auch die Aus- und Weiterbildungsprogramme in den westlichen Industrienationen sind seit den neunziger Jahren und insbesondere anfangs des neuen Jahrtausends unübersehbar in eine neue Phase eingetreten. Die Integration von elektronischen Medien (eLearning) in die Aus- und Weiterbildung ist im Zuge dieser Entwicklungen nicht als temporäre pädagogische Modeströmung, sondern als konsequente Weiterführung ge sellschaftlicher und wirtschaftlicher Entwicklungen in der Bildung zu sehen. Obschon weitgehende Einigkeit darüber besteht, dass der eLearning-Einsatz zu einer Qualitätsverbesserung des Unterrichts beitragen soll, prangen an prominenter Adresse immer wieder Aussagen zu fehlender Akzeptanz und Qualität von eLearning resp. eLearning-gestütztem Lernen. Ausgehend von diesen Entwicklungen ist es das Ziel dieses Buches, einerseits Möglichkeiten und Grenzen der Betrachtung eLearning-gestützter Aus- und Weiterbildungsprogramme unter Qualitäts-Gesichtspunkten differenziert und wissenschaftlich fundiert aufzuzeigen. Andererseits wird auf der Basis der existierenden Literatur und der Reflexion existierender Qualitäts-Ansätze ein neuer und innovativer Qualitätsmanagement-Ansatz entworfen und in der praktischen Umsetzung nachvollziehbar validiert. Das aus dieser Arbeit hervorgehende Qualitätszertifikat 'Certification of ELearning/CEL' wird durch die weltweit operierende Eurpean Foundation for Management Development/EFMD (Link: www.efmd.org/CEL) vermarktet und durchgeführt.

http://www.eusl.de/

http://www.eusl.de/

http://www.efmd.org/CEL



Documents

Qualität in eLearning © Dr. M. Wirth, 29.06.2006 Folie 1 Dr. Markus A. Wirth, 29. Juni 2006 Konzepte und Methoden zur Beurteilung der Qualität von eLearning