Evaluate!

Plattform für Bildungs- und

Kompetenzcontrolling

Bernd Simon, Kasra Seirafi

Juli 2008

„Knowledge Markets“ Consulting Ges.m.b.H.

Augasse 2-6, 1090 Wien

Tel. +43 1 31336 6600

Email. kasra.seirafi@km.co.at

Gründung und Partnerunternehmen der Wirtschaftsuniversität Wien

1. Evaluate! - aktueller Stand

2. Evaluate! @ GfP: Funktionsumfang ab 1.10.2008

3. Geschäftsmodell

4. Ausbaumöglichkeiten auf eLearning Plattform

5. Knowledge Markets: Unternehmensvorstellung

Inhalt

Wie kann ich Kompetenzentwicklung effektiv steuern? 3

In 3 Minuten: Wie Unternehmensführung funktioniert

Herausforderungen• Mangel an Methoden• Keine validen Erhebungsinstrumente• Schwierige Interpretation der Daten

• Mangelnde Berücksichtigung aller Stakeholder

• Aufwändige, kommunikationsintensive Prozesse

• Fehlende Softwaretools (insbesondere für KMUs)

BeraterIn MitarbeiterInnen ManagerIn

TrainerIn KollegInnen Personalabteilung

Extern Intern

TopManagement

Kunde

5

Unser Beitrag: Evaluate!Was es ist:• Software –Service-Portal zur

– Performance-Messung von Bildungsprozessen

– Verbindung zwischen Geschäftsprozessen und Weiterbildung

• Stellt bereit: valide, breit eingesetzte Fragebogen-Instrumente

• Benchmark-Daten• Musterberichte• Unterstützt PROLIX

Performance Monitoring Methode

Was es kann:• Stakeholder involvieren• Bildungsmanagement

verbessern• Performance steigern• Bildungsinvestitionen

„rechtfertigen“• Valide Daten erheben• Controlling-Kreislauf initiieren

Angebote für unterschiedliche Zielgruppen

Klein- und Mittelbetriebe

• Kursverwaltung• HR Reporting Werkzeug• Bildungscontrolling• Lernmanagementsystem• Wiki/Intranet

Große Unternehmen

• Anonyme Erhebungsinstrumente für Papier&Bleistift sowie Online-Umfragen

• 360-Grad-Feedback• Schnittstellen (Balance

Scorecard Tool, Lernmanagement-Systeme)

7

PROLIX Bildungscontrolling-Methode: Performance Monitoring in 10 Schritten

1. Identifizieren von Zielsetzung und beteiligte Parteien

2. Definition von Mission-Statement, erfassen der Besonderheiten der Organisation

3. Auswahl geeigneter Kennzahlen und Kennzahlen-Eigentümer

4. Auswahl und Anpassen der Skalen, entwerfen der Erhebungsinstrumente (Fragebogen)

5. Auswahl der Methode(n) zur Datenerhebung

6. Daten erheben

7. Ergebnisse analysieren und erste Version eines Berichts erstellen

8. Ergebnisse mit beteiligte Parteien diskutieren und Empfehlungen entwickeln

9. Abschlussbericht erstellen und veröffentlichen

10. Weiterführende Schritte festlegen, Projektziele erreicht?

8

9

Unternehmen auf Evaluate! anlegen

10

Unternehmen auf Evaluate! anlegen

11

Evaluate! an Unternehmen anpassen

12

Messmethode auswählen, Beispiel: GfP Erwartungsanalyse

13

Messmethode auswählen, Beispiel: Lernergebnismessung mit Test

14

Relevante Kennzahlen auswählen

15

Fragen auswählen und anpassen

16Erhebung durchführen

17Erhebung durchführen

18

Performance-Daten abrufen, interpretieren und Maßnahmen setzen

19

Performance-Daten abrufen, interpretieren – hier mit Benchmarks –

und Maßnahmen setzen

20

Performance-Daten abrufen – hier offenes Feedback –,

interpretieren und Maßnahmen setzen

1. Evaluate! - aktueller Stand

2. Evaluate! @ GfP: Funktionsumfang ab 1.10.2008

3. Geschäftsmodell

4. Ausbaumöglichkeiten auf eLearning Plattform

5. Knowledge Markets: Unternehmensvorstellung

Inhalt

Evaluate! @ GfP Hauptdienste

GfP Lerntransfer

Erwartungs-analyse

Zufriedenheits-analyse

Transfer-analyse

SEMINAR

Bericht Bericht Bericht

Verknüpfung

Verknüpfung

Mitarbeiterumfrage

Key Performance Indicators (englisch)

1. Organisational Competence Development

2. Transfer Support

3. Quality of Instructors/Coaches/Mentors

4. Learner’s Overall Satisfaction

5. Learning Transfer

6. Learning Culture

7. Quality of the Software Supporting Learning Management

8. Preferences for various ways of learning

9. Effectiveness of competence development

9. Individualization of Learning Activities

10. Knowledge gained (perceived)

11. Usefulness of Learning

360° Feedback

360° Feedback

Nächste Entwicklungen

• GfP Lerntransfer

• Verknüpfung der Analysen

• Lerntransfer - Berichte

• Strukturierte Darstellung

• Kurs- und Trainerverwaltung

• Auswertung

• 360° - Feedback

Erweiterungen GfP Lerntransfer

• Workflow-Unterstützung

– Vor Umfragestart: Erinnerung an BearbeiterIn

– Vor Umfrageende: Erinnerung + Umfragestatus

• Erweitertes Reporting

– Eigener Report für TeilnehmerInnen, TrainerIn, Vorgesetzte/r,

Veranstalte/r und AuftraggeberIn

• Übersichtsseite für TeilnehmerInnen

• Registrierter Teilnehmer kann sein Profil abfragen

• Branding des Moduls als GfP Lerntransfer

1. Evaluate! - aktueller Stand

2. Evaluate! @ GfP: Funktionsumfang ab 1.10.2008

3. Geschäftsmodell

4. Ausbaumöglichkeiten auf eLearning Plattform

5. Knowledge Markets: Unternehmensvorstellung

Inhalt

Evaluate!: Mehrwerto Viele Tools:

o 360-Grado Mitarbeiterbefragungo Kursverwaltung & -evaluierungo Lerntransfermessungo Prüfungen

Umfassend

o Mehr als 1 Million Benchmarkdaten verfügbar Einfaches interpretieren

o AnwenderInnen können Metriken, Fragen und Benchmark-Daten teilen Nutzer schaffen Mehrwert

o Nicht nur Softwaretool, kommt mit Methode Komplettlösung

o Validierte, wiederverwendbare Fragebögen (Instrumente) Effiziente Fragebogenerstellung

o Anpassbar (Prozess und Fragebögen) maßgeschneiderte Lösung

30

Geschäftsmodell

o Monatliche Nutzungspauschaleo Uneingeschränkte Nutzung aller Diensteo Definierte Erreichbarkeit und Reaktionszeiteno Gemeinsame Weiterentwicklungo Gemeinsame Forschung (Methoden, Instrumente)o Gemeinsame Schulungsveranstaltungen (1x pro Jahr)

1. Evaluate! - aktueller Stand

2. Evaluate! @ GfP: Funktionsumfang ab 1.10.2008

3. Geschäftsmodell

4. Ausbaumöglichkeiten auf eLearning Plattform

5. Knowledge Markets: Unternehmensvorstellung

Inhalt

Assessment

Forums

E-Mail/Bulk mail

Curriculum

News

Calendar

Photo Album

Survey

Evaluation

FAQsWeblogger

File Storage

Slide presentations

Learning Object Repository

Learn!

Wiki

Erweiterung: Zentrales Seminar- und Kommunikationsmanagement

Zentrales Portal für Seminare (mit spezifischem Trainer-, Teilnehmer- und GfP-Interface)

Online Dateiablage

Wiki

Pre- und Posttests

Zu jeder Aufgabe werden Feedbacks und Verweise in denKurs angezeigt

Zertifizierungen

Zertifikat im PDF-Format:

Lernerinnen können zu Online-“Prüfungen“ antreten. Bei erfolgreicher Absolvierung wird ein Zertifikat für das jeweilige Modul ausgestellt. Das Zertifikat kann durch die MitarbeiterInnen ausgedruckt und z.B. beim MitarbeiterInnen-Gespräch vorgelegt werden.

Digitales Kursbuch

Lesezeichen

Notizen

Feedback

Drucken

Web Editor

1. Evaluate! - aktueller Stand

2. Evaluate! @ GfP: Funktionsumfang ab 1.10.2008

3. Geschäftsmodell

4. Ausbaumöglichkeiten auf eLearning Plattform

5. Knowledge Markets: Unternehmensvorstellung

Inhalt

Die junge Unternehmensgeschichte

OEG Gründung: Dezember 2003

Ges.m.b.H Gründung: Mai 2005

Spin-off der Wirtschaftsuniversität Wien, Abteilung für Wirtschaftsinformatik und Neue Medien

Gründer: Prof. Dr. Gustaf Neumann

Dr. Bernd Simon

Personal: 12 Mitarbeiter

Offizieller Partner der WU Wien

Prof. Gustaf Neumann

Dr. Bernd Simon

Wir orientieren uns am aktuellen Stand der Forschung und bestimmen bei Themen wie

Effektivität von elektronischen Lernumgebungen, Bildungs-controlling, Interoperabilität

von Repositorien auf internationalen Niveau mit.

Knowledge Markets – Das Forschungs- und Beratungsunternehmen der WU Wien zum Thema

technologieunterstütztes Lern- & Wissensmanagement

Wir setzten praxiserprobte Open Source Software ein, um gemeinsam mit unseren

Kunden und Partnern maßgeschneiderte Lösungen zu entwickeln. Wir stehen damit

gemeinsam mit Ihnen auf den Schultern einer große Entwicklergemeinde.

eLearning

Komplettanbieter

Multidisziplinäres

Team

Qualitätsmanagement

im Mittelpunkt

Open Source

Software

Von der Analyse über Vorkonzept bis hin zu Implementierung und Wartung sind wir Ihr

Partner für technologieunterstütztes Lern- und Wissensmanagement.

Technologieunterstützte Wissensvermittlung erfordert ein multidisziplinäres Team.

Knowledge Markets beschäftigt deshalb Pädagogen, Grafiker, Betriebswirte,

Wirtschaftsinformatiker und Informatiker.

Um hoch innovative IT-Lösungen und Dienstleistungen anbieten zu können, Bedarf es

einer qualitativ hochwertigen Projektabwicklung. KM setzt hier für die Branche neue

Maßstäbe.

Mit internationaler

Forschung vernetzt

Werte, die wir in unseren Projekten anstreben:

• Exzellenz– Nach der bestmöglichen Lösung streben, Innovation

steht im Mittelpunkt

– State-of-the-art kennen und hinterfragen

• Unternehmertum:– Kundennutzen, Kosten, Prozesse und MitarbeiterInnen

beachten

– Flexibilität leben

• Intelligente Zusammenarbeit– In organisationsübergreifenden

Teamstrukturen denken,

– Zusammenarbeit durch qualitativ hochwertige Vor- und Nachbereitung optimieren

Ausgewählte Knowledge Markets Projekte 1/2

Die MedUni Wien zählt zu den jüngsten Referenzen von Knowledge Markets. Für sie wird eine maßgeschneiderte IT-Lösung für die Verarbeitung und Visualisierung von Evaluationsdaten implementiert.

Die Abteilung Evaluierung und Qualitätsmanagement in der Lehre der WU Wien beauftragte Knowledge Markets zur Bereitstellung eines Evaluierungswerkzeugs auf Basis von Evaluate!!.

Die WU Executive Academy arbeitet mit Learn!, um ihr Seminarangebot potentiellen Kunden aus einer Back-Office-Lösung heraus auch im Internet abrufbar zu machen.

Die Universität Innsbruck setzt die OpenSource-Software OpenACS mit den von der WU entwickelten Erweiterungen ein, um die Servicequalität in der Studieneingangsphase von stark frequentierten Studienrichtungen zu erhöhen.

Ausgewählte Knowledge Markets Projekte 2/2

Bereitstellung einer Online-Lern- und Koordinationsumgebung für mehr als 100 Schulen. Im Schuljahr 2007/2008 bediente das Portal 18.000 NutzerInnen in über 1800 Kursen.

Die Uni Mannheim beauftragte Knowledge Markets spezifische Erweiterungen an dotLRN durchzuführen, um diese wiederum als Open Source Komponenten zur Verfügung zu stellen.

Auf Basis von Web 2.0 Technologie von Knowledge Markets betreibt das österreichische Bundesministerium für Unterricht, Kunst und Kultur eine Kollaborationsplattform für die Entwicklung und Evaluierung von Bildungsstandards.

Dauerhafte Wertschöpfungsbeziehungen erfordern eine enge und effektive Zusammenarbeit zwischen kooperierenden Partnern, wie z.B. zwischen Daimler und seine Lieferanten. KM unterstützt Daimler bei der Bereitstellung einer elektronischen Lernumgebung.

KM: Der „Missing Link“ bei Open Source,ein Vorteil für unsere Kunden

• Hinreichend flexibel um Schlüsselprozesse in maßgeschneiderter Form zu unterstützen

• Profitieren von Weiterentwicklung der Basis- und Anwendungskomponenten durch innovatives Forschungsnetzwerk

• White-Box-Komponenten Anpassung an Hochschulinfrastruktur einfacher als bei kommerziellen Produkten

• In das Know-how der eigenen MitarbeiterInnen investieren und nicht in externe Softwareentwickler

• Unabhängigkeit von einzelnen Drittfirmen

• Einfache Weitergabe der Eigenentwicklung (geringere Wartungskosten)

• Geringe Einstiegskosten für Dritte

Internationale Forschungs- & Entwicklungsprojekte

ICOPER: Best Practice Netzwerk zum ThemaeLearning Standards für Hochschulen mitWU Wien, Universität Wien und Knowledge Markets, Start: 2008-09

ProLearn: Exzellenznetzwerk zum Thema „E-Learning im Unternehmen“. Brokerage, Wissensmanagement, Knowledge Worker, Learning Objects http://www.prolearn-project.org

ELENA – Creating Smart Spaces for Learning Semantische Bildungsnetzwerke, Unterstützung von Personalentwicklungsprozessenhttp://www.elena-project.org

„Unsere“ Open Source Community• International

– Greenpeace International – Pharmaceuticals International Network – Learning Activity Management System (LAMS) – Young Americas Business Trust

• Nordamerika– Concord Consortium, USA – Galileo University, Guatemala– Harvard, JFK School of Government, USA– MIT, Sloan School of Management, USA – Partners HealthCare, USA – Massachusetts General Hospital, USA – UCLA, David Geffen School of Medicine, USA – Univerdad de Ingenieria, Nicaragua – Center for 21st Century Skills, USA – Los Angeles Unified School District, USA – SolutionGrove, USA – Furfly, USA – OtterGroup, USA – Viaro.NET, Guatemala

• Asien– DigitalOne, Hong Kong– Bir Zeit University, Palestine

• Südamerika– Ministério do Desenvolvimento Indústria e Comércio

Exterior, Brazil – Universidad del Cauca, Colombia – Faculdade Latino-americana de Ciências Sociais

(FLACSO), Brazil

• Europa– Wirtschaftsuniversität Wien, Austria– University of Bergen, Norway– University of Heidelberg, Germany – University of Mannheim, Germany– University of Valencia, Spain – Universidad de Educación a la Distancia, The Open

University of Spain – Heidelberg Medical Faculty, Germany – Semantic Internet Innovation, Italy – Cognovis, Germany – Esode Sri, Italy

• Australien– Elearning Network of Australasia (ElNet) – University of Sydney, Web Engineering Group, and

CoCo Research Centre Australia – PumpTheory.com, Australia

Prof. Neumann ist Mitglied des DotLRN Leadership Teams und des OpenACS Technical Committee

KMQ: Qualitätsmanagement entlang der Wertschöpfungskette

Vorkonzept/Vorkonzept/AngebotAngebot

VertriebVertrieb UmsetzungUmsetzung Wartung Wartung Folge-Folge-projekteprojekte

• CRM Vtiger• Demoplattform• KM: Online

Marketing Prozesse

• StrategischeVertriebs-partnerschaften

• KollaborativesErstellen der Angebote: „Kunde-Berater-Technik“

• QM-Standard:Change Request

• QM-Standard:Pflichtenheft

• Checkliste, Muster-angebote

• Initiative „Projekte Standard-komponenten“

• Coding-Standards

• Issue-tracking System alseffizientes Kommuni-kations-werkzeug

• Initiative „Projekte Standard-komponenten“

• Zeiterfassung

• GemeinsameAbgrenzungs-entscheidung„Kunde-Berater-Technik“

ReferenzenSoftware und/oder Beratung

PartnerMit der WU wurde ein umfangreiches Partnerabkommen abge-schlossen, das eine intensive Zusammenarbeit in Forschung & Entwicklung ermöglicht. Die WU zählt zu den größten und erfolgreichsten wirtschaftswissenschaftliche Forschungsstätten weltweit. Von der Financial Times wurde die WU unlängst unter die 25 europäischen Top-Wirtschaftsuniversitäten gereiht.

Vom Kunden zum Partner: Mit dem Bildungsserver Burgenland hat Knowledge Markets nicht nur eine Referenzinstallation eines Open Source E-Learning Systems im Schulbereich geschaffen (bereits mehr als 18.000 BenutzerInnen), sondern auch einen kompetenten Partner gewonnen. Der Verein "Bildungsnetzwerk Burgenland" unterstützt Knowledge Markets beim Aufbau von Branchenwissen im Schulbereich.Mit der Gesellschaft für Personalentwicklung konnte eine in Österreich führende Einrichtung im Bereich Personalentwicklung als Partner gewonnen werden. Der Gründer der GfP, Dr. Leopold Stieger, zählt zu den Erfindern der professionellen Personalarbeit. Die Partnerschaft zielt darauf ab, innovative IT-Werkzeuge und Erhebungsinstrumente für das Bildungscontrolling zu entwickeln.

Claudia Röthlin HR ist unser Partner in der Schweiz zum Thema Lerncockpit und Bildungscontrolling.

Ausgewählte Publikationen(Download unter www.km.co.at)

Personalentwicklung• B. Simon, H. Treiblmaier: Weiterbildung

erfolgreich steuern - Studie identifiziert Erfolgsfaktoren für das betriebliche Bildungsmanagement, Personal Manager (1) 2007.

• B. Simon: Wie österreichische Unternehmen Weiterbildung managen, Personal Manager (2) 2005.

eLearning• B. Simon, R. Ostertag, R. Machal, P. Weihs:

Qualifizierung von Lieferanten über eLearning - Ein Pilotprojekt der Daimler AG, HMD - Praxis der Wirtschaftsinformatik, (259) 2008.

• B. Simon, H. Treiblmaier, G. Neumann: Elektronische Lernumgebungen in Bildungseinrichtungen: Eine Diskussion kritischer Erfolgsfaktoren, Zeitschrift für Betriebswirtschaft, Juli/August 2008.

• P. Dolog, B. Simon, W. Nejdl, T. Klobucar: Personalizing Access to Learning Networks, ACM Transactions on Internet Technology, 8(2) 2008.