67
Vortrag Barbara Ulreich, M. A. Weiterbildung Hessen e. V., Geschäftsführerin Qualitätssicherung

Qualitätssicherung - weiterbildunghessen.de · Assessmentverfahren • Kompetenzbilanzen, - analysen, -gitter, -raster, ... durch Beobachtung und Beurteilung des Individuums Reflexion

Embed Size (px)

Citation preview

Vortrag

Barbara Ulreich, M. A. Weiterbildung Hessen e. V., Geschäftsführerin

Qualitätssicherung

Qualitätssicherung

Barbara Ulreich

Geschäftsführerin Weiterbildung Hessen e.V.

Regionalkonferenz DEQA-VET am 02.06.2016 in Frankfurt am Main

1

2

• Qualität – was meint das eigentlich?

• Aktivitäten auf europäischer Ebene

• Aktivitäten auf nationaler Ebene

• Qualitätssicherung und

Kompetenzfeststellungsverfahren

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Qualität – was meint das eigentlich? gibt Auskunft über:

• Beschaffenheit oder Eigenschaft eines Gegenstands oder

einer Leistung

und/oder

• Güte eines Gegenstands oder einer Leistung

3

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Qualität – was meint das eigentlich? Eine mögliche Beschreibung: Der Kern des Qualitätsmanagements (QM) besteht darin, sowohl ein

Ergebnis (Produkt oder Dienstleistung) als auch den Prozess seiner

Hervorbringung (Produktion oder Dienstleistungserbringung) hinsichtlich

seiner erwünschten Eigenschaften zu definieren und zu beherrschen. Ziel

ist es, keine zufälligen Resultate, sondern vorausgeplante und gesteuerte

Ergebnisse zu erhalten, die sich primär an den Ansprüchen etwaiger

Kunden ausrichten (Universität Leipzig).

4

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Zielsetzungen von Qualitätssicherung • Transparenz

• Konsistenz

• Vergleichbarkeit

• Anerkennung

• Durchlässigkeit und Förderung der regionalen Mobilität

5

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Zielsetzung von Qualitätssicherung Es ist das Ziel, die berufliche Bildung attraktiv zu gestalten,

• damit auch zukünftig viele Menschen in diesem System

lernen und

• damit dem Fachkräftemangel entgegengewirkt wird.

6

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Vereinbarungen auf Europäischer Ebene

Qualitätszyklus

und

10 Indikatoren für Qualitätssicherung

7

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Vereinbarungen auf Europäischer Ebene

8

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Vereinbarungen auf Europäischer Ebene Indikator Nr. 10 für die Qualitätssicherung aus dem europäischen Bezugsrahmen ist: • Programme zur Verbesserung des Zugangs zur

Berufsbildung mit dem strategischen Ziel Verbesserung

des Zugangs zur Berufsbildung, auch für benachteiligte

Gruppen

9

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Vereinbarungen auf Europäischer Ebene Indikator Nr. 3 für die Qualitätssicherung aus dem europäischen Bezugsrahmen ist: • Teilnahmequote bei Berufsbildungsgängen mit dem

strategischen Ziel: Zielgerichtete Förderung des Zugangs

zur Berufsbildung, u.a. für benachteiligte Gruppen

10

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Qualitätsstandards in Deutschland (eine Auswahl) • Berufsbildungsgesetz

• Ausbildung-, Fortbildungs- und Prüfungsordnung

• Unternehmensspezifische Qualitätsziele,

zertifiziert nach:

DIN EN ISO 9001, DIN ISO 29990

Gütesiegel Weiterbildung Hessen e.V.

LQW, EFQM u. a.

11

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Qualitätskategorien des Gütesiegels „Geprüfte Weiterbildungseinrichtung“

12

I. Organisation

II. Personal

III. Infrastruktur IV. Bildungs-veranstaltungen

V. Verbraucher-schutz

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Qualitätssicherung und Kompetenzfeststellungsverfahren Schritte der Qualitätssicherung • Ergebnisse definieren

• Ergebnisse erheben

• Ergebnisse analysieren

• Maßnahmen zur Qualitätssicherung überlegen und

durchführen

13

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

14

Ein Beispiel für einen Qualitätsstandard: das Kompetenzfeststellungsverfahren liefert differenzierte Ergebnisse, damit der Lernende aber auch der Bildungsanbieter (unabhängig ob Betrieb oder Bildungsträger) exakt die Lerninhalte kennt das Lernangebot nahezu „maßgeschneidert“ also kostengünstig und zeitökonomisch organisiert werden kann

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Qualitätssicherung und Kompetenzfeststellungsverfahren Ein Beispiel für die Definition von „Differenzierten Ergebnissen“

• 1. Variante: EDV-Kenntnisse verbessern

• 2.Variante: Word-u.Excel-Kenntnisse verbessern

• 3. Variante:

für Excel: Tabellenblätter verknüpfen, pivot-Tabellen

erstellen und

für Word: Tabellen einfügen, Inhaltsverzeichnis

erstellen, mit dem Änderungsmodus arbeiten 15

BEGRIFFSKLÄRUNG ZIELE EBENEN VEREIN

Die größten Meister sind diejenigen, die nie aufhören, Schüler zu sein.

- Ignaz Anton Demeter

16

Vortrag

Helena Sabbagh & Markus Wölk Bundesinstitut für Berufsbildung

Die nationale Umsetzung des europäischen Qualitätssicherungs-

Ansatzes

Beauftragt vom Durchgeführt durch In Contentpartnerschaft mit

Gute Qualität in der beruflichen Bildung Qualitätssicherung in der Kompetenzfeststellung im

Rahmen der Nachqualifizierung 3. DEQA-VET Regionalkonferenz

02.06.2016

® DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.

®

1. Relevanz von Qualitätssicherungssystemen für Berufsanbieter

2. Investitionen in die Aus- und Weiterbildung von Lehrkräften und Ausbildern

3. Teilnahmequote bei Berufsbildungsgängen

4. Abschlussquote bei Berufsbildungsgängen

5. Vermittlungsquote für Absolventen von Berufsbildungsgängen

EQAVET Indikatoren

6. Nutzung der erworbenen Kenntnisse am Arbeitsplatz

7. Erwerbslosenquote (nach individuellen Kriterien)

8. Prävalenz besonders schutzbedürftiger Gruppen

9. Mechanismen zur Ermittlung der Berufsbildungsbedürfnisse auf dem Arbeitsmarkt

10. Programme zur Verbesserung des Zugangs zur Berufsbildung

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.

Beauftragt vom Durchgeführt durch In Contentpartnerschaft mit

Gute Qualität in der beruflichen Bildung Qualitätssicherung in der Kompetenzfeststellung im

Rahmen der Nachqualifizierung 3. DEQA-VET Regionalkonferenz

02.06.2016

®

EQAVET-Mitgliedstaaten

Quelle: www.eqavet.eu

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.

®

Aufgabenbereiche

Service-Stelle DEQA-VET / DBS

sonstige Aktivitäten

Delegationen

Online-Präsenz

Qualitäts-Tools

Veranstal-tungen

Expertentagung

Fachtagung

Regionalkonferenz

EQAVET-Netzwerk

Peer learning activities / Study visits

www.DEQA-VET.de

Newsletter

Dossier

Annual Network-Meeting / EQAVET

Forum

Arbeitsgruppen

Experts Meeting

Messen / Veranstaltungen

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.

®

Kontaktinformationen

Deutsche Referenzstelle für Qualitätssicherung in der beruflichen Bildung Bundesinstitut für Berufsbildung Helena Sabbagh ([email protected]) Markus Wölk ([email protected]) Robert-Schuman-Platz 3 53175 Bonn www.deqa-vet.de

Deutscher Bildungsserver Michaela Achenbach ([email protected]) Schloßstr. 29 D-60486 Frankfurt/Main www.dipf.de

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruflichen Bildung 02.06.2016 in Frankfurt a.M.

Vortrag

Prof. Dr. Peter Dehnbostel Deutsche Universität für Weiterbildung

Kompetenzfeststellungen – von der Beliebigkeit

zu qualitätsgesicherten Verfahren

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

1

Kompetenzfeststellungen – von der Beliebigkeit zu qualitätsgesicherten Verfahren

1. Kompetenzfeststellung – zwischen Einschätzungen und geregelten Verfahren

2. Kompetenzfeststellung in der Nachqualifizierung – Qualitätsdimensionen und Gütekriterien

Prof. Dr. Peter Dehnbostel Deutsche Universität für Weiterbildung www.peter-dehnbostel.de www.duw-berlin.de

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

Anerkennung und Anrechnung informell und nichtformal erworbener Kompetenzen

Anerkennung (in Betrie-ben, Arbeitsmarkt, …)

• Mitarbeitergespräche, Arbeitszeugnisse, Assessmentverfahren

• Kompetenzbilanzen, -analysen, -gitter, -raster, -inventare

• Diagnostik-, Personal- und Arbeitsanalyse-verfahren

Anerkennung und/oder Anrechnung

• BBiG-Möglichkeiten von berufl. Vorbildung bis Zeugnisgleichstellungen (§ 7, 8, 43 Abs. 2, 49, 50)

• Zugang zum Studium ohne HR (KMK 2009)

• Herstellerzertifikate, betriebsinterne Auf-stiegswege

Anrechnung

• Beruflich erworbene Kompetenzen auf Hochschulstudiengänge (KMK 2008)

• Externenprüfungen (Hauptschulabschluss über AHR bis BBiG § 45/HwO § 37)

• BQFG

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

Kompetenzfeststellungswege

Nichtformal erworbene Kompetenzen

Mögliche Kompetenzfeststellungen

Informell erworbene Kompetenzen

pauschal individuell

Äquivalenzprüfung Akkreditierung Kompetenzerfassung

Anerkennung/AnrechnungZuordnung

Anerkennung/Anrechnung Zuordnung

3

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

Rahmen der Qualitätssicherung in der Aus- und Weiterbildung: u.a.

• BBiG: Berufliche Handlungsfähigkeit als Ziel von Berufsaus- und Fortbildung (& 1, Abs. 3 und 4)

• Qualitätsmanagementsysteme nach DIN EN ISO 9000ff.; DIN ISO 29990; EFQM-Modell; Q2E

• Qualitätschecks und – siegel zur Weiterbildung wie Checkliste des BIBB, Gütesiegel von Weiterbildung Hessen e. V. mit drei Zertifizierungen

• Maßnahme- und Trägerzulassung im Rahmen der Arbeitsförderung nach SGB III durch die AZAV

4

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

5

Qualitätszyklus

1. Planning measureable objectives

2. Implementation procedures and frameworks

3. Evaluation assessment of processes

4. Review assessing results and changing

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

6

Kompetenzfeststellungen – von der Beliebigkeit zu qualitätsgesicherten Verfahren

1. Kompetenzfeststellung – zwischen Einschätzungen und geregelten Verfahren

2. Kompetenzfeststellung in der Nachqualifizierung – Qualitätsdimensionen und Gütekriterien

Prof. Dr. Peter Dehnbostel Deutsche Universität für Weiterbildung www.peter-dehnbostel.de www.duw-berlin.de

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

7

Anforderungen an Kompetenzfeststellungs-verfahren in der Nachqualifizierung

Bildungsbezug durch Orientierung an Persönlichkeitsentwicklung sowie durch strukturelle und Selbstreflexion

Berufsbezug Erfassung formal, informell und nichtformal erworbener Kompetenzen und Anerkennung auf berufliche Ausbildungsgänge

Transparenz durch breite Information und Offenlegung der Ziele und Zwecke

Professionalität durch qualifiziertes Beratungs- und Begleitper-sonal

Verlässlichkeit durch Einhaltung von Qualitäts- und Gütekriterien in der Durchführung

Gütekriterien wie: Verfahrensdokumentation, kommunikative Validierung, Regelgeleitetheit, Triangulation

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

Qualitätsdimension I: Anforderungsorientierte und entwicklungsorientierte Feststellungsverfahren

Zentrale Zielsetzung

Verbesserung des Arbeitsprozesses durch Beobachtung und Beurteilung des Individuums

Reflexion und Einschätzung der Fähigkeiten und Kompetenzen des Individuums

Methode des Verfahrens

„Objektive“ Kompetenzmessung und -beobachtung

Subjektiv orientierende Kompetenzeinschätzung

Ergebnis des Verfahrens

Beurteilung und Einordnung indi-vidueller Kompetenzbestände an festgelegten Standards

Einschätzung der individuellen Kom- petenzbestände im Hinblick auf Weiter- und Persönlichkeitsentwicklung

Anforderungsorientierte Verfahren

Entwicklungsorientierte Verfahren

Arbeit Individuum

8

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

Lern- kompetenz

Qualitätsdimension II: Berufliche Handlungskompetenz

Personal- kompetenz

Sozial- kompetenz

Fach- kompetenz

Berufliche Handlungs-kompetenz

Kommunikative Kompetenz

Methoden- Kompetenz

9

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

Phase 1: Information und Beratung

Qualitätsdimension III: Ablaufphasen der Kompetenzfeststellung

Phase 2: Bilanzierung (Identifizierung)

Phase 3: Beurteilung (Dokumentation)

Phase 4: formale Bewertung

Ergänzende Bildungsmaßnahmen

Phase 5: Bescheinigung Zertifizierung

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

EU zur Validierung nichtformalen und informellen Lernens (Empfehlung des RATs v. 20.12.2012)

• Bis spätestens 2018 Einführung nationaler Regelungen für die

Validierung informellen und nichtformalen Lernens • Das jeweilige Validierungssystem steht im Einklang mit den

nationalen Qualifkationsrahmen und dem Europäischen Qualifikationsrahmen (EQR)

• Im Prinzip besteht für jeden die Möglichkeit, sich einschätzen bzw. validieren zu lassen

Beschluss des Bundesrats vom 12.10.2012 • Die „Einführung von nationalen Validierungssystemen“ nach

Empfehlungen des Rats „würde zu einem umfassenden Wandel der Lern-, Anrechnungs- und Anerkennungskultur“ führen

11

DEQA-VET Regionalkonferenz: Gute Qualität in der Beruf-lichen Bildung, Frankfurt a. M., 02.06.2016 Prof. Dr. P. Dehnbostel: Kompetenzfeststellungen – Qualität

Vielen Dank für Ihre Aufmerksamkeit !

Vortrag

Dr. Anja Lietzmann k.o.s GmbH

Qualitätssicherung durch Evaluation

Qualitätssicherung durch Evaluation.

Das Beispiel Kompetenzfeststellungsverfahren

Dr. Anja Lietzmann, k.o.s GmbH

Regionalkonferenz am 02.06.2016 in Frankfurt am Main

Gute Qualität in der Beruflichen Bildung - Qualitätssicherung in der Kompetenzfeststellung im Rahmen der Nachqualifizierung

Evaluation von Kompetenzfeststellungsverfahren – wozu?

• Die Aussagekraft einerseits, die Wirksamkeit von Kompetenzfeststellung andererseits (‚Lohnt der Aufwand?‘) wurde immer wieder in Frage gestellt.

• Es ist daher ein berechtigtes Anliegen, Evaluationsverfahren (Kompetenzfeststellungsverfahren) selbst einer Evaluation zu unterziehen und zu prüfen, wie erfolgreich sie sind.

• Die Evaluation von Kompetenzfeststellungsverfahren ist gleichwohl ein vergleichsweise unterbelichtetes Thema.

• Die Evaluation von Kompetenzfeststellungsverfahren ist ein anspruchsvolles, komplexes, ressourcenintensives Unternehmen.

Agenda

1. Was leistet Evaluation?

2. Verhältnis von Qualitätssicherung und Evaluation

3. Evaluieren mit Nutzen

4. Evaluation von Kompetenzfeststellungsverfahren in fünf Schritten

Was leistet Evaluation?

• Begriff wird in der Alltagssprache verwendet um auszudrücken, dass etwas in irgendeiner Weise geprüft, bewertet oder beurteilt wurde

• definitorische Ungenauigkeiten und diffuse Aktivitäten in der Praxis

Was ist Evaluation?

Was ist Evaluation?

Kennzeichen wissenschaftlicher Evaluation

Systematische Verfahren der

Informationsgewinnung, Informationsanalyse und Informationsbewertung

Ziel- und Nutzenorientierung:

Transparenz über Ergebnisse und Wirkungen sowie deren Überprüfung auf Verbesserungspotenziale

Durchführung mittels wissenschaftlicher Techniken und Methoden (Methoden der empirischen Sozialforschung) sowie nach wissenschaftlichen Kriterien (Objektivität, Nachvollzieh-barkeit, etc.)

Was leistet Evaluation?

Zentrale Begriffe:

• Zielüberprüfung

• Erfolgsüberprüfung

Erfolg bestimmt sich aus den Zielen…

• spezifische Ziele des Kompetenzfeststellungsverfahrens

• übergeordnete Ziele der Organisation (Leitbild)

• Zielstellungen des Auftraggebers (bei öffentlicher Förderung)

• Ziele der Kund/innen / Teilnehmenden

…und dem Grad der Zielerreichung

Was leistet Evaluation?

Generierung von Erkenntnissen

Identifikation von Erfolgen und Problemen

Systematische Optimierung nicht-erfolgreichen Tuns

Überprüfung der Zielerreichung

Systematische Verstärkung erfolgreichen Tuns

Verhältnis von Evaluation und Qualitätssicherung

Evaluation und Qualitätssicherung

Ähnliche Zielstellungen:

• Initiierung eines kontinuierlichen Verbesserungsprozesses – Qualitätsverbesserung eines Produkts oder Dienstleistung

• Herstellung von rationalen Entscheidungsgrundlagen für das Management

• Legitimation von Entscheidungen gegenüber verschiedenen Parteien

PDCA-Zyklus (William Edwards Deming)

Evaluation und Qualitätssicherung

DO

Ausführung

CHECK

Überprüfung

ACT

Handeln

PLAN

Planen

Wie soll das K-Verfahren sein?

* Ziele festlegen

* Tätigkeiten planen

Was tun wir, wie setzen wir das K-Verfahren um?

* Tätigkeiten umsetzen

Was wurde mit dem K-Verfahren erreicht?

* Inputs, Prozesse, Ergebnisse und Wirkungen überprüfen

* Vergleich Planung - Ergebnisse

Was ist noch zu tun?

* Fehler beheben

* Verbesserungen einleiten

Evaluieren mit Nutzen

Ziel: Eine Evaluation, die wirklich nützt

Problemlagen:

• Evaluation als teures Ritual, das mehr mit Dekoration als mit der Initiierung von Verbesserungen zu tun hat

• Befunde und die daraus abgeleiteten Empfehlungen werden oft nicht umgesetzt, weil:

• Organisationen verfügen über enorme Beharrungskräfte, die Evaluationsbefunde nicht überwinden kann

• es fehlt an politischem Willen

• politisch unliebsame Evaluationsergebnisse verschwinden in der „Schublade“

Wenn ich nicht weiß, zu welchem Zweck ich ein Kompetenzfeststellungs-verfahren evaluiere, bleibt die Evaluation wirkungslos!

Der Nutzen generiert sich aus den spezifischen Interessen, die eine Organisation mit der Evaluation verbindet – und ist daher individuell zu bestimmen.

Organisationen müssen daher einen Reflexionsprozess durchlaufen:

• Was genau erwarte ich von der Evaluation?

• Worin genau besteht der Informationsbedarf?

• Was genau will ich mit der Evaluation erreichen – und für wen?

• Welche Wirkungen erwarte ich von der Evaluation?

Wozu evaluieren? (Nutzen & Funktionen)

Wozu evaluieren? (Nutzen & Funktionen)

Erkenntnisfunktion

Erkenntnisgewinnung über Inputs, Prozesse, Outputs und/oder Outcomes

Kontrollfunktion

Überprüfung der Ziele, die die Organisation an sich und ihre Bildungsangebote richtet (Soll-Ist-Abgleich)

Entwicklungsfunktion

Im Sinne der internen Qualitätssicherung werden Evaluationsbefunde genutzt, um Prozesse und Ergebnisse zu reflektieren, Entwicklungspotenziale zu identifizieren und Angebote zu optimieren

Legitimationsfunktion

Evaluationsbefunde werden genutzt, um einer Rechen-schaftspflicht gegenüber Externen (etwa Auftrag-gebern) zu genügen und z.B. auch den erbrachten gesellschaftlichen Nutzen transparent zu machen bzw. in ein nachvollziehbares Verhältnis zum öffentlichen Aufwand zu setzen

Marketingfunktion

Evaluationsbefunde werden genutzt, um nach außen mehr Transparenz über eigene Angebote herzustellen

Dialogfunktion

Evaluationsbefunde werden genutzt, um einen Dialog zwischen verschiedenen Akteuren (Personal, Kund/Innen, Auftraggebern etc.) zu initiieren

Evaluation von Kompetenzfeststellungsverfahren in fünf Schritten

Fünf Schritte – Überblick

1

Evaluationsgegenstand festlegen

2

Forschungsleitende Fragestellungen festlegen

3

Indikatoren festlegen

4

Methoden & Instrumente festlegen

5

Dateninterpretation und -bewertung

Vier Kategorien von Evaluationsgegenständen:

Schritt 1: Was evaluieren? (Gegenstand)

Inputs

Bedingungen und Unterstützungsstrukturen für das Kompetenz-feststellungsverfahren

z.B.: Ressourcen, einzu-setzende Materialien und Equipment, Räume und Ausstattung, Konzept des Verfahrens (zu erfassende Kompetenzen, einzusetzende Methoden & Instrumente, Dauer, Inhalte, Gestaltung) Kompetenzen des Personals, Kooperation durch die Teilnehmenden

Prozesse

Verlauf des Kompetenzfeststellungs-verfahren

z.B.: Organisation, Planung und Durchführung des Verfahrens, Einhaltung von Qualitätsstandards (z.B. Datenschutz, Verfahrens-transparenz), Kommuni-kation mit den Teil-nehmenden, technische Funktionsweise (bei online-Verfahren)

Outputs

Konkrete Ergebnisse des Kompetenzfeststellungs-verfahrens

z.B.: Anzahl / demo-graphische Merkmale der Teilnehmenden, Zielgruppenerreichung, Feststellung/Dokumen-tation von fachlichen Kompetenzen, Nutzen aus Teilnehmendensicht/ Teilnehmendenzufrieden-heit (z.B. Erkenntnisse über Kompetenzen, Impulse zur beruflichen (Neu-) Orientierung, Spaßfaktor, Empowerment)

Outcomes

Wirkungen für die Teil-nehmenden oder allg. im Feld von Bildung/Arbeits-markt (nachhaltiger Erfolg)

z.B.: Bestimmung von geeigneten Berufsfeldern, Einschätzung des Quali-fizierungsbedarfs, Erstel-lung eines Bildungsfahr-plans, Eintritt in eine Quali-fizierungsmaßnahme / eine andere berufliche Option (z.B. bezahlte Arbeit, Sprachkurs), Erwerb eines Abschlusses, Integration in den Arbeitsmarkt, Beitrag zur Bekämpfung von Erwerbslosigkeit

Die ‚richtigen‘ Fragen stellen: Was genau will ich wissen, wenn ich den Erfolg von Kompetenzfeststellungsverfahren evaluiere? (Operationalisierung)

Aussagekraft (Validität: Misst das Verfahren, was es zu messen vorgibt?):

• Bildet das Verfahren die festzustellenden Kompetenzen genau/realistisch ab?

• Erhebt das Verfahren zuverlässige Informationen zur beruflichen Handlungskompetenz?

etc.

Schritt 2: Was evaluieren? (forschungsleitende Fragen)

Wirksamkeit

• Produziert das Verfahren valide Informationen, die eine realistische Einschätzung des Nachqualifizierungsbedarfs bzw. alternativer beruflicher Optionen zulassen?

• Produziert das Verfahren valide Informationen, um geeignete Berufsfelder zu identifizieren?

• Produziert das Verfahren valide Informationen, um eine passgenaue Qualifizierungsmaßnahme zu identifizieren?

• Trägt das Verfahren dazu bei, dass die Integration in den Arbeitsmarkt gelingt?

etc.

Schritt 2: Was evaluieren? (forschungsleitende Fragen)

Einfluss von Input- und Prozessfaktoren (Wovon hängt der (Miss-)Erfolg ab?)

• Welche Input- und/oder Prozessfaktoren haben welchen Einfluss auf die Ergebnisse und/oder Wirkungen des Verfahrens?

• Welche fördernden / hemmenden Faktoren führen zum Ergebnis X?

z.B.: Ist das Konzept des Verfahrens (seine Methoden, Instrumente, Dauer etc.) geeignet, um valide Informationen zu vorhandenen/fehlenden Kompetenzen zu erheben?

Oder wäre ein weniger komplexes, und damit ggf. ressourcen- schonenderes und kürzeres Verfahren ebenso zielführend?

Oder umgekehrt: Müsste das Verfahren um andere Methoden erweitert und deutlich komplexer gestaltet werden?

(Hypothesen)

Schritt 2: Was evaluieren? (forschungsleitende Fragen)

Beispiele für relevante Indikatoren von Kompetenzfeststellungsverfahren:

• Zahl der durchlaufenden/abgeschlossenen Verfahren

• Zahl der beruflich (besser) orientierten Teilnehmenden nach Verfahren

• Zahl der Teilnehmenden, die auf Basis des Verfahrens eine Qualifizierungsmaßnahme gestartet haben

• Passgenauigkeit der Qualifizierungsmaßnahme gemäß dem Kompetenzprofil des Teilnehmenden (gezieltes Füllen von Kompetenzlücken?)

• Zahl der Teilnehmenden, die eine Qualifizierungsmaßnahme erfolgreich abgeschlossen haben (Prüfung bestanden)

• Zahl der Teilnehmenden, die anschließend in den Arbeitsmarkt integriert werden konnten & Art der Beschäftigung (gemäß den Qualifikationen?)

• Zahl der gestärkten Teilnehmenden (Empowerment) & Art der Stärkung

• Weitere Beiträge zur (beruflichen) Weiterentwicklung der Teilnehmenden

Schritt 3: Was evaluieren? (Indikatoren)

Komplexität des Gegenstandes „Kompetenzfeststellungsverfahrens“:

Durch welche Methoden sich die oben genannten (Teil-)Gegenstände untersuchen und die forschungsleitenden Fragestellungen beantworten lassen, ist alles andere als banal.

• Hier stößt eine Evaluation schnell an Ressourcen-Grenzen.

• Viele Evaluationsaufgaben – insbesondere Wirkungsanalysen – sind Aufgaben für Evaluationsexpert/innen (und nicht für die im Feld agierenden Organisationen).

• Dazu kommen praktische Probleme der Datenerhebung: Evaluationen basieren auf Informationen von Personen, die nicht immer kooperativ sind (z.B. Langzeituntersuchungen unter Teilnehmenden).

Was tun? – Realistische Optionen ausloten, prüfen und nutzen

Schritt 4: Wie evaluieren? (Methoden und Instrumente)

Die Bandbreite an Methoden der empirischen Sozialforschung nutzen:

Schritt 3: Wie evaluieren? (Methoden und Instrumente)

Umfrage

Interview

Dokumentenanalyse

Beobachtung Fokus-Gruppe

Monitoring

Wie bestimme ich eine geeignete Methode?

• Kriterium: Die Methoden sollte die benötigten Informationen generieren.

• Sowohl quantitative als auch qualitative Methoden in Betracht ziehen.

• Die Methode sollte sowohl wissenschaftlichen Gütekriterien genügen als auch praxistauglich sein.

• Zielgruppen sind all jene, die Auskunft über die Zielerreichung geben können: Teilnehmende, das Verfahren durchführendes Personal, Bildungseinrichtungen, Unternehmen, Prüfungseinrichtungen/Kammern, BA etc.

Schritt 3: Wie evaluieren? (Methoden und Instrumente)

Wie komme ich nun zu einem Urteil hinsichtlich meines Kompetenzfeststellungsverfahrens?

• Die gesammelten Daten müssen mittels vorab festzulegender Bewertungs- und Erfolgskriterien interpretiert und bewertet werden.

Was ist ein gutes oder schlechtes Ergebnis?

• Es gibt keinen objektiven Maßstab für Erfolg.

• Erfolg bemisst sich an den gesetzten Zielen und den dort ggf. festgelegten Kennziffern, ggf. auch an Vorgaben durch den Auftraggeber, und an den Rahmenbedingungen

Schritt 4: Dateninterpretation und -bewertung

Und was, wenn sich ein Ergebnis als Misserfolg herausstellt?

• Grundsätzlich macht Evaluation nur Sinn, wenn man bereit ist, das Risiko des Nachweises von Misserfolgen einzugehen.

• Daher sollte während des Planungsprozesses reflektiert werden:

• unter welchen Voraussetzungen Misserfolge überhaupt transparent gemacht werden können,

• wie später mit Misserfolgen umgegangen werden soll, welche Konsequenzen gezogen werden sollen/können.

Schritt 4: Dateninterpretation und -bewertung

Vielen Dank für Ihr Interesse. F & A

k.o.s GmbH

Am Sudhaus 2

12053 Berlin

Tel. 030-2887 565-10

[email protected] www.kos-qualitaet.de

@kos_qualitaet