48
Zertifizierte Qualität bei Service, Beratung und Interessenvertretung © 2016 IHK Region Stuttgart Prüfen mit Herz und Verstand 1. IHK-Prüferkongress für ehrenamtliche Prüferinnen und Prüfer der IHK Neubrandenburg Qualitätsaspekte im Produktionsprozess von PAL-Prüfungen Jürgen Siegle Leiter der Prüfungsaufgaben- und Lehrmittelentwicklungsstelle (PAL) IHK Region Stuttgart

Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

Zertifizierte Qualität bei Service, Beratung und Interessenvertretung © 2016 IHK Region Stuttgart

Prüfen mit Herz und Verstand 1. IHK-Prüferkongress für ehrenamtliche Prüferinnen und Prüfer der IHK Neubrandenburg

Qualitätsaspekte im Produktionsprozess von PAL-Prüfungen Jürgen Siegle Leiter der Prüfungsaufgaben- und Lehrmittelentwicklungsstelle (PAL) IHK Region Stuttgart

Page 2: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Prüfungskompetenz der IHK-Organisation

Quelle:

BiBB (Hrsg.): Die anerkannten

Ausbildungsberufe 2014

Bielefeld 2014

173

64

51

13

9 6

13

IHK IHK/HWK HWK LW/Haus. FB ÖD Ind./ÖD/Sonst.

Zuständigkeit für die 329 anerkannten Ausbildungsberufe (Stand 2013)

2 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 3: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Prüfungskompetenz der IHK-Organisation

Abschlussprüfungsteilnehmer nach Ausbildungsbereichen 2015

Abgeleitet aus:

Destatis:

Berufliche Bildung 2015

3 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Landwirtschaftsberufe 3%

(11.958)

IHKs 63 %

(289.002)

Hauswirtschaftsberufe 1%

(2.205)

Öffentlicher Dienst 2% (11.712)

Freie Berufe 8% (35.703)

HwKs 24% (110.028)

Page 4: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Landkarte der Aufgabenerstellung

Die AkA erstellt für alle IHKs bundeseinheitliche Prüfungsaufgaben in derzeit 29 kaufmännischen und kaufmännisch-verwandten Ausbildungsberufen

Die ZPA Nord-West erstellt für alle IHKs bundeseinheitliche Prüfungsaufgaben in derzeit 30 kaufmännischen und kaufmännisch-verwandten Ausbildungsberufen

Die PAL erstellt für alle IHKs bundeseinheitliche Prüfungsaufgaben in derzeit 136 gewerblich-technischen Ausbildungsberufen

AkA Nürnberg

ZPA NW Köln

Der ZFA Kassel erstellt bundeseinheitliche Prüfungsaufgaben für die Berufe der Druck- und Medienindustrie

PAL Stuttgart

ZFA Kassel

4 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 5: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

PAL – Prüfungsaufgaben- und Lehrmittelentwicklungsstelle

Die im Frühjahr 1948 gegründete Prüfungsaufgaben- und Lehrmittelent-wicklungsstelle (PAL) entwickelte zunächst für 11 IHKs in Württemberg Aufgaben für gewerblich-technische Ausbildungsberufe

Heute sind alle 79 IHKs und eine zunehmende Zahl an HWKs und AHKs Kunden der PAL

Bis dato ist der Aufwand für die Aufgabenerstellung, -durchführung und -auswertung permanent gestiegen

Folge:

IHKs, HWKs und Unternehmen nehmen heute mehr denn je die Dienstleistungen der PAL in Anspruch

5 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 6: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Aufgaben der PAL

• Herstellung optimierter, bundeseinheitlicher Aufgabensätze für Zwischen- und Abschlussprüfungen in 136 gewerblich-technischen Ausbildungsberufen, Fachrichtungen, Einsatzgebiete etc. für alle 79 Industrie- und Handelskammern Deutschlands

• Entwicklung von Lehrmitteln und Informationsmaterial zu den gewerblich-technischen Zwischen- und Abschlussprüfungen

• Berücksichtigung wissenschaftlicher Erkenntnisse aus den Bereichen der Testtheorie und der Pädagogik sowie der Erfahrungen der Berufs- und Prüfungspraxis

• Modellprojekte

• Begleitung von Neuordnungsverfahren

6 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 7: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

PAL - Fachausschüsse

Die Fachausschüsse sind paritätisch mit Arbeitgeber- und Arbeitnehmerbeauftragten sowie Lehrern beruflicher Schulen (analog § 40 BBiG) besetzt. Die Fachausschuss-Mitglieder

• werden von den IHKs und vom DGB vorgeschlagen,

• von der PAL für fünf Jahre berufen, • sind als Ausbilder oder als Berufsschullehrer

tätig und tagen in der Regel zwei- bis dreimal jährlich bei der PAL in Stuttgart.

Die Tätigkeit im Fachausschuss ist ehrenamtlich.

7 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 8: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Aufgaben der PAL-Fachausschüsse

• Auswahl, Entwicklung und Beschluss der schriftlichen und praktischen Zwischen- und Abschlussprüfungen.

• Festlegung des Umfangs und der Tiefe der Prüfungen in den einzelnen beruflichen Qualifikationen.

• Gewichtung der Prüfungselemente, sofern sie nicht in der Verordnung vorgegeben sind.

8 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 9: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

• Entwicklung von schriftlichen Prüfungen

• Konzeption, Entwicklung und Erprobung von praktischen Prüfungsaufgaben

• Erprobung, Nachbau und Kontrolle der Prüfungsaufgaben durch die PAL-Fachausschuss- und Arbeitskreis-mitglieder

Aufgaben der PAL-Fachausschüsse

9 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 10: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Aufgaben der PAL-Fachausschüsse

• Kritische Durchsicht von Entwürfen, Erprobung bzw. Nachbau mit dem Ziel, die Durchführbarkeit der Prüfungen zu gewährleisten (Qualitätssicherung).

• Auswertung der statistischen Prüfungsergebnisse und Stellungnahmen mit dem Ziel der Optimierung von Prüfungen (Qualitätsoptimierung).

• Feedback zu Prüferrückmeldungen via Prüfungs-Feedback.

10 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 11: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Prüfungsaufgabenentwicklung in Zahlen (2016)

In 2016 erstellten bei der PAL

in

an

Prüfungsaufgaben für Zwischen- und Abschlussprüfungen in

1.015 ehrenamtliche Fachausschuss- und Arbeitskreismitglieder

638 Sitzungstagen

126 Fachausschüssen und Arbeitskreisen

135 Ausbildungsberufen und Fachrichtungen

11 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 12: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualität und Prüfungskompetenz

Warum prüfen wir?

Warum bundesweit vergleichbare Prüfungen?

12 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 13: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Warum prüfen wir?

„…, eine duale Berufsausbildung bereitet auf mehr als eine spezifische Tätigkeit in einem Unternehmen oder Betrieb vor... , eine solche Form der Qualifizierung (eröffnet) den Unternehmen und Betrieben flexible interne Einsatzmöglichkeiten und den Arbeitnehmer/-innen Mobilität auf dem Arbeitsmarkt.“ Quelle: Deutscher Bundestag Drucksache 16/4706 v.19.03.2007

Vergleichbarkeit von Ausbildungsabschlüssen

Qualitätssicherung der Ausbildung

Chancengleichheit gewährleisten

13 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 14: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Spezifika der IHK Prüfungen und tangierte Gütekriterien

Berufseingangsprüfung

Ergebnisfeststellung als Verwaltungsakt

Wiederkehrende Massenprüfung

• Externe Validität (Praxis- und Handlungsorientierung)

• Inhaltliche Validität (gemäß AO/RLP)

• Reliabilität und Trennschärfe

• Objektivität

• Transparenz

• Justiziabilität

• Ökonomie/Effizienz

GE

HE

IMH

ALT

UN

G

14 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 15: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualität und Prüfungskompetenz

Warum prüfen wir?

Warum bundesweit

vergleichbare Prüfungen?

15 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 16: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

• Vergleichbarkeit/Objektivität

– Einheitliche Prüfungsstrukturen/Abläufe – Geringerer Einstellungs- und Auswahlaufwand für Unternehmen

• Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

– Höhere Beschäftigungschancen für die Arbeitnehmer – Objektive und überörtliche Aussagekraft zur Leistung der

Absolventen unabhängig von regionalen Besonderheiten

Warum überregionale Prüfungen?

16 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 17: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

• Positive Effekte zentraler bzw. unabhängiger Prüfungen (Ergebnisse wissenschaftlicher Vergleichsstudien im schulischen Bereich)

– Vermeidung von Referenzgruppeneffekten (Orientierung an absoluten statt an relativen Standards)

– Veränderte Anreizstruktur/Motivation bei Schülern und Lehrern – Feedback für Pädagogen (Ausbilder/-innen) zur Verbesserung des

Unterrichts (Ausbildung) => Evaluative Funktion von Prüfungen

• Qualitätssicherung

– Qualitätsgesicherte Erstellung der Aufgaben – Zentrales Kritikverfahren

• Ökonomie der Aufgabenerstellung

Warum überregionale Prüfungen?

17 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 18: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualität und Prüfungskompetenz

Qualitäts-kriterien der Entwicklung

von Prüfungen

Warum prüfen wir?

Warum bundesweit

vergleichbare Prüfungen?

18 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 19: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

PLAN DO

CHECK ACT

Geheim-haltung

Wie setzen wir unsere Anforderungen qualitativ um? Wie werden die Prüfungen erstellt?

Umsetzen/Ausführen der

Aktivitäten, die im „PLAN“ festgelegt wurden

Wie erfolgt die Kontrolle des Erstellungsprozesses? Wie sichern wir die Qualität der Prüfungsunterlagen? Erfolgskontrolle Überprüfung der Planung

und Umsetzung

Wie sichern wir die Qualität des Erstellungsprozesses? Was lernen wir aus dem Prozess? Qualitätssicherung Kontinuierlicher

Verbesserungsprozess

Wie sehen die Rahmen-bedingungen aus? Was ist laut Verordnung zu prüfen? Anforderungen ermitteln Aktivitäten festlegen Standards definieren

19 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 20: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

PLAN

Geheim-haltung

Wie sehen die Rahmen-bedingungen aus? Was ist laut Verordnung zu prüfen? Anforderungen ermitteln Aktivitäten festlegen Standards definieren

Anforderungen ermitteln Aktivitäten festlegen Organisation: • Strukturen/Rahmenbedingungen

schaffen • Anforderungen ermitteln • Gremien berufen • Prozesse definieren / Aktivitäten

und Zuständigkeiten festlegen / Terminpläne erstellen und überwachen

Geheimhaltung: • Abläufe definieren • Rahmenbedingungen schaffen

Prozessübersicht

PLAN

20 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 21: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

DO

Geheim-haltung

Prüfungsaufgabenentwicklung • Der Fachausschuss legt die

inhaltlichen Rahmenbedingungen der Prüfung fest

• Entwicklung der Prüfungsaufgaben • Erprobung bzw. Nachbau der

Prüfungen • Erstellung der Prüfungsunterlagen • Beschluss der schriftlichen bzw.

praktischen Aufgaben • Nutzungsrechte/Urheberrechtsfragen

klären • Abstimmung Freigabe, Druck und

Versand der fertigen Prüfung Geheimhaltung: • Rahmenvorgaben einhalten • Reserveaufgabensätze vorhalten

Prozessübersicht

DO

Wie setzen wir unsere Anforderungen qualitativ um? Wie werden die Prüfungen erstellt?

Umsetzen/Ausführen der

Aktivitäten, die im „PLAN“ festgelegt wurden

21 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 22: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

CHECK

Geheim-haltung

Überprüfung der Planung und Umsetzung, sowohl der Organisation, als auch der Inhalte der Prüfung Kontrolle/Erprobung und Optimierung Organisation:

• Termineinhaltung • Bestellwesen, Druck & Versand

Erstellung:

• Erprobung, Nachbau und Kontrolle der Prüfungsaufgaben

• Endkontrolle/Lektorat • Schriftliche Prüfungsunterlagen • Praktische Prüfungsunterlagen • zusätzlichen Prüfungsunterlagen • Zeichnungen

Geheimhaltung:

• Druck und Versand • Aufbewahrung der Prüfungsaufgaben

CHECK

Wie erfolgt die Kontrolle des Erstellungsprozesses? Wie sichern wir die Qualität der Prüfungsunterlagen? Erfolgskontrolle Überprüfung der Planung

und Umsetzung

22 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 23: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

ACT

Geheim-haltung

Qualitätssicherung und -optimierung Kontinuierlicher Verbesserungsprozess (KVP) • Fachlicher Support bei Rückfragen von

Unternehmen und Prüfern • Korrekturmeldungen während und

nach der Prüfungsdurchführung • Prüferrückmeldungen zu Niveau und

Qualität der Prüfungen • Prüfungsauswertung durch

bundesweite Statistiken • Analyse der Korrekturmeldungen i.S.

einer Fehlermöglichkeits- und Einflussanalyse (FMEA)

Geheimhaltung: • Audits/Regelmäßige Zertifizierung der

Sicherheitsrichtlinie zur Geheimhaltung • Nachverfolgung

ACT

Wie sichern wir die Qualität des Erstellungsprozesses? Was lernen wir aus dem Prozess? Qualitätssicherung Kontinuierlicher

Verbesserungsprozess

23 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 24: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

FMEA bei der Entwicklung und Umsetzung von Prüfungen

Analyse und Besprechung der Prüfungen, Stellungnahmen und Statistiken im Erstellungsausschuss, um Optimierungen für zukünftige Prüfungen abzuleiten.

ACT

Prüfungsdurchführung

Prüferrückmeldungen

Prüfungsauswertung

IHK-Rückmeldungen

Korrekturmeldungen

• werden nach Häufigkeit und Fehlerursache ausgewertet

• Verbesserungsmaßnahmen werden dokumentiert

• Umsetzung der Maßnahmen wird kontrolliert

• Erkenntnisse werden für zukünftige Prüfungen genutzt

Prüfungsstatistiken

• Prüfungsniveau und Vorgabezeit

• Bundesweite Ergebnisse

• Einzelne Aufgabe

Prüfungs-Feedback

• Prüfungsniveau und

Vorgabezeit

• Kritik + Anregungen

• Zufriedenheit

Technischer Ausschuss

• Einheitliche Prüfungstermine

• Abstimmung der Prüfungs-

organisation und -durchführung

24 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 25: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Die Geheimhaltung

Die DIHK-Geheimhaltungsrichtlinie:

Die Sicherstellung der Geheimhaltung bei Erstellung, Druck, Versand und der Organisation von Prüfungen ist für die PAL eine große Herausforderung

Die Sicherstellung durch die Kunden der PAL und die Prüfungsausschüsse ist ebenso bedeutend, um die Sicherheitskette zu schließen

25 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 26: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Geheimhaltung – Warum?

www.gutefrage.net www.uni-protokolle.de www.techniker-forum.de www.mechatroniker-treff.de facebook whatsapp-chats…

Quelle: www.youtube.com

Quelle: www.welt.de

Quelle: www.amazon,com

26 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 27: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Ein definierter Alarmplan der PAL regelt die Vorgehensweise im Geheimhaltungsfall

Der IHK-Krisenstab entscheidet im Einzelfall:

über den Austausch von Prüfungen/Prüfungsteilen über die Verlegung eines Prüfungstermins

Vorhalten von Reserveaufgabensätzen

Regelmäßige Zertifizierung der Sicherheitsrichtlinie zur Geheimhaltung im Rahmen der ISO-Zertifizierung

Die Geheimhaltung

27 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 28: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Die PAL im Internet

Besuchen Sie uns im Internet unter

www.ihk-pal.de

und abonnieren Sie unseren

kostenlosen

PAL-Newsletter.

Dieser informiert Sie stets tagesaktuell.

28 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 29: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Vielen Dank für Ihre Aufmerksamkeit

Jürgen Siegle Leiter der PAL IHK Region Stuttgart Prüfungsaufgaben- und Lehrmittelentwicklungsstelle (PAL) Jägerstraße 30, 70174 Stuttgart Telefon +49 (711)2005-1810, [email protected] http://www.ihk-pal.de

29 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 30: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

• Voraussetzungen für die Mitgliedschaft in PAL-Fachausschüssen:

• Sachkunde auf dem Prüfungsgebiet im jeweiligen Ausbildungsberuf

• Berufung als Prüfer/-in

• Beherrschung der für den Beruf notwendigen praktischen und theoretischen Kenntnisse

• Aktiv im Berufsleben stehen

• …

PLAN

Qualitative Voraussetzungen für Mitglieder in PAL-Aufgabenerstellungsausschüssen

30 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 31: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitative Voraussetzungen für Mitglieder in PAL-Aufgabenerstellungsausschüssen

Die Mitglieder eines Fachausschusses müssen vertraut sein mit

• dem Ausbildungsberufsbild,

• dem Ausbildungsrahmenplan,

• den Prüfungsanforderungen,

• den KMK-Rahmenlehrplan und

• dem Lehrplan des Bundeslandes

des Berufs, in dem sie Prüfungen erstellen.

PLAN

31 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 32: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

PAL-Terminplan der Prüfungserstellung

Der Terminplan gibt die Eckpunkte bis

zum Versand- und Prüfungsbeginn der

jeweiligen Prüfung vor.

Darüber hinaus regelt er die

Terminüberwachung zur Einhaltung

der Terminvorgaben.

PLAN

32 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 33: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Auszug:

• Verpflichtung zur Verschwiegenheit.

• Keine Einsicht in Prüfungsunterlagen für Unbefugte

• Datengerechte Entsorgung von Entwürfen, nicht mehr benötigten Aufgabenexemplaren etc.

• Prüfungsunterlagen codieren. Die Angabe von Berufsbezeichnungen und Prüfungsterminen

ist nicht gestattet.

• Der Fax-Versand von Prüfungsaufgaben/-sätzen ist nicht zulässig

• …

Geheimhaltung Vorgaben für Erstellungsausschuss-Mitglieder

PLAN

33 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Prozessübersicht

Page 34: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

Prüfungsaufgabenentwicklung Fachausschuss der PAL

Festlegung des Umfangs und der Tiefe der Prüfungen

Gewichtung der Prüfungselemente, sofern sie nicht in der Verordnung vorgegeben sind

Ermittlung des schriftlichen Aufgabenbedarfs

Festlegung der Art der praktischen Aufgabe (Projekt, Arbeitsprobe, etc.)

Aufgabenverteilung und Terminvorgabe je Prüfung festlegen

Einhaltung des vorgegebenen Terminplans zur fristgerechten Erstellung der Prüfungen

DO

34 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 35: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

Qualitätsstandards

Beruflichkeit und Handlungskompetenz prüfen

Einhaltung von Prüfungsstandards (Aufgabengestaltung, -formulierung, Layout ….)

Erkennung von Leistungsstarken und Leistungsschwachen (Gauß`sche Verteilung)

Beachtung von Gesetzen und technischer Normen und Regelwerke (z.B. DIN ISO)

Nutzung von Checklisten zur Qualitätsabsicherung

Kosten im Blick haben

Geheimhaltung:

• Einhaltung der Geheimhaltungsrichtlinien

• Vorhalten von Reserveaufgabensätzen

• …

DO

35 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 36: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

Schriftliche Prüfungen

• Neuentwicklung bzw. Auswahl und Aktualisierung vorhandener Aufgaben

• Entwicklung von Lösungen und Lösungsvorschlägen

• Erprobung der schriftlichen Aufgaben

• …

Praktische Prüfungen

• Konzeption und Entwicklung der praktischen Prüfung

• Entwicklung der zugehörigen Beschreibungen, Pläne, Bewertungen, Hinweise und

Lösungsvorschläge

• Nachbau der praktischen Prüfung

• …

Prozessübersicht

DO

36 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 37: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Aufgabenbank

DO

zurück

37 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 39: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

• Aufträge aus der Praxis wählen

• Durchführbarkeit prüfen

• Einhaltung der Vorgabezeit nach Ausbildungsverordnung

• Verwendung von:

- „Gebräuchlichen“ Normteilen, Halbzeugen (keine „Sondergrößen“)

- „Gebräuchlichen“ Werk- und Messzeugen (keine „Sondergrößen/-werkzeuge“)

• Standard-Materialbereitstellungsliste beachten

• Werkzeugpool und ggf. Materialpool auf Standard begrenzen

• Möglichst wenig Vorarbeit/Prüfungsvorbereitung

Entwicklung praktischer Prüfungsaufgaben

DO

zurück

39 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 40: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

PAL-Checklisten Prüfung (Bsp.)

Schriftliche Prüfung Praktische Prüfung

zurück

DO

40 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 41: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Welche Kosten sind zu beachten?

• Entwicklungsaufwand beim Erstellungsausschuss

• Durchführungsaufwand • Zeitaufwand für Prüfungsausschuss • Zeitaufwand für Unternehmen • Zeitaufwand für Prüflinge • Zeitaufwand für IHKs • Kosten für Prüfungsmaterialien, Werkzeuge und Maschinen

• Auswertungsaufwand • Zeitlicher Aufwand für Bewertung

• …

DO

zurück

41 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 42: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Qualitätskriterien der Entwicklung und Umsetzung von Prüfungen

Endkontrolle der Prüfungsunterlagen mindestens auf:

• Verordnungskonformität

• Anpassung auf die Berufsbildposition

• Einhaltung von Normen (DIN, VDE, etc.)

• Einhaltung der formalen Vorschriften für technische Zeichnungen und Schaltpläne

• Sprachliche Formulierung etc. nach PAL-Standards

• Einheitliches Layout

• …

CHECK

zurück

42 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 43: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

PAL- Lektorat

Am Bsp. des Berufs Industriemechaniker/-in

zurück

CHECK

43 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 44: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Maßnahmenplan

Korrekturmeldungen werden nach Häufigkeit und Fehlerursache ausgewertet

• Verbesserungsmaßnahmen werden dokumentiert

• Die Umsetzung der Maßnahmen wird regelmäßig kontrolliert

• Erkenntnisse werden für zukünftige Prüfungen genutzt

Überprüfung derschrift- prak- Verbesserungs-

Termin BNR Berufsbezeichnung Datum Referat lich tisch Inhalt Ursache maßnahme durch am durch am

Frühjahr 14 Beruf 1 Berufsbezeichnung 1 08.04.2014 Referat 1 1Keine Auswahlantwort zutreffend, Aufgabe nicht lösbar.

Aufgabenanpassung an das Projekt, Angabe der

Bearbeitungsrichtung passt nicht zur Lösung 2 oder

einer anderen Auswahlantwort

Verbesserung des Frageteils, Hinzufügen der Bearbeitungsrichtung passend zur Lösung 2

Mitarbeiter,ExternerDienst-leister

Datum 1 Leitung 1 sofort

Umsetzung Umsetzung

ACT

zurück

44 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 45: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Prüfungs-Feedback

Das Prüfungs-Feedback:

• Besprechung der Prüferrückmeldungen in den Erstellungsschüssen

• Ableitung von Maßnahmen und Verbesserungen, zur Optimierungen zukünftiger Prüfungen

• Zusammenfassung und Beantwortung der Stellungnahmen

3930 Industriemechaniker/-in (Verordnung vom 23. Juli 2007) Abschlussprüfung Teil 1 Frühjahr 2011

Schriftliche Aufgabenstellungen

Arbeitsaufgabe

Anzahl der Stellungnahmen ohne Anmerkung 215 429 Anzahl der Stellungnahmen mit Anmerkung 34 138 Anzahl der Prüflinge (ohne / mit Anmerkung) 5004 6950 Stellungsnahmen zu den schriftlichen Aufgabenstellungen

Antwort des PAL-Arbeitskreises / PAL

Teil A Auszubildende/Prüflinge haben kein aktuelles Tab.-Buch (Vertrieb erst ab 2011) (IHK C)

Wir berücksichtigen die Auflagen der TBB, welche zum Einstellungstermin der Auszubildenden vorliegen. Überschneidungen sind jedoch nicht grundsätzlich vermeidbar.

5 gebundene und 2 ungebundene Aufgaben zum Themengebiet Pneumatik ist zu unausgewogen.(IHK A)

Die Aufgaben sollen Projektbezogen sein, daher ist es nicht leicht eine große Ausgewogenheit zu garantieren. Wir sind sehr bestrebt. die Prüfungsaufgaben trotz des Projektbezugs von Prüfung zu Prüfung zu variieren und ausgewogen zu gestalten. Dennoch vielen Dank für Ihre Einschätzung.

Aufgabe 7 – Frage in sich ok. Vorspannung missverstanden Text ändern auf „optimale Vorspannung“.(IHK C)

Vielen Dank für Ihren konkreten Verbesserungsvorschlag „optimale Vorspannung“, dem stimmen wir zu.

Aufgabe 17 – Die Angabe des Luftdrucks sollte auch bei der Aufgabe mit angegeben werden und nicht versteckt auf anderen Blättern sein. (IHK F)

Aufgabe 17: Das Arbeiten mit den technischen Unterlagen wurde gefordert.

Teil B

U5 – Vorderansicht und Seitenansicht auf Aufgabenblatt endlich vorgeben! (IHK B)

Die Vorgabe richtet sich nach der Projektionsmethode, welche als Symbol auf der Zeichnung angegeben wird. Die Draufsicht war in diesem Fall eindeutig. Wir verstehen natürlich, dass die Prüflinge hier Schwierig-keiten haben und werden ggf. die gesuchte Ansicht durch einen gestrichelten Rahmen kennzeichnen.

U7 – ist im Theoriebereich irrelevant. (IHK A)

U7: gemäß Verordnung wird eine Beurteilung der Sicherheit von Betriebsmitteln gefordert. Der Ausschuss wollte hierzu auch die theoretischen Kenntnisse in der Prüfung berücksichtigen, welche für die Beurteilung in der Praxis sicherlich von Bedeutung sind. Wir bitten um Verständnis.

Stellungnahmen zur Arbeitsaufgabe Antwort des PAL-Arbeitskreises / PAL

Befestigungsbohrungen für Lochblech fehlen. Gesamtfunktion fachgerecht montiert bei Punkt 1 (IHK D)

Hierzu haben wir auf der Zeichnung und in den Bereitstellungsunterlagen einen Hinweis erstellt.

Bei der Bewertung der Funktion auf Blatt 2(4) ist der Faktor zu hoch. Wer keine Funktion hat (weil die Zeit nicht reichte), hat auch in der Steuerungstechnik in der Regel kaum Punkte erreicht. Maximal 50 Punkte bei der Durchführung der Arbeitsaufgabe zu erreichen, nur weil 15 Minuten Zeit gefehlt haben, finde ich zu streng und ungerecht. (IHK B)

Vielen Dank, wir werden dies noch einmal betrachten.

ACT

zurück

45 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 46: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Statistik

• Auswertung des Prüfungsniveaus und der Vorgabezeit

ACT

46 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 47: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Statistik

• Auswertung der bundesweiten Ergebnisse

47 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL

Page 48: Prüfen mit Herz und Verstand - IHK · 2017-10-17 · mit dem Ziel der Optimierung von Prüfungen ... • Keine Berücksichtigung „weicher Faktoren“ (z. B. Universitätsrankings)

© 2017 IHK Region Stuttgart

Statistik

• Auswertung auf Aufgabenebene

ACT

zurück

48 / Prüferkongress Neubrandenburg Oktober 2017, Jürgen Siegle, PAL