Ist die Wirkung von Präventionsmassnahmen messbar? Beat Burri, LINK Institut Ruedi Kaufmann, Suva

Ist die Wirkung von Präventionsmassnahmen messbar?

Beat Burri, LINK InstitutRuedi Kaufmann, Suva

Agenda

1 Einleitung

2 Präventionsarbeit der Suva "Vision 250 Leben"

3 Ausgangslage / Idee

4 Wirkungsmodell der Suva

5 Aufbau und Betrieb des Präventionspanels

6 Erkenntnisse für die Suva, Ausblick

Vision "250 Leben"

Vision "250 Leben"

Mit dem Präventionsprogramm «Vision 250 Leben» hat sich die Suva zum Ziel gesetzt, innerhalb von zehn Jahren 250 Berufsunfälle mit Todesfolge und ebenso viele schwere Invaliditätsfälle zu verhindern. Dazu muss die jährliche Anzahl schwerer Unfälle mehr als halbiert werden.

Tödliche Berufsunfälle pro Jahr

Todesfälle BUV, 2000-2020Quelle: SSUV

Vision "250 Leben"Lebenswichtige RegelnIm Zentrum der «Vision 250 Leben» stehen die "Lebenswichtigen Regeln". Diese werden für alle Branchen und Tätigkeiten mit hohen Risiken erarbeitet. Beim Einhalten gilt Null-Toleranz. Wird eine lebenswichtige Regel verletzt, heisst es: STOPP, die Arbeiten einstellen und die gefährliche Situation beseitigen.

Schutz vor AsbestAuch im Zusammenhang mit Asbest sterben jedes Jahr etwa 100 Personen. Obwohl seit 1990 ein Asbestverbot gilt, stösst man bei Abbruch, Umbau- oder Renovationsarbeiten noch vielerorts auf asbesthaltige Werkstoffe. Hier setzt das Präventionsprogramm "Asbest" an. Es gilt, Arbeitnehmende vor freigesetzten Asbestfasern zu schützen.

Schwerpunkte der PräventionIm Rahmen der Präventionsprogramme bilden folgende Themen die Schwerpunkte:- Sicheres Instandhalten- Sichere Baustelle- Sichere Lehrzeit- stolpern.ch- STOPP dem Manipulieren von Schutzeinrichtungen- Risikoverhalten Forst- Sichere Elektrizität- Asbest erkennen - richtig handeln

Ausgangslage – Problematik

› Unsere Problematik› Mehrfaches Ansprechen der gleichen Zielgruppen

› Überschneiden von Themen

› Wechselwirkung der einzelnen Kampagnen unbekannt

› Wirkungsmessung für jeden einzelnen Präventionsschwerpunkt teuer und aufwendig

Ausgangslage – Ziel / Idee

› Ziel/Idee› 1. Quantitative Erhebung (übergreifend):

Entwicklung und Einsatz eines standardisiertes Erhebungsinstruments, welches die Wirkung der gesamten Suva Präventionsmassnahmen misst.

› 2. ad hoc Erhebung (individuell): Individuelle Befragungsmöglichkeit für vertiefte Fragenstellungen bezüglich Eignung einzelner Mittel resp. Schwerpunkte.

Wirkungsmodell der SuvaMassnahmen

Einflussfaktoren

M2 "primär Suva"

Sensibilisierung,Kommunikation

M3 "primär Betrieb"

Schulung /Befähigung am Arbeitsplatz

M4 "primär Suva"

WahrnehmungKontrolle

S + O System, Führung und Organisation

T Technik undVerhältnisse

P PersonelleRessourcen und Verhaltensmuster

Sicherheit am Arbeitsplatz

Generelle Indikatoren der Sicherheitskultur

Sicherheitskultur

Messmodell Prävention - Zielsetzungen

› Langfristiges Controlling der Präventionsprogramme „Vision 250 Leben“ und „Asbest“.

› „Präventionspanel“: Wir betreiben eine dauerhafte Stichprobe von N=4‘000 Personen in Suva-versicherten Betrieben.

› Wirkungsmodell: Wir messen die Wirkung des Präventionsprogramms ganzheitlich, aber auch für die einzelnen Aktivitäten.

› Das Wirkungsmodell muss alle relevanten Treiber der Gesamtwirkung in einer Gesamtsicht darstellen.

› Präventionsprogramme: Verbesserungsmassnahmen werden abgeleitet und kontinuierlich umgesetzt.

Vorgesetzte (leitende Mitarbeiter)

2‘000 Personen, aus Suva-versicherten Betrieben

Mitarbeitende (Facharbeiter/Hilfsarbeiter)


Analysen

Betriebsgrösse (1-10, 11-100, >100 Mitarbeiter)

Wichtigste Versicherungsklassen(42B/45L/44E/11C/41A /52D/70C/38S/45G/45M/47E/18S/44D/01B/ 49A /55D/47B)

Differenzierte Modellierung (nach Clusters)

Regionen: D-CH, W-CH, Tessin

Das Präventionspanel

Wellenvergleiche zwischen verschiedenen Hauptwellen

Vom Wirkungs- zum Messmodell

MassnahmenEinflussfaktoren

M2 "primär Suva"

Sensibilisierung,Kommunikation

M3 "primär Betrieb"

Schulung /Befähigung am Arbeitsplatz

M4 "primär Suva"

WahrnehmungKontrolle

S + O System, Führung und Organisation

T Technik undVerhältnisse

P PersonelleRessourcen und Verhaltensmuster

Sicherheit am Arbeitsplatz

Generelle Indikatoren der Sicherheitskultur

Sicherheitskultur

Messung mit konkreten, Fragen (Kenntnis, Verhalten) im SUVA Präventionspanel

Beispiel: Kenntnis "STOPP bei Gefahr"

Beispiel: Bei Sicherheitsmängeln wird erstweitergearbeitet, sobald diese behoben sind

Kenntnis - Stopp bei Gefahr

‘STOPP bei Gefahr‘

‘Asbest erkennen, richtig handeln‘

Die sogenannte Sicherheits-Charta

‘Lebenswichtige Regeln‘

Habe von keinem dieser Themen gehört

0% 20% 40% 60% 80% 100%

9

24

35

42

80

0% 20% 40% 60% 80% 100%

8

16

29

33

82

Vorgesetzte [1315] Mitarbeitende [1451]

Frage 104

Seite 14

Beurteilung Sicherheitskultur

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1

2

3

4

5

6

7

8

9

10

1 1 1 1 21 1 11 1 1 1 12 1 1 14 3 2 3 44

31

2 37

64

56

1515

1011

16

2022

1718

20

4548

6457 46

8.56 8.82 AE 9.25 ABDE 8.95 ABE8.62

Stimme voll und ganz zu (10)

(9)

(8)

(7)

(6)

(5)

(4)

(3)

(2)

Stimme überhaupt nicht zu (1)

Mittelwert

Sicherheits-mängel erst

behoben

Gefährliches Verhalten wird

korrigiert

Ich sage ‘Stopp‘ Vorgesetzter sagt ‘Stopp‘

Bei Gefahr denke ich an das Risiko

(A) [2766] (B) [2766] (C) [2766] (D) [2766] (E) [2766]

Statistisch Signifikante Abweichung(en) (T-Test) Frage 403

LINK InstitutBeat Burri:

Aufbau und Betrieb des Präventionspanels

Panel für regelmässige online-Befragungen

› Rekrutierung telefonisch › Erhebungen im Präventionspanel online› Wirkungsmodell 2x / Jahr › Ad hoc Fragestellungen „Zwischengondeln“

Die Herausforderungen › Wie können wir die Zielgruppe vom Nutzen der Befragung überzeugen? › Erreichen wir auch die Mitarbeitenden?

› Ist die Ausschöpfung bei den online-Befragungen genügend gross?

› Wie können wir die Panelmortalität gering halten?

› Messmodell: Gelingt es uns, ein umfassendes und valides Messmodell erstellen zu können?

2011: Vorbereitungen und Pre-test

Vorbereitungen Pre-test

Ab 20142013

Entwicklung MessmodellFragebogenentwicklungTest Rekrutierungsmethode

20122011

Pre-test › Entwicklung Messmodell

› Expertengespräche und desktop research (internationaler Kontext)

› Hypothetisches Messmodell (Workshop), Messdimensionen (Fragenkatalog)

› Fragebogenentwicklung

› Pre-test: Prüfung Messdimensionen

› Verfeinerung Fragebogen

› Hauptwelle 1: Definitives Mess- und Wirkungsmodell

› Modellierung, Analyse › Einsatz der Bayes Regression Referat Dr. Thomas Jensen

Test RekrutierungsmodellFragebogenentwicklungEntwicklung Messmodell

Pre-test › Kundenliste von Suva › CATI-Rekrutierung

› Prio 1: Vorgesetzte

› Prio 2: Mitarbeitende (Facharbeiter / Hilfsarbeiter)

› Mitarbeitende: Zusätzliche Rekrutierung aus LINK Internet-Panel

› Online-Registrierung für das Panel


Pre-test › Tests und Experimente:

› Test und Optimierung Rekrutierungsmodell

› Überprüfung des „Ausfüllortes des Fragebogens“ – auch am Smartphone möglich und genutzt

› Abklären, welche Sprachen von Nutzen sind (z.B. portugiesisch, tamilisch)

› Experiment verschiedener Incentive-Höhen und Incentive-Arten

› Unterstützung durch Information auf Suva-Homepage

› Beobachten von online-Interviews (Verfeinerung des Wordings)


Herausforderungen gemeistert Wir können die Zielgruppe vom Nutzen der Befragung überzeugen.

Wir erreichen auch die Mitarbeitenden.

Messmodell: Erste Validierung vielversprechend.

Noch offen: › Ist die Ausschöpfung bei den online-Befragungen genügend gross? › Wie können wir die Panelmortalität gering halten?

› Hauptwelle

Rekrutierung Vorgesetzte und Mitarbeitende

Pre-test

Ab 2014201320122011

Vorbereitungsphase Rekrutierung

Entwicklung MessmodellFragebogenentwicklungTest Rekrutierungsmethode

Vorgesetzte (leitende Mitarbeiter)


Mitarbeitende (Facharbeiter/Hilfsarbeiter)


Analysen

Betriebsgrösse (1-10, 11-100, >100 Mitarbeiter)

Wichtigste Versicherungsklassen(42B/45L/44E/11C/41A /52D/70C/38S/45G/45M/47E/18S/44D/01B/ 49A /55D/47B)

Differenzierte Modellierung (nach Clusters)

Regionen: D-CH, W-CH, Tessin

Akribische Panelrekrutierung

Wellenvergleiche zwischen verschiedenen Hauptwellen

Hauptwelle 1: Ein Erfolg?

Vorbereitungsphase

Hauptwelle 1

Entwicklung zusätzlicher

Massnahmen

Rekrutierung

Pre-test

Ab 20142013


20122011

DatenerhebungInhaltliche Analyse Analyse Erhebungsmethode

Massnahme 1Massnahme 2Massnahme 3

Hauptwelle 1: Ein Erfolg? › Versand an mehr als N=4‘000 Zielpersonen

› Nachfassen per E-Mail bei Nicht-Teilnehmern (Sommerferien)

› Rücklauf 70% (N = 2‘800)

› Vorgesetzte und Mitarbeitendeetwa gleich hohe Teilnahmebereitschaft


Aufwändiges Panelmanagement › Beantwortung persönlicher E-Mails

› Zuverlässiges Management Panelaustritte

› Sorgfältige Nachrekrutierung innerhalb der Quotenzellen, teilweise gleiche Unternehmen

Entwicklung zusätzlicher Massnahmen

Problem Massnahme

Nach telefonischer Rekrutierung zu wenig online-Registrierungen

Vereinfachung der online-Registrierung, dafür Ausbau der CATI-Rekrutierung (Statistikfragen)

Zusätzliches telefonisches Nachfassen bei Nicht-Registrierten

Zu wenig zusätzlicher Rücklauf nach online-Erinnerung

Zusätzliches telefonisches Nachfassen

› Zielsetzungen: › Stabilisierung Rücklauf 70%

› Wenig Austritte aus Panel (limitierte Adressen pro Cluster)

Erkenntnisse und Ausblick

Vorbereitungsphase

Hauptwelle 1

Entwicklung zusätzlicher Massnahmen

Betrieb ab Hauptwelle 2

Rekrutierung

Pre-test

Ab 20142013


20122011


Massnahme 1Massnahme 2Massnahme 3

2 Hauptwellen pro Jahr Zwischengondeln Weitere Zielgruppen

SuvaRuedi Kaufmann:

Erkenntnisse für die SuvaAusblick

Quantifizierung wirksamer Massnahmen und Einflussfaktoren

Verfolgen im Zeitverlauf

Unterstützung für die Massnahmenfindung

Hohe Validität

Beobachten des Impacts bei neuen Massnahmen

Ergänzung und Justierung Fragenkatalog

Erkenntnisse in Bezug auf das Modell

Wichtigste Erkenntnisse für die Suva

Schulung und Befähigung am Arbeitsplatz erzielen Wirkung Einflussstärke der Suva-Kontrollen nicht klar beantwortet Wenig Einfluss des Arbeitnehmers auf die Sicherheitskultur "Stopp bei Gefahr" greift noch zu wenig

Zusätzliche Investitionen in Inserate und redaktionelle Beiträge Management motivieren, mehr über Sicherheit zu informieren und

Sicherheit einzufordern Bewusstsein "Stopp bei Gefahr" weiterpflegen Bekanntheit Asbest-Kampagne aufrechterhalten Regelmässige und systematische Instruktionen am Arbeitsplatz fördern Information über Konsequenzen der Sicherheitskontrolle

Empfehlungen an die Suva

Kontinuierliche Durchführung (2x jährlich)

Punktuelle Erweiterung des Panelfragebogens bezüglich einzelnerMassnahmen resp. Schwerpunkte einer Kampagne

„Zwischengondeln“

Bildung von Sub-Samples für Kampagnen spezifische Zielgruppen(Beispiel "Sichere Lehrzeit")

Wie weiter?

Das Präventionspanel war der letzte Mosaikstein, der uns für die kontinuierliche und vor allem systematische Prozessverbesserung unseres Präventionsauftrages fehlte.

Es ist gelungen ein seriöses Werkzeug zu schaffen, das Suva-intern eine hohe Akzeptanz geniesst und im Austausch mit vergleichbaren Institutionen im Ausland grossen Anklang fand.

Dass wir uns mit dem Wirkungs- und Messmodell intensiv auseinandersetzen mussten, hat uns viele wertvolle Erkenntnisse gebracht. Ganz nebenbei hat es uns auch geholfen, unbeantwortete Fragen zu klären und unterschiedliche Ansichten abzugleichen.

Armin Zimmermann, Bereichsleiter Support und Grundlagen, Suva

Gedanken aus Kundensicht

Herzlichen Dank für Ihre Aufmerksamkeit!

Documents

Ist die Wirkung von Präventionsmassnahmen messbar? Beat Burri, LINK Institut Ruedi Kaufmann, Suva