Formative und summative Evaluation einer medizinisch ... · clinical practice. J Eval Clin Pract 11 (4): 328-338 11 Zielstellung Ausgangspunkt: Implementierung der IMBO-Rehabilitation

0U N I V E R S I T Ä T S M E D I Z I N B E R L I N

Formative und summative Evaluation einer medizinisch-beruflich orientierten Rehabilitation

Bethge MCharité - Universitätsmedizin Berlin

Reha-Seminar Universität Würzburg 2. Juni 2010 Seite 1

2

1. Hintergrund

2. Patientenpräferenzen: Discrete Choice Experiment

3. Wirksamkeit: Clusterrandomisierte Studie

4. Diskussion

3

MBOR-Prozessmodell

Erwartung: verbesserte Effektivität hinsichtlich Erwerbsfähigkeit und beruflicher Teilhabe

Schonstein et al. (2003): wirksame Work Hardenings beinhalten kognitiv-behaviorale Behandlungsanteile

Screening Diagnostik Therapie

SIBAR (Bürger et al. 2007)

Würzburger Screening(Löffler et al. 2007)

SIMBO (Streibelt et al. 2007)

SPE (Mittag und Raspe 2003)

FCE-Systeme, z. B.

• EFL (Isernhagen 1992),

• Ergos (Dusik et al. 1993)

Arbeitsbezogenes Verhalten und Erleben (Schaarschmidt und Fischer 1996)

Arbeitsmotivation (Zwerenz et al. 2005)

Training funktioneller Leistungsfähigkeit (Streibelt 2007)

Schulungen, z. B.

• Fit für den Beruf (Heitzmann et al. 2008),

• Stressbewältigung am Arbeits-platz (GSA) (Hillert et al. 2007)


4

Prognostische Faktoren für Wiedereingliederung

Bethge M (2010). Psychosoziale arbeitsplatzbezogene Faktoren und berufliche Wiedereingliederung bei Rückenschmerzpatienten: Eine Literaturübersicht. Der Orthopäde: in Druck

5

Stresstheoretisches Modell nach Lazarus

Rückenschmerzen

psychosoziale arbeits-platzbezogene Faktoren

Erste Bewertung:

Ist die Situation bedrohlich?

Zweite Bewertung:

Ist die Situation mit meinen Ressourcen zu bewältigen?

Kein Stress

ja

nein

ja

nein

Erfolg?

nein

ja

Stress

Ziel:Neubewertung der Arbeitssituation und

Bewältigungsstrategien für den Umgang mit vorhandenen beruflichen Belastungssituationen


6

MBOR-Prozessmodell

Aufgabe: gesundheitsförderliche Strategien für Umgang mit beruflichen Belastungssituationen (Handlungs- statt Lageorientierung)

Weiterentwicklung der MBOR zu einem multimodalen Konzept (Schonstein et al. 2003; Gatchel und Mayer 2008; Norlund et al. 2009)






FCE-Systeme, z. B.






Schulungen, z. B.



7

Zielgruppe: Personen mit besonderer beruflicher Problemlage (BBPL)(AU – Zeiten: min. 3 M oder ungünstige subjektive Erwerbsprognose oderarbeitslos) (vgl. Radoschewski et al. 2006)

Zugang: Screening gestützte, zweiwöchentliche Einbestellung

Gruppenintervention: 6 - 10 Teilnehmer

IMBO-Rehabilitation

Beruf und Gesundheit

Berufliche Kompetenzgruppe

Bewegungs-kompetenzgruppe

AquatrainingBerufsbezogene funktionelle TG

Progressive Muskelrelaxation

Integrierte medizinisch-berufsorientierte

orthopädische Rehabilitation (IMBO)


8

1. Hintergrund



4. Diskussion

9

Hintergrund

stärkere Orientierung gesundheitlicher Versorgung an Nutzerinteressen (Dierks et al. 2006)

deshalb: Bedarf an Wissen um Bedürfnisse, Präferenzen und Qualitätsmaßstäbe der Betroffenen

sonst: Umsetzung von Patientenorientierung durch Entscheidungsträger nur durch niedriges Evidenzlevel abgesichert (Gidman et al. 2007)

Aber: Erhebung von Patientenpräferenzen und Patientenerwartungen zur Ausgestaltung der Gesundheitsversorgung im Rahmen der Versorgungsforschung bislang berücksichtigt (Horch et al. 2009)


10

Hintergrund

Untersuchung komplexer Präferenzen mit Discrete Choice Experimenten

A new approach to consumer theory (Lancaster 1966): Nutzen eines Produktes = Gesamtheit der Teilnutzenwerte der Produkteigenschaften

Ryan M, Major K, Skatun D (2005). Using discrete choice experiments to go beyond clinical outcomes when evaluating clinical practice. J Eval Clin Pract 11 (4): 328-338

11

Zielstellung

Ausgangspunkt: Implementierung der IMBO-Rehabilitation

1. Präferenzen bei der Ausgestaltung hinsichtlich• Angebot einer Sozial- und Berufsberatung• Angebot eines arbeitsbezogenen Stressbewältigungstrainings• Therapieintensität

2. Wann werden gegebenenfalls Wartezeiten in Kauf genommen?

3. Validität: Unterscheiden sich Personen angesichts ihres Stresserlebens in ihren Präferenzen?


12

Discrete Choice Experiment

Schritt 1:Wahl der Attribute

Schritt 2:Wahl der Ausprägungen

Schritt 3:Experimentelles Design

Schritt 4:Datenerhebung

Schritt 5:Datenanalyse

13

Schritte 1 bis 3: Attribute, Werte und Design

2, 4, 6Wartezeit in Wochen

3, 5, 7Therapiezeiten pro Tag in Stunden

nein, jaArbeitsbezogenes Stressbewältigungstraining

nein, jaSozial- und Berufsberatung

LevelAttribute

Möglichkeitsraum:2 x 2 x 3 x 3 = 36

Alternative A: Auswahl von 9 Szenarien mit SPSS-Prozedur Orthoplan

Alternative B: „Shifting“ (Bunch et al. 1996; Chrzan und Orme 2000)

„Shifting“


14

Schritt 4: Datenerhebung

Brutton = 272

Teilnehmern = 236(86,8 %)

Ausschluss:keine Teilnahme n = 36

Gültige Fällen = 223

Ausschluss (n = 13):DCE nicht bearbeitet n = 9fehlende Angaben für Subgruppenanalyse n = 4

Choicesk = 1796

15

Schritt 5: DatenanalyseModellbildung

(1)

(2)

(3)

)PWZEITH7THH5THSTRESSSOZ(

)PWZEITH7THH5THSTRESSSOZ(U

BijiBij5Bij4Bij3Bij2Bij10

AijiAij5Aij4Aij3Aij2Aij10ij

ε++β+β+β+β+β+β

−ε++β+β+β+β+β+β=∆

ijij5ij4ij3ij2ij1ij WZEITH7THH5THSTRESSSOZU ε+∆β+∆β+∆β+∆β+∆β=∆

Teilnutzenwerte aus Produkteigenschaften

Nutzentheorie: Maximierung des Nutzens

Haupteffekte: H1: β1 > 0, H2: β2 > 0, H3: β3 > 0, H4: β4 > 0, H5: β5 < 0

0Uij >∆bzw.)P,M(U)P,M(U iBjBijiAjAij >


16

Schritt 5: Datenanalyse

Random-Effects Logit-Modell

Berechnung der relativen Bedeutung der Attribute

Wartebereitschaft für Attribut m: WB = -βm / β5 mit m = 1..4 (Konfidenzintervalle für Wartebereitschaft mittels Bootstrapping)

Konstruktvalidität: Schätzung subgruppenspezifischer Parameter mit anschließendem Wald-Test

))UminU(max/()UminU(maxRB4

1kAttAttAttAtt kkii ∑

=

−−=

17

Schritt 5: DatenanalyseRandom-Effects Logit-Modell

< 0,001

0,939

< 0,001

< 0,001

< 0,001

(-0,10; -0,03)-0,07WZEIT (β5)

1/8,1/9Beob. je Person min/avg/max

223Patienten

1796Beobachtungen

(-0,14; 0,15)0,01TH7H (β4)

(0,21; 0,50)0,36TH5H (β3)

(0,60; 0,80)0,70STRESS (β2)

(0,10; 0,30)0,20SOZ (β1)

p95% KIB


18

Schritt 5: DatenanalyseRelative Bedeutung

∑=

−−=4

1kAttAttAttAtt )UminU(max/()UminU(maxRB

kkii

n = 223; k = 1796

Relative Bedeutung für Attribut i:

17,7%

23,3%

45,7%

13,4%

0% 20% 40% 60% 80% 100%

Wartezeit

Therapieintensität

Stressbewältigung

Sozialberatung

19

(-2,4; 2,4)0,1−β4 / β5Therapieintensität 7 h

(2,8; 11,4)5,3−β3 / β5Therapieintensität 5 h

(11,6; 37,0)18,6−(β1 + β2 + β3) / β5Gesamt

(6,5; 21,0)10,3−β2 / β5Stressbewältigung

(1,3; 6,5)3,0−β1 / β5Sozial- und Berufsberatung

95% KI§Wartebereitschaft

n = 223; k = 1796

Bootstrap mit 2000 Wiederholungen.

§ Bias-korrigierte Konfidenzintervalle

Schritt 5: DatenanalyseWartebereitschaft


20

Für Personen mit geringer Distanzierungsfähigkeit sollte das Angebot eines Stressbewältigungstrainings mit einem höheren Nutzwertgewinn und einer höheren relativen Bedeutung des Attributs einhergehen.

H6a: β21 - β22 > 0 und H6b: RBSTRESS1 - RBSTRESS2 > 0

Schritt 5: DatenanalyseKonstruktvalidität

21

< 0,001(0,29; 0,71)0,50TH5H: hohe Distanz (β32)

0,52(-0,27; 0,13)-0,07TH7H: geringe Distanz (β41)

0,45(-0,12; 0,28)0,08TH7H: hohe Distanz (β42)

0,01(-0,12; -0,02)-0,07WZEIT: geringe Distanz (β51)

0,01(-0,12; -0,02)-0,07WZEIT: hohe Distanz (β52)

0,03(0,02; 0,43)0,22TH5H: geringe Distanz (β31)

< 0,001(0,36; 0,65)0,50STRESS: hohe Distanz ( ββββ22)

< 0,001(0,74; 1,02)0,88STRESS: geringe Distanz ( ββββ21)

0,01(-0,02; 0,27)0,12SOZ: hohe Distanz (β12)

< 0,001(0,14; 0,42)0,28SOZ: geringe Distanz (β11)

p95% KIB

n = 223; k = 1796; H6a: χ² = 13,27; p < 0,001; H6b: χ² = 4,03; p = 0,04; Wartebereitschaft: geringe Distanz: WB = 12,2; 95% KI = [6,8; 31,9]; hohe Distanz: WB = 7,3; 95% KI = [3,8; 23,3]

Schritt 5: DatenanalyseKonstruktvalidität: Teilnutzengewichte nach Distanzierungsfähigkeit


22

Zusammenfassung

Psychosoziale Angebote: Hohe Nutzwerterwartungen auch bei orthopädischen RehabilitandenTherapieintensität: 5 h pro Tag = 75 h pro Reha; Prozessdatenanalyse von Gülich et al. (2003) und Therapiestandards nur 30 bis 45 Stunden pro RehaProzessqualität: Für qualitative Verbesserungen werden Wartezeiten in Kauf genommen (Ryan et. al 2005).Weitere Analysen: Unterschiedliche Präferenzen z. B. für Erwerbstätige und Nicht-Erwerbstätige

DCE können einen Ansatz für die im nationales Gesundheitsziele-programm geforderte stärkere Berücksichtigung der Patienten-perspektive bei der Bewertung und Entwicklung von Versorgungs-angeboten bilden.

23

1. Hintergrund



4. Diskussion


24

Methoden

Clusterrandomisierung

Primäres Zielkriterium: Berufliche Teilhabe nach 6 und 12 Monaten

Verallgemeinerte lineare Schätzungsgleichungen (GEE) und Mehrebenenmodelle

Intention-to-treat (ITT)

IGIGKGIGKGIGKGKGIGIGKGIGIGKGKGKGBlock 2

KGKGIGKGIGIGIGIGKGKGKGIGIGKGKGIGBlock 1

16151413121110987654321

IGIGKGIGKGIGKGKGIGIGKGIGIGKGKGKGBlock 2

KGKGIGKGIGIGIGIGKGKGKGIGIGKGKGIGBlock 1

16151413121110987654321

KW18/2007

KW28/20082008

25

Ein- und ausgeschlossene Patienten

Brutto: n = 272

RE: n = 155 (65,7 %)

6 M: n = 169 (71,6 %)

12 M: n = 146 (61,9 %)

TN: n = 236 (86,8 %)

32 Gruppen randomisiert

138 Personen in 16 Gruppen zugewiesen zu AOR (KG)

134 Personen in 16 Gruppen zugewiesen zu IMBO-Rehabilitation (IG)

118 Personen mit Einwilligung in Studienteilnahme116 erhielten zugewiesene Behandlung

2 erhielten zugewiesene Behandlung nichtvorzeitige Abreise (n = 2)

118 Personen mit Einwilligung in Studienteilnahme108 erhielten zugewiesene Behandlung10 erhielten zugewiesene Behandlung nicht

vorzeitige Abreise (n = 1)Wechsel in die AOR (n = 3)andere Gründe (n = 6)

Follow-upLeistungsvermögen: n = 117Rehabilitationsende: n = 716 Monate: n = 8012 Monate: n = 66

Follow-upLeistungsvermögen: n = 117Rehabilitationsende: n = 846 Monate: n = 8912 Monate: n = 80

70 (6 Monate) bzw. 60 (12 Monate)in Analyse des primären Zielkriteriums integriert

10 bzw. 6 wegen fehlender Datenausgeschlossen

79 (6 Monate) bzw. 75 (12 Monate) in Analyse des primären Zielkriteriums integriert

10 bzw. 5 wegen fehlender Daten ausgeschlossen


26

Stichprobenbeschreibung

27

Behandlungstreue

Kontrollgruppe: regulär entlassen (98,3 %); 61,0 h; Dauer: 23,2 Tage

Interventionsgruppe: in 5 von 6 Modulen mind. 80 % des nach Manual vorgesehenen Leistungsumfangs (91,5 %); 82,2 h*; Dauer: 24,6 Tage‡

Leistungsumfang mind. 80 % nach ManualLeistung

91,5%Behandlungstreue (manualkonform)

94,9%Berufsbezogene funktionelle Trainingsgruppe (E050 L 05, E050 F 01)

94,9%Aquatraining (A024 F 12)

96,6%Bewegungskompetenzgruppe (A069 F 10)

83,1%Entspannungstraining (F082 I 05)

83,1%Berufliche Kompetenzgruppe (D052 N 06)

99,2%Beruf- und Gesundheit (D051 N 02)

* p < 0,05; ‡ n. s. (GEE)


28

Ende der Rehabilitation

n = 223; GEE: adj. ORTreat = 0,398; p = 0,016

dinter = 0,51

n = 223; GEE: adj. βTreat = 0,479; p = 0,037

dinter = 0,35

Sozialmedizinische Beurteilung

Estimated Marginal Means

91,0%

79,0%

0%

20%

40%

60%

80%

100%

IG KG

NLB

: Ein

schr

. Bew

egun

gsap

para

t (%

)


7,37,8

0

2

4

6

8

10

12

IG KG

PLB:

Inde

x (0

-12)

29


7,1

9,2

3

5

7

9

11

13

15

IG KG

Sel

bstw

irksa

mke

it B

eruf

(3-1

5)

Ende der RehabilitationSelbstwirksamkeitserwartungen

n = 148; GEE: adj. βTrea t= 1,807; p = 0,006

dinter = 0,58


9,4

7,6

3

5

7

9

11

13

15

IG KG

Vor

bere

itung

auf

die

Zei

t dan

ach

(3-1

5)

n = 144; GEE: adj. βTreat = 2,148; p < 0,001

dinter = 0,81


30

Berufliche Teilhabe

n = 149; adj. OR = 2,363; p = 0,007**;

dinter = 0,47

n = 135; adj. OR = 1,914; p = 0,118;

dinter = 0,36

12 Monate(Geschätzte Randmittelwerte)

59,0%

42,9%

0%

20%

40%

60%

80%

100%

IG KGerw

erbs

tätig

und

AU

≤ 1

2 W

oche

n (%

)

6 Monate(Geschätzte Randmittelwerte)

39,4%

60,6%

0%

20%

40%

60%

80%

100%

IG KG

erw

erbs

tätig

und

AU

≤ 6

Woc

hen

(%)

31

Berufliche Wiedereingliederung

0,45

0,67

0,48

0,81

0,06

0,19

0,11 0,13

0

0,2

0,4

0,6

0,8

1

1 2 3 4

IG KG

erwerbstätig und AU ≤ 6 W

erwerbstätig und AU ≤ 12 W

nur Erwerbstätige: AU ≤ 6 W

nur Erwerbstätige: AU ≤ 12 W

6 Monate 12 Monate

Sta

ndar

disi

erte

Mitt

elw

ertd

iffer

enze

n


32

Subgruppenanalysen: Teilhabe nach 12 Monaten

Moderatoreffekt: stark beeinträchtigte Personen* profitieren von der Intervention; bei geringen Beeinträchtigungen keine Unterschiede zwischen IG und KG

* Geringe Werte auf der SF-36-Schmerzskala entsprechen hohen Schmerzen.

0%

10%

20%

30%

40%

50%

60%

70%

-1 -0,5 0 0,5 1

SF-36 Schmerz (z-Werte)

erw

erbs

tätig

und

AU

≤ 1

2 W

oche

n (%

)

IG KG

n = 135; Treat: adj. OR = 2,325; p = 0,035*;

Treat * Schmerz: adj. OR = 0,509; p = 0,049*

Geschätzte Randmittelwerte

33

Depressivität und Angst

i = 529; n = 225; adj. b = -0,659; p = 0,032*i = 529; n = 225; adj. b = -0,962; p = 0,001**


0

3

6

9

12

15

RA 6 M 12 M

HA

DS

Dep

ress

ivitä

t (0

- 21)

KG IG


0

3

6

9

12

15

RA 6 M 12 M

HA

DS

Ang

st (0

- 21

)

KG IG


34

SF-36 Psychosoziale Subskalen

i = 530; n = 225; adj. b = 3,556; p = 0,012*i = 529; n = 225; adj. b = 3,258; p = 0,025*


0

10

20

30

40

50

60

70

RA 6 M 12 M

Psy

chis

ches

Woh

lbef

inde

n (0

- 10

0)

KG IG


0

10

20

30

40

50

60

70

RA 6 M 12 MV

italit

ät (0

- 10

0)KG IG

35

SF-36 Psychosoziale Subskalen

i = 531; n = 225; adj. b = 4,867; p = 0,026*i = 515; n = 222; adj. b = 7,500; p = 0,054


0

10

20

30

40

50

60

70

RA 6 M 12 M

Em

otio

nale

Rol

lenf

unkt

ion

(0 -

100)

KG IG


0

10

20

30

40

50

60

70

RA 6 M 12 M

Soz

iale

Fun

ktio

nsfä

higk

eit (

0 - 1

00)

KG IG


36

SF-36 Körperliche Subskalen

i = 531; n = 225; adj. b = 2,819; p = 0,072i = 530; n = 225; adj. b = 2,663; p = 0,079


0

10

20

30

40

50

60

70

RA 6 M 12 M

Kör

perli

che

Fun

ktio

nsfä

higk

eit (

0 - 1

00)

KG IG


0

10

20

30

40

50

60

70

RA 6 M 12 MS

chm

erz

(0 -

100)

KG IG

37

Zusammenfassung

Clusterrandomisierung: IG = IMBO-R, KG = AOR

Rehabilitationsende: günstigere sozialmedizinische Beurteilung, höhere Selbstwirksamkeit und bessere Vorbereitung auf Zeit nach der Rehabilitation

6 und 12 Monate: häufiger gelungene berufliche Teilhabe (6 M: OR = 2,4; 12 M: OR = 1,9), geringere psychosoziale Beschwerden, günstigere körperliche Lebensqualität und günstigere Schmerzbewältigung

MBOR mit klar definiertem multimodalem Aufbau verbessert gesundheitsbezogene Lebensqualität und erhöht die Chance beruflicher Eingliederung.


38

1. Hintergrund



4. Diskussion

39

Diskussion

1. MBOR muss auch die Schnittstellen zwischen Erwerbsleben und anderen sozialen Kontexten berücksichtigen.

Genderspezifische Angebote (Women@work, ab 2011?)

0

2

4

6

8

10

Modell 1 Modell 2 Modell 3

Odd

s R

atio

Fälle Kontrollen

0

2

4

6

8

10

Modell 1 Modell 2 Modell 3

Odd

s R

atio

Fälle Kontrollen

Frauen Männer

Modell 1: adjustiert für Alter und Vorliegen einer chronischen Erkrankung; Modell 2: zusätzlich adjustiert für Bildung, Schichtarbeit, Partnerschaft und Kinder; Modell 3: zusätzlich adjustiert für psychologische Arbeitsanforderungen, Entscheidungsspielraum, emotionale und körperliche Belastungen, soziale Unterstützung durch Vorgesetzte und soziale Unterstützung durch Kollegen

Arbeit-Familie-Konflikt und Arbeitsunfähigkeit (Jansen et al. 2006)


40

0

5

10

15

20

25

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

Arb

eits

unfä

higk

eits

tage

Arbeitslose Berufstätige

2. Erwerbstätige und Nicht-Erwerbstätige haben unterschiedliche Erwartungen an die MBOR (Bethge 2009).

� Arbeitslose haben deutlich längere Fehlzeiten.

� Zunahmen insbesonderebei psychischen und Muskel-Skelett-Erkrankungen.

� Arbeitslose habenca. 2,5-mal bis 3-mal so viele Tagesdosen Antidepressiva (TK 2010).

Angebote für Arbeitslose (Würzburg, ab 2011?)

Diskussion

41

Diskussion

3. Erweiterung des MBOR-Prozessmodells um Angebote zur Nachsorge

IMBORENA (ambulante Rehazentren, ab 2011)






FCE-Systeme, z. B.






Schulungen, z. B.



Nachsorge

Stufenweise Wiederein-gliederung

Betriebliches Einglie-derungsmanagement

IRENA (ggf. beruflich orientiert)


42

Matthias [email protected]

Versorgungssystemforschung und Grundlagen der Qualitätssicherung in der RehabilitationCharité - Universitätsmedizin Berlin

Vielen Dank für Ihre Aufmerksamkeit!

43

Publikationen zur Studie

Bethge M, Herbold D, Trowitzsch L, Jacobi C (2010). Berufliche Wiedereingliederung nach einer medizinisch-beruflich orientierten orthopädischen Rehabilitation: Eine clusterrandomisierte Studie. Rehabilitation 49 (1): 2-12Bethge M (2010). Psychosoziale arbeitsplatzbezogene Faktoren und berufliche Wiedereingliederung bei Rückenschmerzpatienten: Eine Literaturübersicht. Der Orthopäde: in DruckBethge M (2009). Patientenpräferenzen und Wartebereitschaft für eine medizinisch-beruflich orientierte orthopädische Rehabilitation: ein Discrete Choice Experiment. Gesundheitswesen 71 (3): 152-160Bethge M, Müller-Fahrnow W (2008). Wirksamkeit einer intensivierten stationären Rehabilitation bei muskuloskelettalen Erkrankungen: systematischer Review und Meta-Analyse. Rehabilitation 47 (4): 200-209


Documents

Formative und summative Evaluation einer medizinisch ... · clinical practice. J Eval Clin Pract 11 (4): 328-338 11 Zielstellung Ausgangspunkt: Implementierung der IMBO-Rehabilitation