Der Einfluss von klinischen Daten, Peer-review-Verfahren, Impact Faktor und Sponsoring auf die Qualität ökonomischer Studien

PharmacoEconomics – German Research Articles 2009; 7 (2): 55–611612–3727/09/0002–0055/$49.95/0

© 2009 Adis Data Information BV. Alle Rechte vorbehalten.

Influence of clinical data, peer review, impact factor and sponsorship onthe quality of economic studies

Abstract Introduction and Background: Since good economic studies require goodclinical data, the aim of the study was to examine whether the quality of theeconomic study correlates with the quality of the clinical study. At the same timethe effect of the peer review, journal impact factor and sponsorship on the qualityof the economic study was to be examined.Methods: With the aid of the internet databank HEED, all economic articlesfrom 2004/2005 relating to a previously published clinical study were assessed.The clinical studies were then evaluated according to the revised recommendationsof the CONSORT checklist, and the economic studies according to the BMJguidelines. The impact factor of the publications was assigned; it was examinedwhether the publishing journals carried out a peer review and whether thestudies were sponsored. Correlations were calculated with the aid of Pearson’scorrelation coefficient, where the relation observed was designated as weakwith 0 < |r| < 0.3, medium with 0.3 ≤ |r| ≤ 0.7 or strong with 0.7 < |r| < 1.Additional statistical evaluations were done by means of the t-test. A statisticalsignificance limit p-value of 0.05 was set.Results: The investigation included 104 economic studies. There is a moderatelystrong relation between the quality of the clinical and the economic studies (r =0.329; p = 0.001). Of the economic studies 86% (89/104) were peer reviewed.No difference was determined between the quality of studies in journals whichconducted peer reviews and publications that did not (p = 0.558). There wasalso no relation between the level of the impact factor and the quality of theeconomic studies (r = 0.168; p = 0.1). A sponsor was acknowledged in 81%(84/104) of the economic studies, with 60% (50/104) being industry-sponsoredand 40% (34/104) sponsored by non-industrial institutions. No difference couldbe found in the quality of the studies (p = 0.815).Conclusion: High-quality scientific economic publications are often based onclinical studies that also show high quality. The quality of economic studies isnot influenced by peer review, the impact factor or sponsorship.

ORIGINAL-FORSCHUNGSARBEIT

Der Einfluss von klinischen Daten,Peer-review-Verfahren, Impact Faktorund Sponsoring auf die Qualitätökonomischer StudienHendrik Grunewald,1 Andreas Meier-Hellmann,2 Christin Gundermann1 undMichael Hartmann1

1 Universitätsklinikum Jena, Jena 2 Helios Klinikum Erfurt, Klinik für Anästhesie, Intensivtherapie und Schmerztherapie, Erfurt

56 Grunewald et al.

Einleitung

Die Anzahl der publizierten gesundheitsöko-nomischen Studien, in denen die Kosten und Er-gebnisse medizinischer Interventionen verglichenwerden, ist in den vergangen Jahren stark ange-stiegen. Sind zwischen 1979 und 1990 lediglich1.803 ökonomische Artikel in medizinischen Zeit-schriften erschienen, so stieg deren Zahl zwischen1991 und 1996 auf 2.222.[1] Dies kann als Indizdafür betrachtet werden, dass die Bedeutung der-artiger Studien für Entscheidungsfindungen imGesundheitssystem in den letzten 20 Jahren erheblichzugenommen hat.[2]

Häufig sind gesundheitsökonomische Publika-tionen jedoch von geringer Qualität. So wiesenu. a. Kruper et al.[3] darauf hin, dass die methodischeQualität bei ökonomischen Studien im BereichChirurgie den akzeptierten Standards oft nicht ent-spricht. Im Durchschnitt wurden nur ca. vier vonzehn Qualitätskriterien erfüllt. Beurteilungskriterienbestanden u. a. darin, ob die miteinander vergli-chenen Interventionen beschrieben, ob die Quellefür die einer Intervention zugerechneten Kostengenannt wurde, ob Langzeitkosten mitbetrachtetund ob eine Sensitivitätsanalyse durchgeführt wur-de.[4] In einer weiteren Veröffentlichung von Black-more et al. erfüllten 44 untersuchte ökonomischeStudien im Durchschnitt nur drei von sechs ange-wandten Haupt- und nur eines von vier Nebenkri-terien, die zur Einschätzung der Qualität genutztwurden.[5]Auch Jefferson und Demicheli,[6] Adamset al.[7] und Udvarhelyi et al.[8] stellten eine Vielzahlvon Mängeln bei der Durchführung ökonomischerStudien fest.

Obwohl bei diesen Untersuchungen primär dieQualität der Berichterstattung beurteilt wurde, kannähnlich wie bei klinischen Studien davon ausge-gangen werden, dass diese auch mit der methodi-schen Qualität der Studie korreliert. So zeigtenClifford et al.,[9] dass klinische Studien, die einehohe Qualität in ihrer Berichterstattung aufweisen,auch eine hohe methodische Qualität besitzen. Da-rüber hinaus wiesen Goodman et al. darauf hin,dass die Transparenz und Klarheit der Berichter-

stattung wichtig ist, um die Qualität der eigentlichenForschungsarbeit bewerten zu können.[10]

Häufig wird bei ökonomischen Evaluationenfür die Bewertung des medizinischen Effektes aufeine im Vorfeld publizierte klinische Studie Bezuggenommen. Schon Byford und Palmer[11] wiesenin diesem Zusammenhang darauf hin, dass einegute ökonomische Studie als Erstes guter klinischerDaten bedarf.

Daher war das Ziel unserer Untersuchung zuprüfen, ob die Qualität der Berichterstattung derökonomischen Studie mit der Qualität der klinischenStudie korreliert. Gleichzeitig sollte der Einflussvon Peer-review-Verfahren, Impact Faktor undSponsoring auf die Qualität der ökonomischenStudie untersucht werden.

Methoden

Mit Hilfe der Internet-Datenbank Health Eco-nomic Evaluations Database (HEED) wurden alleökonomischen Artikel in der Medizin der Jahre2004 und 2005 identifiziert. HEED umfasst nebenden Datenbanken Medline und Embase auchHTA-Reports sowie akademische und staatlichePublikationen, die sich auf gesundheitsökonomischeFragestellungen spezialisiert haben. Insgesamtbeinhaltet HEED 33.500 Einträge, die sich speziellmit gesundheitsökonomischen Themen und Eva-luationen befassen.

Qualitative Bewertung der ökonomischenStudien

Die klinischen Studien wurden nach den über-arbeiteten Empfehlungen der Consolidated Standardsof Reporting Trials (CONSORT)-Checkliste ein-geschätzt.[12]

Die Checkliste umfasst 22 Items. Für jedenPunkt gab es drei Bewertungsmöglichkeiten:

1. Der Autor hat diesen Punkt behandelt.2. Der Autor hat diesen Punkt nicht behandelt.3. Dieser Punkt ist für diese Studie nicht rele-

vant.

© Adis Data Information BV. Alle Rechte vorbehalten. PharmacoEconomics – German Research Articles 2009; 7(2)

Qualität ökonomischer Studien 57

Es wurde der prozentuale Anteil der mit „DerAutor hat diesen Punkt behandelt“ bewertetenKriterien zur Maximalpunktzahl (22 Punkte) berechnet.Für die Studien, für die bestimmte Kriterien derCheckliste nicht relevant waren, verringerte sich dieMaximalpunktzahl entsprechend. Für alle Items galteine gleiche Wertigkeit. Die Bewertung der Studienwurde unabhängig von zwei Personen (H. G., M. H.)durchgeführt. Bei auftretenden Differenzen erfolgtedie Beurteilung durch eine dritte Person (C. G.).

Die ökonomischen Studien wurden anhand derBritish Medical Journal (BMJ)-Richtlinien fürAutoren und Gutachter von ökonomischen Studienbeurteilt. Die Liste umfasst 35 Items.[13] Die Bewertungerfolgte analog der Bewertung der klinischen Studien.

Peer-review-Verfahren

Für jede der ökonomischen Publikationen wurdeanhand der Zeitschrift geprüft, ob diese ein Peer-review durchführt oder nicht.

Der Impact Faktor

Es wurden für alle medizinischen Fachzeitschriften,in denen die untersuchten Artikel publiziert wurden,die jeweiligen Impact Faktoren des Journal CitationReports aus dem Jahr 2004 bestimmt. Dazu kam dasinterne Datenbanksystem der Thüringer Universi-täts- und Landesbibliothek Jena zum Einsatz.[14]

Sponsoring

Für jede ökonomische Studie wurde zusätzlichgeprüft, ob sie von industriellen Unternehmenbzw. von nicht-industriellen Institutionen gesponsertoder ohne Sponsoring angefertigt wurde.

Statistik

Korrelationen wurden mit Hilfe des Korrelati-onskoeffizienten nach Pearson |r| berechnet. Dabeiwurde der beobachtete Zusammenhang als schwachbei 0 < |r| < 0,3, mittel bei 0,3 ≤ |r| ≤ 0,7 oder starkbei 0,7 <|r|< 1 bezeichnet. Weitere statistische

Auswertungen erfolgten mit Hilfe des t-Tests. Alsstatistische Signifikanzgrenze wurde ein Wert von p < 0,05 angenommen. Alle Berechnungen wurdenmit Statistical Product and Service Solution (SPSS),Version 14.0, durchgeführt.

Ergebnisse

Es wurden 237 ökonomische Studien der Jahre2004 und 2005 identifiziert, die sich auf eine ran-domisierte kontrollierte klinische Studie (RCT) be-zogen. Davon wurden 133 ausgeschlossen, in denendie Studie (RCT) vor 2002 publiziert wurde, da dierevidierte CONSORT-Fassung im Jahr 2001 publiziertworden war. Dies ergibt eine verbleibende Gesamtzahlvon 104 ökonomischen Studien. Diese 104 Studienverteilen sich auf 63 Fachzeitschriften. Davon waren4 Journale gesundheitsökonomische Fachzeitschriften(Applied Health Economics and Health Policy, TheEuropean Journal of Health Economics, Pharmaco-Economics, Value Health), in denen insgesamt14 Artikel publiziert wurden. Die übrigen 90 Studienwurden in medizinischen Fachzeitschriften publiziert,wobei die Schwerpunkte innerhalb der Allgemein-medizin und der Inneren Medizin lagen. Spitzenreiterwar das British Medical Journal mit 6 Publikationen,gefolgt vom Journal of the American College ofCardiology mit 5 Publikationen.


Es besteht ein mittelstarker Zusammenhang zwi-schen der Qualität der klinischen und ökonomischenStudien (r = 0,329; p = 0,001) (Abbildung 1). Diebeste ökonomische Studie erreichte 81 % und dieschlechteste ökonomische Studie 24 % der BMJ-Kriterien. Bei den klinischen Studien erreichte dieschlechteste 29 % und die beste 92 % der Consort-Items.

Peer-review-Verfahren

Bei 86 % (89/104) der ökonomischen Studienwurde ein Peer-review durchgeführt. Diese Studien


58 Grunewald et al.

erfüllten im Durchschnitt 58,3 % der Items derBMJ-Leitlinien. In den verleibenden 14 % (15/104)der Studien wurden durchschnittlich 56,2 % derBMJ-Kriterien nachgewiesen (p = 0,558).

Impact Faktor

Es besteht kein Zusammenhang zwischen derHöhe des Impact Faktors und der Qualität derökonomischen Studien (r = 0,168; p = 0,1) [Abbil-dung 2].

Beim Vergleich von Abbildung 2 und Abbil-dung 3 fällt auf, dass ökonomische Studien häufigerin Zeitschriften mit niedrigerem Impact Faktorpubliziert werden als die zugrunde liegendenklinischen Studien.

Sponsoring

Bei 81 % (84/104) der ökonomischen Studienwurde der Sponsor erwähnt. Davon erhielten 60 % (50/104) finanzielle Förderungen von einem

profitorientierten Industrieunternehmen, dierestlichen 40 % (34/104) wurden von nicht-industriellen Institutionen finanziell unterstützt. Dabeierfüllen die nicht-industriell finanzierten ökonomischenStudien 59,3 % und die industriell gefördertenStudien 58,6 % der BMJ-Forderungen (p = 0,815).

Diskussion


Entsprechend unserer Untersuchung bestehtein mittelstarker Zusammenhang zwischen derQualität der klinischen und ökonomischen Studien(r = 0,329; p = 0,001). Demzufolge beruhen öko-nomische Studien hoher Qualität häufig auf klini-schen Studien, die ebenso eine hohe Qualitätaufweisen. Dies kommt der Forderung von Byfordund Palmer[11] nahe, die besagt, dass gute klinischeDaten eine der Grundvoraussetzungen für einehochwertige ökonomische Studie darstellen.


Qua

lität

öko

nom

isch

er S

tud

ien

in %

Qualität klinischer Studien in %

Abb. 1. Streudiagramm der Korrelation der Qualität der Studienpaare, r = 0,329, p = 0,001



Qua

lität

öko

nom

isch

er S

tud

ien

in %

Impact Faktoren

Abb. 2. Zusammenhang Studienqualität–Impact Faktor ökonomischer Studien, r = 0,168, p = 0,1

Qua

lität

klin

isch

er S

tud

ien

in %

Impact FaktorenAbb. 3. Zusammenhang Studienqualität–Impact Faktor klinischer Studien, r = 0,078, p = 0,44

60 Grunewald et al.

Peer-review

Die Qualität ökonomischer Studien hängt lautunserer Untersuchung nicht von der Durchführungeines Peer-review-Verfahrens ab (p = 0,558). Diesstimmt mit den Ergebnissen von Elvik überein,[15]

der belegte, dass es keinen signifikanten Quali-tätsunterschied zwischen Veröffentlichungen ausPeer-review-Journals und nicht vorab begutachtetenPublikationen gibt. Es konnte lediglich eine schwa-che Tendenz hinsichtlich besserer Qualität der inden Zeitschriften mit Peer-review erschienenenArtikel nachgewiesen werden. Auch Goodman etal.[10] konnten lediglich eine moderate Qualitäts-verbesserung durch das Peer-review-Verfahrenfeststellen. Es gibt jedoch auch Hinweise, dass dasPeer-review-Verfahren die Qualität von Studienbeeinflusst. So wiesen neben Rochon et al. auchandere Publikationen nach, dass Artikel aus Peer-review-Journals eine höhere Qualität in der Durch-führung und Berichterstattung besitzen.[16,17]

Impact Faktor

In unserer Studie konnte keine signifikante Kor-relation zwischen dem Impact Faktor und derQualität ökonomischer Studien nachgewiesen werden(p = 0,1). Demzufolge besteht keine Abhängigkeitzwischen der Qualität einzelner Publikationen undder Höhe des Impact Faktors medizinischer Fach-zeitschriften. Der Impact Faktor ist somit nicht alsMaß zur Einschätzung der Güte einer ökonomischenStudie geeignet. Dieses Ergebnis stimmt mit anderenVeröffentlichungen überein. Auch Barbui et al.konnten keinen Qualitätsunterschied der Publika-tionen in Abhängigkeit von der Höhe des ImpactFaktors nachweisen.[18] Weiterhin konnte Opthof[19]

durch den Vergleich zweier Zeitschriften mit einemhohen und einem niedrigen Impact Faktor zeigen,dass der Impact Faktor keine Beurteilungsgrundlagefür die Qualität einzelner Artikel ist. Auch inStudien, die zeigten, dass eine Korrelation zwischender Höhe des Impact Faktors und der adäquatenBeschreibung von CONSORT-Items bestand, wurdedarauf hingewiesen, dass auch in Zeitschriften mit

hohem Impact Faktor schlechte Studien publiziertwerden können, was eine kritische Prüfung jederStudie unbedingt notwendig macht.[20] In dieserUntersuchung konnte beobachtet werden, dass öko-nomische Studien häufiger in Zeitschriften mitniedrigerem Impact Faktor publiziert werden alsdie zugrunde liegenden klinischen Studien. Diesdeutet darauf hin, dass ökonomische Studien vonZeitschriften mit hohem Impact Faktor wenigeranerkannt werden als klinische Studien.

Sponsoring

Die nicht-industriell gesponserten ökonomischenStudien erfüllen 59,3 % und die industriell finan-zierten Studien 58,6 % der BMJ-Items (p = 0,815).Demzufolge besteht keine Abhängigkeit der Qualitätwissenschaftlicher Publikationen von der Art derfinanziellen Förderung. Dieses Ergebnis stimmtmit anderen Untersuchungen überein. So konntensowohl Clifford[9] als auch Neumann[21] keinen Un-terschied in der Güte wissenschaftlicher Arbeitenin Abhängigkeit von der Art des Sponsors nach-weisen. Auch Lexchin[22] konnte in seinem sys-tematischen Review zeigen, dass industriellfinanzierte Studien nicht von niedrigerer Qualitätwaren als nicht-industriell gesponserte Studien.Im Gegensatz dazu machten Barbieri und Drum-mond darauf aufmerksam, dass einige industriell-gesponserte Studien von minderer Qualität sind.Das heißt jedoch nicht, dass interessengeleitetesSponsoring häufiger zu einem positiven Ergebnisder Studie führt. Vielmehr sponsern Industrieun-ternehmen Forschungsprojekte, deren positiverAusgang bereits zu Beginn absehbar ist.[23]

Schlussfolgerung

Ökonomische Studien hoher Qualität beruhenhäufig auf klinischen Studien, die ebenso eine hoheQualität aufweisen. Weder das Peer-review-Verfahrennoch der Impact Faktor oder das Sponsoring scheineneinen Einfluss auf die Qualität wissenschaftlicherökonomischer Publikationen auszuüben.



Autorenerklärung

Es besteht kein Interessenkonflikt.

Literatur

1. Elixhauser A, Halpern M, Schmier J et al. Health care CBA

and CEA from 1991 to 1996: an updated bibliography. Med

Care 1998 May; 36(5 Suppl): MS1–9, MS18–147

2. Elixhauser A, Luce BR, Taylor WR et al. Health care CBA/CEA:

an update on the growth and composition of the literature.

Med Care 1993 Jul; 7 Suppl: JS1–11, JS18–149

3. Kruper L, Kurichi JE, Sonnad SS. Methodologic quality of

cost-effectiveness analyses of surgical procedures. Ann Surg

2007 Jan; 245(1): 147–151

4. Blackmore CC, Smith WJ. Economic analyses of radiological

procedures: a methodological evaluation of the medical

literature. Eur J Radiol 1998 May; 27(2): 123–130

5. Campbell MK, Elbourne DR, Altman DG. CONSORT group.

CONSORT statement: extension to cluster randomised trials.

BMJ 2004 Mar; 328(7441): 702–708

6. Jefferson T, Demicheli V. Is vaccination against hepatitis B ef-

ficient? A review of world literature. Health Econ 1994 Jan-

Feb; 3(1): 25–37

7. Adams ME, McCall NT, Gray DT et al. Economic analysis in

randomized control trials. Med Care 1992 Mar; 30(3): 231–243

8. Udvarhelyi IS, Colditz GA, Rai A et al. Cost-effectiveness

and cost-benefit analyses in the medical literature. Are the

methods being used correctly? Ann Intern Med 1992 Feb;

116(3): 238–244

9. Clifford TJ, Barrowman NJ, Moher D. Funding source, trial

outcome and reporting quality: are they related? Results of a

pilot study. BMC Health Serv Res 2002 Sep; 2(1): 18

10. Goodman SN, Berlin J, Fletcher SW et al. Manuscript quality

before and after peer review and editing at Annals of Internal

Medicine. Ann Intern Med 1994 Jul; 121(1): 11–21

11. Byford S, Palmer S. Common errors and controversies in

pharmacoeconomic analyses. PharmacoEconomics 1998 Jun;

13(6): 659–666.

12. Altman DG, Schulz KF, Moher D et al. CONSORT GROUP

(Consolidated Standards of Reporting Trials). The revised

CONSORT statement for reporting randomized trials: explanation

and elaboration. Ann Intern Med 2001 Apr; 134(8): 663–694

13. Drummond MF, Jefferson TO. Guidelines for authors and peer

reviewers of economic submissions to the BMJ. The BMJ

Economic Evaluation Working Party. BMJ 1996 Aug; 313(7052):

275–283

14. Erhältlich unter URL: http://www.thulb.uni-jena.de/ [Abgerufen:

November 2006]

15. Elvik R. Are road safety evaluation studies published in peer

reviewed journals more valid than similar studies not published

in peer reviewed journals? Accid Anal Prev 1998 Jan; 30(1):

101–118

16. Rochon PA, Bero LA, Bay AM et al. Comparison of review

articles published in peer-reviewed and throwaway journals.

JAMA 2002 Jun; 287(21): 2853–2856

17. Cho MK, Bero LA. The quality of drug studies published in

symposium proceedings. Ann Intern Med 1996 Mar; 124(5):

485–489

18. Barbui C, Cipriani A, Malvini L et al. Validity of the impact

factor of journals as a measure of randomized controlled trial

quality. J Clin Psychiatry 2006 Jan; 67(1): 37–40

19. Opthof T. Sense and nonsense about the impact factor.

Cardiovasc Res 1997 Jan; 33(1): 1–7

20. Gluud LL, Sørensen TI, Gøtzsche PC et al. The journal impact

factor as a predictor of trial quality and outcomes: cohort

study of hepatobiliary randomized clinical trials. Am J Gastro-

enterol 2005 Nov; 100(11): 2431–2435

21. Neumann PJ, Sandberg EA, Bell CM et al. Are pharmaceuticals

cost-effective? A review of the evidence. Health Aff (Millwood)

2000 Mar-Apr; 19(2): 92–109

22. Lexchin J, Bero LA, Djulbegovic B et al. Pharmaceutical

industry sponsorship and research outcome and quality: system -

atic review. BMJ 2003 May; 326(7400): 1167–1170

23. Barbieri M, Drummond MF. Conflict of interest in industry-

sponsored economic evaluations: real or imagined? Curr Oncol

Rep 2001 Sep; 3(5): 410–413

Korrespondenzadresse: PD Dr. Michael Hartmann, MPH,MBA, Universitätsklinikum Jena, Erlanger Allee 101,07740 Jena.E-Mail: [email protected]


Documents

Der Einfluss von klinischen Daten, Peer-review-Verfahren, Impact Faktor und Sponsoring auf die Qualität ökonomischer Studien