31
Forschungsdatenmanagement bei wirtschaftswissenschaftlichen Zeitschriften - Einblicke aus dem DFG-Projekt EDaWaX Sven Vlaeminck | Leibniz-Informationszentrum Wirtschaft (ZBW) 6. Konferenz für Wirtschafts- und Sozialdaten | 20./21.02.2014 | Berlin Quelle: Economics-EJournal Quelle: American Economic Review Quelle: EDaWaX-Projekt

Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Forschungsdatenmanagement bei wirtschaftswissenschaftlichen Zeitschriften

- Einblicke aus dem DFG-Projekt EDaWaX

Sven Vlaeminck | Leibniz-Informationszentrum Wirtschaft (ZBW)6. Konferenz für Wirtschafts- und Sozialdaten | 20./21.02.2014 | Berlin

Quelle: Economics-EJournal Quelle: American Economic Review Quelle: EDaWaX-Projekt

Page 2: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Vorteile der Offenlegung v. Forschungsdaten

Quelle: Brian Hole, ubiquitiy Press. http://www.slideshare.net/brianhole/ubiquity-press-eifl130830

Page 3: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Vorteile der Offenlegung v. Forschungsdaten

Quelle: Brian Hole, ubiquitiy Press. http://www.slideshare.net/brianhole/ubiquity-press-eifl130830

Page 4: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Vorteile der Offenlegung v. Forschungsdaten

Quelle: Brian Hole, ubiquitiy Press. http://www.slideshare.net/brianhole/ubiquity-press-eifl130830

Page 5: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

“If I have seen further it is by standing on the shoulders of giants” (I. Newton)

> Offenlegen von Daten & Berechnungen sind wesentlicher Aspekt wissenschaftlichen Arbeitens -> Gütekriterien empirischer Forschung.

> Replizierbarkeit von Ergebnissen ist wichtiger Aspekt dieser Gütekriterien. (Einige) Vorteile replizierbarer Forschung: – Nachvollziehbarkeit v. Methodik und erzielten Ergebnissen =>

Vertrauen in erzielte Ergebnisse.

– Der wissenschaftliche Erkenntnisprozess wird beschleunigt.

– Forschungsergebnisse sind besser geprüft

– Wissenschaftliches Fehlverhalten wird reduziert.

– Erlernen wissenschaftlicher Methoden wird erleichtert.

Page 6: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Zur Replizierbarkeit volkswirtschaftlicher Forschung

Einige Beispiele aus der wirtschaftswissenschaftlichen Praxis.

Page 7: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Trauen Sie volkswirtschaftlicher Forschung?

> Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren.

> Es gelang bei zwei Artikeln (3,7%).

> McCullough et al. (2006) versuchten 62 Veröffentlichungen des JMCB zu replizieren.

> Sie konnten 14 Artikel (22,6%) replizieren.

> McCullough et al. (2008) versuchten 117 Artikel der Federal Reserve Bank of St. Louis Review zu replizieren.

> Es gelang Ihnen bei 9 Artikeln (7,7%).

> McCullough: „Despite claims that economics is a science, no applied economics journal can demonstrate that the results published in its pages are replicable, i.e., that there exist data and code that can reproduce the published results.”

Page 8: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Auswirkungen nicht replizierbarer Forschung:

> 2010: Paper der US-Starökonomen Rogoff und Reinhart über den Zusammenhang von Staatsverschuldung und Wirtschaftswachstum.

> 2012/2013: EU-Währungskommissar Olli Rehm und US-Präsidentschaftskandidat Paul Ryian nutzten die Ergebnisse zur Rechtfertigung von Austeritätspolitik.

> 2013 entdeckt ein Student verschiedene Fehler in den Berechnungen und den zugrunde liegenden Daten.

> Starkes Argument für replizierbare Forschung!

“Dr. Kenneth Rogoff at a Canada 2020 Luncheon” by canada.2020/flickr.com

Lizenz beider Bilder: CC BY-NC-ND 2.0

“Carmen M. Reinhart - World Economic Forum Annual Meeting 2011” by World Economic Forum /flickr.com

Page 9: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Quelle:http://openeconomics.net/principles/

Page 10: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Quelle:http://www.socialpolitik.org/docs/ethikkodex.pdf

Page 11: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren
Page 12: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Verfügbarkeit von Forschungsdaten in wirtschaftswissenschaftlichen FachzeitschriftenErgebnisse einer Studie des EDaWaX –Projekts.

Page 13: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Im Projektkontext wurde ein Sample von 141 Fachzeitschriften (darunter viele Top‐Journals) auf die Verfügbarkeit von Data Policies evaluiert.

Replizierbare Forschung in Fachzeitschriften

Page 14: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Wir konnten 40 Journals finden, die angaben über eine „Data Policy“ zu verfügen.  

Replizierbare Forschung in Fachzeitschriften

Page 15: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

29 verfügten über eine sinnvolle „Data Availability Policy“  

Replizierbare Forschung in Fachzeitschriften

Page 16: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

24 dieser 29 waren verpflichtend. 

Replizierbare Forschung in Fachzeitschriften

Page 17: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Replizierbare Forschung in Fachzeitschriften

Nur 12 Journals verlangten auch den wichtigen Berechungscode. 

Page 18: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Replizierbare Forschung in Fachzeitschriften

Nur 4 Journals hatten  für mehr als jeden zweiten Artikel im Archiv Forschungsdaten hinterlegt.

Page 19: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Infrastruktur zur Bereitstellung von Forschungsdaten in Fachzeitschriften

Ergebnisse einer Studie des EDaWaX –Projekts.

Page 20: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Forschungsdatenbereitstellung in Journals

Page 21: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Bereitstellung von Daten am Beispiel der AER

Page 22: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Probleme der Bereitstellung per zip-File:

> Wie zitiere ich solche Datensätze?

> Wie finde ich solche Datensätze (abseits des Artikels)?

> Woher weiß ich bei geschützten oder proprietären Datensätzen welches die verwendete Version des Datensatzes ist?

> Wie häufig werden die Daten nachgenutzt?

Page 23: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Ein Lösungsweg: Die EDaWaX Pilotapplikation

Page 24: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Übermittlung von Daten & Metadaten

Page 25: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Upload von Forschungsdaten und Syntax

Page 26: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Forscher wählen „Metadatenlevel“ selbst!

Page 27: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Ansicht: Forschungsdaten im Datenarchiv

Test-Datensatz!

Page 28: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Test-Datensatz!

Page 29: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Feature: Forschungsdatenpreview

Page 30: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

EDaWaX-Evaluierungsworkshop mit Herausgebern von Fachzeitschriften (18.11.2013)

Podiumsdiskussion zum Thema „Data Sharing“ bei der Jahrestagung des Vereins für Socialpolitik (VfS)(06.09.2013)

Page 31: Forschungsdatenmanagement bei ... · Trauen Sie volkswirtschaftlicher Forschung? > Dewald et al. (1986) versuchten 54 Artikel des Journal of Money, Credit, and Banking (JMCB) zu replizieren

Vielen Dank für Ihr Interesse!

Gibt es Anregungen, Fragen oder Kommentare ?

Kontakt:

Sven Vlaeminck | [email protected]

ZBW – Leibniz Informationszentrum Wirtschaft

Neuer Jungfernstieg 21

20354 Hamburg Alle Inhalte dieser Präsentation sind mit der CC BY-NC-SA 3.0 DE Lizenz versehen.

Paper, Reports, etc.:http://www.edawax.de/downloads