Qualität digitaler Forschungsdaten (Research Data Quality)

Aspekte digitaler Informationsversorgung Sommersemester 2013

Digitale Forschungsdaten

Qualität digitaler Forschungsdaten 02.05.2013

Maxi Kindling , Prof. Dr. Peter Schirmbacher, Lehrstuhl für Informationsmanagement

Institut für Bibliotheks- und Informationswissenschaft 1


Agenda

• Warum ein wichtiges Thema? – Wissenschaftliches Fehlverhalten – Nachnutzung

• Qualität im Umgang mit digitalen Forschungsdaten – Begriffsbestimmung „Qualität“ – Integrität/GWP – Anforderungen und Empfehlungen (wissenschaftspolitisch) – Qualität von Forschungsdaten

• Qualitätssichernde Maßnahmen – Qualität von Forschungsdateninfrastrukturen

• Zertifikate – Akteure – Die Bedeutung von Metadaten

2 02.05.2013


Institut für Bibliotheks- und Informationswissenschaft


Wissenschaftliches Fehlverhalten – „Academic fraud“

3 02.05.2013

http://www.nytimes.com/2013/04/28/magazine/diederik-stapels-audacious-academic-fraud.html?pagewanted=all

http://blogs.discovermagazine.com/notrocketscience/2012/06/26/why-a-new-case-of-misconduct-in-psychology-heralds-interesting-times-for-the-field/#.UYD9zrVA2gk












http://blogs.discovermagazine.com/notrocketscience/2012/06/26/why-a-new-case-of-misconduct-in-psychology-heralds-interesting-times-for-the-field/

http://blogs.discovermagazine.com/notrocketscience/2012/06/26/why-a-new-case-of-misconduct-in-psychology-heralds-interesting-times-for-the-field/


Wissenschaftliches Fehlverhalten – „Academic fraud“

4 02.05.2013

http://retractionwatch.wordpress.com/



http://retractionwatch.wordpress.com/


Nachnutzung von digitalen Forschungsdaten

5 02.05.2013

http://korpling.german.hu-berlin.de/ridges/documentation_de.html



http://korpling.german.hu-berlin.de/ridges/documentation_de.html


Nachnutzung von digitalen Forschungsdaten

Möglichkeit der Nachnutzung ist abhängig von, inwieweit • die Erhebung • Auswertung, • Aufbereitung, • und Archivierung digitaler Forschungsdaten bestimmten, eindeutigen Richtlinien oder Standards folgt. (Vgl. Kindling, 2013, S. 139)

6 02.05.2013




Was ist Qualität?

Deutsches Institut für Normung (DIN)

Qualität: • „die Gesamtheit von

Merkmalen (und Merkmalswerten) einer Einheit bezüglich ihrer Eignung, festgelegte und vorausgesetzte Erfordernisse zu erfüllen“ (DIN 1987, DIN 55350-11)

Internation Standard Organisation (ISO)

Qualität: • der Grad, in dem ein Satz

inhärenter Merkmale Anforderungen erfüllt (übersetzt, vgl. EN ISO-Norm 9000:2005)

02.05.2013 7




Was ist Qualität?

Allgemein:

Qualität meint das Maß, in dem Merkmale oder Kriterien erfüllt sind, über die innerhalb einer Domäne Übereinkunft herrscht.

8 02.05.2013




DFG (1998) Sicherung guter wissenschaftlicher Praxis

9

http://www.dfg.de/download/pdf/dfg_im_profil/reden_stellungnahmen/download/empfehlung_wiss_praxis_0198.pdf Maxi Kindling , Prof. Dr. Peter Schirmbacher,

Lehrstuhl für Informationsmanagement Institut für Bibliotheks- und Informationswissenschaft 02.05.2013

http://www.dfg.de/download/pdf/dfg_im_profil/reden_stellungnahmen/download/empfehlung_wiss_praxis_0198.pdf



10 02.05.2013







11 02.05.2013






Research Integrity

12 02.05.2013

http://www.knaw.nl/Pages/DEF/28/514.bGFuZz1FTkc.html



http://www.knaw.nl/Pages/DEF/28/514.bGFuZz1FTkc.html


Research Integrity

13 02.05.2013

http://www.oecd.org/sti/sci-tech/40188303.pdf

http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/CEO_Unit/MO_FORA/MOFORUM_ResearchIntegrity/ResearchIntegrity_report_finalpublished.pdf&t=1367499587&hash=e282f305eb0e4c7cd80c3b15442a9f8abe3a36eb



http://www.oecd.org/sti/sci-tech/40188303.pdf





ESF Codes of Conduct

• “Honesty in communication; • Reliability in performing

research; • Objectivity; • Impartiality and

independence; • Openness and accessibility; • Duty of care; • Fairness in providing

references and giving credit; • Responsibility for the scientists

and researchers of the future.”

14 02.05.2013

http://www.esf.org/media-centre/ext-single-news/article/the-european-code-of-conduct-for-research-integrity-endorsed-by-european-science-foundations-gove.html http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/CEO_Unit/MO_FORA/MOFORUM_ResearchIntegrity /Code_Conduct_ResearchIntegrity.pdf&t=1367499587&hash=ac6e154c2fed65fa0d654b467ffafb0c0d9ef44d



http://www.esf.org/media-centre/ext-single-news/article/the-european-code-of-conduct-for-research-integrity-endorsed-by-european-science-foundations-gove.html

http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/CEO_Unit/MO_FORA/MOFORUM_ResearchIntegrity/Code_Conduct_ResearchIntegrity.pdf&t=1367499587&hash=ac6e154c2fed65fa0d654b467ffafb0c0d9ef44d

http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/CEO_Unit/MO_FORA/MOFORUM_ResearchIntegrity/Code_Conduct_ResearchIntegrity.pdf&t=1367499587&hash=ac6e154c2fed65fa0d654b467ffafb0c0d9ef44d


http://www.esf.org/index.php?eID=tx_nawsecuredl&u=0&file=fileadmin/be_user/research_areas/CSSD/SEFP8_Docs/MO_Fora/European_Peer_Review_Guide.pdf&t=1367499850&hash=e1c35dabc7e1c7964e5a2309badd3a57b13527d5

Scientific Quality

• “Scientific/intellectual merits of the proposed research: clear, convincing and compelling;

• Thoroughness: definition of the problem and proposed solutions, review of state of the art;

• Novelty and originality: – unconventional, – potential for the creation of new knowledge, – exciting new ideas and approaches, – use of novel technologies/methodologies, – innovative application of existing

methodologies/technologies in new areas, – potential for the creation of new fundamental

questions and new directions for research, – feasibility: scientific, technological, access to

infrastructure, recruitment, project timeline, – management plan and deliverables,

associated risks, – appropriateness of the research methods,

infrastructures, equipment and fieldwork.

15 02.05.2013







Was ist Qualität in der Wissenschaft?

„Für den Qualitätsbegriff lässt sich zunächst abstrakt festhalten, dass Qualität eine in einer Community oder Domäne herrschende Übereinkunft über eine bestimmte Sammlung von Kriterien ist, die erfüllt sein müssen, damit Forschungsdaten als valide Ausgangsbasis für Forschung anerkannt werden können. Einige der Kriterien, die zur Bestimmung der Qualität digitaler Forschungsdaten dienen, sind operationalisierbar und bspw. durch formale oder technische Prüfung „messbar“, andere nicht. Entscheidend ist der Aspekt der Übereinkunft: Die Fachcommunities müssen selbst, besser explizit als implizit, aushandeln, wann Kriterien erfüllt sind, die […] Qualität ausmachen. […]“ (Kindling, 2013, S. 140)

Maxi Kindling, Prof. Dr. Peter Schirmbacher, Lehrstuhl für Informationsmanagement


02.05.2013


Empfehlungen der Forschungsförderer/Wissenschaftspolitik

• Übereinkunft innerhalb einer Community – „gute wissenschaftliche Praxis“ – Research Integrity

• Wissenschaftspolitische Empfehlungen zum Umgang mit digitalen Forschungsdaten – Berlin Declaration on Open Access (2003) – Deutsche Forschungsgemeinschaft: Empfehlungen zum Umgang mit

digitalen Forschungsdaten (2009) – Allianz der Wissenschaftsorganisationen : Grundsätze zum Umgang mit

digitalen Forschungsdaten (2010) – Wissenschaftsrat: Empfehlungen zur Weiterentwicklung der

wissenschaftlichen Informationsinfrastrukturen in Deutschland bis 2020 (2012)



02.05.2013


Berlin Declaration on Open Access 2003

Berlin Declaration on Open Access (2003) „Open access contributions include original scientific research results, raw data and metadata, source materials, digital representations of pictorial and graphical materials and scholarly multimedia material.“



02.05.2013


DFG Empfehlungen 2009

„Forschungsprimärdaten bilden einen wertvollen Fundus an Informationen, die mit hohem finanziellem Aufwand erhoben werden. Je nach Fachgebiet und Methode sind sie replizierbar oder basieren auf nicht wiederholbaren Beobachtungen oder Messungen. In jedem Fall sollten die erhobenen Daten nach Abschluss der Forschungen öffentlich zugänglich und frei verfügbar sein. Dieses ist die wesentliche Voraussetzung dafür, dass Daten im Rahmen neuer Fragestellungen wieder genutzt werden können sowie dafür, dass im Falle von Zweifeln an der Publikation die Daten für die Überprüfung der publizierten Ergebnisse herangezogen werden können. 1997 veröffentlichte die DFG „Vorschläge zur Sicherung guter wissenschaftlicher Praxis“ mit 16 Empfehlungen. Die Empfehlung 7 lautet „Primärdaten als Grundlagen für Veröffentlichungen sollen auf haltbaren und gesicherten Trägern in der Institution, wo sie entstanden sind, für zehn Jahre aufbewahrt werden.“ Die Forderung, Daten verfügbar zu halten, steht für die DFG somit schon seit über 10 Jahren im Raum.“ Achtung: Öffentlich geförderte Forschung! (DFG, 2009)



02.05.2013



1. Forschungsprimärdaten sind Daten, die im Verlauf von Quellenforschungen, Experimenten, Messungen, Erhebungen oder Umfragen entstanden sind. Sie stellen die Grundlagen für die wissenschaftlichen Publikationen dar. In Abhängigkeit von der jeweiligen Fachzugehörigkeit sind die Forschungsprimärdaten unterschiedlich zu definieren. Die Wissenschaftler sollen in ihren Fachcommunities selber entscheiden, ob bereits Rohdaten hierzu zählen oder ab welchem Grad der Aggregierung die Daten langfristig aufzubewahren sind. Des weiteren soll die Granularität in groben Umrissen vereinbart sein: wie viele Daten ergeben einen Datensatz, der mit einer stabilen Adresse (persistent identifier) ausgestattet wird? (DFG, 2009)



02.05.2013



2. Es ist ein fachspezifisches Organisationskonzept festzulegen, das die nachhaltige Speicherung der Daten regelt. Die Wissenschaftler bestimmen jeweils innerhalb ihrer Disziplinen eine Institution oder organisatorische Struktur, die sowohl die rasche, komfortable Bereitstellung der Daten im laufenden Forschungsprozess als auch die langfristige Verfügbarkeit sicherstellt. Darüber hinaus ist zu vereinbaren, ob es eine maximale Aufbewahrungsfrist geben soll, nach deren Ablauf die Daten dem Forscher zurückgegeben oder gelöscht werden. (DFG, 2009)



02.05.2013



3. Die Speicherung der Forschungsdaten erfolgt im Rahmen definierter Standards. Wesentlich ist die Einhaltung von Standards. Entsprechende Regelungen sind von den Wissenschaftlern in Kooperation mit Informationsspezialisten zu treffen. Hier sind vor allem auch internationale Regelungen zu berücksichtigen, damit die Kompatibilität auch international gewährleistet ist. (DFG, 2009)



02.05.2013



4. Die Daten sind persönlich gekennzeichnet und werden unter dem Namen des Forschers abgelegt. Die Speicherung der Daten muss die Rechteverwaltung mit umfassen. Die Regelungen sollen den Prinzipien des Open Access entsprechen. (DFG, 2009)



02.05.2013



5. Jeder Wissenschaftler stellt seine Forschungsprimärdaten nach Möglichkeit überregional und frei zur Verfügung. In Abhängigkeit von der jeweiligen Fachkultur soll unter den Wissenschaftlern Konsens darüber hergestellt werden, dass die Daten unmittelbar nach Abschluss der Forschungen oder nach wenigen Monaten der Öffentlichkeit frei zur Verfügung gestellt werden. Sofern die Daten in Projekten erarbeitet wurden, die aus öffentlich-rechtlichen Mitteln finanziert wurden, stehen sie im Grundsatz der Öffentlichkeit frei zur Verfügung. Für Forschungsdaten, die der Patentierung oder anderer unmittelbarer wirtschaftlicher Nutzung unterliegen, sind gesonderte Regelungen zu treffen. Dieses soll im Konsens mit den betroffenen Wissenschaftlern geschehen. (DFG, 2009)



02.05.2013



6. Die Daten werden durch Metadaten beschrieben. Mit den Metadaten (mindestens nach Dublin Core) werden zum einen die bibliographischen Fakten festgehalten. Es sind dies der Name des Forschers, der die Daten erhoben hat, die Benennung des Datensatzes, Ort und Jahr der Veröffentlichung sowie technische Daten (Format etc). In den inhaltsbezogenen Metadaten werden die Primärdaten umfassend beschrieben. Hier finden sich die Angaben zu den Rahmenbedingungen, unter denen sie erhoben bzw. gemessen wurden. Hier beschreibt der Autor auch die Fragestellung, unter der die Daten entstanden. Es sollen hier alle Informationen vorliegen, die für eine wiederholte Nutzung der Daten in anderen Fragestellungen erforderlich sind. Die Kriterien des Information Life Cycle Management sollen dabei berücksichtigt werden. (DFG, 2009)

Maxi Kindling, Prof. Dr. Peter Schirmbacher,

Lehrstuhl für Informationsmanagement Institut für Bibliotheks- und Informationswissenschaft

25 02.05.2013


Data Curation Lifecycle (DCC)



02.05.2013

http://www.dcc.ac.uk/resources/curation-lifecycle-model

http://www.dcc.ac.uk/sites/default/files/lifecycle_web.png

http://www.dcc.ac.uk/resources/curation-lifecycle-model



7. Die Daten sind qualitätsgeprüft. Es sind in den Fachcommunities Kriterien und Verfahren zu entwickeln, die die Qualitätssicherung der Daten gewährleisten. In dem Zusammenhang ist auch festzulegen, ab welchem Grad der wissenschaftlichen Qualifikation die Forschungsdaten aufbewahrt und öffentlich bereitgestellt werden sollen. (DFG, 2009)

„Die Fachgemeinschaften bzw. Akteure in interdisziplinären Forschungsfeldern sollten, sofern nicht bereits vorhanden, Qualitätskriterien für die Generierung von Forschungsdaten, Richtlinien für ein geeignetes Datenmanagement sowie Kriterien für den Zugang zu Daten, ihre Nutzung und ihren Schutz erarbeiten. (Wissenschaftsrat, 2012, S. 14)

Maxi Kindling, Prof. Dr. Peter Schirmbacher,


27 02.05.2013


WR zu Forschungsdaten

„Die Fachgemeinschaften bzw. Akteure in interdisziplinären Forschungsfeldern sollten, sofern nicht bereits vorhanden, Qualitätskriterien für die Generierung von Forschungsdaten, Richtlinien für ein geeignetes Datenmanagement sowie Kriterien für den Zugang zu Daten, ihre Nutzung und ihren Schutz erarbeiten. Forschungsdaten sollten zum Zweck der Qualitätssicherung und Nachnutzung in geeigneten Forschungsdaten- und Datenservicezentren veröffentlicht werden. Die Erhebung und Publikation von Forschungsdaten sollte als eigenständige Forschungsleistung anerkannt werden. Bereits bei der Beantragung von Forschungsprojekten sollten die personellen und finanziellen Mittel für die Aufbereitung und Dokumentation der Daten eingeplant werden. Überdies sollte frühzeitig Kontakt zu Infrastruktureinrichtungen aufgenommen werden, um zu klären, ob die wichtigen Aufgaben der Pflege (data curation) wie z. B. der (technischen) Metadatengenerierung, der Gewährleistung des (externen) Zugangs und der Langzeitarchivierung dort wahrgenommen werden können; dies gilt auch für (Retro-)Digitalisierungsprojekte.“ (Wissenschaftsrat, 2012, S. 14)



02.05.2013






02.05.2013






02.05.2013



Aspekte zur Empfehlung 7 und Empfehlungen des WR (Auswahl) • Qualitätskriterien für Forschungsdaten

– Disziplinspezifik • Qualität von Forschungsdateninfrastrukturen

– Forschungsdatenrepositorien: Zertifizierung • Anerkennung von Forschungsleistung • Finanzielle und personelle Ressourcen zur Unterstützung in Projekten • Verantwortung der Informationsinfrastruktureinrichtungen (DFG, 2009)



02.05.2013


Allianz-Grundsätze 2010

Präambel Qualitätsgesicherte Forschungsdaten bilden einen Grundpfeiler wissenschaftlicher Erkenntnis und können unabhängig von ihrem ursprünglichen Erhebungszweck vielfach Grundlage weiterer Forschung sein. Dies gilt namentlich für die Aggregation von Daten aus unterschiedlichen Quellen zur gemeinsamen Nutzung. Die nachhaltige Sicherung und Bereitstellung von Forschungsdaten dient daher nicht nur der Prüfung früherer Ergebnisse, sondern in hohem Maße auch der Erzielung künftiger Ergebnisse. Sie bildet eine strategische Aufgabe, zu der Wissenschaft, Politik und andere Teile der Gesellschaft gemeinsam beitragen müssen. Mit dem Ziel, die Qualität, Produktivität und Wettbewerbsfähigkeit der Wissenschaft zu fördern, verabschiedet die Allianz der deutschen Wissenschaftsorganisationen daher folgende Grundsätze für ein koordiniertes weiteres Vorgehen. (Allianz, 2010)



02.05.2013


Allianz-Grundsätze 2010

• Sicherung und Zugänglichkeit – OA, Daten- und Personenschutz, Grundsätze GWP

• Unterschiede der wissenschaftlichen Disziplinen – Disziplinspezifik, Lebenszyklen, Nutzungsszenarien

• Wissenschaftliche Anerkennung • Lehre und Qualifizierung • Verwendung von Standards

– Standards, Metadatenkataloge, Registries, Interdisziplinarität • Entwicklung von Infrastrukturen

– Entwicklung von und Orientierung an Anforderungen, internationale und interdisziplinäre Netzwerke

(Allianz, 2010)



02.05.2013


Was ist Qualität?

„Für den Qualitätsbegriff lässt sich zunächst abstrakt festhalten, dass Qualität eine in einer Community oder Domäne herrschende Übereinkunft über eine bestimmte Sammlung von Kriterien ist, die erfüllt sein müssen, damit Forschungsdaten als valide Ausgangsbasis für Forschung anerkannt werden können. Einige der Kriterien, die zur Bestimmung der Qualität digitaler Forschungsdaten dienen, sind operationalisierbar und bspw. durch formale oder technische Prüfung „messbar“, andere nicht. Entscheidend ist der Aspekt der Übereinkunft: Die Fachcommunities müssen selbst, besser explizit als implizit, aushandeln, wann Kriterien erfüllt sind, die […] Qualität ausmachen. […]“ (Kindling, 2013, S. 140)



02.05.2013


Research Data Quality

„The value and utility of research data depends, to a large extent, on the quality of the data itself. Data managers, and data collection organisations, should pay particular attention to ensuring compliance with explicit quality standards. Where such standards do not yet exist, institutions and research associations should engage with their research community on their development. Although all areas of research can benefit from improved data quality, some require much more stringent standards than others. For this reason alone, universal data quality standards are not practical. Standards should be developed in consultation with researchers to ensure that the level of quality and precision meets the needs of the various disciplines. […]” (OECD, 2007, S. 19ff.)

Maxi Kindling, Prof. Dr. Peter Schirmbacher Lehrstuhl für Informationsmanagement Institut für Bibliotheks- und

Informationswissenschaft 35

02.05.2013



„More specifically: • Data access arrangements should describe good

practices for methods, techniques and instruments employed in the collection, dissemination and accessible archiving of data to enable quality control by peer review and other means of safeguarding quality and authenticity.

• The origin of sources should be documented and specified in a verifiable way. Such documentation should be readily available to all who intend to use the data and incorporated into the metadata accompanying the data sets. Developing such metadata is important for enabling scientists to understand the exact implications of the data sets.” (OECD, 2007, S. 19ff.)


Informationswissenschaft 36

02.05.2013



• „Whenever possible, access to data sets should be linked with access to the original research materials, and copied data sets should be linked with originals, as this facilitates validation of the data and identification of errors within data sets.

• Research institutions and professional associations should develop appropriate practices with respect to the citations of data and the recording of citations in indexes, as these are important indicators of data quality.“ (OECD, 2007, S. 19ff.)

37 02.05.2013


Informationswissenschaft



„Quality: It is important for scholars that the information resources they use are trustworthy and of high quality. The main mechanism for quality control of publications is peer review, whereby journal articles are subject to assessment by other scholars. In the case of monographs, publishers and editors have an important role to play. In the case of datasets, data integrity is maintained through good curation and management. Data must be well described and not corrupted in any way to ensure reliability. “ (ANDS, 2011)

38 02.05.2013





39 02.05.2013

"[…] is determined by : 1. Their intrinsic scientific and scholarly

quality, 2. The format in which the research data and

supporting information are stored, 3. The documentation (metadata or

contextual information) regarding the research data."



http://datasealofapproval.org/?q=node/35



Data Quality

“Data Quality” • Intrinsic data quality (accuracy, objectivity, believability, and reputation) • Representational data quality (interpretability, ease of understanding,

representational consistency, and concise representation) • Accessibility data quality (accessibility, access security) (Wang & Strong, 1996)



02.05.2013


Information Quality

“Information Quality” • Intrinsic Information Quality

– Exaktheit, Konsistenz, Korrektheit, Glaubwürdigkeit, Verlässlichkeit, Objektivität

• Contextual Information Quality (zeitlicher Kontext) – Mehrwert, Relevanz, Vollständigkeit, Aktualität, Angemessenheit

• Representational Information Quality – Verständlichkeit, Interpretierbarkeit, Prägnanz, konsistente Repräsentation

• Accessibility Information Quality • Zugänglichkeit, Verfügbarkeit des Systems, Funktionen und Operationen,

Bedienbarkeit, System- und Datensicherheit (Lee et al., 2002)

Maxi Kindling , Prof. Dr. Peter Schirmbacher,


41 02.05.2013


Beispiel

Intrinsic Quality • Integrität

• Exaktheit • Konsistenz • Korrektheit • Glaubwürdigkeit • Verlässlichkeit • Objektivität

• Authentizität

Operationalisierbare Kriterien • anerkannte bzw. standardisierte Datenformate • Beschreibung aller verwendeten Werkzeuge

(Hard- und Softwareeinstellungen) • dokumentiert in (standardisierten)Metadaten

02.05.2013



Prozesse • Datengenerierung (z. B. durch

automatisierte Verifizierung der datenerzeugenden Werkzeuge wie Messgeräte in den Naturwissenschaften (Vgl. RIN, 2008, S. 48)

• Datenaufbereitung


Beispiel

Representational Quality • Verständlichkeit • Interpretierbarkeit • Prägnanz • konsistente Repräsentation

Operationalisierbare Kriterien • Verknüpfung mit einer Publikation/Dokumentation • Dokumentation mittels (standardisierter)

Metadaten • Validität eines Records • Vollständigkeit eines Records



Prozesse • Datengenerierung • Datenaufbereitung • Datenarchivierung

02.05.2013


Weitere mögliche Qualitätskriterien

• Qualität der Ausstattung, die zur Datenproduktion verwendet wird • Qualität der Methodologie zur Datengewinnung (Vgl. Waaijers & van der Graaf, 2011)



02.05.2013


Verfahren der Qualitätssicherung

• (Peer) Review: – Datenmanagementpläne – Data Curation – Technische Prüfung (z. B. beim Forschungsdaten-Upload) – Artikel & Forschungsdaten – (dokumentierte) Forschungsdatensets



02.05.2013


Earth System Science Data



02.05.2013

http://www.earth-system-science-data.net/home.html

http://www.earth-system-science-data.net/home.html


UK Data Archive



02.05.2013

http://data-archive.ac.uk/curate/archive-quality




UK Data Archive



02.05.2013




Qualitätsbestimmung von Forschungsdaten

• Qualitätskriterien im Zusammenhang mit hoher fachliche Spezifität – Werkzeuge und Instrumente (Hard- und Software) – Methodik – Forschungsdesign – Interpretation – Fehlerdokumentation – „Kultur“ des Publizierens (Datensatz, Journal, Monographien etc.)

• Auch innerhalb von Fachcommunities schwierig! Verbindet man Qualitätskategorien mit operationalisierbaren Kriterien, mit den Prozessen, an den diese bestimmten werden können und Akteuren, die jeweils verantwortlich für die Sicherung sind, wird es sehr komplex…



02.05.2013




02.05.2013

Qualitätssicherungsmaßnahmen: • Generierung

– Software – Hardware

• Analyse – Werkzeuge/Software – Hardware – Dokumentation

• Aufbereitung – Dokumentation – Metadaten

• Formales Peer Review • Deposit/Bereitstellung

– Forschungsdateninfrastruktur (Standards, Zertifizierung)

– Metadaten & Datendokumentation • Distribution, Komm. (Nach-)Nutzung

– Standards Wissenschaftskommunikation

Nachnutzung / Zitation

Generierung / Produktion / Suche

Speicherung (lokal, Cloud, VRE)

Analyse / Auswahl / Aufbereitung

Deposit / Publikation / Nachweis

Langzeitarchivierung

Distribution / Kommunikation


Aspekte im Umgang mit Forschungsdaten

Nachnutzung / Zitation

Generierung / Produktion / Suche

Speicherung (lokal, Cloud, VRE)

Analyse / Auswahl

Deposit / Publikation / Nachweis

Langzeitarchivierung

Distribution / Kommunikation



02.05.2013

Zugriff auf die Informationsinfrastruktur

(Bibliotheken, Datenarchive, Repositorien,

Datensammlungen)

Bereitstellung durch die Informationsinfrastruktur

(Bibliotheken, Datenarchive, Repositorien,

Datensammlungen)


EC HLEG (2010) Riding the wave

European Commission High Level Expert Group on Scientific Data: Vision 2030 • “A vision for the year 2030 on the issue of how Europe can gain from the

rising tide of scientific data” • „Envisages a scientific e-infrastructure that supports seamless access, use,

re-use and trust of data” • “Describes a collaborative data infrastructure should function not only as a

valuable asset for science and technology, but also for the economy and the society as a whole”

(EC HLEG, 2010)



02.05.2013


EC HLEG (2010) Riding the wave



02.05.2013


European Commission (2013) RD eInfrastructures



02.05.2013

http://cordis.europa.eu/fp7/ict/e-infrastructure/docs/framework-for-action-in-h2020_en.pdf





European Commission (2013) RD eInfrastructures

e-Infrastructure fiche 03 “storing, managing and preserving research data” • “Services to ensure the quality and reliability of the infrastructure,

including through the use of certification mechanisms for repositories; • e-infrastructure for certification services to test and benchmark

capabilities in terms of resilience and service continuity of the infrastructure;

• and measures to ensure high levels of trust on the scientific content produced”

(EC, 2013)



02.05.2013


Zertifizierung von Forschungsdateninfrastrukturen

• Data Seal of Approval (DSA) – Initiative von DANS

(Datenarchivare, Datenmanager, Bibliothekare)

– Angesprochen sind Datenproduzenten, Betreiber der Infrastrukturen (Datenarchive, Repositorien) und Datenkonsumenten

– 16 Empfehlungen – Self Assessment – derzeit 14 Zertifikate



02.05.2013




Data Seal of Approval

• “quality aspects with regard to creation, storage and re-(use) of digital research data in the social sciences and humanities"

• "The objectives of the Data Seal of Approval are to safeguard data, to ensure high quality and to guide reliable management of research data for the future without requiring the implementation of new standards, regulations or high costs.“

(DSA, 2010)



02.05.2013


Data Seal of Approval: Guidelines

1. The data producer deposits the research data in a data repository with

sufficient information for others to assess the scientific and scholarly quality of the research data and compliance with disciplinary and ethical norms.

2. The data producer provides the research data in formats recommended by the data repository

3. The data producer provides the research data together with the metadata requested by the data repository

(DSA, 2010)



02.05.2013





02.05.2013

"[…] is determined by : 1. Their intrinsic scientific and scholarly

quality, 2. The format in which the research data

and supporting information are stored, 3. The documentation (metadata or

contextual information) regarding the research data.“

(DSA, 2010)


Quality of a data repository



02.05.2013

"Two factors, in particular, determine the quality of the data repository: 1. The quality of the organizational

framework in which the data repository is incorporated (organization and processes)

2. The quality of the technical infrastructure of the data repository“

(DSA, 2010)



4. The data repository has an explicit mission in the area of digital archiving and promulgates it

5. The data repository uses due diligence to ensure compliance with legal regulations and contracts including, when applicable, regulations governing the protection of human subjects.

6. The data repository applies documented processes and procedures for managing data storage

7. The data repository has a plan for long-term preservation of its digital assets 8. Archiving takes place according to explicit workflows across the data life cycle 9. The data repository assumes responsibility from the data producers for access and

availability of the digital objects 10. The data repository enables the users to utilize the research data and refer to them 11. The data repository ensures the integrity of the digital objects and the metadata 12. The data repository ensures the authenticity of the digital objects and the metadata 13. The technical infrastructure explicitly supports the tasks and functions described in

internationally accepted archival standards like OAIS (DSA, 2010)



02.05.2013



14. The data consumer complies with access regulations set by the data repository

15. The data consumer conforms to and agrees with any codes of conduct that are generally accepted in higher education and research for the exchange and proper use of knowledge and information

16. The data consumer respects the applicable licenses of the data repository regarding the use of the research data

(DSA, 2010)



02.05.2013


Zertifizierung von Forschungsdateninfrastrukturen

• European Framework for Audit and Certification of Digital Repositories – Data Seal of Approval (Basic) – + DIN 31644 // Nestor – Vertrauenswürdige Archive (Extended) – + ISO 16363 Audit and Certification of Trustworthy Digital Repositories (formal)

(Mauer & Schumann, 2013)

• ISCU WDC – World Data System (international) • Trusted Repository Audit and Certification (TRAC) • Digital Repositories Audit Method Based on Risk Management (DRAMBORA) • …

• DINI-Zertifikat für Dokumenten- und Publikationsservices (Textrepositorien, für FD-

Repositorien in der Prüfung) • re3data.org: Kriterien für Forschungsdatenrepositorien (Vorbereitung, s.a. VL Heinz

Pampel)




Weitere Aspekte der Zertifzierung

„If auditing becomes a career, what will happen to objectivity?“ (Helen Tibbo) ”There is no such thing as trustworthiness,” […] “There is so much involved in running a digital repository, that a) we cannot measure trustworthiness, and b) b) we cannot maintain it over time.”

(Seamus Ross)



02.05.2013

http://www.ncdd.nl/blog/?p=3176




Beteiligte Akteure

• Fachcommunities (zugleich Nutzerinnen und Nutzer) • Anbieter der Informationsinfrastruktur (darunter auch Verlage) • Wissenschaftspolitik (Forschungsförderer) für die

Wissenschaftsgemeinschaft (Vgl. Kindling, 2013, S. 143)



02.05.2013


Herausforderungen

• Unterscheidung zwischen Forschungsdatenproduzenten und Nutzern • Ungewissheit hinsichtlich des konkreten zukünftigen Nutzungszwecks (Vgl. Kindling, 2013, S. 143)

„Metadaten haben eine besondere Relevanz bei Forschungsdaten, da diese ausschließlich anhand dieser Daten beschrieben, verwaltet und klassifiziert werden können. Digitale Objekte (s. a. Digitalisierungsmetadaten) verfügen von sich aus über keine ausreichenden Beschreibungen, welche dem Nutzer schnelle Rückschlüsse, z. B. auf Herkunft der Daten, ihren Autor/-in, das Entstehungsdatum oder die Sprache des Dokumentes, ermöglichen.“ https://wiki.dnb.de/display/DINIAGKIM/Forschungsdaten



02.05.2013

https://wiki.dnb.de/display/DINIAGKIM/Forschungsdaten


Adäquate Beschreibung durch Metadaten

Metadaten für Forschungsdaten enthalten (idealerweise) • Informationen über den Entstehungskontext der Forschungsdaten

(Projekt-, Erhebungs-, Digitalisierungsinformationen), • die Forschungsfrage und Methode ihrer Generierung und Analyse, • die Werkzeuge, mit denen sie erstellt, bearbeitet, analysiert oder

gespeichert werden, • ihre (inhärenten) formalen Eigenschaften wie Format, Typ, Größe usw. • die Rahmenbedingungen ihrer Speicherung und Benutzung (Organisation,

Recht, Langzeitarchivierung) (Kindling, 2013, S. 144)



02.05.2013


Adäquate Beschreibung durch Metadaten

Mit ihrer Hilfe sollten 1. Forschungsdaten nachgewiesen und aufgefunden werden können, 2. bei Bedarf die Erkenntnisse der auf diesen Daten beruhenden Forschung

geprüft werden können, 3. Nachnutzung und Weiterverarbeitung der Forschungsdaten ermöglicht

werden. (Kindling, 2013, S. 144)



02.05.2013


Metadaten

• Disziplinspezifisch – Bsp. LAUDATIO (www.laudatio-repository.org) – Langzeitarchivierung (Vgl. Neuroth et al., 2012) – Metadata Schema Registries (geplant: Research Data Alliance, Digital

Curation Center) • Disziplinübergreifend

– Dublin Core – Data Cite Metadata Element Set

• „Identifier (with type attribute) • Creator (with name identifier attributes) • Title (with optional type attribute) • Publisher • Publication Year“



02.05.2013

http://schema.datacite.org/meta/kernel-2.2/doc/DataCite-MetadataKernel_v2.2.pdf




Herausforderungen

• Verfügbarkeit von Metadatenstandards • Anwendbarkeit von Metadatenstandards/-schemata

– Interdisziplinärer Kontext – Multidisziplinäre Einrichtungen

• Analyse von Metadatenschemata – von 5 Kernelementen bis hin zu > 1000 beschreibenden Elementen – Vergleichbarkeit

• Qualität von Metadaten – Schemata: Anwendbarkeit (inhaltlich, technisch, organisatorisch) – Status verwendetes Vokabular – Records (Vollständigkeit, Schema-Konformität)



02.05.2013


Jede Menge offene Fragen…

Welche Metadaten müssen für einen hochschulweiten Service zur Speicherung und zum Nachweis digitaler Forschungsdaten erfasst werden?



02.05.2013


Referenzen (zuletzt geprüft 02.05.2013)

• Allianz der Wissenschaftsorganisationen (2010) Grundsätze zum Umgang mit Forschungsdaten =

http://www.allianzinitiative.de/de/handlungsfelder/forschungsdaten/grundsaetze/ • ANDS (2011) Scholarly Communications (ANDS Guides – Awareness Level) =

http://www.ands.org.au/guides/scholarly-communications-awareness.pdf • Deutsche Forschungsgemeinschaft (2009) Empfehlungen zur gesicherten Aufbewahrung und Bereitstellung

digitaler Forschungsprimärdaten = http://www.dfg.de/download/pdf/foerderung/programme/lis/ua_inf_empfehlungen_200901.pdf

• EC HLEG (2011) Riding the Wave: How Europe Can Gain from the Rising Tide of Scientific Data = http://ec.europa.eu/information_society/newsroom/cf/document.cfm?action=display&doc_id=707

• EC (2013) Research Data e-Infrastructures: Framework for Action in H2020 = http://cordis.europa.eu/fp7/ict/e-infrastructure/docs/framework-for-action-in-h2020_en.pdf

• Kindling, Maxi (2013) Qualitätssicherung im Umgang mit digitalen Forschungsdaten. In: Information : Wissenschaft und Praxis, 64(2/3):137-147

• Lee, Yang W.; Strong, Diane M.; Kahn, Beverly K.; Wang, Richard Y. (2002) AIMQ: a methodology for information quality assessment. 2002. Information & Management 40. S. 133-146

• Mauer, Rainer & Schumann, Natascha: (2013) Langfristige Sicherung von sozialwissenschaftlichen Forschungsdaten. Das GESIS Datenarchiv für Sozialwissenschaften. 102. Deutscher Bibliothekartag = urn:nbn:de:0290-opus-14028



02.05.2013

http://www.allianzinitiative.de/de/handlungsfelder/forschungsdaten/grundsaetze/

http://www.ands.org.au/guides/scholarly-communications-awareness.pdf

http://ec.europa.eu/information_society/newsroom/cf/document.cfm?action=display&doc_id=707



Referenzen (zuletzt geprüft 02.05.2013)

• Neuroth et al. (2012) Langzeitarchivierung von Forschungsdaten. Eine Bestandsaufnahme = http://nbn-resolving.de/urn/resolver.pl?urn=urn:nbn:de:0008-2012031401

• OECD (2007) OECD Principles and Guidelines for Access to Research Data from Public Funding = http://www.oecd.org/dataoecd/9/61/38500813.pdf

• o.V. (2003) Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities. = http://oa.mpg.de/openaccess-berlin/berlindeclaration.html

• o.V. (2010) Data Seal of Approval Quality guidelines for digital research data = http://www.datasealofapproval.org/sites/default/files/DSA%20booklet_2-0_engels_mei2010.pdf

• RIN (2008) To Share or Not to Share: Publication and Quality Assurance of Research Data Outputs = http://www.rin.ac.uk/system/files/attachments/To-share-data-outputs-report.pdf

• Waaijers and van der Graaf (2011) Quality of Research Data, an Operational Approach. In: Dlib 1/2 (17) = http://www.dlib.org/dlib/january11/waaijers/01waaijers.html

• Wang, Richard Y.; Strong, Diane M.: Beyond accuracy (1996) What data quality means to data consumers. Journal of Management Information Systems 12 (1996) 4, S. 5–34

• Wissenschaftsrat (2012) Empfehlungen zur Weiterentwicklung der wissenschaftlichen Informationsinfrastrukturen in Deutschland bis 2020 = http://www.wissenschaftsrat.de/download/archiv/2359-12.pdf



02.05.2013

http://nbn-resolving.de/urn/resolver.pl?urn=urn:nbn:de:0008-2012031401

http://nbn-resolving.de/urn/resolver.pl?urn=urn:nbn:de:0008-2012031401

http://www.oecd.org/dataoecd/9/61/38500813.pdf

http://oa.mpg.de/openaccess-berlin/berlindeclaration.html

http://www.datasealofapproval.org/sites/default/files/DSA%20booklet_2-0_engels_mei2010.pdf

http://www.rin.ac.uk/system/files/attachments/To-share-data-outputs-report.pdf

http://www.dlib.org/dlib/january11/waaijers/01waaijers.html

http://www.wissenschaftsrat.de/download/archiv/2359-12.pdf

Documents

Qualität digitaler Forschungsdaten (Research Data Quality)