Trainingskurs Arbeiten mit PIDs, Teil2...Diese Session zeigt einfache und fortgeschrittene...

Trainingskurs Arbeiten mit PIDs, Teil2RDA-DE Trainings Workshop 2017

Ulrich Schwardmann

Gesellschaft fur wissenschaftliche Datenverarbeitung mbH Gottingen(GWDG)

Am Fassberg, 37077 Gottingenulrich.schwardmann [at] gwdg.de

08 June 2017, Dresden

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

WarumDatentypenregistrieren ?

Wie wird eineData TypeRegistrygenutzt?

ePIC DTR

Beispiele furPID-InfoTypeInstanzen

Zugriff aufPIDpe-HandleView-InfoTypes

Prufung einerPID-InfoType-Instanz

Was fehltnoch ?

Content

1 Einfuhrung

2 PID Information Types

3 Warum Datentypen registrieren ?

4 Wie wird eine Data Type Registry genutzt?

5 ePIC DTR

6 Beispiele fur PID-InfoType Instanzen

7 Zugriff auf PIDpe-HandleView-InfoTypes

8 Prufung einer PID-InfoType-Instanz

9 Was fehlt noch ?

2 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Einfuhrung PID Information Types

3 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Motivation

Diese Session zeigt einfache und fortgeschritteneAnwendungsbeispiele fur PID Information Types (PITs) undder ePIC Data Type Registry (ePIC DTR)Das Ziel ist zu verstehen, wie PITs verwendet werden.

Diese Session verwendet die folgenden Dienste:

ePIC PID Data Type Registry (PID-Resolution):• die ePIC DTR zur Auflosung von PITs• wird gleichzeitig auch zur Verwaltung der PITs genutzt

http://dtr-test.pidconsortium.eu/

4 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

PID Information Types

5 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

PID Information Types, Datenaustausch undReusability

PID InfoTypes sind zusatzliche Metadaten

ahnlich wie bei Mime-Types werden sie schon vor demDatenzugriff ausgewertet• aber Mime-Types reichen fur Daten nicht aus• Zum Beispiel braucht man bei Tabellen Metadaten uber

jede Spalte

sie werden daher direkt verknupft mit der PID• fur Handle-PIDs werden sie direkt in die Handle-DB

geschrieben

ahnlich wie Mime-Types ist eine Standardisieringnotwendig

6 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

PID Information Types, Datenaustausch undReusability

die Uberprufung der Einhaltung des Standards ist aberwegen der Variabilitat komplexer

Beispiele:• Datenintegritat: Checksum, Große, ...• Datenverfugbarkeit: Embargos, Loschung, ...• Ort-Zeit-Angaben: GeoLocs, Entstehung, Veranderung, ...• Provenance: Creator, DC5, Versionen, Kopien, ...

7 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

PID Information Types GeschichteHandle Types bei CNRI - 0.Type/SomeType• Gute Idee, geringe Anwendbarkeit

Sloan Grant: 2012 -2014• Generic Registry System nutzt Type Registry als Usecase

NSF Grant: 2013 -2014• Support fur Type Registry

RDA hat sich bereits in den ersten Plenaries mit Types undPID Information Types beschaftigt:

WG Data Type Registry (DTR), Ziele:• Spezifikation einer DTR• Prototypische Implementierung einer DTR

WG PID Information Types, Ziele:• allgemeine Beschreibung derartiger Metadaten• Spezifikation einer PIT-API

Adaptionen:• verschiedene DTRs exisitieren, u.a. die ePIC DTR• PIT API ist prototypisch implementiert• das Handle System stellt mit v8 eine andere API bereit

8 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Warum Datentypen registrieren ?

9 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Wie also sollte ein PID Info Type aussehen?

Namen sind keine hinreichende Characteristik fur InfoTypes

Identifikation sollte unabhangig vom Namen sein• verschiedene Schemata fur den gleichen Namen sollten

moglich sein• umgekehrt sollten fur das gleiche Schema auch mehrere

Namen erlaubt sein

InfoTypes brauchen Schemata zur syntaktischen Uberprufung

InfoTypes sollen fur automatische Prozesse wieMimeTypes funktionieren:• schon vor dem Zugriff auf die Daten sollen wichtige

Informationen uber die Daten vorliegen• dies erfordert eine hohe Zuverlassigkeit der

InfoType-Inhalte

10 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Wie also sollte ein PID Info Type aussehen?

verwende deshalb eine Data Type Registry,• Eine Low-Level Infrastruktur mit breiter Anwendbarkeit um

Type Records zur Verfugung zu stellen,• die Definitionen der InfoType Characteristiken enthalt,• InfoTypes durch PIDs identifiziert,• InfoTypes durch Name und Beschreibung interpretierbar

macht,• und idealerweise ein Schema fur die InfoTypes angibt.• Die ein gemeinsames Datenmodell verlangt und• Ausdrucke validiert zur Interoperabilitat zwischen

Registries.• mit API fur Maschinennutzung und UI fur Menschen

11 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Wie wird eine Data Type Registry genutzt?

12 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

DTR Process Use Case

1 Client (process or people) encounters unknown data type.

2 Resolved to Type Registry.

3 Response includes type definitions, relationships,properties, and possibly service pointers. Response can beused locally for processing, or, optionally

4 typed data or reference to typed data can be sent toservice provider.

13 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

14 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

15 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

16 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

17 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

DTR Discovery Use Case

1 Clients (process or people) look for types that match theircriteria for data processing

2 Type Registry returns matching types.

3 Clients look up for data sets matching those types.

4 Appropriate typed data is returned.

5 Client can process this data. (Example: format conversion)

18 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

19 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

20 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

21 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

22 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

23 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Die ePIC DTR

24 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Die ePIC DTR StartseiteBeispiele unter: http://dtr.pidconsortium.eu/

PID InfoType Zustande sind:• in preparation (21.T11148), candidate, approved,

deprecated (21.11104)

Startbildschirm der PID InfoType Registry for preparation:http://dtr-test.pidconsortium.eu/

25 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

ePIC DTR Abfragen: PID-InfoTypeshttp://dtr-test.pidconsortium.eu/

#objects/?query=type:"PID-InfoType"

26 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

ePIC DTR Abfragen: PID-InfoTypes as JSONhttp://dtr-test.pidconsortium.eu/

objects/?query=type:"PID-InfoType"

omitthe # for JSON content

27 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

ePIC DTR Abfragen: Suche latitudehttp://dtr-test.pidconsortium.eu/

#objects/?query=latitude

28 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

ePIC DTR Abfragen: PID-InfoType latitude APIhttp://dtr-test.pidconsortium.eu/

#objects/21.T11148/5fcccdcf1d079c4a85c9

29 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

JSON-Struktur von PID-InfoTypes

name : der Name des Typs

description : die Beschreibung des Typs

identifier : der PID des Typs

provenance : Herkunft, Erzeuger, Zeiten etc.

properties : die verwendeten Untertypen• representationsAndSemantics : die Eigenschaften

verwendeten Untertypen

representationsAndSemantics : die Eigenschaften desTyps

validationSchema : das Schema des Typs

standards : fur den Typ relevante Standards

30 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

PID-InfoType longitude: JSONhttp://dtr-test.pidconsortium.eu/

objects/21.T11148/5fcccdcf1d079c4a85c9

31 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Was sind PID BasicInfoTypes?Struktur

name : der Name des Typs

description : die Beschreibung des Typs

identifier : PID des Typs

provenance : Herkunft, Erzeuger, Zeiten etc.

validationSchema : das Schema des Typs

standards : fur den Typ relevante Standards

dataType" : Datentyp: integer, string

regexp : regular expression (bei String)

flavour : der regexp, i.e. ecma-262-RegExp

enum : Aufzahlung erlaubter Werte

default : Angabe eines Defaults, wenn kein Wertangegeben

restrict : Beschrankugen wie minimum, maxLength, ...

32 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Beispiele fur PIDs mit PID-InfoType (Instanzen)

33 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Wie sieht eine PID mit InfoType aus?erzeugen:

curl -u ’user:pwd’ -H ’Accept:application/json’

-H ’Content-Type:application/json’ -X POST --data

’[{”type”:”21.T11148/5fcccdcf1d079c4a85c9”,”parsed data”:”90.0◦S”}]’ http://pid.gwdg.de/handles/21.11101/

anzeigen uber Handle Proxy:

http://hdl.handle.net/21.11101/0000-0001-8787-E?noredirect

34 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Was sind valide und nicht valide Instanzen?Code

http://dtr.pidconsortium.eu/

xmpls/valid/21.T11148/

35 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Was sind valide und nicht valide Instanzen?Code

wget -O - http://dtr.pidconsortium.eu/

xmpls/invalid/21.T11148/5fcccdcf1d079c4a85c9

im Browser evt. Artefakte bei der Unicode-Darstellung

36 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Zugriff auf PID-InfoTypeshole den Inhalt eines Wertes eines PID InfoTypes undzeige ihn an:

wget -O - http://dtr.pidconsortium.eu:8081/objects/21.T11148/

5fcccdcf1d079c4a85c9 | python -c ”import sys, json; print

json.load(sys.stdin)[’name’]”

37 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Prufung einer PID-InfoType-Instanz

38 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

hole den JSON Inhalt einer PIDuber Proxy mit REST API: hdl.handle.net/api/handles/

wget -o /dev/null -O - http://hdl.handle.net/api/handles/

21.11101/0000-0001-8787-E | python -m json.tool

39 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

hole den Inhalt eines Typsinnerhalb der PID

wget -o /dev/null -O - http://hdl.handle.net/api/handles/

21.11101/0000-0001-8787-E | python -c ”import sys, json;

print json.load(sys.stdin)[’values’][0][’data’][’value’]”

40 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

validiere mit Online-JSON-ValidatorsHole den Wert eines InfoTypes innerhalb der PID (s.o.)Hole den Inhalt des ’validationSchema’-Wertes desPID InfoTypes (s.o.)

Beispiele: http://www.jsonschemavalidator.net/ ...

41 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

nutze die Python Library PITclient.py

wget https://gitlab.gwdg.de/uschwar1/

PIT-DTR-Type-Verification/raw/master/PITclient.py

Die Python Bibliothek enthalt eine Reihe nutzlicher Funktionenzum Bearbeiten von Werten in PIDs und PID InfoTypes.

Beispiele (Auswahl):• Type-Instanzen in einer PID

get a list of all types in this PIDcontains this PID a type with TypeID?get complete content in PID for given typeget value for type in PIDvalidates value in PID against schema of type

• Content of type definitions

get the content in DTR of typeget name/description/schema of a type

42 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Wie wird der Inhalt eines PID-InfoType gepruft

die Funktion typeInPidValidatesAgainstSchema inPITclient.py validiert eine Typ-Instanz in einer PID gegendas Type-Schema

43 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Was fehlt noch ?

Wie lege ich einen PID-InfoType an ?

Kann ich auch Typen anderer DTRs nutzen ?

Wie erfahre ich, welche Typen schon in einer DTRdefiniert sind?

Wie geschieht die automatische Schema-Generierung beiePIC ?

Welche Teile der PID-InfoType-Definition werden dabeigenutzt ?

44 / 45

Arbeiten mitPIDs

UlrichSchwardmann

Einfuhrung

PIDInformationTypes

ePIC DTR

Was fehltnoch ?

Vielen Dank

Questions ???Kontakt@ePIC:

support@pidconsortium.eu

Kontakt@GWDG:

Ulrich SchwardmannT: 0551 201-1542, E: ulrich.schwardmann@gwdg.de

45 / 45

Trainingskurs Arbeiten mit PIDs, Teil2...Diese Session zeigt einfache und fortgeschrittene...

Documents

ORIGINALBETRIEBSANLEITUNG DE fileDE 3 Akku-Schlagschrauber PIDS 10-20V Allgemeine Sicherheitshinweise für Elektrowerkzeuge – Arbeitsplatzsicherheit • Halten Sie Ihren Arbeitsbereich

ITRS Tokyo Meeting - EDS) Fair · テストとテスト装置 wg2 テストプロセスインテグレーション、デバイス、および構造wg6 pids 無線通信のための高周波および

Première fête de la bière à Valentigney sommaire...bière au ginseng en provenance directe de Belgique. De quoi ravir les amateurs et satisfaire la curiosité des néophytes. Pour

Normierung und Standardisierung von Provenance-Modellen · • Einführen von Provenance für Prozesse Software-Infrastruktur • Speicherung und Abfrage der Provenance-Daten. Provenance-Modelle

Kapitel 1: Mobbing – was ist das? Let me be ME! Trainingskurs

MASTERS UNVEILED - operagallery.com · 54,5 x 71,6 cm PROVENANCE Private collection Michelle Rosenfeld Gallery, New York Private collection, Chicago ... Max Loreau, Catalogue des

Jahresbericht Rapport annuel · Suisse. Les échos en provenance aussi bien des échelons poli-tiques les plus divers que des médias montrent qu’il est néces-saire d’en discuter

TIB DOI-Service und DataCite - PIDs, Best Practices

Trainingskurs Arbeiten mit PIDs, Teil1 - forschungsdaten.org · Trainingskurs Arbeiten mit PIDs, Teil1 RDA-DE Trainings Workshop 2017 Ulrich Schwardmann Gesellschaft f ur wissenschaftliche

Ankunft Arrival Stuttgart Hbf - naldo.de · PDF fileAnkunft Arrival Stuttgart Hbf Zeit Time Heure Zug Train Train aus Richtung From en provenance de Gleis Track Voie Zeit Time Heure

Grid Workflow Workshop 2011 (04.03.2011, Köln) Andreas Schreiber> Grid Workflow Workshop 2011 > 04.03.2011 Provenance

e-Infrastructures Austria · Daten und Provenance – Daten durchlaufen Prozess (Erzeugung, Vorverarbeitung, Analyse, Nachbearbeitung, …) – Verwendung zahlreicher ... – Entwickelt

Datenintegration & Datenherkunft Varianten der Data Provenance · ¥Containment und Local-As-View Anfragebearbeitung ¥Bucket Algorithmus Datenintegration ¥Duplikaterkennung ¥Datenfusion

Kapitel 3: Mobbing – nicht zum Täter werden Let me be ME! Trainingskurs

Chapter 20 Provenance, timing of sedimentation and … · Chapter 20 Provenance, timing of sedimentation and metamorphism of metasedimentary rock suites from the Southern Granulite

MathematikBOS - Mathematik Grundwissen Algebra (Stark Verlag, ISBN 978-3-8490-3175-6 ) Bücher zur Vorbereitung auf die Vorklasse Hinze,R. et al.: Trainingskurs Mathematik (Cornelsen,

Caritasverband Freiburg-Stadt e. V. Fortbildung ... · Grundlagen der Arzneimittellehre 60 Angebote zur Arbeitssicherheit 61 56. Feuerlöscherübung 62 57. Trainingskurs für Ersthelfer

Provenance and tectonic setting of Carboniferous-Triassic ...eprints.keele.ac.uk/4203/1/Löwen_etal_2017_SedGeol_accepted ms.p… · conducted analyses is given in Table 1. All steps

der Geologischen Karte von Hessen 1 : 25 000 im Kellerwald ... · Die Provenance-Analyse ist ein sehr auf-wendiges Verfahren, bei dem aus ausge-wählten Sandstein- bzw. Grauwacken-proben

International beech provenance trial 1993/95 - site Schädtbek … · 2018-11-06 · LIESEBACH: International beech provenance trial 1993/95 133 The lay-out of the trials is based