Kataloganreicherung a la lod

Kataloganreicherung à la Linked Open Data

VdB, Landesverband Bayern, München, 2012-09-27

Jenseits der Verbundkataloge. Die Zukunft der Recherche

Pascal Christoph

Christoph - Kataloganreicherung à la Linked Open Data

Lizenz2

2012-09-27

Dieser Vortrag – inklusive der durch den Autor erstellten Grafiken auf den Folien 7, 8, 11, 13, 15, 16, 17, 18, 20, 21, 33, 62, 63 und 67 – steht unter der CC0 Lizenz : https://creativecommons.org/about/cc0

Davon ausgenommen sind die übrigen verwendeten Grafiken, Bilder und Screenshots, deren individuelle Rechte und Lizenzbedingungen fortgelten.

Insbesondere stehen die http://www.istockphoto.com/ Grafiken auf den Folien 47, 49, 50 und 83 unter einer CC-BY-ND Lizenz : http://creativecommons.org/licenses/by-nd/3.0/de/

Die Graphiken auf den Folien 22-26 entstammen dem “Linking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/”

https://creativecommons.org/about/cc0

http://www.istockphoto.com/

http://creativecommons.org/licenses/by-nd/3.0/de/

http://lod-cloud.net/


ÜBERSICHT

Linked Open Data (LOD):Basics

linked open

KataloganreicherungDefinitionTechnikMatchingVerlinkung

Fazit & Anwendungsbeispiel

3

2012-09-27


ÜBERSICHT


linked open



4

2012-09-27


ÜBERSICHT5

2012-09-27

Werden Sie in 15 Minuten ein LOD Experte


ÜBERSICHT6

2012-09-27

Besser: z.B. einen Workshop besuchen !z.B. auf der SWIB12

http://swib.org/swib12/programme.php


LOD – Basics: HTTP-URI7

2012-09-27

Jede Ressource erhält einen HTTP-URI

http://example.de/12345



2012-09-27



2012-09-27

HTTP-URIs sind z. B. einer URN-URI überlegen: sie können z. B. einfach im Browser nachgeschlagen werden.


LOD–Basics: HTTP-URI derefenzieren10

2012-09-27

Wird die Ressource nachgeschlagen, so wird die Ressource geliefert. Geht dies nicht, z.B. weil es sich um einen physischen Gegenstand handelt, werden Daten über die Ressource geliefert (aka Metadaten).


HTTP-URI derefenzieren11

2012-09-27


LOD – Basics: RDF Triple12

2012-09-27

Datenbeschreibung mittels RDF => Triple:Subjekt Prädikat Objekt .

(Ein Triple ist die kleinste Informationseinheit.)



2012-09-27

Der obige Graph als NTriples in RDF ausgedrückt:

<http://lobid.org/resource/HT002948556> <http://purl.org/dc/terms/title> "With reference to reference" .<http://lobid.org/resource/HT002948556> <http://purl.org/dc/terms/issued> "1983" .<http://lobid.org/resource/HT002948556> <http://purl.org/ontology/bibo/isbn13> "9780915145539" .<http://lobid.org/resource/HT002948556> <http://purl.org/dc/elements/1.1/creator> "Elgin, Catherine" .

http://lobid.org/resource/HT002948556

http://purl.org/dc/terms/title


http://purl.org/dc/terms/issued


http://purl.org/ontology/bibo/isbn13


http://purl.org/dc/elements/1.1/creator



2012-09-27

Ein Objekt kann Text sein:

„Elgin, Catherine“

Ein Objekt kann ein URI sein:

<http://d-nb.info/gnd/135539897>=> Ressourcen in Ressourcen (aka „linked“)

http://d-nb.info/gnd/135539897


LOD – Basics: linked15

2012-09-27



2012-09-27



2012-09-27

...

<http://lobid.org/resource/HT002948556><http://purl.org/dc/elements/1.1/creator>

<http://d-nb.info/gnd/135539897> ....


http://purl.org/dc/elements/1.1/creato

http://d-nb.info/gnd/135539897



2012-09-27



LOD - Definition „linked“21

2012-09-27

2007

2008

2009

2010

2011


LOD - Definition „linked“27

2012-09-27

Ad astra ?Ad astra ?Ad data !Ad data !

To boldly go where no data has gone before.

Ad astra ?Ad astra ?Ad data !Ad data !

To boldly go where no data has gone beforeTo boldly go where no data has gone before..

Bildquelle:http://hubblesite.org/gallery/album/star/pr2006050d

http://hubblesite.org/gallery/album/star/pr2006050d


LOD – Basics: Resümee „linked“28

2012-09-27

● Ein RDF Triple besteht aus Subjekt, Prädikat und Objekt● Ein RDF Triple ist die kleinstmögliche Aussage über etwas● RDF Triple können URIs enthalten, und somit wiederum Triple● Mehrere RDF Triple ergeben RDF Graphen● HTTP-URIs, und damit Daten, sind institutsübergreifend● Maschinen „verstehen“ Daten● Einfache Schnittstelle: z.B. Webseiten (RDFa in HTML)

=> globales Datennetz („Web of Data“)


ÜBERSICHT


linked open



29

2012-09-27


LOD-Basics: „open“30

2012-09-27

http://opendefinition.org/

Wissen ist offen, wenn dessen

VerwendungWiederverwendungWiederverwertung

erlaubt ist.

(„A piece of knowledge is open if you are free to use, reuse and redistribute it.“)

http://opendefinition.org/


LOD-Basics: „open“-wozu ?31

2012-09-27

Wozu Open Data ?

Um die Daten nutzbar zu machen !

Jeder kann, ohne zu fragen, die Daten

nutzen, nach eigenem Gutdünken



2012-09-27Bildquelle: http://equity.lsnc.net/2008/08/maps-used-in-support-of-the-plaintiff%E2%80%99s-arguement-in-kennedy-et-al-v-city-of-zanesville-et-al/

http://equity.lsnc.net/2008/08/maps-used-in-support-of-the-plaintiff%E2%80%99s-arguement-in-kennedy-et-al-v-city-of-zanesville-et-al/%20











2012-09-27

Das Ganze ist mehr als die Summe seiner Teile .



2012-09-27

Bildquelle: https://github.com/jakobib/ticer2012 to be copied and modified under CC-BY-SA license.

Data vs. Application

„Data matures like Wine, Applications like Fish“ (James Governor)



2012-09-27


LOD-Basics: „open“38

2012-09-27

Open Data - eine Frage von:

●Lizenzen●Zugänglichkeit●Formate


LOD-Basics: Lizenzen39

2012-09-27

●Attribution (ODC-BY)●Attribution-Share-Alike (OdbL)●Public Domain (CC0, PDDL)

Keine Non-Commercial Lizenz


LOD-Basics: Datenpotential40

2012-09-27

Open Data =>

Daten Mehrnutzung


LOD-Basics: Daten öffnen41

2012-09-27

Interessierte Akteure zusammenbringen

Bildquelle: http://www.flickr.com/photos/johnspooner/2199685678/

http://www.flickr.com/photos/johnspooner/2199685678/



2012-09-27

Mögliche rechtliche Probleme klären

● Fremddaten im Katalog● Nutzungsbedingungen in den Verträgen prüfen

- KiM: Empfehlungen zur Öffnung bibliothekarischer Daten- Till Kreutzer: Open Data – Freigabe von Daten aus Bibliothekskatalogen- Adrian Pohl: Open Data im hbz-Verbund. Erschienen in: ProLibris. 3. 2010

https://wiki.d-nb.de/pages/viewpage.action?pageId=45419980

http://www.hbz-nrw.de/dokumentencenter/veroeffentlichungen/open-data-leitfaden.pdf

http://www.hbz-nrw.de/dokumentencenter/produkte/lod/aktuell/pohl_2010_open-data.pdf



2012-09-27

● Daten exportieren● Daten veröffentlichen ● Daten lizensieren● Daten verzeichnen (http://thedatahub.org/)● Bekanntgeben

http://thedatahub.org/


LOD-Basics: five stars44

2012-09-27

Sir Tim Berners Lee:

Bildquelle: http://www.w3.org/DesignIssues/LinkedData.html

http://www.w3.org/DesignIssues/LinkedData.html

http://www.w3.org/DesignIssues/LinkedData.html

Kataloganreicherung45


ÜBERSICHT


linked open



46

2012-09-27

KATALOGANREICHERUNG?


Kataloganreicherung: Definition

Jegliche Ergänzung vorhandener Datensätze um zusätzliche InformationenLinks zum Volltext im WWWSchlagwörterUmschlagbilder ...

Herkunft egal (Benutzer, Bibliotheken, Firmen...)

Neue Funktionen: nur mittelbar

48

24.05.2012Christoph - Kataloganreicherung à la Linked Open Data 2012-09-27

„INSTANT GRATIFICATION“


ÜBERSICHT


linked open



51

2012-09-27


Kataloganreicherung: Methoden

24.05.2012

Datenbank vs. MashupChristoph - Kataloganreicherung à la Linked Open Data 2012-09-27

52

Bildquelle: http://findicons.com/about

http://findicons.com/about


53


Lokale DB:

+ Aufwendigere Zusammenführungen möglich

+ Daten nutzbar für Recherche und weitere Funktionen

- Hoher kontinuierlicher Aufwand für jede Quelle

Kataloganreicherung: Methoden

Dynamisches Mashup:

+ Aktuell

+ Relativ geringer Aufwand je Quelle

- Benötigt (performante) API

- Keine Recherche über die Daten


Kataloganreicherung: Infrastruktur

RDF-basierte Speicherung mit SPARQL Endpoint: Einfaches Hinzufügen neuer Daten Nachnutzbar „Selbst-beschreibender“ Dump „API“ inbegriffen

54


55

Bildquelle: http://www.flickr.com/photos/jhsum-commons/4419490136/


Ausgangslage in lobid.org

RDF Store mit SPARQL Endpoint: 4store Open Data aus dem Verbundkatalog „hbz01“ 16 M Titeldatensätze <=> 700 M Triple Verknüpfungen:

56

24.05.2012

• 5.500 Projekt Gutenberg• 12.000 DBpedia• 70.000 b3kat• 200.000 Dewey Decimal Class.• 270.000 DNB Nationalbiografie• 420.000 OCLC

• 1.250.000 Open Library• 700.000 ZDB• 800.000 LOC Iso-639-2• 22.000.000 gnd Normdatei• 32.000.000 lobid-organisations

Christoph - Kataloganreicherung à la Linked Open Data 2012-09-27


Praxisbeispiel: LODUM57



ÜBERSICHT


linked open



58

2012-09-27

Jansen / Christoph - Kataloganreicherung mit LOD

Verlinkungssoftware

Silk Culturegraph Google-refine ...

59



Matchingalgorithmen

Abhängig von DatenSpannende Daten liegen „woanders“=> andere Regelwerke

Beispiel DBpedia:Autor, ISBN usw. fehlt meistens => bleibt TitelEingrenzungen:

deutsche DBpedia category:Literarisches_Werk ,

category:Lexikon,_Enzyklopädie

60



Problem: Disambiguierung

Matching zu ungenau Postprozessierung:

nur Bündel mit gleichem Autor zulassen

61



Bündel mit gleichem Autor62



Bündel mit verschiedenen Autoren63


LOW-HANGING FRUIT

Kai Schreiber, „Reiche Ernte” 7. August 2005 via Flickr CC BY-SA 2.0

https://secure.flickr.com/photos/genista/67586429/


Triplifizierung

Prädikate finden oder selber prägen rdrel:workManifested=> Triple:

<lobid-resource> <rdrel:workManifested> <dbpedia-resource>

65



Indexierung

Lizenzfragen klären Triples importieren in SPARQL-Endpoint

Eigener „named Graph“ bietet Vorteile:Leicht löschbar/veränderbarProvenienz verfolgbarEingrenzung von Abfragen auf Named Graphs

66



Named Graphs67



Was wurde erreicht?

12.000 „sichere“ Links zu 4.000 DBpedia Ressourcen => 4.000 neue „Work“-Ebenen (21.000 verworfene Links)

Durchschnittliche Bündelgröße: 3 Links nach freebase: 3.000 0.1 % Anreicherung

68

24.05.2012Jansen / Christoph - Kataloganreicherung mit LOD 24.05.2012Christoph - Kataloganreicherung à la Linked Open Data 2012-09-27


5.500 Links zu 400 Project Gutenberg Ressourcen (Volltexte in mehreren Formaten)=> 0.05% Anreicherung

1.200.000 Links zur Work-Ebene der Open Library=> 12.5% Anreicherung

69


Was wurde erreicht?

LOW-HANGING FRUIT

Kai Schreiber, „Reiche Ernte” 7. August 2005 via Flickr CC BY-SA 2.0

https://secure.flickr.com/photos/genista/67586429/


DBpedia Beispiel:

„Die Heilige Johanna der Schlachthöfe“

71


Was wurde erreicht?


Open Library Beispiel:

„With reference to reference“

75


Was wurde erreicht?


Integration in Kataloge

Was darf übernommen werden, was nicht? Was sollte übernommen werden, was nicht? Menschen-lesbare Anzeige der Links/URIs (Manche) Daten sollten lokal indexiert werden

(zur Recherche) ...

77



Warum Linked Open Data?

Richtig ist: „Warum nicht LOD?“ Linked Data impliziert kontrolliertes

Vokabular, Identifier, weitere Links … <= ideal!

Linked Open Data: Daten lassen sich nachnutzen/zwischenspeichern/verändern <= ideal!

78


Fazit79

80

Bildquelle: http://www.flickr.com/photos/library_of_congress/4037490394/


Anwendungsbeispiel81



Anwendungsbeispiel82



FAZIT84


Alles, was mit LOD erreicht werden kann, kann auch anders erreicht werden.

Mit LOD ist es nur viel einfacher.

Vielen Dank!85

Rückfragen jederzeit:

[email protected]+49 221 400 75 – 139

Quellenverzeichnis86

- KiM: Empfehlungen zur Öffnung bibliothekarischer Datenhttps://wiki.d-nb.de/pages/viewpage.action?pageId=45419980

- Till Kreutzer (2010): Open Data – Freigabe von Daten aus Bibliothekskatalogen http://www.hbz-nrw.de/dokumentencenter/veroeffentlichungen/open-data-leitfaden.pdf

- Adrian Pohl (2010): Open Data im hbz-Verbund. Erschienen in: ProLibris. 3. Preprint: http://www.hbz-nrw.de/dokumentencenter/produkte/lod/aktuell/pohl_2010_open-data.pdf

- Tim Berners Lee zu Open Data (2010): http://www.youtube.com/watch?v=3YcZ3Zqk0a8

- Jansen / Christoph: Dynamische Kataloganreicherung auf Basis von Linked Open Datahttp://de.slideshare.net/h_jansen/dynamische-kataloganreicherung-auf-basis-von-linked-open-data

- Blog post: First results using SILK to link to DBpediahttps://wiki1.hbz-nrw.de/display/SEM/2012/05/03/First+results+using+SILK+to+link+to+DBpedia

- Blog post: 1.2 M links to Open Libraryhttps://wiki1.hbz-nrw.de/display/SEM/2012/05/23/1.2+M+links+to+Open+Library

- Oliver Flimm (2010): LOD und die Open Library http://de.slideshare.net/flimm/lod-openlibrary20100512

- Datenverzeichnis „thedatahub“ aka CKAN: http://www.thedatahub.org/

- 49 bibliographische Datenquellen als LODhttp://thedatahub.org/group/bibliographic?tags=lod

- Workshop SWIB12: http://swib.org/swib12/programme.php

https://wiki.d-nb.de/pages/viewpage.action?pageId=45419980

http://www.hbz-nrw.de/dokumentencenter/veroeffentlichungen/open-data-leitfaden.pdf

http://www.hbz-nrw.de/dokumentencenter/produkte/lod/aktuell/pohl_2010_open-data.pdf

http://www.youtube.com/watch?v=3YcZ3Zqk0a8

http://de.slideshare.net/h_jansen/dynamische-kataloganreicherung-auf-basis-von-linked-open-data

https://wiki1.hbz-nrw.de/display/SEM/2012/05/03/First+results+using+SILK+to+link+to+DBpedia

https://wiki1.hbz-nrw.de/display/SEM/2012/05/23/1.2+M+links+to+Open+Library

http://de.slideshare.net/flimm/lod-openlibrary20100512

http://www.thedatahub.org/

http://thedatahub.org/group/bibliographic?tags=lod

http://swib.org/swib12/programme.php

Technology

Kataloganreicherung a la lod