47
LOD2 CKAN Workshop Wien - 15.6.2011

LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

LOD2 CKAN Workshop Wien - 15.6.2011

Page 2: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur
Page 3: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur
Page 4: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Warum?

Page 5: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

✓ Welche Lizenz?

✓ Welche Formate?

✓ Welche Inhalte?

✓ Dann:

✓ Aktualität

✓ Vollständigkeit

✓ Bezugsraum, ...

Kernfragen

Page 6: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Informationsarchitektur

Page 7: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Daten-Ökosystem

Page 8: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Beispiel: Ausgaben UK

Page 9: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

November 2011:

Veröffentlichung Ausgaben der zentralen Regierung > £ 25.000, lokal: > £ 500

Page 10: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur
Page 11: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

7 Monate später

• 557 Datenpakete

• 588 Behörden

• 3327 Tabellen (CSV, Excel, HTML)

Page 12: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Datenbereinigung

• Abruf per CKAN-API (data.gov.uk)

• Formatkonvertierung (SQLite)

• Vereinheitlichung von Ministerien und Behörden (Google Spreadsheet)

• Verbindung mit OpenCorporates (Unternehmens-Registernummern)

• Als neues CKAN-Paket bereit gestellt (ckan.net)

Page 13: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur
Page 14: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Weiternutzung

Page 15: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur
Page 16: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Was ist CKAN? (I)

• Open Source-Projekt, etwa 12 Kernentwickler

• Nutzer: data.gov.uk, data.norge.no, hri.fi, register.data.overheid.nl, iatiregistry.org

• ckan.net und ~ 24 Community-Instanzen

Page 17: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Was ist CKAN? (II)

• Datenkatalog, kein Repositorium

• (Archiv & Speicherung als Erweiterung)

• flexibles Metadatenschema

• Kernelemente ~ Dublin Core + Ressourcen

• Versionierung aller Metadaten

Page 18: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Was ist CKAN? (III)• Ein Wiki für Metadaten

• Vision: GitHub/SourceForge für Datenquellen

• Community von aktiven Datennutzern einbinden (auch für Regierungsseiten)

• Verschiedene Metaphern (CPAN = Perl Packet-Verzeichnis)

Page 19: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Beispiel: LOD Cloud

Page 20: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Metadaten

• Kernelemente und “Extras”

• anpassbare Formulare im Webfrontend

• durch data.gov.uk: Konventionen für Extra-Felder (auch in data.norge.no, hri.fi, overheid.nl)

Page 21: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Theming

Page 22: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Content Management

• “Wordpresser”-Erweiterung zur Anbindung an Wordpress

• Integration mit Drupal bei data.gov.uk (Open Source)

Page 23: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Geodaten (I)

Page 24: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Geodaten (II)• CSW-Harvester und Endpunkt

• GEMINI 2.1 (~> INSPIRE)

• sammelt Kataloge aus England und den anghängten Ländern

• Übergabe via Ordnance Survey an EC

• Experimentelle Geo-Suche, WMS-Preview

Page 25: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Publisher

• Institutionen-Modell

• Freischaltung von Behörden

• Nutzergruppen

Page 26: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Moderierte Eingaben

Page 27: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Schnittstelle

• REST-API mit JSON und RDF-Support

• Bibliotheken für Python, PHP, Ruby

• Nutzung:

• Paketimport (Excel-Sheets)

• Metadatenanreicherung

Page 28: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Metadatenbereinigung

Page 29: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

publicdata.eu

• Portal als Forschungs-Prototyp für data.eu

• Föderierung von Datenkatalogen aus Europa

• Integration & Anreicherung der Metadaten

• Standardisierung von DCat

Page 30: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Scraping

Page 31: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur
Page 32: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur
Page 33: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

DCat• Standardisierungsdiskussion läuft (Workshop

Anfang Mai)

• Partner: RPI, CTIC, LOD2, CSI Piemonte etc.

• RDF mit DC Terms und Ressourcen

• Gemeinsame Harvesting-API

• datacatalogs.org

• GLD WG im W3C neu gestartet

• SKOS?

Page 34: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

• 430 Teilnehmer aus 23 EU-Staaten

• Preisvergabe bei der Digital Assembly

Page 35: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Apps-Katalog

Page 36: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Ressourcen

• CKAN Projektseite - http://ckan.org

• CKAN Wiki - http//wiki.ckan.net

• PublicData.eu-Portal - http://publicdata.eu

• Open Data Manual - http://www.opendatamanual.org

• Open Defintion - http://opendefintion.org

• Allg. Informationen - http://opengovernmentdata.org/

Folien: CC-BY, Friedrich Lindenberg, genutzte Bilder: London Traffic Lights (Wikimedia Commons); Francis Maude at data.gov.uk Event (Guardian), Screenshots

Page 37: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Teil II: Hands-on

Page 38: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Technik

• Python-Anwendung, Pylons MVC-Framework

• PostgreSQL-Datenbank

• Apache/mod_wsgi oder uwsgi

• Optionale Abh.: Apache Solr, RabbitMQ

Page 39: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Modularisierung

Page 40: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Installation

• Debian Packages für Ubuntu LTS

• Extensions werden als Packages verteilt

• Solr und RabbitMQ getrennt installieren

Page 41: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Anpassung

• ckanext-exampletheme ableiten

• Formulare als Python-Modul anpassen

• Themes sind Template-Overlays

• HTML-Struktur enspricht Wordpress

• Lokalisierung via transifex.net

Page 42: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur
Page 43: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Sicherheit

• Authentifizierung via Login, OpenID, API Key

• Authorisierung via Rollen und Aktionen

• ACL für jedes Packet, jede Gruppe

• globale Defaults sind konfigurierbar

• AuthzGroups für Nutzergruppen

Page 44: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

API

• /api/X/rest - Versioniert

• /api/2/rest/package - REST Collection (GET, POST), auf Entities: GET, PUT.

• Beispiele in ckanext-pdeu/scripts

Page 45: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Revisionen

• Copy on Write in Spiegel-Tabelle

• Revisionen können gelöscht werden

• Quelle für RSS-Feeds

Page 46: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Queue

• Hintergrundverarbeitung durch Queue

• Solr Index Aktualisierung

• Triple Store sync

• Archivierung

• Webhooks

Page 47: LOD2 CKAN Workshop Wien - 15.6files.meetup.com/1473264/CKAN-FriedrichLindenberg_OKFN_15Juni... · • Formulare als Python-Modul anpassen • Themes sind Template-Overlays • HTML-Struktur

Speicherung

• Noch im Beta-Stadium

• Nutzt Dateisystemabstraktion (OFS)

• S3, Archive.org, Google Storage

• REST Forward, Pairtree Dateisystem