Grundsaniert - Deutsche Digitale...

WARUM?Pain Points & Ziele

Datenmenge erreichte Systemkapazität.

SKALIERBARKEIT

Für alle Aufgaben dasselbe statt das richtige Werkzeug.

27 DDBforum 04.+05. Juni 2018 • Berlin • DDBaktuell

Ein Beispiel: Aufbau des Personenindex'

Prüfen ALLER Kulturobjekte

count: +3

count: +4

Ein Suchindex ist eigentlich nicht für Abfragen großer Objektmengen geeignet …

In der alten Architektur dauert der Personenindexaufbau zwei Wochen.

Für die Teilbaumsuche in den EAD-Hierarchien im Archivportal-D musste in der alten Architektur beim Einspielen jeder Bestand reindexiert werden.

Beim Landesarchiv Baden-Württemberg mit seinen über 4,6 Mio Objekten dauerte dies ca. 4 Wochen.

Ein zweites Beispiel

SKALIERBARKEITBESCHLEUNIGUNG

Der Ingestprozess

Weitere Infos gibt’s heute, 15:30-17:15

„Ingest I: Wie kommendie Daten in die DDB“

Datenprozessierung DDB „alt”

ASCXML

SIP Cortex

Repositorium

Indexe: Such-Hierarchie-Entitäten-

• Harvesting• Splitting• Transformation (Mapping)• Mediendatei-Download• Erzeugung Vorschauen• Validierung

• Ingest• Indexierung• Löschungen• Reindexierung• Personenindex-Aufbau• u.v.m.

ASC = Augmented SIP CreatorCortex = „Core Technology“SIP = Submission Information PackageAIP = Archival Information PackageSolr = von der DDB verwendete Suchmaschine

Legende:

SKALIERBARKEITBESCHLEUNIGUNGENTKOPPLUNG

Datenprozessierung DDB „neu”(vereinfacht)

TransformationXML

Repositorium

• Splitting• Mapping• Validierung

• GND-Personen• GND-Körperschaften• DDB-Institutionen

Binary-Service

• Mediendatei-D/L• Erz. Vorschauen• Speicherung• Auslieferung

outbox-metadatas

outbox-hierarchies

Ingest

Entities

itemss

originals

organizations

personss

search

nodessDelete

Cortex

Spark-App Cassandra-DB-Tabelles

Legende:

Prozesssteuerung(DDBdash)

• App-Steuerung• Harvesting/Dateiupload

scaled_...binary_refs

Der Binary-Service

„Mediendateien in der DDB“> „IIIF in der DDB“von Michael Büchner

− wird von Transformation aufgerufen,läuft aber asynchron

− speichert Mediendateien zentral− Bilder− Videos− Audios− PDFs

− prüft, ob Mediendatei bereits vorhan-den ist, vermeidet so unnötige D/Ls

− erzeugt die im Portal benötigtenVorschaubilder (4 versch. Auflösungen)

− liefert Vorschaubilder und ggf. Originale(unabhängig vom Cortex) aus

− wird zu IIIF-Server weiterentwickelt

Binary-Service

Ziel erreicht

ENTKOPPLUNG… aber: „There is no free lunch.“

Die Systemlandschaft

Systemlandschaft „alt”(vereinfacht – Loadbalancing, Solr Master/Slaves , Registrierung & AAS weggelassen)

Solr Repo

Cortex API Frontend

Produktion

Solr Repo

Cortex API Frontend

Datenclearing – Testsystem „T1“

Solr Repo

Cortex API Frontend

Such– Testsystem „T3“

Systemlandschaft „neu”(vereinfacht)

Cortex API Frontend

Produktion

Cortex API Frontend

Datenclearing –QS-System „Q2“

Binary-Service

ZentralerProzessierungs-

Cluster

Der zentrale Prozessierungs-Cluster

−neu beschaffte Hardware: 10 Server (jeweils 2x8 Core 2.4 GHz Xeons, 192 GB RAM)

−verteilte Datenbank: Apache Cassandra− speichert alle Daten− Produktion und Q2 werden per „Replikation“ befüllt

−verteilte Computing-Engine Apache Spark− führt Apps parallel aus

−Binary-Service läuft auch auf dem Prozessierungscluster

−wird von Prozesssteuerung orchestriert

Skalierbarkeit ?

− bei Daten - Speicherung: Cassandra verteilt nach dem Hinzufügen neuer Clusterknoten die Daten automatisch um.

− und Prozessierung: Mehr Computer können mehr Arbeit erledigen.− Google-Prinzip: viele vergleichsweise billige Computer

(Scale out)

bei hoher Last

Knoten hinzufügen(„scale out“)

Ziel erreicht

SKALIERBARKEIT

Beschleunigung ?

− Aufbau Personenindex: 2 Stunden statt 2 Wochen− Indexierung:

− Gesamtbestand (24,1 Mio Objekte) in 2,5 Tagen indexiert

− Transformation & Ingest− noch nicht bei optimaler Konfiguration des Prozessierungsclusters evaluiert− Prototypen erreichten (auf schwächerer Hardware)

einen Durchsatz von 1 Mio Objekte / h

Ziel erreicht

BESCHLEUNIGUNG

Verbesserte Unterstützung von Arbeitsprozessenvon Servicestelle, Fachstellen, Aggregatoren (und mittelfristig)Datengebern

DDBdash− Administrations-Dashboard

− Frontend zu Prozesssteuerungs-API− DIY-Datenclearing auf Q2− Rollout

− erst FIZ & Servicestelle, − dann Fachstellen− dann Aggregatoren− ggf. Datengeber

− Screencast-Demo

DDBdash-Demo: Screencast

Verbesserte Unterstützung von Arbeitsprozessenvon Servicestelle, Fachstellen, Aggregatoren (und mittelfristig) Datengebern

Neue Frontend-Features

DDB METS-Viewer

„Mediendateien in der DDB“> „Der neue DDB-Viewer“

von Gerke Dunkhase

Organisationensuche& -seiten−semantische Verknüpfungen− neu: GND-Körperschaften …

− via Entity-Facts-Webservice

−… und bei der DDB registrierte Institutionen

− DDB-Registrierung dafür erweitert

−Facetten-Filter− Ort (Geonames)− Topic (GND-Sachschlagwörter)

− Indexaufbau analog Personenindex per Entities Spark-App

Suche−Lemmatisierung

(Flexionsformen werden gefunden)

−Autokorrektur (Mehr-Wort)− (noch) nicht im Frontend sichtbar

− Differenzierung „Stichwort-Facette“in „Thema“ und „Objekttyp“

− diverse Maßnahmen zur Reduktionder Indexgröße

Prototypen / Konzepte−Ranking-App

− Popularität− Metadatenqualität

−Datendumps−Volltextindexierung

− + Suche im METS-Viewer

−Tombstones−DDBlabs−Neuimplementierung des

OAI-PMH-Servers

Wann geht die neue Architektur online?

Heute! Preview-System:https://www-p.deutsche-digitale-bibliothek.de

−Parallelbetrieb alt/neu−Umschalten vor Sommerpause− Ingests ab sofort ins neue System−DDBpro-Seite mit bekannten Fehlern

I DDBjournal

Wir alle sind die Deutsche Digitale Bibliothek

Die Deutsche Digitale Bibliothek ist mehr als man sieht

Die Deutsche Digitale Bibliothek ist eine Investition in die Zukunft, die sich lohnt.

Weitere Infos heute 13:30-15:00

„Kommunikation“

I AusblickDDB 2018DDBstudioWeimarer RepublikGND4CZeitungsportalAggregatorenNutzungsanalysenEuropeana

DEUTSCHE DIGITALE BIBLIOTHEKKultur und Wissen online

Strategie2020

Priorität II. Optimierung der Datenprozesse

Technology-Review

Service-Infrastruktur ausbauen

Transformationsworkflows optimieren

Aggregatorenstrukturen etablieren

Datenfluss zu Europeana verbessern

Neue Architektur („DDB 2017“)

Stärkung von Servicestelle und Fachstellen

DDBdash

Aktueller Stand

Status quo− Bindeglied zwischen den Datenpartnern und der DDB− einige Aggregatoren sind bereits aktiv− Ergebnisse einer umfassenden UmfrageZielstellung− Effiziente Datenprozesse (Lieferung usw.)− Systematisierung und VereinheitlichungVorgehen − Konzeptentwurf (u.a. mit Kriterien) liegt vor − Umsetzung mit Pilotpartnern− Offen: finanzielle und organisatorische Fragen

Aggregatoren

Weitere Infos morgen, 9:30-10:30 „Aggregatoren in der

DDB: Ein Werkstattbericht“

Technology-Review

DDBdash

Aktueller Stand

Europeana DSI-3 / DSI-4

Europeana

Weitere Infos morgen, 13:30-15:00

„Europas kulturelles Erbe teilen“

Status quo− DDB als Partner, Aggregator und Mitwirkende− Mitglied im Konsortium von DSI-3 (09/2017-08/2018)− Evaluation von Metis, Konzeptionelle Arbeiten DSI-4− Offenes Procurement-Verfahren für die Basisfinanzierung (2+2 Jahre)− Schwerpunkte: IIIF, Metis-WeiterentwicklungEuropeana Common Culture − Projektantrag im Rahmen der Generic Services− Ziel: Stärkung der Nationalen Aggregatoren − DDB als Good-Practice-Beispiel− Schwerpunkt: Pilotentwicklung

Technology-Review

DDBdash

Aktueller Stand

Europeana DSI-3 / DSI-4

Priorität IV. Erhöhung der Nutzerzufriedenheit

Nutzungsverhalten analysieren

Suchfunktion verbessern

Digitalisate integrieren

Alternative Portaleinstiege ausbauen

Zielgruppengerecht ansprechen / DDB-Angebote ausbauen

Nutzungsanalyse des DDB-Portals

Nutzungsanalysen

Status quo− derzeit kaum Informationen über die qualitative DDB-Nutzung − Analyse typischer Profile anhand von formaler KriterienZiele− Erkenntnisgewinne hinsichtlich der tatsächlichen Nutzung des DDB-

Portals (Aussagen über Erwartungen, Informationsbedarf, Nutzungsverhalten sowie Nutzungserlebnis)

− Evidenzbasierte Unterstützung der Produktentwicklungerste Schritte− Analyse im Rahmen einer Lehrveranstaltung zu User Experience

(HAW Hamburg, Prof. Ulrike Spree)− Task Force Nutzungsstatistik

Auffinden von alternativen Wortformen

DDB-METS-Viewer IIIF (Projekt „DDB 2018“)

Sonderprojekt „DDB 2018“

„Vom digitalen Katalogzur digitalen Bibliothek“

„Innovative Erweiterungen der DDB zur Ermöglichung fortgeschrittener Nutzungsszenarien“ Rahmen− Förderung durch BMI; Laufzeit: 2018-2019− Volumen: 500.000 EUR; 3 Arbeitspakete AP „Infrastruktur für hochauflösende Inhalte“ − IIIF-Server (Image-API)− Konzeption für Presentation-API

Projekt „Weimarer Republik“

DFG-Projekt „Weimarer Republik“

„Aufbau einer Infrastruktur zur Implementierung sachthematischer Zugänge im Archivportal-D am Beispiel des Themenkomplexes ‚Weimarer Republik‘” Ziele− Etablieren von browsing- bzw. navigationsbasierten Einstiegen− spätere Nachnutzbarkeit für Bestände weiterer Archive, andere

Themenkomplexe sowie für weitere Sparten im Kontext der DDBAktivitäten− Entwicklung von Tools zur nachträglichen Anreicherung und zur

kooperativen Zuordnung archivischer Daten− Experimentelles AP zur algorithmischen Zuordnung von ArchivdatenRahmen − Partner: LABW, BArch, FIZ Karlsruhe, DDB (DNB)− Laufzeit: 05/2018-04/2020

Nationales Zeitungsportal DDBstudio

DFG-Antrag „DDB-Zeitungsportal“

„Errichtung eines nationalen Zeitungsportals auf der Basis der organisato-rischen und technischen Infrastruktur der DDB – ‚DDB-Zeitungsportal‘“Ziel− Aufbau eines zentralen Zugangspunkts für digitalisierte Zeitungsbestände

(Volltextsuche, browsende Einstiegspunkte, Viewer, Referenzierung)Schwerpunkte der 1. Phase− Integration der METS-/MODS-basierten Bestände (gemäß DFG-

Richtlinien)− Adaption von Liefer- und Transformationsprozessen − Etablierung des Zeitungsportals als „Sub-Portal“ des DDB-PortalsRahmen − Partner: DDB (DNB), FIZ Karlsruhe, SLUB Dresden, SBB-PK− Laufzeit: 24 Monate

DDBstudio

„Vom digitalen Katalogzur digitalen Bibliothek“

Ziele− Weiterentwicklung der virtuellen Ausstellungen zu einem Service-

Angebot der DDB− Kontextualisierung von Inhalten

Priorität V. Verbesserung der Datenqualität

Standardisierung und Konsistenz

Datenqualität maximal ausschöpfen

Daten anreichern und verknüpfen

DFG-Projekt GND4C

Ziel− spartenübergreifende Erweiterung der Gemeinsamen Normdatei (GND)− Vernetzung und Kontextualisierung von Daten in der DDBAktivitäten− Etablieren von Kommunikationsstrukturen, Aufbau von GND-Agenturen− Datenmodelle, Regeln und Werkzeuge für nicht-bibliothekarische

Anwendungskontexte− Fallbeispiele entlang unterschiedlicher EntitätstypenRahmen − Partner: DNB, DDB, LABW, BSZ, Foto Marburg, SHLB (digiCULT)− Laufzeit: 05/2018-10/2020

DFG-Projekt GND4C

Datenanalyse (Projekt „DDB 2018“)

„Innovative Erweiterungen der DDB zur Ermöglichung fortgeschrittener Nutzungsszenarien“ Rahmen− Förderung durch BMI; Laufzeit: 2018-2019− Volumen: 500.000 EUR; 3 Arbeitspakete AP „Infrastruktur für hochauflösende Inhalte“ − IIIF-Server (Image-API)− Konzeption für Presentation-APIAP „Datenanalysen“− Auswertung des DDB-Datenbestandes

DFG-Projekt GND4C

Feature Detection (Projekt „DDB 2018“)

„Innovative Erweiterungen der DDB zur Ermöglichung fortgeschrittener Nutzungsszenarien“ Rahmen− Förderung durch BMI; Laufzeit: 2018-2019− Volumen: 500.000 EUR; 3 Arbeitspakete AP „Infrastruktur für hochauflösende Inhalte“ − IIIF-Server (Image-API)− Konzeption für Presentation-APIAP „Datenanalysen“− Auswertung des DDB-Datenbestandes AP „Feature Detection“− (semi-)automatische Erkennung von Bildinhalten

DFG-Projekt GND4C

Feature Detection (Projekt „DDB 2018“)

Inhalte

Prozesse

Zugangswege

Kontextualisierung

Grundsaniert - Deutsche Digitale...

Documents

Technischer Leitfaden Parallelbetrieb - Mecc Alte · with Table 2.1 PFR Regulator of voltage, reactive current or cosϕ (see chapter 3) TV Voltage transformer . Synchronous generators

iTNC 530 - heidenhain.de · PLC-Funktionstasten (Softkeys) für Maschinen-Funktionen Tasten für Bildschirm-Management (Bild-schirm-Aufteilung), Betriebsart und Softkey-Leisten umschalten

Reglement über die Installation und den Parallelbetrieb ...dk-schwarzenbach.ch/wp-content/uploads/2018/10/Reglement-ueber-die... · Reglement über die Installation und den Parallelbetrieb

Digitale Lehre oder digitale Leere?

Modulation und Zugriffsverfahren in Mobilfunknetzeneris.prakinf.tu-ilmenau.de/edu/HS/0203/bloss03modulationtalk.pdf · 1.2 ASK (Amplitude Shift Keying) • Umschalten der Amplitude

Integration statt Parallelbetrieb – Erweiterung des ... · Erfolgreiche Integration der Lokalfunktionalität in die Digitale Bibliothek Ausrollen der erreichten Funktionalität

BETRIEBSMODUS UMSCHALTEN UND 3. Betriebsmodus wählen

Bratenthermometer digital Roasting Thermometer digital ... · 1. Das digitale Bratenthermometer im Detail 2 Set-Taste 4 Anschlussbuchse für Messfühler 5 Umschalten Thermometer

Beschreibung und Bedienungsanleitung Philips SOPHO ... · PDF fileii Umschalten zwischen Mithören, Freisprechen und Softspeaking Umschalten von Softspeaking auf Mithören

Bedienerführung 3263 - support.casio-europe.com · P-Indikator (2. Tageshälfte) Wochentag Stunden : Minuten Sekunden Monat – Kalendertag Umschalten zwischen den Zeitanzeigen Wiederholtes

Digitale Agenda - digitale Gesellschaft

Anleitung - brd.nrw.de · Umschalten zwischen Entwurfsdiagramm und Implementationsdiagramm ... (Beispiel int[][] für ein zweidimensionales int-Feld). Inhaltstypen

Benutzerhandbuch · 2015. 2. 25. · Umschalten zwischen Reflow Modus und Original-Format Automatisch umblättern (Einstellungen): definieren Sie die Anzahl Sekunden bis die Seite

EDB82EV113 !K7h Ä!K7hä - sm-klebetechnik.de · 7.3.2 Quickstop (QSP) ..... 7-17 7.3.3 Drehrichtung umschalten (CW/CCW) 7-17..... 7.3.4 ... 9-4..... 9.1.5 Parametrierung

MEDIA RECEIVER 303 BEDIENUNGSANLEITUNG - · PDF fileby-Modus bzw. Schlafmodus. Im Schlafmodus können nicht alle Funktionen von Entertain genutzt werden. Umschalten zwischen der Bedienung

Das Magazin für unsere Geschäftskunden 3 · 2018€¦ · verändern kann, erklärt Lichtexperte Professor Herbert Plischke im Interview 13 __ Umschalten und sparen Neues Licht mit

STI Mitteilung PV-Anlagen - esti.admin.ch · stationär, mobil Netz-Parallelbetrieb AC- Seite ≤ 30 kVA Nein Ja> 30 kVA Ja Ja Nein stationär, mobil Inselbetrieb ≤ AC 1000 V und

Anleitung zu den Tastenkombinationen · Ein-Tastenkombinationen Umschalten und Bildschirmverwaltung Tastenkombinationen A–Z Druckbare Tastaturaufkleber Anleitung zu den Tastenkombinationen

Synchrone Digitale Hierarchie - tkhf.adaxas.nettkhf.adaxas.net/cd2/22 KZF Synchrone Digitale Hierarchie.pdf · 22 KZF Synchrone Digitale Hierarchie f.doc Synchrone Digitale Hierarchie

Digitale Inklusion, Digitale Exklusion wie digitale Medien ...ˆs.pdf · Sozialforschungsstelle Dortmund Zentrale wissenschaftliche Einrichtung Dr. Bastian Pelka | 26.11.2015 Digitale