MyCoRe als Objektspeicher eines Verteilten Zeitschriften-Servers?

Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

MyCoRe als Objektspeichereines Verteilten Zeitschriften-

Servers?

Frank LützenkirchenHochschulRechenZentrum der Universität Essen

http://miless.uni-essen.de/ http://www.mycore.de/


• MILESS: Multimedialer Lehr- und Lernserver Essen• Genauer: Multimedialer Lehr- und Lernmittel-Server• Nicht: E-Learning-System (Kursmanagement, Diskussionsforen, ...)• Essener Digitale Bibliothek: Infrastruktur für die Universität Essen

• In Essen für Essen entwickelte Applikation, d .h. ursprünglich zugeschnitten auf Essener Anforderungen• Dublin Core Datenmodell, XML-Schnittstellen, beliebige Dateitypen

• Benötigt IBM Content Manager, DB2 unter AIX oder NT• Java-Applikation bestehend aus Servlets & Applet für Autoren

• Open Source unter GNU General Public License, nichtkommerziell• Nachnutzung durch 12 andere Universitäten erfolgreich, z. B. Leipzig (Bach Digital), Jena (Urmel), Münster (Miami)• Zunehmende Flexibilisierung zur einfacheren Nachnutzung• Teil von CampusSource NRW, Ursprung des MyCoRe Projekts

MILESS Überblick


MILESS Basis: Content Manager V7

Abbildung: Marc Schlüpmann, Universität Essen


Architektur Content Manager V8


• Verteilte Architektur mit mehreren Objekt-Servern / Resource Managern• Hohe Skalierbarkeit: Millionen von Dokumenten, Terabytes von Dateien• Beliebige Dateitypen: PDF, PS, aber auch XML, Word, LaTeX...

• Integrierte Sicht auf Metadaten und Volltexte• Kombinierte Suche in Metadaten und Volltext mit linguistischen Features

• Hierarchisches Speichermanagement über Tivoli Storage Manager• Backup von Metadaten und Inhalten• Auslagerung selten genutzter Objekte auf Offline-Medien (Bandarchiv)• Langzeitarchivierung (physisch) über Tivoli Storage Manager Mechanismen

IBM Content Manager als Basis eines MyCoRe VZS Objektspeichers


MILESS Software-Architektur



• Langfristige Unabhängigkeit vom Datenbank-Backend war schon immer ein Ziel, das sich in der Systemarchitektur wiederspiegelt• Persistenz-Layer bildet eigene Datenstrukturen und Suchabfragen auf Content Manager Strukturen und Abfragesprache ab• XML Schnittstellen für Import und Export• Darstellung sämtlicher Metadaten im XML Format• Wesentliche Teile der Funktionalität sind "oberhalb" von CM realisiert

• Implementierung alternativer Persistenz-Adapter in MyCoRe, z. B.

Metadaten: Implementierung für XML:DB API, z. B. Apache Xindice (GPL) Content: Statt CM Objektservern auch Flat Filesystem Audio/Video Streaming: Statt IBM VideoCharger Server auch Real Server

• Trennung von Applikation und Persistenz-Layer ist realisierbar• IBM Content Manager: für langfristige, speicherintensive Lösungen• Open Source Backends: für kleinere Lösungen, Zukunftssicherheit

Abhängigkeit vom Hersteller IBMbei einer MILESS / MyCoRe Lösung?


• Dokumentenmodell ist Umsetzung des Dublin Core Element Set:Creator, Publisher, Contributor, Title, Subject, Description, Source, Coverage, Rights, Type, Format, Date, Language, ...

• Ergänzt um Modell für Personen / Körperschaftsdaten:Personen, Namensformen, Kontaktinformationen, ...

• Ergänzt um Modell für Dokumenten-Derivate und DateienEin Dokument in verschiedenen Formaten (HTML, PS, PDF, ...)

• Metadatensatz ist abgestimmt auf / mit

Deutsche Bibliothek:Elektronische Dissertationen

Bisher: MILESS Datenmodell


Übersicht MILESS Datenmodell



Dissertation in verschiedenen Formaten


Dissertation in LaTeX, Anzeige-Applet


• Essener Lösung „MILESS“ ist spezialisiert auf die Essener Anforderungen (z. B. in Datenmodell, Graphische Oberflächen)

• „MILESS Community“ der Nachnutzer brachte zusätzliche Anforderungen, Flexibilisierungswünsche, neue Anwendungsgebiete ein

• Daher, ausgehend von MILESS, gemeinsame Entwicklung eines flexiblen, anpassbaren Software-Kerns („core“) zur Erstellung von digitalen Bibliothekssystemen / Archivlösungen (allgemein „Content Repositories“ -> CoRe), für verschiedene Backend-Datenbanken, unter anderem IBM Content Manager

• Entwicklung als Open Source auf Java-Basis unter GNU GPL• Kern, ergänzt um Anpassungen und Erweiterungen, bildet

jeweils eine lokale Lösung, z. B. für Münzsammlung, Papyri-Archiv, Objektspeicher eines Verteilten Zeitschriftenservers

MyCoRe: Entstehung und Ziele


• Universität Essen: Rechenzentrum, Bibliothek, Medienzentrum• Universität Jena: Rechenzentrum, Bibliothek• Universität Leipzig: Rechenzentrum• Universität Münster: Rechenzentrum, Bibliothek• Universität Halle: Rechenzentrum, Bibliothek• Universität Freiburg: Rechenzentrum • Universität Rostock: Rechenzentrum, Bibliothek, Informatik Prof. Heuer• Universität Bonn: Rechenzentrum• Universität Greifswald: Rechenzentrum• Universität Hamburg. Rechenzentrum, Bibliothek

• Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen• Universität Uppsala / Louisiana Tech University: Architectural History

• IBM Deutschland: Content Manager Gruppe, Forschung & Lehre

• Weitere potentielle Beteiligte / interessierte zukünftige Nutzer / KontakteDüsseldorf, Bochum, Mainz, BASF Ludwigshafen, Paul Hartmann AG ...

MyCoRe: Projektbeteiligte


• Konfiguration statt Programmierung• Konfigurierbares Metadatenmodell• Konfigurierbares Layout über XSL Stylesheets• Flexibles internes logisches Dateisystem• Audio-/Video-Unterstützung• Unterstützung verschiedener Datenbank-Backends• Verteilte Suche über mehrere Systeme• XML Import/Export Schnittstellen• HTML GUI auch als Metadaten-Editor für Autoren• Anbindung Benutzer-/Rechteverwaltung an LDAP, ...• Schnittstellen für OAI, Z.39.50, Web Services: SOAP• ...

MyCoRe: Ziele und Funktionalität


MyCoRe: Datenmodellierung


Einordnung von Dokumenten inhierarchische (Fach-)klassifikationen


MyCoRe Datenmodell für ein Zeitschriften-Repository konfigurierbar

• Konfiguration des Metadaten-Satzes für Zeitschrift, Jahrgang, Band, Heft, Artikel usw.

• Modellierung der Hierarchie dieser Objekttypen zueinander• Laden der Zeitschriftenartikel über XML Import oder interaktiv• Navigation durch den Bestand: Zeitschrift -> Artikel -> Text• Jedes Objekt (Zeitschrift, Artikel, Abstract, Volltext, ...) ist direkt

über eine URL erreichbar• Persistent Identifier:

NBN URNs für MyCoRe (Projekt CARMEN AP4) werden derzeit implementiert (Dissertationen) -> hier nicht hinreichend (?)OpenURL: Bisher noch nicht betrachtet, aber leicht realisierbar, denn:Jedes Objekt (Metadaten, Datei) besitzt intern eine eindeutige ID

• Suche nach Objekten über XQuery Schnittstellen• Für Remote Query, Browsing etc. verschiedene Schnittstellen

OAI, HTTP + XML, Web Services (SOAP/JAX-RPC)


MyCoRe: Architektur


Verteilte Suche in MyCoRe:Remote Query Server & Clients

HTTP / XML

PräsentationSuchergebnisse

Lokale Suche

Lokale Suche

Lokale Suche

Lokale Suche

Lokale Suchez.B. Content Manager

Client

Server

Quelle: M. Zarick, Universität Rostock


Generieren von HTML Seiten durch MyCoRe Servlets: Trennen von Logik & Layout

MyCoRe Servlet

XML Document

Client Browser

MCRLayoutServlet

HTML Page

XSL Stylesheet

1

2

3

4

• Daten

• Verarbeitungslogik

• Layout-Anweisungen

• Unabhängig voneinander• anpassen• pflegen• entwickeln


MyCoRe LayoutServlet:Ein Objekt, verschiedene Stylesheets

MyCoRe Servlet

XML Document

Client Browser

MCRLayoutServlet

HTML Page A

1

2

4a

XSL Style-sheet A

3a

XSL Style-sheet B

3b

HTML Page B

4b


MyCoRe LayoutServlet:Ein Objekt, verschiedene Stylesheets

• XSL Stylesheet kann gewählt werden durch

• Servlet Code (Java-Programmierung)

• Benutzer über HTTP Request Parameter:

http://.../testpage.xml?XSL.Style=dcoutput -> dcoutput.xsl

• Automatisch aus XML document type ermittelt:

<person>...</person> -> person.xsl

• Verwendung verschiedener Stylesheets für• verschiedene Applikationen (-> VZS)• verschiedene Ausgabeformate (Experte, Gastnutzer, ...)• verschiedene Sprachen (Internationalisierte Bezeichner, ...)


MyCoRe LayoutServlet:Drei Quellen von darzustellendem XML

Other MyCoRe Servlet

MILESS Derivate Servlet

Static XML Document from Web Server Filesystem

Stored XML Document aspart of a MILESS derivate

MyCoReLayoutServlet

XSL Stylesheet

Dynamically generated XML Document

Output HTML Page

ClientBrowser

1a

1b

1c

2a

2b

2c

3

4


• + Open Source: Zugriff auf den Quellcode ist gegeben• + Über IBM Content Manager: Hochgradige Skalierbarkeit, auch verteilt• + Datenmodell und Schnittstellen XML / XSL basiert• + Datenmodell eines Zeitschriftenservers ist abbildbar• + Schnittstellen: OAI, HTTP & XML, Web Services via SOAP/JAX-RPC• + MyCoRe / IBM CM Know How an 12 Universitäten (UB & RZ)

• - Noch in Entwicklung, viele Funktionen aber schon realisiertEnde des Jahres erste vollständige Demo-Applikation

• + Gestaltungsspielräume: Welche Funktionen / Schnittstellen sind für einen VZS Objektspeicher noch nötig?

MyCoRe als Objektspeicher?


Vielen Dank für Ihre Aufmerksamkeit!

http://miless.uni-essen.de/ http://www.mycore.de/

Haben Sie weitere Fragen?

Documents

MyCoRe als Objektspeicher eines Verteilten Zeitschriften-Servers?