Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Von MILESS zu MyCoRe - Ein Open Source Kernsystem für Digitale Bibliotheken Dipl.-Wirt.Inform

Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen

Von MILESS zu MyCoRe -Ein Open Source Kernsystem

für Digitale Bibliotheken

Dipl.-Wirt.Inform. Frank Lützenkirchen

Universitätsbibliothek Essen der Universität Duisburg-Essen

http://miless.uni-essen.de/ http://www.mycore.de/


• MILESS:• Architektur, Datenmodell und Funktionalität• NEU: Audio/Video Storyboards• NEU: Video mit eingeblendeten Folien• NEU: Semesterapparate Online

• MyCoRe:• Entstehung, Organisation, Architektur• Metadatenmodell: Objekte, Beziehungen, Konfiguration• Internal Filesystem und Audio-/Video-Unterstützung• Persistenz-Layer und Backend-Datenbanksysteme• Verteilte Suche und Schnittstellen zu OAI, Web Services• User Interface: Webseiten-Generierung via XSL• Konfigurierbarer Online-Editor für Metadaten

• MyCoRe und MILESS: Status und nächste Schritte

Inhalt


• MILESS: Multimedialer Lehr- und Lernserver Essen• Multimedialer Lehr- und Lernmittel-Server: Digitale Bibliothek• Kein Lern-Management-System (Kursmanagement, Chats, ...)

• In Essen für Essen entwickelte Applikation, ursprünglich zugeschnitten auf Essener Anforderungen• Dublin Core Datenmodell, XML-Schnittstellen, beliebige Dateitypen

• Java-Applikation bestehend aus Servlets, Applet, XSL Stylesheets• Datenhaltungs-Basis (mehrere Alternativen):

IBM Content Manager 7.1, IBM DB2 unter AIX / WindowsN E U : MySQL, Apache Lucene unter AIX / Windows / Linux /Solaris

Helix Universal Server, RealServer, IBM VideoCharger Server

• Open Source unter GNU General Public License, nichtkommerziell

• Nachnutzung durch 12 andere Universitäten erfolgreich, z. B. Leipzig (Bach Digital), Jena (Urmel), ca. ein Dutzend Installationen

MILESS: Die Essener ApplikationDie Ursprünge von MyCoRe ...


MILESS Datenmodell: festgelegt! Basis: Dublin Core + eigene Erweiterungen

Abbildung: Marc Schlüpmann (2002), Universität Essen

Personen- undKörperschafts-daten

Dateien undFormate:

PDF, Word,HTML, LaTeX,...

Klassifikationen:

fachspezifisch und / oder fachübergreifend

beliebige Hierarchien wie etwa DDC


Zugang zu Dokumenten über Suche:Allgemeine u. fachspezifische Suchmasken

Eigene Suchmasken je Fachgebiet / Themengebiet möglichEinschränkung der Suche z. B. auf Physik, Dissertationen, Video-Material


Zugang zu Dokumenten über Browsing:Klassifikationen, Baumstrukturen


Zugang zu Dokumenten direkt über URL:Dokument, Derivat, Datei direkt erreichbar


Beliebige Dateitypen in MILESS:Java- oder Shockwave-Animation


Beliebige Dateitypen in MILESS:Dissertation in LaTeX, Anzeige-Applet


Java-Applet als GUI für Autoren: Dokumente einstellen oder aktualisieren

Bestimmte Benutzerhaben Autoren-Rechte


Neu: Audio/Video-Storyboards Szenen annotieren, "schneiden", abspielen


Neu: Video-Mitschnitte mit Folien Ein Service des Medienzentrums Essen

Realisierung:

AVID EPublisher(Real Video)

MicrosoftPowerPoint(WMV)

Langfristig:SMIL (XML)da bearbeitbar


Neu: Online-Semesterapparate Bücherlisten, PDF-Volltexte, Eigene Dateien

• Online-Semesterapparate beinhalten:• Bücherlisten: bibliographische Angaben, Link in den Katalog• Kapitelauszüge aus Büchern, Zeitschriftenartikel: bibliographische Angaben, Volltext im PDF-Format• WWW-Links, Querverweise auf andere MILESS-Dokumente• Eigene Dateien des Dozenten, bis hin zu Audio/Video

Realisierung:• Jeder Semesterapparat entspricht einem MILESS Dokument• Volltexte (PDF) und andere Dateien sind hierunter abgelegt• Beschreibende Daten intern als XML, Darstellung über XSL Stylesheets

Ablauf:• Dozent kann über Online-Formulare Inhalte ergänzen und bearbeiten• MILESS verschickt daraufhin Email an Bibliotheksmitarbeiter• Diese beschaffen (Jason, Fernleihe usw.) und digitalisieren die Volltexte• Studenten bekommen über Passwort lesenden Zugang zu Volltexten


Neu: Online-Semesterapparate Beispiel-Semesterapparat (frei zugänglich)


Neu: Online-Semesterapparate Dozent bearbeitet Inhalte über Formulare


Neu: Online-Semesterapparate Bibliothek überprüft Daten, ergänzt PDF


Feedback aus MILESS Nachnutzung:Änderungs- und Flexibilisierungswünsche...

• Essener Lösung MILESS war spezialisiert auf die Essener Anforderungen

• Metadatenmodell ist fest vorgegeben (Dublin Core mit Erweiterungen) und nicht einfach erweiterbar / anpassbar

• Layout war nur schwer anpassbar, da Java Servlets direkt HTML erzeugten

• Anpassung des Java-basierten Autoren-GUIs sehr aufwendig• Benutzer- und Rechteverwaltung nur minimal

implementiert• Applikationstyp "Dublin Core Dokumenten-Server"

vorgegeben, aber Archivsysteme etc. etwas anders strukturiert • Abhängigkeit von IBM Content Manager hat sowohl

positive (Speichermanagement, Archivierung, Skalierbarkeit) als auch negative Aspekte (für kleine Applikationen zu aufwendig, IBM-Plattform notwendig)

• Langfristige Code-Pflege nur durch Essen problematisch


• Ausgehend von MILESS, gemeinsame Entwicklung eines flexiblen, anpassbaren Software-Kerns ("core") zur Erstellung von digitalen Bibliothekssystemen / Archivlösungen (allgemein "Content Repositories" -> CoRe), für verschiedene Backend-Datenbanken, sowohl IBM Content Manager als auch andere insbesondere aus dem Open Source Bereich

• Entwicklung als Open Source auf Java- und XML-Basis• Kern, ergänzt um Anpassungen und Erweiterungen, bildet

jeweils eine lokale Lösung, z. B. für Münzsammlung, Papyri-Archiv, ...

• MILESS bringt Erfahrungen und Implementierungsstrategien ein, aber MyCoRe ist eine komplette Neuentwicklung

• MILESS verwendet bereits produktionsreife MyCoRe Komponenten, die nach und nach alte MILESS Komponenten ersetzen, bis zum kompletten Austausch durch MyCoRe

• MILESS ist das lokale Essener Produktionssystem, MyCoRe noch in der Entwicklung und teilweise unvollständig

MyCoRe: Entstehung und Ziele... und was wird aus MILESS?


MyCoRe Architektur:Datenmodell-zentrierte Sicht

XML als zentrales Format für

• Konfiguration• Import• Export• Speicherung• Layout• Schnittstellen


Konfiguration von Beziehungen:Eltern-/Kind-Beziehungen und Verweise

Dokument

Schriftträger Text und Bearbeitung

Schriftträger-Fragment

Schriftträger-Fragment

weitere Bearbeitung

Schriftträger-Fragment-Spalte

Vererbung

Beispiel: Jens Kupferschmidt, Universität Leipzig Datenmodell Papyri-Projekt Jena / Halle /Leipzig


MyCoRe Architektur:Sicht auf verschiedene System-Ebenen

Backend-Systeme


Internal Filesystem [IFS]Interne Dateien und Verzeichnisse

• Dateien und Verzeichnisse werden in das System importiert• MyCoRe verwaltet nicht (nur) Links, sondern auch den Content selbst• In MILESS: Dokument besitzt Derivate, Derivate besitzen Dateien• In MyCoRe: Flexibler, Objekte besitzen Dateien oder Verzeichnisse

• Typische Operationen eines Dateisystems als API:• Dateien und Verzeichnisse bilden Dokumentstruktur ab, z. B. HTML• Erzeugen, Löschen, Verschieben, Umbenennen • Importieren und Exportieren von ganzen Verzeichnissen• ZIP-Import und –Export• Pfadoperationen, Sortieroperationen• Versionsmanagement und Volltextsuche (noch nicht implementiert)

• Anzeigen von Dateien und Browsen in Verzeichnissen via WWW• Verwalten der Dateiinhalte über WWW-Oberfläche• Später: Import/Export via FTP-Client, Emails mit Attachment


Internal Filesystem [IFS]Unterstützte Speichersysteme

• Beliebige Dateitypen und ganze Verzeichnishierarchien importierbar• Zur Speicherung der Dateiinhalte sind folgende Systeme möglich:

• Lokales Dateisystem• Entferntes Dateisystem via FTP• IBM Content Manager 7 Object Server• IBM Content Manager 8 Resource Manager• IBM VideoCharger Server Version 7 oder 8• Weitere durch Implementierung eines Java-Interfaces möglich

• Zum Streaming von Audio-Video-Dateien werden unterstützt:• IBM VideoCharger Server Version 7 oder 8

• MyCoRe unterstützt MPEG1, MPEG2, AVI, WAV, MP3• Real Streaming Server Version 8 oder• Helix Universal Server Version 9 (Real Nachfolger)

• MyCoRe unterstützt RealAudio, RealVideo, MP3, WAV, AVI, MPEG1, MPEG2, MPEG4, Windows Media Audio/Video

• Streaming zu IBM Player, Windows Media Player, Real Player• Weitere durch Implementierung eines Java-Interfaces möglich


Internal Filesystem [IFS]Verwendung schon jetzt in MILESS


MyCoRe Persistenz-Layer:Verschiedene Implementierungen

• Persistenz-Layer bildet MyCoRe-Strukturen auf Datenbanksysteme ab.• MyCoRe Backend-System besteht aus vier Bereichen:

• Verwaltung von relationalen Tabellendaten:• JDBC-fähige relationale Datenbank (getestet: IBM DB2, MySQL)

• Suche in XML-Metadaten (mittels XQuery/XPath):• IBM CM 7 (Auslaufmodell), IBM CM 8.2, oder• XML:DB API (getestet: Apache Xindice, eXist XML Database)

diese Schnittstelle wird auch von Tamino (Software AG) unterstützt• Speicherung und Verwaltung von Datei-Inhalten (IFS):

• IBM CM7, IBM CM8, IBM VideoCharger Server• Lokales Filesystem, Remote FTP Server, Real oder Helix Server

• Volltextsuche in Datei-Inhalten• In MyCoRe noch nicht vollständig implementiert, noch in Arbeit• IBM Content Manager 8 Text Information Extender• Open Source Volltextsuchsysteme, wie etwa Apache Lucene


HTTP / XML

PräsentationSuchergebnisse

Lokale Suche

Lokale Suche

Lokale Suche

Lokale Suche

Lokale Suchez.B. Content Manager

Suchanfrage: XQuerySuchergebnisse: XML

Client

Server

Quelle: M. Zarick, Universität Rostock

Verteilte Suche über InstanzenRemote Query Client/Server via HTTPS

Zusätzlich:OAI-PMH 2.0

Geplant:Z39.50


• Command Line Interface: MyCoRe:>_

Für administrative Zwecke, Batch-Import von XML-Daten

• Web User Interface:

Implementiert mit Java Servlets, Layout durch XSL Stylesheets Suchmasken, Trefferlisten, Anzeige von Objekten, Browsing, ...

• Metadaten-Editor für MyCoRe Objekte:

In MILESS bisher als Java Applet implementiert, nicht anpassbar In MyCoRe Implementierung auf Basis von HTML-Formularen und konfigurierbar, da MyCoRe Datenmodell nicht festgelegt ist

MyCoRe User Interfaces:Command Line, WWW, Metadaten-Editor


MyCoRe Servlet

XML Document

Client Browser

MCRLayoutServlet

HTML Page

XSL Stylesheet

1

2

3

4

• Daten

• Business Logik

• Layout Anweisungen

• Unabhängigkeit, getrennte• Änderung und Anpassung• Pflege• Entwicklung und Test

Generierung von Webseiten:MyCoRe trennt Logik, Daten und Layout

XSL

XSL

• Master Layout


• Da Datenmodell in MyCoRe nicht festgelegt ist, muss auch der Online Metadaten-Editor konfigurierbar und anpassbar sein• MyCoRe EditorServlet bearbeitet XML Datei in HTML Formularen

• Zu bearbeitende XML-Datei kann aus verschiedenen Quellen stammen und in verschiedene Zielsysteme gespeichert werden: MILESS, MyCoRe, Local Filesystem, URL, ... -> Java Interface

• EditorServlet wird konfiguriert über XML-Datei mit Definitionen• Editor Definition beinhaltet Informationen zu

Labeln, Felder, Listen, Wiederholbarkeit von Elementen, Hilfetexte, Datentypen and Validierungsregeln.

Abbildung zwischen Formularfeldern und XML Elementen• Ein EditorServlet, viele Editor-Definitions-Dateien, z. B. je ein Editor für Dokumente, Personen, Benutzer,...

MyCoRe Metadaten bearbeitenOnline-Editor für einfache XML-Dokumente


Zu bearbeitendes XML Dokumentist Eingabe und Ausgabe von EditorServlet


Editor für Personendaten Generiert durch EditorServlet


Editor Definitions-Datei:Eingabefelder, XML-MappingValidierungregeln etc.


MILESS:Version 1.3: Bisher, Produktionsbetrieberfordert IBM Content Manager Version 7verwendet bereits MyCoRe IFS und Audio-/Video-FunktionenVersion 1.4: Ende NovemberLayout über XSL Stylesheets, MyCoRe OAI 2.0,Reine Open Source Option mit Apache Lucene und MySQLVersion 1.5: Mitte 2004Weitestgehende Ablösung durch eine MyCoRe Konfiguration

MyCoRe:Aktuell Integration und Test der Komponenten, Anpassungan IBM CM 8.2, Dokumentation Nutzung und AdministrationMyCoRe 0.9: Präsentation im Januar 2004OAI 2.0, Metadatenmodell, IFS, Audio-/Video-Streaming,

Verteilte Suche, einfache Benutzer- und Rechteverwaltung,neben IBM CM 8 reine Open Source Version mit eXist/MySQL Konfigurierbarer Online Editor, Volltextsuche

Von MILESS zu MyCoRe:Status und nähere Zukunft


Vielen Dank für Ihre Aufmerksamkeit!

http://miless.uni-essen.de/http://www.mycore.de/

Documents

Frankfurt/Main, 13.11.2003 7. InetBib-Tagung 2003 F. Lützenkirchen Von MILESS zu MyCoRe - Ein Open Source Kernsystem für Digitale Bibliotheken Dipl.-Wirt.Inform