Stuttgart, 23.07.2003 IBM Forum: Von MILESS zu MyCoRe F. Lützenkirchen MyCoRe und MILESS Architektur und Technik Dipl.-Wirt.Inform. Frank Lützenkirchen

Stuttgart, 23.07.2003 IBM Forum: Von MILESS zu MyCoRe F. Lützenkirchen

MyCoRe und MILESSArchitektur und Technik

Dipl.-Wirt.Inform. Frank Lützenkirchen

Universitätsbibliothek Essen der Universität Duisburg-Essen

http://miless.uni-essen.de/http://www.mycore.de/


Inhaltsübersicht

• MILESS Architektur, Datenmodell und Funktionalität• MyCoRe Entstehung, Organisation, Mitwirkende, Ziele• MyCoRe Architektur• MyCoRe Metadatenmodell: Objekte, Beziehungen, Konfiguration• MyCoRe Internal Filesystem: Dateien und Verzeichnisse• MyCoRe Audio-/Video-Unterstützung und Streaming• MyCoRe Persistenz-Layer und Backend-Datenbanksysteme• MyCoRe Verteilte Suche und Schnittstellen zu OAI, Web Services• MyCoRe Benutzerschnittstellen: Webseiten-Generierung via XSL• MyCoRe Online-Editor für XML Metadaten• MyCoRe und MILESS: Status und nächste Schritte

Von MILESS zu MyCoRe:Architektur und Technik


• MILESS: Multimedialer Lehr- und Lernserver Essen• Multimedialer Lehr- und Lernmittel-Server: Digitale Bibliothek• Kein Lern-Management-System (Kursmanagement, Chats, ...)

• In Essen für Essen entwickelte Applikation, ursprünglich zugeschnitten auf Essener Anforderungen• Dublin Core Datenmodell, XML-Schnittstellen, beliebige Dateitypen

• Benötigt zur Zeit noch IBM Content Manager V7, DB2 unter AIX / NT• Java-Applikation bestehend aus Servlets, Applet, XSL Stylesheets

• Open Source unter GNU General Public License, nichtkommerziell

• Nachnutzung durch 12 andere Universitäten erfolgreich, z. B. Leipzig (Bach Digital), Jena (Urmel), ca. ein Dutzend Installationen• Zunehmende Flexibilisierung zur einfacheren Nachnutzung• Teil der CampusSource Initiative NRW, Teil des MyCoRe Projekts

MILESS: Die Essener ApplikationDie Ursprünge von MyCoRe ...


MILESS System-Architektur auf Basis IBM Content Manager V7

Abbildung: Marc Schlüpmann (2002), Universität Essen


MILESS Software-Komponenten:Datenmodell, Persistenz, Servlets & XSL, GUI

Abbildung: Marc Schlüpmann(2002), Essen

Applet für Autoren/Dozenten

HTML-Seiten fürSuche / Browsing /Anzeigen Inhalte

Servlets generierendynamisch HTML- direkt via Java- indirekt via XML und XSL


MILESS Datenmodell: festgelegt! Basis: Dublin Core + eigene Erweiterungen

Abbildung: Marc Schlüpmann (2002), Universität Essen

Personen- undKörperschafts-daten

Dateien undFormate:

PDF, Word,HTML, LaTeX,...

Klassifikationen:

fachspezifisch und / oder fachübergreifend

beliebige Hierarchien wie etwa DDC


Zugang zu Dokumenten über Suche:Allgemeine u. fachspezifische Suchmasken

Eigene Suchmasken je Fachgebiet / Themengebiet möglichEinschränkung der Suche z. B. auf Physik, Dissertationen, Video-Material


Zugang zu Dokumenten über Browsing:Klassifikationen, Baumstrukturen


Zugang zu Dokumenten direkt über URL:Dokument, Derivat, Datei direkt erreichbar


Beliebige Dateitypen in MILESS:Java- oder Shockwave-Animation


Beliebige Dateitypen in MILESS:Dissertation in LaTeX, Anzeige-Applet


Java-Applet als GUI für Autoren: Dokumente einstellen oder aktualisieren

Bestimmte Benutzerhaben Autoren-Rechte


Inhaltsübersicht




Feedback aus MILESS Nachnutzung:Änderungs- und Flexibilisierungswünsche...

• Essener Lösung MILESS war spezialisiert auf die Essener Anforderungen

• Metadatenmodell ist fest vorgegeben (Dublin Core mit Erweiterungen) und nicht einfach erweiterbar / anpassbar

• Layout war nur schwer anpassbar, da Java Servlets direkt HTML erzeugten

• Anpassung des Java-basierten Autoren-GUIs sehr aufwendig• Benutzer- und Rechteverwaltung nur minimal implementiert• Applikationstyp "Dublin Core Dokumenten-Server" vorgegeben,

aber Archivsysteme etc. etwas anders strukturiert • Abhängigkeit von IBM Content Manager hat sowohl positive

(Speichermanagement, Archivierung, Skalierbarkeit) als auch negative Aspekte (für kleine Applikationen zu aufwendig, IBM-Plattform notwendig)

• Langfristige Code-Pflege nur durch Essen problematisch


• Ausgehend von MILESS, gemeinsame Entwicklung eines flexiblen, anpassbaren Software-Kerns ("core") zur Erstellung von digitalen Bibliothekssystemen / Archivlösungen (allgemein "Content Repositories" -> CoRe), für verschiedene Backend-Datenbanken, sowohl IBM Content Manager als auch andere insbesondere aus dem Open Source Bereich

• Entwicklung als Open Source auf Java- und XML-Basis• Kern, ergänzt um Anpassungen und Erweiterungen, bildet jeweils

eine lokale Lösung, z. B. für Münzsammlung, Papyri-Archiv, ...• MILESS bringt Erfahrungen und Implementierungsstrategien ein, aber

MyCoRe ist eine komplette Neuentwicklung• MILESS verwendet bereits produktionsreife MyCoRe

Komponenten, die nach und nach alte MILESS Komponenten ersetzen, bis zum kompletten Austausch durch MyCoRe

• MILESS ist das lokale Essener Produktionssystem, MyCoRe noch in der Entwicklung und teilweise unvollständig

MyCoRe: Entstehung und Ziele... und was wird aus MILESS?


• Konfiguration statt Programmierung• Konfigurierbares Metadatenmodell• Konfigurierbares Layout über XSL Stylesheets• Flexibles internes logisches Dateisystem• Audio-/Video-Unterstützung• Unterstützung verschiedener Datenbank-Systeme• Verteilte Suche über mehrere Systeme• XML Import-/Export-Schnittstellen• HTML GUI auch als Metadaten-Editor für Autoren• Anbindung Benutzer-/Rechteverwaltung an LDAP, ...• Schnittstellen für OAI, Z.39.50, Web Services: SOAP

Wichtige Ziele und Funktionalität


• Projektbeteiligte werden überwiegend aus Eigenmitteln der zentralen Einrichtungen (Bibliothek, Rechenzentrum) finanziert

• Aktiv an der Code-Entwicklung beteiligt:Universitäten Essen, Leipzig, Jena, Münster, Freiburg, Rostock

• Unterstützung mit Tests, Dokumentation, Beratung, Nutzung:Universitäten Bonn, Greifswald, Halle, Hamburg, Uppsala, GWDG Göttingen

• CM Know How, Schulungen: IBM F&L, Content Manager Gruppe• Aktuell neue Anwender:Univ. Kassel, Düsseldorf, Bochum

• Gemeinsame Website und CVS-Repository zur Versionsverwaltung von Quellcode und Dokumentation, sehr aktive Mailing-Liste

• Verteilte, arbeitsteilige Entwicklung von Komponenten• Steuerung durch Architecture Board und regelmässige

Entwicklertreffen

MyCoRe:Organisation und Beteiligte


Inhaltsübersicht




MyCoRe Architektur:Datenmodell-zentrierte Sicht

XML als zentrales Format für

• Konfiguration• Import• Export• Speicherung• Layout• Schnittstellen


MyCoRe Architektur:Sicht auf verschiedene System-Ebenen

Backend-Systeme


Inhaltsübersicht

• MILESS Architektur, Datenmodell und Funktionalität• MyCoRe Entstehung, Organisation, Mitwirkende, Ziele• MyCoRe Architektur• MyCoRe Metadatenmodell: Objekte, Beziehungen, Konfig.• MyCoRe Internal Filesystem: Dateien und Verzeichnisse• MyCoRe Audio-/Video-Unterstützung und Streaming• MyCoRe Persistenz-Layer und Backend-Datenbanksysteme• MyCoRe Verteilte Suche und Schnittstellen zu OAI, Web Services• MyCoRe Benutzerschnittstellen: Webseiten-Generierung via XSL• MyCoRe Online-Editor für XML Metadaten• MyCoRe und MILESS: Status und nächste Schritte



Konfiguration des Datenmodells

• MILESS: Datenmodell ist fest vorgegeben, nicht konfigurierbar• MyCoRe: Kein Datenmodell vorgegeben, konfigurierbar

• Im Bereich Metadatenmodell aktuell implementiert:• Objekttyp wird konfiguriert aus wiederholbaren Datentypen, z. B.

Titel := 1-n mal MetaLangText• Vorgegebene Basis-Datentypen, z. B. "MetaLangText"• Eigene Datentypen durch Java-Implementierung einer

Schnittstelle und XML-Darstellung, z. B. "MetaGISLocation"• Querverweise zwischen Objekten (Dokument -> Autor)• Eltern-Kind-Beziehungen zwischen Objekten• "Vererbung" von Metadaten vom Vater zu den Kindern

• Langfristig:• Konfiguration beliebiger Datenmodelle via XML Schema


Vorgegebene Basis-Datentypen

• MCRMetaNumber Zahl• MCRMetaBoolean Wahr-/Falsch-Wert• MCRMetaDate Datumsangabe• MCRMetaLangText Text mit Sprachattribut

• MCRMetaPerson Komplexer Datentyp für Personennamen• MCRMetaCorporation Komplexer Datentyp für Firmennamen• MCRMetaAddress Komplexer Datentyp für Adresse

• MCRMetaLink Querverweis zwischen Objekten• MCRMetaIFS Verweis auf interne Datei / Verzeichnis• MCRMetaClassification Verweis auf Kategorie in Klassifikation

• Eigene Datentypen können implementiert werden


Konfiguration von Objekttypen:Beispiel in MILESS: Dokument, Person

• Objekttyp: z. B. "Dublin Core Dokument analog zu MILESS" besteht aus wiederholbaren Elementen

• Element: z. B. "Titel" besitzt Attribute wie Label, Datentyp, Wiederholbarkeit, Suchparameter

• Aus diesen Angaben werden persistente Strukturen, Suchmasken-Felder, Editor-Felder und XML-Darstellung für Import/Export abgeleitet

Beispiel: Ein Dokument besitzt 1-n Titel in verschiedenen Sprachen

<element name="titles" minOccurs='1' maxOccurs='1' parasearch="true" textsearch="true">

<label xml:lang="de">Titel</label> <label xml:lang="en">title</label>

<mcrmetalangtext name="title" class="MCRMetaLangText" minOccurs='1' maxOccurs='unbounded'

datatype="string" length="128" /> </element>


Konfiguration von Beziehungen:Eltern-/Kind-Beziehungen und Verweise

Dokument

Schriftträger Text und Bearbeitung

Schriftträger-Fragment

Schriftträger-Fragment

weitere Bearbeitung

Schriftträger-Fragment-Spalte

Vererbung

Beispiel: Jens Kupferschmidt, Universität Leipzig Datenmodell Papyri-Projekt Jena / Halle /Leipzig


Klassifikationen in MyCoRe:Hierarchien werden über XML importiert


Inhaltsübersicht




Internal Filesystem [IFS]Interne Dateien und Verzeichnisse

• Dateien und Verzeichnisse werden in das System importiert• MyCoRe verwaltet nicht (nur) Links, sondern auch den Content selbst• In MILESS: Dokument besitzt Derivate, Derivate besitzen Dateien• In MyCoRe: Flexibler, Objekte besitzen Dateien oder Verzeichnisse

• Typische Operationen eines Dateisystems als API:• Dateien und Verzeichnisse bilden Dokumentstruktur ab, z. B. HTML• Erzeugen, Löschen, Verschieben, Umbenennen • Importieren und Exportieren von ganzen Verzeichnissen• ZIP-Import und –Export• Pfadoperationen, Sortieroperationen• Versionsmanagement und Volltextsuche (noch nicht implementiert)

• Anzeigen von Dateien und Browsen in Verzeichnissen via WWW• Verwalten der Dateiinhalte über WWW-Oberfläche• Später: Import/Export via FTP-Client, Emails mit Attachment


MCRNode

MCRDirectoryMCRFile

MCRFileContentStore

FCSVideoCharger FCSLocalFileSystem FCSContentManager7

FCSContentManager8FCSRemoteFTPServerVerschiedeneImplementierungen

VerwaltetStruktur undtechnische Metadaten

• Verzeichnisstruktur • Dateinamen, Typen • Größe, MD5 Prüfsumme• Änderungsdatum etc.• Gespeichert in RDBMS

*

1

Verwaltet Datei-Inhalte

Internal Filesystem [IFS]Trennung von Struktur und Datei-Inhalt


MCRNode

MCRDirectoryMCRFile

MCRFileContentStore

FCSContentManager

FCSLocalFilesystem

FCSVideoCharger

*

1

MCRAudioVideoExtender

AVXRealHelix

AVXVideoCharger

• Audio/Video Dateien können wie herkömmliche Dateien behandelt werden• Audio/Video Dateien werden automatisch in Streaming Server abgelegt• Audio/Video Dateien besitzen weitere Metadaten (Bitrate, Framerate, ...) und Fähigkeiten (Start eines Streaming Players)

Internal Filesystem [IFS]Spezielle Audio-/Video-Erweiterungen


Internal Filesystem [IFS]Unterstützte Speichersysteme

• Beliebige Dateitypen und ganze Verzeichnishierarchien importierbar• Zur Speicherung der Dateiinhalte sind folgende Systeme möglich:

• Lokales Dateisystem• Entferntes Dateisystem via FTP• IBM Content Manager 7 Object Server• IBM Content Manager 8 Resource Manager• IBM VideoCharger Server Version 7 oder 8• Weitere durch Implementierung eines Java-Interfaces möglich

• Zum Streaming von Audio-Video-Dateien werden unterstützt:• IBM VideoCharger Server Version 7 oder 8

• MyCoRe unterstützt MPEG1, MPEG2, AVI, WAV, MP3• Real Streaming Server Version 8 oder• Helix Universal Server Version 9 (Real Nachfolger)

• MyCoRe unterstützt RealAudio, RealVideo, MP3, WAV, AVI, MPEG1, MPEG2, MPEG4, Windows Media Audio/Video

• Streaming zu IBM Player, Windows Media Player, Real Player• Weitere durch Implementierung eines Java-Interfaces möglich


Internal Filesystem [IFS]Verwendung schon jetzt in MILESS


Audio/Video-Bibliothek (DFG-Projekt)Transcoding, Storyboard-Editor, Playlisten


Inhaltsübersicht




MyCoRe Architektur:Sicht auf verschiedene System-Ebenen

Backend-Systeme


MyCoRe Persistenz-Layer:Verschiedene Implementierungen

• Persistenz-Layer bildet MyCoRe-Strukturen auf Datenbanksysteme ab.• MyCoRe Backend-System besteht aus vier Bereichen:

• Verwaltung von relationalen Tabellendaten:• JDBC-fähige relationale Datenbank (getestet: IBM DB2, MySQL)

• Suche in XML-Metadaten (mittels XQuery/XPath):• IBM CM 7 (Auslaufmodell), IBM CM 8.2, oder• XML:DB API (getestet: Apache Xindice, eXist XML Database)

diese Schnittstelle wird auch von Tamino (Software AG) unterstützt• Speicherung und Verwaltung von Datei-Inhalten (IFS):

• IBM CM7, IBM CM8, IBM VideoCharger Server• Lokales Filesystem, Remote FTP Server, Real oder Helix Server

• Volltextsuche in Datei-Inhalten• In MyCoRe noch nicht vollständig implementiert, noch in Arbeit• IBM Content Manager 8 Text Information Extender• Open Source Volltextsuchsysteme, wie etwa Apache Lucene


Inhaltsübersicht

• MILESS Architektur, Datenmodell und Funktionalität• MyCoRe Entstehung, Organisation, Mitwirkende, Ziele• MyCoRe Architektur• MyCoRe Metadatenmodell: Objekte, Beziehungen, Konfiguration• MyCoRe Internal Filesystem: Dateien und Verzeichnisse• MyCoRe Audio-/Video-Unterstützung und Streaming• MyCoRe Persistenz-Layer und Backend-Datenbanksysteme• MyCoRe Verteilte Suche und Schnittstellen zu OAI, ...• MyCoRe Benutzerschnittstellen: Webseiten-Generierung via XSL• MyCoRe Online-Editor für XML Metadaten• MyCoRe und MILESS: Status und nächste Schritte



HTTP / XML

PräsentationSuchergebnisse

Lokale Suche

Lokale Suche

Lokale Suche

Lokale Suche

Lokale Suchez.B. Content Manager

Suchanfrage: XQuerySuchergebnisse: XML

Client

Server

Quelle: M. Zarick, Universität Rostock

Verteilte Suche über InstanzenRemote Query Client/Server via HTTPS


Standardisierte Schnittstellenzur Anbindung an externe Systeme

• Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH):• Vollständige, konfigurierbare OAI 2.0 Implementierung aus Münster

• Z39.50 Schnittstelle:• Derzeit für MyCoRe noch nicht implementiert, aber zukünftig geplant• Implementierung für MILESS aus Rostock, Portierbarkeit wird geprüft

• Web Services, SOAP:• Sämtliche wesentlichen MyCoRe Such- und Verwaltungs-Funktionen

sollen zukünftig über Web Services zugänglich gemacht werden• Dadurch Anbindung beliebiger Systeme, die MyCoRe als

Content Management Backend nutzen wollen• Insbesondere interessant zur Anbindung von

E-Learning Management Systemen• Derzeit noch nicht implementiert, Experimente in MILESS:

• OpenUSS (LMS der Universität Münster, Wirtschaftsinformatik)• Blackboard (Kommerzielles LMS, Nutzer ist Universität Bochum)


Inhaltsübersicht

• MILESS Architektur, Datenmodell und Funktionalität• MyCoRe Entstehung, Organisation, Mitwirkende, Ziele• MyCoRe Architektur• MyCoRe Metadatenmodell: Objekte, Beziehungen, Konfiguration• MyCoRe Internal Filesystem: Dateien und Verzeichnisse• MyCoRe Audio-/Video-Unterstützung und Streaming• MyCoRe Persistenz-Layer und Backend-Datenbanksysteme• MyCoRe Verteilte Suche und Schnittstellen zu OAI, Web Services• MyCoRe Benutzerschnittstellen: Webseiten-Generierung• MyCoRe Online-Editor für XML Metadaten• MyCoRe und MILESS: Status und nächste Schritte



• Command Line Interface: MyCoRe:>_

Für administrative Zwecke, Batch-Import von XML-Daten

• Web User Interface:

Implementiert mit Java Servlets, Layout durch XSL Stylesheets Suchmasken, Trefferlisten, Anzeige von Objekten, Browsing, ...

• Metadaten-Editor für MyCoRe Objekte:

In MILESS bisher als Java Applet implementiert, nicht anpassbar In MyCoRe Implementierung auf Basis von HTML-Formularen und konfigurierbar, da MyCoRe Datenmodell nicht festgelegt ist

MyCoRe User Interfaces:Command Line, WWW, Metadaten-Editor


MyCoRe Servlet

XML Document

Client Browser

MCRLayoutServlet

HTML Page

XSL Stylesheet

1

2

3

4

• Daten

• Business Logik

• Layout Anweisungen

• Unabhängigkeit, getrennte• Änderung und Anpassung• Pflege• Entwicklung und Test

Generierung von Webseiten:MyCoRe trennt Logik, Daten und Layout

XSL

XSL

• Master Layout


MyCoRe Servlet

XML Document

Client Browser

MCRLayoutServlet

HTML Page A

1

2

4a

XSL Style-sheet A

3aXSL Style-

sheet B

3b

HTML Page B

4b

Verwendung von XSL Stylesheets:Verschiedene Ausgabe-Formate möglich

• Mehrsprachige Oberflächen, verschiedene Ausgabe-Formate, verschiedene Sichten (Student, Dozent, Administrator) möglich bis hin zur Generierung von PDF-Dokumenten via XSL:FO ...• Stylesheet wird gewählt durch Konfiguration, durch Java-Code, durch Benutzer anhand HTTP Request Parameter


Vordefiniertes Standard-StylesheetJe nach Dokument-Typ der XML-Ausgabe...


Alternatives Stylesheet via URLBenutzer wählt z. B. "Printable" Stil


Direkte Ausgabe als XMLüber HTTP Parameter "XSL.Style=xml"

SämtlicheMyCoReAusgabe-Datensind damitauch als XML zurdirektenNutzungdurch externeSystemeverfügbar


• MyCoRe LayoutServlet can auch XML-Dokumente darstellen, die als Teil eines internen Dokumentes in der Digitalen Bibliothek gespeichert sind. Beispiele:

• XML-basierte Textverarbeitungsformate, z. B. OpenOffice• XML Video Storyboard wie bereits jetzt in MILESS verwendet

• Das LayoutServlet kann sowohl statische als auch dynamisch generierte oder gespeicherte XML-Dokumente anzeigen

• Die verschiedenen XML-Dokumente lassen sich im XSL Stylesheet zur Laufzeit kombinieren und zu einer Webseite verknüpfen. Beispiel "MILESS Video Storyboard": Statisches XML: Navigationsstruktur der Website Dynamsches XML: Video-Dateien, Bitrate, Framerate, ... Gespeichertes XML: Video-Storyboard mit Szenenaufteilung, ...

XML aus verschiedenen Quellenkombinierbar und via XSL darstellbar


Inhaltsübersicht




• Da Datenmodell in MyCoRe nicht festgelegt ist, muss auch der Online Metadaten-Editor konfigurierbar und anpassbar sein• MyCoRe EditorServlet bearbeitet XML Datei in HTML Formularen

• Zu bearbeitende XML-Datei kann aus verschiedenen Quellen stammen und in verschiedene Zielsysteme gespeichert werden: MILESS, MyCoRe, Local Filesystem, URL, ... -> Java Interface

• EditorServlet wird konfiguriert über XML-Datei mit Definitionen• Editor Definition beinhaltet Informationen zu

Labeln, Felder, Listen, Wiederholbarkeit von Elementen, Hilfetexte, Datentypen and Validierungsregeln.

Abbildung zwischen Formularfeldern und XML Elementen• Ein EditorServlet, viele Editor-Definitions-Dateien, z. B. je ein Editor für Dokumente, Personen, Benutzer,...

MyCoRe Metadaten bearbeitenOnline-Editor für einfache XML-Dokumente


Zu bearbeitendes XML Dokumentist Eingabe und Ausgabe von EditorServlet


Editor für Personendaten Generiert durch EditorServlet


Person Editor Definition XML(This tells EditorServletwhat to do and how to do it)


Inhaltsübersicht




MILESS:Version 1.3: Aktuell, Produktionsbetrieberfordert IBM CM Version 7, noch nicht CM 8 kompatibelverwendet bereits MyCoRe IFS und Audio-/Video-FunktionenVersion 1.4: In den nächsten 1-2 Monatenverwendet Layout über XSL Stylesheets, MyCoRe OAI 2.0Version 1.5: Ca. Oktober/Novemberneben IBM CM 8 reine Open Source Version mit eXist/MySQL

MyCoRe:Aktuell Integration und Test der Komponenten, Anpassungan IBM CM 8.2, Dokumentation Nutzung und AdministrationMyCoRe 1.0: Vollständig voraussichtlich OktoberOAI 2.0, Metadatenmodell, IFS, Audio-/Video-Streaming, Verteilte

Suche, einfache Benutzer- und Rechteverwaltung,neben IBM CM 8 reine Open Source Version mit eXist/MySQL Noch nicht vollständig nutzbar, spätere Versionen: Online XML-Editor, Volltextsuche

Von MILESS zu MyCoRe:Status und nähere Zukunft


Vielen Dank für Ihre Aufmerksamkeit!

http://miless.uni-essen.de/http://www.mycore.de/

Documents

Stuttgart, 23.07.2003 IBM Forum: Von MILESS zu MyCoRe F. Lützenkirchen MyCoRe und MILESS Architektur und Technik Dipl.-Wirt.Inform. Frank Lützenkirchen