XML-Clearinghouse, Kolloquium 16. Juni 2003 16. Juni 2003 Uwe Müller ([email protected]) Humboldt-Universität zu Berlin Computer- und Medienservice

<XML-PORTAL>

XML-Clearinghouse, Kolloquium 16. Juni 2003

<XML-Portal>

16. Juni 2003

Uwe Müller([email protected])Humboldt-Universität zu BerlinComputer- und Medienservice

Arbeitsgruppe Elektronisches Publizieren

<XML-PORTAL>


<XML-PORTAL>


Thema

• Exemplarischer Aufbau eines Internet-Portals zur Erschließung, Archivierung und Recherche von komplexen Dokumenten mit multimedialen Inhalten unter Nutzung XML-basierter Technologien am Beispiel des Dokumentenservers und der Sammlungsobjekte der Humboldt-Universität

• Laufzeit: Oktober 2001 bis September 2003 (März 2004)

• Förderung: Deutsche Forschungsgemeinschaft

<XML-PORTAL>


Agenda

Historie und Einordnung

Technologischer und Organisatorischer Rahmen

Ziele des Projekts

Metadaten-Modell

Dokumenten-Modellierung

Document Management

Medienportal

Recherche und Datenaustausch

Zusammenfassung und Ausblick

<XML-PORTAL>


Elektronisches Publizieren – Dissertationen

• NDLTD (Networked Digital Library for Theses and Dissertatations) und ETD-Konferenz

• “Digitale Dissertationen” (Humboldt-Universität)• “Dissertationen Online” (DFG-Projekt mit HU als Partner)

<XML-PORTAL>


Elektronisches Publizieren – sonstige Projekte

• Proprint (Humboldt-Universität, SUB Göttingen)• GAP (German Academic Publishers) / FIGARO• OAI (Open Archives Initiative)• OAForum (Open Archives Forum, EU-Projekt)• eprints.org• DSpace• Projekt Langzeitarchivierung (Die Deutsche

Bibliothek)

<XML-PORTAL>


Elektronisches Publizeren – Motivation

• direkte und permanente Verfügbarkeit (Recherchemöglichkeiten, Browsing, Volltexte)

• Integration heterogener und verteilter Bestände• zusätzliche Präsentationsmöglichkeiten

(Multimediaobjekte, Lernmodule, ...)• niedrige Produktionskosten• Langzeitarchivierung• Lösung der “Zeitschriftenkrise”

<XML-PORTAL>


Agenda



Ziele des Projekts

Metadaten-Modell


Document Management

Medienportal



<XML-PORTAL>


Technologische Kernpunkte

• Verwendung von SGML / XML als Speicherformat• Gründe

– Langzeitarchivierung– qualifizierte Recherchefähigkeit– automatisierte Weiterverarbeitung– zukünftige Mehrwertdienste

• Konsequenzen– Konvertierung aus Quellformaten– Unterstützung der Autoren bei der Erstellung– Styles / Skripts zur Präsentation

<XML-PORTAL>


Technologische Kernpunkte (2)

• zusätzliches Speicherformat zur Präsentation: PDF• Digitale Signatur• Erfassung der Metadaten• Workflow-System

<XML-PORTAL>


Organisatorischer Rahmen

• gemeinsame Arbeitsgruppe “Elektronisches Publizieren” von Universitätsbibliothek und Computer- und Medienservice

• 5 feste Mitarbeiter, 10 Projektmitarbeiter (4 + 6)• Verantwortung für Routine- und Projektaufgaben• Einbindung der Arbeitsgruppe in andere

Zusammenhänge– DINI (Deutsche Initiative für Netzwerkinformation)– NDLTD

<XML-PORTAL>


Agenda



Ziele des Projekts

Metadaten-Modell


Document Management

Medienportal



<XML-PORTAL>


Ausgangspunkt• steigende Zahl elektronischer Publikationen im universitären

Bereich• heterogene Datenbestände (inhaltlich, formal, strukturell)• gesucht:

– Standardlösungen für Erschließung, Zugang, Archivierung– anpassbar an Bedürfnisse der Nutzer und an neue

Publikationstypen • Idee:

– Entwicklung eines Portals auf der Basis von XML– Berücksichtigung bibliothekarischer, dokumentarischer und

rechentechnischer Gesichtspunkte

<XML-PORTAL>


„Portal“

• Zusammenführung verteilter und heterogener Ressourcen zu einer einheitlichen und integrierten Schnittstelle / Oberfläche

• an unterschiedlichen Nutzergruppen orientierte Sichten (z.B. differenzierte Suchmasken)

Portal

Portal

Datenbestände

<XML-PORTAL>


Hauptziele

• Multimedia-Erweiterung der bisher verwendeten Technologien– Metadaten (modulares, erweiterbares,

hierarchisches Datenmodell; Eingabe- und Verwaltung der Daten)

– Dokumenten-Modellierung – Autorenunterstützung (Empfehlungen, Richtlinien,

…)– Recherche (in Metadaten und im Volltext)– Digitale Signatur / Wasserzeichen

<XML-PORTAL>


Hauptziele (2)

• integrative Lösung für heterogene Inhalte (Frontends, Speicherung, Verwaltung, Beschreibung)

• Entwicklung eines exemplarischen Bibliotheksportals• Beispielanwendung: Kustodie, digitale Diathek• Aufbereitung der Erfahrungen im Bereich

textorientierter Dokumente (Hochschulschriften)

<XML-PORTAL>


Multimedia-Objekte

• Bilder (Diagramme, Fotos, Vektorgrafiken)• mathematische und chemische Formeln, Noten• Video-Clips, Audio-Dateien • Landkarten• 3D-Visualisierungen• Textdokumente mit Multimedia-Teilen

• Standards: MathML, CML, SMIL, SVG, MusicML, VoiceML

<XML-PORTAL>


Arbeitspakete (6 + 1)

1. Untersuchung existierender XML- Standards und DTDs

2. Entwurf eines modularen Dokumentenmodells für die Beschreibung komplexer digitaler Dokumente mit Multimedia-Inhalten

3. Richtlinien und Empfehlungen für Autoren, Schulungskonzept

4. exemplarisches Bibliotheksportal mit fach- bzw. nutzerspezifischen Sichten

5. Rechercheschnittstelle zur Suche in unterschiedlich strukturierten XML-Dokumenten

6. Prüfen und evtl. Anpassen vorhandener Lösungen zur Sicherung Integrität, Authentizität und Urheberrecht digitaler Dokumente mit Multimedia-Inhalten

7. Dokumentation

<XML-PORTAL>


Agenda



Ziele des Projekts

Metadaten-Modell


Document Management

Medienportal



<XML-PORTAL>


Metadaten

• beschreiben Dokumente / Objekte („Daten über Daten“)• diverse Standards und Entwicklungen

– Dublin Core– MAB– Marc21– DLmeta

• formale Definition in der Regel auch als XSD / DTD• Speicherung / Austausch in XML

<XML-PORTAL>


Bisheriges Metadaten-Modellid numeric geb varchar datumveroeff varchar

title text gebort varchar datum_change varchar

titlealt text url varchar sprache varchar

titlelang varchar rvk varchar mime varchar

titletrans text dnb varchar doctype varchar

titlealttrans text nof vahrchar source varchar

titletranslang varchar beschreibung text keywords_de text

heftnr varchar gutachter1 varchar keywords_en text

name varchar gutachter2 varchar abstract_de text

a_vorname varchar gutachter3 varchar abstract_en text

a_nachname varchar fachbereich varchar seitenanzahl int

a_titel varchar datumantrag varchar

adresse varchar datum varchar

<XML-PORTAL>


Anforderung für neues Modell

• modular und erweiterbar für die Beschreibung heterogener Ressourcen

• Ermöglichung von Mehrfach-Werten• für hierarchische Strukturen geeignet (Zeitschriften,

Konferenzbände, MM-Teile in einem Dokument), Abbildung von Beziehungen zwischen Ressourcen

• spezifischer Publikationstyp über XML-Datei konfigurierbar (DB-Abfragen, Darstellung eines Metadatensatzes als XML-Instanz)

• generische Erfassungs-, Recherche- und Browsing-Schnittstellen auf der Basis einer XML-Konfiguration

<XML-PORTAL>


Modulares Datenmodell für Metadaten

Grunddaten

Spezifische Daten 1Res_ID

Spezifische Daten 2Res_ID

Erweiterte Daten ARes_ID

Erweiterte Daten BRes_ID

n

n

1

1 1

1

0/1

0/1

<XML-PORTAL>


ThesisRes_IDDate_ExamDate_Acc

RefereeRes_IDPerson_ID

JournalRes_IDNumberYear

TextRes_ID

IsPartOfRes_IDContain_ID

TitleRes_IDTitleLang_ID

LocationRes_IDSchemaIdentifierFormat_ID

DescriptionRes_IDTypeContentLang_ID

ResourceRightsType_IDOPAC_IDStateCreatedModifiedDeleted

TypeRes_IDDC_TypeNameNotePartOf_IDUnit

AuthorRes_IDPerson_ID

PersonLastnameFirstnameEmail

InstitutionNameAddressPartOf_ID

PublisherRes_IDInstitut_ID

SubjectRes_IDKey_ID

KeywordSchemaValue

Konferenz - Paper, Zeitschrift - Artikel

Zeitschrift

Monographie

Dissertation,Habilitation

EditorRes_IDPerson_ID

Konferenz, Zeitschrift

<XML-PORTAL>


Spezifikation eines Metadaten-Modells mit XML

XMLXSD

Eingabe-Frontend

Recherche-Frontend

Datenmodell

SQL-Queries

SQL-Queries

Metadaten-DB

<XML-PORTAL>


XML-Konfiguration der Datenbank (Beispiel)<db name="metadb" > <table name="Person"> <id>Person_ID</id> <export_table to_table="Author"> <pair to_field="Person_ID" from_field="Person_ID" /> </export_table> <field name="Person_ID" type="int">...</field> <field name="PersonalName_F"> <input_style label="Vorname" type="text" mode="edit" constraint="not_null"> </input_style> </field> ... </table> <table name="Title" > <field name="Title"> <input_style label="Title" type="textarea" mode="edit" constraint="not_null"> </input_style> </field> <field name="Lang">...</field> ... </table> <table name="Resource" max="single"> <id>Resource_ID</id> <export_table to_table="IsPartOf"> <pair to_field="Resource_ID" from_field="Resource_ID" /> </export_table> ... <field name="Resource_ID" type="int" >...</field> <field name="MD_Date_Created" type="insert_date">...</field> ... </table></db>

<XML-PORTAL>


XML-Konfiguration der Eingabemaske (Beispiel)<site name="heft"> <page id="a" name="RZM-Aufnahme" label="RZM-Aufnahme" style="virtuell"></page> <page id="aa" name="Resource" label="RZM-Eingabe Start" style="dataform"> <navig prev="aa" next="ab"/> <dataform c_table_name="Resource"> <preset_field name="Type_ID">1</preset_field> <preset_field name="MD_State">p</preset_field> <form_button name="CLEAR" /> <form_button name="ENTER" /> <option_list_button name="EDIT" /> </dataform> </page> <page id="ab" name="Heft" label="Heft-Daten eingeben" style="dataform"> <navig prev="aa" next="ac"/> <dataform c_table_name="Journal"> <form_button name="CLEAR"/> <form_button name="ENTER"/> <option_list_button name="EDIT"/> </dataform> </page> ... <page id="db" name="Corporation" label="Neues Institut eingeben" style="dataform"> <navig prev="ab" next="ab" dual="da"/> <dataform c_table_name="Corporation"> <form_button name="CLEAR"/> <form_button name="ENTER" /> <option_list_button name="EDIT" /> <option_list_button name="REMOVE" /> <option_list_button name="TO_DATABASE" /> </dataform> </page> ...</site>

<XML-PORTAL>


Beispiel für eine Eingabe-Frontend

<XML-PORTAL>


Agenda



Ziele des Projekts

Metadaten-Modell


Document Management

Medienportal



<XML-PORTAL>



• XML-basiert• xDiML (Dissertation Markup Language)

– an der HU entwickelt (aus der ETD-DTD von Virginia Tech)

– modularer Aufbau • Erzeugungssystem für modulare DTDs

– erzeugt „auf Knopfdruck“ individuelle DTD aus vorgegebenen Modulen und einer benutzerdefinierten Auswahl

– Generierung von Styles und Dokumentationen

<XML-PORTAL>


Architektur des Erzeugungssystems

<XML-PORTAL>


DTD-Erzeugungssystem: Details

• Vortrag von Jakob Voß am 6. Februar 2003 im Kolloqium des XML-Clearinghouse: “Verwaltung dokumentenorientierter DTDs für den Dokument- und Publikationsserver der Humboldt-Universität“

<XML-PORTAL>


Beschreibung von MM-Inhalten

• bisher– als Ersatz für die 1998 entwickelte SGML-DTD

(DiML) im Einsatz– keine wesentlichen funktionalen Erweiterungen

• aber– durch modularen Ansatz lassen sich beliebige

andere DTDs (z.B. Standards für Multimedia-Objekte) einbinden

– aus der DTDBase können Dokumentationen und Styles z.B. zur Präsentation in HTML erzeugt werden

<XML-PORTAL>


Agenda



Ziele des Projekts

Metadaten-Modell


Document Management

Medienportal



<XML-PORTAL>


Document Management

• bisherige Technologie: statische Speicherung von SGML und HTML im Dateisystem– Gründe

• Performance• fehlende Technologien für SGML

– Probleme• zusätzlicher Konvertierungsschritt• Fehlerquelle• Migrationsaufwand bei Änderung von Styles

<XML-PORTAL>


Document Management (2)

• Ziel: Speicherung der Dokumente in einem DMS (Document Management System)– XML-basiert (validierte Dokumente)– dynamisches Erzeugen der HTML-Sichten – qualifizierte Volltextsuche in unterschiedlich

strukturierten XML-Dokumenten – Schnittstellen für Verwaltungs- und

Portalfunktionen– Zugriff auf Untereinheiten eines XML-Dokuments

(Performance!)

<XML-PORTAL>


Document Management (3)

• Lösung: Content Management Suite der Firma Sörman / CORENA– basiert auf POET-Datenbank– Server: Solaris– Client: Windows– Komponenten-Konzept – Versionierung / Varianten– LDAP-Authentifizierung– Verity Search Engine– JavaSDK für Input und Output über eine Web-

Schnittstelle (plattformunabhängig)

<XML-PORTAL>


CMS Content Server (Solaris)

Browser

Tomcat/JSP Cocoon/XSLT

OID DOM XMLOID

TOC HTMLLinkListe

Nodes

Suche

OQL

Tomcat/JSP

CMS Content Client (Windows)

PubSpec XML

Link

Browser

XML

DMS-Anbindung – Funktionsweise

<XML-PORTAL>


DMS-Anwendung: Prototyp

<XML-PORTAL>


Agenda



Ziele des Projekts

Metadaten-Modell


Document Management

Medienportal



<XML-PORTAL>


Medienportal• Unterstützen des Lehrens und Lernens an der Universität• einheitliche Schnittstelle („Portal“) zu multimedialen Ressourcen• Metadaten-Modellierung (Recherche!)• unterschiedliche Datenpools

– Sammlungsobjekte (Kustodie)– Diathek– Video-Datenbank– Portrait-Datenbank– Dokumentenserver– OPAC

<XML-PORTAL>


Medienportal (2)

• Funktionen– Einstellen und Bearbeiten, Verschlagwortung,

Präsentation und Archivierung von Studienmaterialien

• Semesterapparate, Skripten, Präsentationen, Referate

– Einbeziehung von Objekten aus importierten oder referenzierten Datenpools

– persönliche Arbeitsumgebung mit entsprechenden Zugriffsrechten

– Authentifizierung über NIS

<XML-PORTAL>


Agenda



Ziele des Projekts

Metadaten-Modell


Document Management

Medienportal



<XML-PORTAL>


OAI-PMH• Protokoll zum Austausch von Metadaten der Open Archives Initiative (

http://www.openarchives.org), Harvest-Ansatz• sehr einfaches Protokoll, sechs unterschiedliche Anfragetypen• basiert auf HTTP / XML• Austausch beliebiger Metadatenformate • Data Provider

– Skript zwischen Datenbank und Web (z.B. Perl, PHP, ...)– antwortet auf OAI-PMH-Anfragen

• Service Provider– sammelt Metadaten mit OAI-PMH ein – speichert sie in eigener DB– bietet Service “nach außen” an (Suchmaschine, Fachportal, ...)

<XML-PORTAL>


OAI-PMH (2)

Se

rvic

e P

rovi

der

e-print

Da

ta

Pro

vid

er e-prints

e-print

Da

ta

Pro

vid

er Images

e-print

Da

ta

Pro

vid

er OPAC

e-print

Da

ta

Pro

vid

er Museum

e-print

Da

ta

Pro

vid

er Archive

Requests:

Identify

ListMetadataformats

ListSets

ListIdentifiers

ListRecords

GetRecord

Responses:

General information

Metadata formats

Set structure

Record identifier

Metadata

Da

ta

Pro

vid

er

Harvester

Repository

Repository

Repository

Repository

Repository

<XML-PORTAL>


OAI-PMH – Einsatz im XML-Portal

• Data Provider für Dokumentenserver der HU• Mitarbeit in der DINI-Arbeitsgruppe – Empfehlungen für

deutsche Data Provider• EU-Projekt OAForum (UKOLN Bath, CNR Pisa, HU Berlin)• eigener Service Provider

– Schnittstelle für eigene Daten– Integration weiterer Archive “Portal”

• Austausch von Metadaten mit anderen Datenpools an der Universität

<XML-PORTAL>


Recherche

• Suche in Metadaten– allgemeine und spezialisierte Suchmasken

entsprechend Metadatenmodell • Volltextsuche

– qualifiziert in XML-Elementen– Suchkriterien entsprechend verwendeter DTD-

Module– Verity Search Engine

<XML-PORTAL>


Integration in MetaLib

• Bibliotheks-Software von ExLibris• stellt Portal-Funktionen bereit• kann neben OPAC viele weitere Ressourcen

einbinden• SFX-Technologie / OpenURL• OAI-Service-Provider dient als “Aggregat” für

Publikationsserver

<XML-PORTAL>


Agenda



Ziele des Projekts

Metadaten-Modell


Document Management

Medienportal



<XML-PORTAL>


Zusammenfassung

• modulares (MM-fähiges) Metadatenmodell• auf XML basierende Konfigurations- und

Generierungsfunktionen• modulares (MM-fähiges) Dokumentenmodell• Erzeugungssystem für DTDs• XML-basiertes Document Management System• modulare Rechercheschnittstelle (Metadaten und Volltext)• Integration ins Medienportal und in MetaLib

<XML-PORTAL>


Ausblick

• Anwendung des Metadatenmodells auf andere Publikationstypen (u.a. MM-Objekte)

• Anwendung des DTD-Erzeugungssystems auf Dokument-DTDs mit multimedialen Inhalten

• prototypische Portal-Implementation• LDAP-Authentifizierung für DMS-Zugriff• Signaturen / Wasserzeichen für MM-Objekte

<XML-PORTAL>


Vielen Dank ...

Fragen?

Uwe Müller

[email protected]

Humboldt-Universität zu Berlin

Computer- und Medienservice

Arbeitsgruppe Elektronisches Publizieren

Informationen: http://edoc.hu-berlin.de/xmlportal/

Documents

XML-Clearinghouse, Kolloquium 16. Juni 2003 16. Juni 2003 Uwe Müller ([email protected]) Humboldt-Universität zu Berlin Computer- und Medienservice