Verteilte Informationssysteme für die Wissenschaften (und ihre Vernetzung) Michael Hohlfeld Die Zukunft des wissenschaftlichen

Verteilte Informationssysteme Verteilte Informationssysteme für die Wissenschaftenfür die Wissenschaften

(und ihre Vernetzung)(und ihre Vernetzung)

Michael HohlfeldMichael Hohlfeld

<[email protected]><[email protected]>

Die Zukunft des wissenschaftlichen PublizierensDie Zukunft des wissenschaftlichen PublizierensDer Wissenschaftler im Dialog mit Verlag und BibliothekDer Wissenschaftler im Dialog mit Verlag und Bibliothek

28.- 30. November 200128.- 30. November 2001Forschungszentrum JülichForschungszentrum Jülich

ÜbersichtÜbersicht• Ein kleine EinführungEin kleine Einführung

• verteilte Informationssystemeverteilte Informationssysteme

• aktuelle Entwicklungen / erste Ergebnisse:aktuelle Entwicklungen / erste Ergebnisse:– Das Projekt CARMENDas Projekt CARMEN– Das Projekt Open ArchivesDas Projekt Open Archives– Das Projekt SINNDas Projekt SINN

• Schlußbemerkungen zum wissenschaftlichen PublizierenSchlußbemerkungen zum wissenschaftlichen Publizieren

Die Zukunft des wissenschaftlichen PublizierensForschungszentrum Jülich, 29. Nov. 01

Michael Hohlfeld, <[email protected]>

Verteilte Informationssysteme für die Wissenschaften

EinführungEinführung• Aufgabe des Managements wissenschaftlicher Aufgabe des Managements wissenschaftlicher

Fachinformationen ist die Bereitstellung aller benötigten Fachinformationen ist die Bereitstellung aller benötigten Informationen zur aktuellen wissenschaftlichen Informationen zur aktuellen wissenschaftlichen ForschungForschung

• Zum BeispielZum Beispiel– aktuelle Forschungsergebnisse von anderen Wissenschaftlernaktuelle Forschungsergebnisse von anderen Wissenschaftlern– Daten und FaktenDaten und Fakten– Adressen von KollegenAdressen von Kollegen– Hinweise auf TagungenHinweise auf Tagungen




InformationsmengeInformationsmenge• Informationen können im digitalen Zeitalter von Informationen können im digitalen Zeitalter von

beliebigen Erzeugern im beliebigen Umfang überall beliebigen Erzeugern im beliebigen Umfang überall auf der Welt ins Netz gestellt werdenauf der Welt ins Netz gestellt werden

• wissenschaftliche Fachinformation sind nur ein sehr wissenschaftliche Fachinformation sind nur ein sehr kleiner Teil der verfügbaren Informationsmengekleiner Teil der verfügbaren Informationsmenge

• nicht die Verbreitung der Information, sondern das nicht die Verbreitung der Information, sondern das Retrieval bildet den EngpassRetrieval bildet den Engpass




Zentrale SuchmaschinenZentrale Suchmaschinen Suchmaschinen sollen helfen, Informationen im Suchmaschinen sollen helfen, Informationen im

WWW zu findenWWW zu finden

• die bekannten Suchmaschinen sind aber nicht die bekannten Suchmaschinen sind aber nicht wissenschaftsspezifisch ausgelegt, liefern wissenschaftsspezifisch ausgelegt, liefern überwiegend irrelevante Informationenüberwiegend irrelevante Informationen– decken einerseits einen viel zu großen Suchraum ab,decken einerseits einen viel zu großen Suchraum ab,– erreichen andererseits nicht eine ausreichende Suchtiefeerreichen andererseits nicht eine ausreichende Suchtiefe

• zentrale Systeme benötigen große Rechenleistungzentrale Systeme benötigen große Rechenleistung




Verteilte InformationssystemeVerteilte Informationssysteme Verteilte (fachspezifische) Informationssysteme sind Verteilte (fachspezifische) Informationssysteme sind

eine Lösung dieses Problemseine Lösung dieses Problems

• nutzen die relevanten (fachspezifischen) Webserver nutzen die relevanten (fachspezifischen) Webserver als verteilte Datenbank und machen die dort als verteilte Datenbank und machen die dort verfügbaren Informationen zugänglichverfügbaren Informationen zugänglich

• durch diese Beschränkung wird die Relevanz und durch diese Beschränkung wird die Relevanz und Qualität sichergestelltQualität sichergestellt




Verteilte InformationssytemeVerteilte Informationssyteme• Weitere Vorteile:Weitere Vorteile:

– Inhalte verbleiben auf den Servern ihrer Erzeuger, diese Inhalte verbleiben auf den Servern ihrer Erzeuger, diese behalten so die Kontrollebehalten so die Kontrolle

– verteilte Systeme sind beliebig skalierbarverteilte Systeme sind beliebig skalierbar

• Beispiele für solche verteilten Informationssysteme sind:Beispiele für solche verteilten Informationssysteme sind:– PhysNet für die Physik PhysNet für die Physik <www.eps.org/PhysNet><www.eps.org/PhysNet>– MareNet für die Meeresforschung MareNet für die Meeresforschung <www.marenet.de><www.marenet.de>– Math-Net für die Mathematik Math-Net für die Mathematik <www.mathnet.de><www.mathnet.de>













MetadatenMetadaten• verteilte Informationsysteme sind nur dann sinnvoll verteilte Informationsysteme sind nur dann sinnvoll

nutzbar, wenn die darin enthaltenden Informationen nutzbar, wenn die darin enthaltenden Informationen strukturiert aufbereitet und damit recherchierbar sind strukturiert aufbereitet und damit recherchierbar sind

• gemeinsame Semantik aller heterogenen Quellengemeinsame Semantik aller heterogenen Quellen

• z.B. der Dublin-Core-Metadatensatzz.B. der Dublin-Core-Metadatensatz

• OAi-Protokoll als RealisierungOAi-Protokoll als Realisierung




Das Projekt CARMEN*Das Projekt CARMEN***Content Analysis, Retrieval and MetaData: Effective NetworkingContent Analysis, Retrieval and MetaData: Effective Networking

• beschäftigt sich mit der Weiterentwicklung der beschäftigt sich mit der Weiterentwicklung der Inhaltserschließung durch neue Verfahrenstechniken mit Inhaltserschließung durch neue Verfahrenstechniken mit starker Verbindung zum Retrievalstarker Verbindung zum Retrieval

• drei Bereiche:drei Bereiche:– MetadatenMetadaten– Methoden des Umgangs mit der verbleibenden HeterogenitätMethoden des Umgangs mit der verbleibenden Heterogenität– Retrieval für strukturierte und heterogene Datentypen Retrieval für strukturierte und heterogene Datentypen




Arbeitsbereiche in CARMENArbeitsbereiche in CARMEN• (Weiter-)Entwicklung von Werkzeugen zur Erzeugung von (Weiter-)Entwicklung von Werkzeugen zur Erzeugung von

Metadaten mit DokumentenuploadMetadaten mit Dokumentenupload• Methoden der Authentifizierung (digitale Signaturen) und Methoden der Authentifizierung (digitale Signaturen) und

der dauerhaften Adressierung (Persistent Identifier)der dauerhaften Adressierung (Persistent Identifier)

• Konkordanzen von Klassifikationen und ThesauriKonkordanzen von Klassifikationen und Thesauri

• Entwicklung von umfassenden RetrievalkomponentenEntwicklung von umfassenden Retrievalkomponenten– Retrieval auf Metadaten, Datensätzen mit XML-StrukturRetrieval auf Metadaten, Datensätzen mit XML-Struktur

– Suchfunktionen für verschiedene Datentypen, KlassifikationenSuchfunktionen für verschiedene Datentypen, Klassifikationen

– automatische Klassifikation, ...automatische Klassifikation, ...

• Fachübergreifende InformationssystemeFachübergreifende Informationssysteme




PhysDoc und MPRESSPhysDoc und MPRESS• Verknüpfung von PhysDoc und MPRESSVerknüpfung von PhysDoc und MPRESS

• Crosskonkordanzen zwischen den Klassifikationen (PACS Crosskonkordanzen zwischen den Klassifikationen (PACS und MSC) und Thesauriund MSC) und Thesauri

• Möglichkeit, in beiden Dokumentenräumen gleichzeitig zu Möglichkeit, in beiden Dokumentenräumen gleichzeitig zu suchensuchen




Das Projekt OAD*Das Projekt OAD***Open Archives: Distributed services for physicists and graduate students Open Archives: Distributed services for physicists and graduate students

• Zugriff auf verteilte Daten und Dokumente Zugriff auf verteilte Daten und Dokumente

• als Austauschprotokoll das OAi-Protokollals Austauschprotokoll das OAi-Protokoll

• Unterscheidung zwischen Data- und Service-ProviderUnterscheidung zwischen Data- und Service-Provider– Data-Provider: betreibt Dienste, welche Metadaten mittels des OAi-Data-Provider: betreibt Dienste, welche Metadaten mittels des OAi-

Protokolls zur Verfügung stellenProtokolls zur Verfügung stellen

– Service-Provider: stellt mittels des OAi-Protokolls Anfragen an Service-Provider: stellt mittels des OAi-Protokolls Anfragen an andere Data-Provider und nutzt diese Daten, um eigene Dienste andere Data-Provider und nutzt diese Daten, um eigene Dienste (z.B. Suchfunktionen) zur Verfügung zu stellen(z.B. Suchfunktionen) zur Verfügung zu stellen




PhysDoc als Data-ProviderPhysDoc als Data-Provider• PhysDoc stellt als Data-Provider Daten OAi-konform zur PhysDoc stellt als Data-Provider Daten OAi-konform zur

Verfügung (seit 13.04.01 angemeldet)Verfügung (seit 13.04.01 angemeldet)• prinzipielle Möglichkeit, direkt SOIF-Records zu prinzipielle Möglichkeit, direkt SOIF-Records zu

verwenden, um OAi-konforme Antworten zu erzeugenverwenden, um OAi-konforme Antworten zu erzeugen• Abbildung von SOIF nach Dublin Core ist schlecht (nicht Abbildung von SOIF nach Dublin Core ist schlecht (nicht

alle Dokumente enthalten Metadaten)alle Dokumente enthalten Metadaten)

• Definition eines Metadatencontainers mit einer möglichst Definition eines Metadatencontainers mit einer möglichst umfassenden Beschreibung der Dokumenteumfassenden Beschreibung der Dokumente– umfasst Dublin Core Elementeumfasst Dublin Core Elemente– kann beliebig erweitert werdenkann beliebig erweitert werden




PhysDoc als Data-ProviderPhysDoc als Data-ProviderDer MetadatencontainerDer Metadatencontainer::




Filesystem withSOIF Records

Metadata-converter

Quality functionNormalizer

Metadata-container

titlecreator...datestampsettype

MetadatenconverterMetadatenconverter• Daten werden offline konvertiertDaten werden offline konvertiert• NormalisierungNormalisierung

– benutze DC, wenn vorhanden, ansonsten extrahiere aus SOIFbenutze DC, wenn vorhanden, ansonsten extrahiere aus SOIF– verschiedene Repräsentationen einzelner Metadatenelemente verschiedene Repräsentationen einzelner Metadatenelemente

werden in ein einheitliches Format gebracht werden in ein einheitliches Format gebracht

(z.B. DC.Date ´´1.02.1999´´ --> ´´1999-02-01´´)(z.B. DC.Date ´´1.02.1999´´ --> ´´1999-02-01´´)

• einfache Qualitätsfunktion einfache Qualitätsfunktion (sind ausreichend Daten vorhanden?)(sind ausreichend Daten vorhanden?)

• bessere Konsistenzprüfung der Daten möglichbessere Konsistenzprüfung der Daten möglich• beliebige Ausgabeformate neben DC/OAi möglichbeliebige Ausgabeformate neben DC/OAi möglich• für andere Austauschprotokolle als OAi gewappnetfür andere Austauschprotokolle als OAi gewappnet




PhysDoc mit OAiPhysDoc mit OAi• Autoren legen Dokumente auf eigenem Server abAutoren legen Dokumente auf eigenem Server ab

• reichern diese ggf. mit Metadaten anreichern diese ggf. mit Metadaten an

• Harvest-Gatherer sammelt Metadaten einHarvest-Gatherer sammelt Metadaten ein

• Metadaten werden offline normalisiert und in SQL-Datenbank in Metadaten werden offline normalisiert und in SQL-Datenbank in Metadatencontainer gespeichertMetadatencontainer gespeichert

• OAi-Gateway fragt Datenbank ab und liefert OAi-konforme OAi-Gateway fragt Datenbank ab und liefert OAi-konforme Ausgabe (XML on-the-fly)Ausgabe (XML on-the-fly)




PhysDoc als Service-ProviderPhysDoc als Service-Provider• PhysDoc demnächst als Service-Provider PhysDoc demnächst als Service-Provider

• wird zurzeit getestet und erweitert wird zurzeit getestet und erweitert

• stellt Suchfunktion zur Verfügung, welche die frei stellt Suchfunktion zur Verfügung, welche die frei zugänglichen (und gut strukturierten) Dokumente von zugänglichen (und gut strukturierten) Dokumente von – PhysDoc, PhysDoc, – Teilen des arXiv Eprint Archives Teilen des arXiv Eprint Archives – und die Metadaten von IOPPund die Metadaten von IOPP

umfasstumfasst




Ein neues Suchinterface für PhysDocEin neues Suchinterface für PhysDoc

• Ergebnisse aus CARMEN und OAD sind in ein neues Suchinterface für Ergebnisse aus CARMEN und OAD sind in ein neues Suchinterface für PhysDoc eingeflossenPhysDoc eingeflossen

• Quick-Search über den gesamten Datenbestand von PhysDoc (wie Quick-Search über den gesamten Datenbestand von PhysDoc (wie bisher, ohne Ranking), bisher, ohne Ranking), ca. 40.000 Dokumenteca. 40.000 Dokumente

• Strukturierte Suche (nach Titel, Autoren, Schlagworten und Strukturierte Suche (nach Titel, Autoren, Schlagworten und Klassifikation, Volltextsuche) über den gesamten Bestand von PhysDoc Klassifikation, Volltextsuche) über den gesamten Bestand von PhysDoc und MPRESS und MPRESS (ca. 100.000 Dokumente)(ca. 100.000 Dokumente)

• gut strukurierte Suche in den mit MetaDaten versehenen Teilen von gut strukurierte Suche in den mit MetaDaten versehenen Teilen von PhysDoc, dem arXiv.org und bei IOPP PhysDoc, dem arXiv.org und bei IOPP

(ca. 140.000 Dokumente)(ca. 140.000 Dokumente)













Das Projekt SINN*Das Projekt SINN***Suchmaschinennetzwerk im Internationalen Naturwissenschaftlichen NetzSuchmaschinennetzwerk im Internationalen Naturwissenschaftlichen Netz

• ein optimales Informationssystem beantwortet Anfragen ein optimales Informationssystem beantwortet Anfragen schnell und stets, unabhängig von der Netzbelastung oder schnell und stets, unabhängig von der Netzbelastung oder dem Ausfall von Programmen oder Hardwaredem Ausfall von Programmen oder Hardware

• Aufbau eines Spiegelnetzwerkes des PhysNet-DienstesAufbau eines Spiegelnetzwerkes des PhysNet-Dienstes

• Vernetzung von global verteilten Harvest-Brokern und Vernetzung von global verteilten Harvest-Brokern und Harvest GatherernHarvest Gatherern




Aufgaben in SINNAufgaben in SINN• Aufbau des Netzwerkes mittels der Harvest Replicator-Aufbau des Netzwerkes mittels der Harvest Replicator-

Technik Technik

• Entwicklung einer Sprache zum Anfragenaustausch Entwicklung einer Sprache zum Anfragenaustausch (aufbauend auf XML-Query)(aufbauend auf XML-Query)

• Kommunikation zwischen den Brokern mittels eines XML-Kommunikation zwischen den Brokern mittels eines XML-ProtokollsProtokolls




PhysNet-Mirrors weltweitPhysNet-Mirrors weltweit• derzeit acht Spiegel der HTML-Seiten (Linklisten) von derzeit acht Spiegel der HTML-Seiten (Linklisten) von

PhysNet PhysNet

– European Physical Society, Lusanne, SwitzerlandEuropean Physical Society, Lusanne, Switzerland– Virginia Tech, USAVirginia Tech, USA– eprints.org, UKeprints.org, UK– CCSD-CNRS, Lyon, FranceCCSD-CNRS, Lyon, France– NIKHEF, Amsterdam, The NetherlandsNIKHEF, Amsterdam, The Netherlands– Russian Academy of Science, Chernogolovka, RussiaRussian Academy of Science, Chernogolovka, Russia– Institute for Plasma Research, Gujarat, India Institute for Plasma Research, Gujarat, India – Universität Bayreuth, GermanyUniversität Bayreuth, Germany




ZusammenfassungZusammenfassungund einige Bemerkungen zum Umfeldund einige Bemerkungen zum Umfeld

• die klassische Verteilung wissenschaftlicher Information die klassische Verteilung wissenschaftlicher Information über Verlag-Grossist-Bibliothek entfällt im elektronischen über Verlag-Grossist-Bibliothek entfällt im elektronischen ZeitalterZeitalter

• Wissenschaflter können ihre Ergebnisse direkt übers WWW Wissenschaflter können ihre Ergebnisse direkt übers WWW anbieten und werden dies in Zukunft verstärkt tunanbieten und werden dies in Zukunft verstärkt tun– über ihre eigene Homepageüber ihre eigene Homepage– den Server ihres Fachbereiches, etc.den Server ihres Fachbereiches, etc.– über PrePrint-Serverüber PrePrint-Server




ReferierenReferieren• die zeitliche Reihenfolge des Referierens kehrt sich dabei die zeitliche Reihenfolge des Referierens kehrt sich dabei

um :um :

von von „erst referieren, dann publizieren“„erst referieren, dann publizieren“

zu zu „erst publizieren, dann referieren“„erst publizieren, dann referieren“

• statt Peer Reviewing des Verlages wird sich ein statt Peer Reviewing des Verlages wird sich ein vielstufiges Qualitäts-Evaluierungskonzept durchsetzenvielstufiges Qualitäts-Evaluierungskonzept durchsetzen

• Suchmaschinen/Informationsdienste können so auch mit Suchmaschinen/Informationsdienste können so auch mit Qualitätsfiltern versehen werdenQualitätsfiltern versehen werden




ZugangZugang• Erkenntnisse, welche durch staatliche Förderung Erkenntnisse, welche durch staatliche Förderung

gewonnen wurden, müssen auch öffentlich zugänglich gewonnen wurden, müssen auch öffentlich zugänglich seinsein

• Änderung des Copyrights für wissenschaftliche Änderung des Copyrights für wissenschaftliche DokumenteDokumente

• Verlage wenden sich professionellen add-on Diensten zuVerlage wenden sich professionellen add-on Diensten zu– intellegentes personenbezogenes Suchenintellegentes personenbezogenes Suchen– cross.back-forward-citationcross.back-forward-citation– etc.etc.




ArchivierungArchivierung• Langzeitarchivierung ist staatliche AufgabeLangzeitarchivierung ist staatliche Aufgabe

• an bestimmte Bedingungen geknüpft:an bestimmte Bedingungen geknüpft:– elektronische Version eines Dokumenteselektronische Version eines Dokumentes– internationale Archiviersprachen (XML, CML, MathML, ...)internationale Archiviersprachen (XML, CML, MathML, ...)– nur nicht-proprietäre Dateiformatenur nicht-proprietäre Dateiformate– maschinenlesbar auffindbar (Metadaten)maschinenlesbar auffindbar (Metadaten)

• Verlage können auch archivieren (solange sie existieren)Verlage können auch archivieren (solange sie existieren)




Zum SchlußZum Schluß• im Bereich des wissenschaftlichen Publizierens zeigt sich im Bereich des wissenschaftlichen Publizierens zeigt sich

die Bedeutung verteilter Informationssysteme / die Bedeutung verteilter Informationssysteme / Informationsdienste mit dezentralen QuellenInformationsdienste mit dezentralen Quellen

• Verbreitung wissenschaftlicher Information in Verbreitung wissenschaftlicher Information in elektronischer, wieder auffindbarer und archivierbarer elektronischer, wieder auffindbarer und archivierbarer Form wird Aufgabe der Erzeuger und ihrer InstitutionenForm wird Aufgabe der Erzeuger und ihrer Institutionen

• Technische Voraussetzungen hierzu sind vorhanden, Technische Voraussetzungen hierzu sind vorhanden, werden z.T. schon genutzt und weiterentwickelt.werden z.T. schon genutzt und weiterentwickelt.




Weitere InformationenWeitere Informationen• Institute for Science Networking Institute for Science Networking

<www.isn-oldenburg.de><www.isn-oldenburg.de>

• Projekt CARMEN Projekt CARMEN

<www.mathematik.uni-osnabrueck.de/projects/CARMEN><www.mathematik.uni-osnabrueck.de/projects/CARMEN>

• Projekt Open Archives distributed (OAD)Projekt Open Archives distributed (OAD)

<www.isn-oldenburg.de/projects/OAD><www.isn-oldenburg.de/projects/OAD>

• Projekt SINNProjekt SINN

<www.isn-oldenburg.de/projects/SINN><www.isn-oldenburg.de/projects/SINN>




Vielen Dank Vielen Dank für Ihre Aufmerksamkeit.für Ihre Aufmerksamkeit.




Documents

Verteilte Informationssysteme für die Wissenschaften (und ihre Vernetzung) Michael Hohlfeld Die Zukunft des wissenschaftlichen