Upload
fritzi-gausman
View
104
Download
0
Embed Size (px)
Citation preview
DAFFODILZugangssystem zu digitalen
Informatik-Bibliotheken
Claus-Peter KlasNorbert Fuhr
Andre Schaefer
Universität of Duisburg-Essen
30.09.2004 Universität Duisburg-Essen
Inhalt Motivation Konzepte Evaluation Ausblick Demo
30.09.2004 Universität Duisburg-Essen
Motivation Zur Befriedigung eines
Informationsbedürfnisses ist Suche in mehreren Digitalen Bibliotheken nötig
Unterschiedliche Funktionalitäten, Oberflächen und Anfragesprachen
Fehlende strategische Unterstützung Fehlende Verbindungen zwischen
Objekten aus verschiedenen DLs Fehlende Kollaborationsmöglichkeiten
30.09.2004 Universität Duisburg-Essen
Motivation aus Sicht des IR Die ersten IR Modelle gingen von
einem festgelegten Informationsbedürfnis aus.
Mittlerweile ist aber Interaktives Information Retrieval State-Of-The-Art Während der Suche verschiebt sich der
ASK Informationsbedürfnis ändert
30.09.2004 Universität Duisburg-Essen
DAFFOFIL ist eine virtuelle Digitale Bibliothek
mit strategischer Unterstützung gegeben durch höhere Such- und Browse Funktionen
ist ein kollaboratives Werkzeug mit Awarenessfunktionalität
besteht aus integriertes Werkzeugen in einer benutzerfreundlichen Oberfläche
30.09.2004 Universität Duisburg-Essen
30.09.2004 Universität Duisburg-Essen
DAFFODIL: Konzepte Strategische Unterstützung Scientific Workflow Personalisierung
Persönliche Handbibliothek Kollaboration Awareness & Annotationen
Recommendation Proaktivität
30.09.2004 Universität Duisburg-Essen
Strategische Unterstützung ist gegeben durch höhere
Suchfunktionen wie Suche in verteilten und heterogenen
Digitalen Bibliotheken Referenz- und Zitations Suche Koautorenbrowser Blättern in Journalen und Konzerenzen
30.09.2004 Universität Duisburg-Essen
Strategische Unterstütung:Suche in Digitalen Bibliotheken
Einheitliche Anfrageformulierung zur Suche in DLs
Spezifikation der Suchdomäne
Aktive Werkzeuge bieten Hilfe bei Anfrageformulierung
30.09.2004 Universität Duisburg-Essen
Strategische Unterstützung:Suche in Digitalen Bibliotheken
Duplikate werden eliminiert
Sortierung der Ergebnisse
Metaebene durch Extraktion
Hervorhebung der Anfrageterme
Icons WWW-Search
30.09.2004 Universität Duisburg-Essen
Strategische Unterstützung Beziehungs-Netzwerke: Koautoren
30.09.2004 Universität Duisburg-Essen
Strategische Unterstützung Referenzen und Zitationen
Drag & Drop eines relevanten Dokumentes auf das Referenzwerkzeug
Zitierte und zitierende Dokumente
Detailansicht und iterative Suche
30.09.2004 Universität Duisburg-Essen
Wissenschaftliches Arbeiten
Auswahl von Wissensquellen
strukturierte
Ablage
Bewertung der Ergebnisse
Erzeugung von Wissen
Bergungvon Wissen
30.09.2004 Universität Duisburg-Essen
Personalisierung:Persönliche Handbibliothek
StrukturierteAblage von Dokumente Autoren Konferenzen Journale Webseiten Anfragen
Personalisierung Gruppenunterstützu
ng
30.09.2004 Universität Duisburg-Essen
Personalisierung: Awareness & Annotationen
Handbibliothek automatisch füllen: Anfrage-Profile: regelmäßige
Prozessierung Autoren: neue Veröffentlichung Zeitschriften, Konferenz: neue Ausgaben
Ein Auge auf alles Neue werfen: Benachrichtigung per Email, Fax, SMS, ...
30.09.2004 Universität Duisburg-Essen
DEMO
30.09.2004 Universität Duisburg-Essen
Recommendation:Vorschlagswesen Vorschläge durch
Kollaboration Persönliche Handbibliothek Event Logs (Pfade der Benutzer)
System BINGO! – Deep Web Crawler
30.09.2004 Universität Duisburg-Essen
Recommendation:Kollaboration
Persönlicher Handbibliothek Ähnliche Dokumente Experten / Gruppen auf
einem Gebiet Pfade
Wie haben andere gesucht ?
Wie soll ich in meiner Situation vorgehen ?
30.09.2004 Universität Duisburg-Essen
Recommendation: BINGO!Bookmark-Induced Gathering of Information
Inhalt eines Folder der PLib als Startmenge um neue Objekte in WWW-Portalen zu crawlen
Analyzer extrahiert Features der Dokumente Feature Auswahl SVM classifier: Test, ob ein Dokument zu einem
Topic (Folder) gehört Iteratives Training der Classifier (während des
Crawling) Link Analyse für Hubs & Authorities Ergebnis: PDF Dokumente und HTML-
Seiten
30.09.2004 Universität Duisburg-Essen
Proaktivität
Kontextuelle Beobachtung des Benutzers und des Systems
Direkte Aktionen Rechtsschreibung Autornamen Vervollständigung Verwandte Begriffe
30.09.2004 Universität Duisburg-Essen
DAFFODIL Evaluation Effektives und Effizientes Information Retrieval
durch Hypo I: ... strategische Unterstützung Hypo II: ... das proaktive System Hypo III: ... Personalisierung und Kollaboration Kriterien
Effektivität Effizienz
Bewertungsmaße Zeit Relevanz Benutzerzufriedenheit
30.09.2004 Universität Duisburg-Essen
Evaluation Phasen 1. Phase
14 Studenten in parallelen Sitzungen Systemeffizienz & Fehlerfindung
2. Phase 8 Wissenschaftliche Mitarbeiter Fokus auf Benutzer: Effizienz und
Effektivität 3. Phase (Expertenphase)
3 Bibliothekare und 3 Professoren Kommentare, Kritk und Tips
30.09.2004 Universität Duisburg-Essen
Evaluation: Komplexitätsstufen
Aufgabenkomplexität Vorwissen
Unvollständiges Wissen (Neues Gebiet) Vollständiges Wissen
Informationsbedürfnis Ein Objekt (z.B. Known-Item-Search) Eine Menge heterogener Objekte
5 Aufgaben aus verschiedenen Stufen
30.09.2004 Universität Duisburg-Essen
Evaluation: Vergleich mit WWW
Je komplexer die Aufgabe, um so effizienter sind die Benutzer mit DAFFODIL
Task1 D
Task1 W
Task2 D
Task2 W
Task3 D
Task3 W
Avg.
0
50
100
150
200
250
300
Durchschnittliche Zeit (sek) pro Task
Task 1 D
Task 1 W
Task 2 D
Task 2 W
Task 3 D
Task 3 W
30.09.2004 Universität Duisburg-Essen
Task 2: Known item instantiation (L2) Finde Dokument mit Titel
„Methods of automated reasoning“
24
11743
0
20
40
60
80
100
120
sec.
DAFFODIL WWW DAFFODIL T1
Task 2Cognition time in sec.
Search time in sec.
24
117
0
20
40
60
80
100
120
sec.
DAFFODIL WWW
Task 2Cognition time in sec.
Search time in sec.
30.09.2004 Universität Duisburg-Essen
Ausblick Multi-Level Hypertext
Cluster zur besseren kognitiven Erfassung großer Resultatlisten
Situationsbedingtes Recommendation
Event basiertes Systemlog Direkte Hilfe bei Anfrageformulierung
Rechtschreibung bekannter Term- und Autoren-Raum
30.09.2004 Universität Duisburg-Essen
Fazit Konzepte von DAFFODIL Evaluation von DAFFODIL Langzeit Evaluation
Eine Aufgabe vom Anfang bis zum Ende neues Papier neuer Projektantrag
Freiwillige sind Willkommen!
Try it outhttp://www.daffodil.de
30.09.2004 Universität Duisburg-Essen
Sammeln der Evaluationsdaten
Aufgaben auf Fragebogen 1. Phase: Protokolle Andere Phases: Videoaufnahme
Benutzung Reaktionen Kommentare
11h Videodaten
30.09.2004 Universität Duisburg-Essen
Real world task classified 5 Tasks (4 presented) on 4 levels, classified by a
„information need typology matrix“ work task information need
no knowledge
full knowledge
one object
heterogenousset of objects
1L
2L 3L
4L
30.09.2004 Universität Duisburg-Essen
Result (1st Phase)
Phase 1: 14 students Error hunting, system efficiency Outcome:
speed up 5-7 times Find a lot of bugs
Comment: „Even so slow when searching, i want to use it, since it saves much time, handling the found knowledge“
30.09.2004 Universität Duisburg-Essen
Main Hypotheses more effective and efficient IR
through strategic support given with DAFFODIL compared to other (DL) information system
more effective, because user can cognitivly process and interpret information more easily
more efficient, because user needs to invest less time
30.09.2004 Universität Duisburg-Essen
Result (2nd phase) Task 1: Known item instantiation (L1) Find document by given title (precise)
„Search strategies in content-based image retrieval“
43
43
0
10
20
30
40
50
60
70
80
sec.
DAFFODIL WWW
Task 1Cognition time in sec.
Search time in sec.
30.09.2004 Universität Duisburg-Essen
ResultTask 3: A real search (L3) Find articles by author X in the area
of digital libraries within the last 4 years.
Results All participants found with Daffodil at
least 12-19 relevant articles. With Google only two persons found
articles any articles, the other gave up. Actually, user said, it will be hard with
google prior to search.
30.09.2004 Universität Duisburg-Essen
Result Task 5: New area (L4) find literature about a specific subject:
interactive information retrieval;information searching; information seeking
not known by any participant prior to the evaluation
Explorative Search Scanning result lists; related terms feature
Results: Participants at least found a couple of entry
points, to further search Got very soon an idea, what they don‘t want.
30.09.2004 Universität Duisburg-Essen
Result (3th phase)Experts: Free Search Three librarians and three professors Free Search with own theme Results:
input for improving satisfied
Comments: librarian
„rich functionality“ „D. mediates the knowledge about the tactics to the
user“ professor
„D. seems in a state that it can be used“ „I will propose it to my assistents“
30.09.2004 Universität Duisburg-Essen
Summary of evaluation Evaluation with 28 participants
showed, that a user is more effective when searching for scientific literature with the strategic support, here given by the DAFFODIL system, but not always more efficient (task1).
But, as the tasks become more complex,the hypotheses hold.
30.09.2004 Universität Duisburg-Essen
Outlook Continue Evaluation
other systems Long-Term Evaluation
One task from start to end new paper for ECDL 2005
Participants are welcome
Try it outhttp://www.daffodil.de
30.09.2004 Universität Duisburg-Essen
30.09.2004 Universität Duisburg-Essen
30.09.2004 Universität Duisburg-Essen
30.09.2004 Universität Duisburg-Essen
agentenbasiertes System mit über 35 unterschiedlichen Agenten die low-level and high-level Funktionen zur Verfügung stellen
verbindet zur Zeit ca. ~15 verschiedenste Datenquellen aus der Informatik
30.09.2004 Universität Duisburg-Essen
Evaluation framework
Formal bases given by [Saracevic&Covi] Why to evaluate ? What to evaluate ? How to evaluate ?