Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate

Spree SoSe 2008

Qualität einer DokumentationQualität einer DokumentationRelevanz- und VollständigkeitsrateRelevanz- und Vollständigkeitsrate

Zur Erinnerung: Zweck einer Dokumentation ist nicht in erster Linie das Speichern, sondern das Wiederauffinden von Dokumenten.

Die Qualität einer Dokumentation ist also daran zu messen, inwiefern alle für den Benutzer relevanten Dokumente von der Dokumentationsstelle wiedergefunden werden.

Qualität?qualitätskriterien

Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004Spree SoSe 2008

Umfrage:

Woran würden Sie messen, ob die Qualität eines Informationsdienstes – real: Dokumentationsstelle wie beim NDR – oder virtuell: Suchmaschine wie google – hoch ist?

QualitätskriterienPrecision & recall


• Angemessenheit – Entspricht die Antwort dem Informationsbedarf?

• Neuigkeit – Anteil der Dokumente, die der Nutzer noch nich kennt

• Nützlichkeit – kann auch für Informationen zutreffen, nach denen der Nutzer gar nicht recherchiert hat

Qualitative Kriterien

• Relevanz / Precision – Grad der Übereinstimmung der inhaltlichen Aussage eines Dokumentes mit der Suchanfrage

• Vollständigkeit / Recall – Anteil der wiedergefundenen vorhandenen Dokumente

Raten Sie mal. Wie hoch ist die Vollständigkeit im

Durchschnitt?

Quantitative Kriterien

Bewertungskriterien für IndexierungsergebnissePrecision & recall


• Indexierungsbreite

• Anzahl der vergebenen Deskriptoren oder Notationen

• Indexierungsspezifität

• Annäherung durch das hierarchische Niveau der Indexierungsbezeichnungen

• Indexierungstiefe

• Kombination aus Breite und Tiefe

• Indexierungskonsistenz

• Indexierungskonsistenz ist das Maß der Übereinstimmung verschiedener Indexierungsergebnisse des gleichen Dokuments in derselben Dokumentationssprache.

Quelle: Die DIN 31 623, Teil 1, Abschnitt 5

Recherche als Mengenlehrevollständig


Recherchefrage an eine Filmdatenbank: Liste aller Spielfilme, in denen Rock Hudson und Doris Day zusammen mitgespielt haben. Richtige Antwort wäre 3.

CLover..

Send …

B Lionpower

APillow ..

C: Menge der relevanten Dokumente, die nicht gefunden wurden (2 Filme mit Rock Hudson und Doris Day: Lover come back; Send me no more flowers)

Ergebnis im gelben Feld:

Pillow Talk

Lionpower

Berechnung Relevanz:

Anzahl der relevanten gefundenen Doks/Anzahl der selektierten Dokumente

A /(A + B) = 1/ (1 + 1) = ½

Berechnung Recall:

Anzahl der relevanten gefundenen Doks/Anzahl der relevanten Dokumente

A /(A + C)= 1/ (1 + 2) = 1/3

A: Anzahl der relevanten gefundenen Dokumente (1 Pillow Talk)

B: Anzahl der nicht relevanten gefundenen Datensätze (1 Lionpower)

Hohe Qualitätvollständig


Recall

Präzision

o o oooooooooooooo oooooo oooo oo o oo ooooooo ooooo

1

0

Verteilung von Recall und Präzision bei Recherchenin einer Datenbank von relativ guter Indexierungsqualität.Beide Werte liegen dicht an 1.

Nach Gaus: Dokumentations- und Ordnungslehre. Berlin u.a., 2003. S. 220

1

Niedrige Qualität

vollständig


Recall

Präzision

1

0 1

Verteilung von Recall und Präzision bei Recherchen in einer Datenbank von relativ schlechter Indexierungsqualität.Beide Werte liegen dicht an 0.

Nach Gaus: Dokumentations- und Ordnungslehre.Berlin u.a., 2003. S. 220

oooooooooooooooooooooooo ooooooo oooooooooooo ooooooooo oooooo ooooooo oooooo

Übung 1: genau


Mario Schreiber sucht Dokumente zum Thema "Elektrosmog". Er findet 120 Dokumente, wovon 70 relevant sind. Weitere 30 relevante Dokumente hat er nicht gefunden.

1. Wie wird Mario Schreiber das Ergebnis bewerten, wenn er wenig Zeit hat und möglichst relevante Dokumente finden will? Die Präzisionsquote beträgt:

2. Wie wird Mario Schreiber seine Informationssuche bewerten, wenn er möglichst viele Dokumente finden will? Die Recallquote beträgt:

Berechnung Relevanz:

Anzahl der relevanten gefundenen Doks/Anzahl der selektierten Dokumente

Berechnung Recall:

Anzahl der relevanten gefundenen Doks/Anzahl der relevanten Dokumente

70/100

70/120

Übung 2: Fachtermini für Laien verständlich erklärengenau

Seminar I-Prax: Inhaltserschließung visueller Medien, 5.10.2004Spree Sose 2008

Zielgruppenorientierung ist ein Fachterminus in der Wissensnorganisation. Solche Fachtermini sind nicht immer leicht für einen Laien verständlich. Unten finden Sie eine Erklärung des Begriffs für einen Laien. "Zielgruppenorientierung bedeutet Indexieren aus der Perspektive und für die Bedürfnisse einer bestimmten Zielgruppe, z.B. für Sie als Journalisten. Eine Alternative wäre neutrales Indexieren für eine anonyme Nutzergruppe. Wenn meine Kollegin und ich indexieren, haben wir immer die Interessen und Aufgaben der Mitarbeiter im Hinterkopf. Wir wissen z.B., dass Sie, Herr Schreiber, sich für alles interessieren, was mit der PISA-Studie zu tun hat. Diese Dokumente erschließen wir zusätzlich mit den Suchtermini, die Sie für Ihre Recherchen nach Auswertung unserer Log Files bevorzugen, nämlich "Bildungskatastrophe" und "struktureller Analphabetismus". Außerdem schreiben wir für Dokumente über die PISA-Studie Abstracts, die auf Ihre Interessen besonders eingehen.„

Arbeiten Sie in Zweiergruppen: Schreiben Sie ähnliche Erläuterungen für die 4 weiteren Fachtermini:

IndexierungsbreiteIndexierungsspezifität

IndexierungstiefeIndexierungskonsistenz

Bitte formulieren Sie Ihre Erklärungen so, dass ein Laie sie versteht!

2 vorderen Reihen

2 hinteren Reihen

Documents

Qualität einer Dokumentation Relevanz- und Vollständigkeitsrate