Upload
charlotte-lang
View
214
Download
0
Embed Size (px)
Citation preview
Dr. Sven StrobelDPG - Arbeitsgruppe Information
18. März 2015, Berlin
Content Mining des TIB|AV-PortalsAutomatische Analyse und Verschlagwortung von AV-Medien
22
Content Mining des TIB|AV-Portals
1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals
Inhalt
3
Profil• Medienspezifisches Portal für wissenschaftliche Videos aus Technik & Naturwissenschaften• Automatische Videoanalyse mit Szenen-, Sprach-, Text- und Bilderkennung
av.getinfo.de
1. TIB|AV-Portal
Entwicklung: KNM und HPI (2011-2014)
Online-Gang: 29. April 2014
Zielgruppe• Wissenschaftler, Lehrende, Lernende
Inhalte• Videos aus Forschung und Lehre (Technik & Naturwissenschaften) • 2700 Videos / 1900 Filmnachweise (Feb. 2015)• Das Meiste unter Open Access
44
Content Mining des TIB|AV-Portals
1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals
Inhalt
55
2. Sammlungsprofil
• AV-Medien aus Wissenschaft und Lehre zu den Kernfächern der Technischen Informationsbibliothek:
• Architektur• Chemie• Informatik• Mathematik• Physik• Technik
66
Sammlungsprofil
• Aus den genannten Fachgebieten werden u.a. folgende Materialien gesammelt:
• Aufzeichnungen von Konferenzbeiträgen, Vorlesungen und Podiumsdiskussionen
• Aufzeichnungen von Experimenten aus Forschung und Entwicklung
• Interviews• Massive Open Online Courses (MOOCs)• Dokumentationen von Forschungsarbeiten und -ergebnissen• filmische Vorstellungen von 3D-Modellen (z.B. aus Architektur)• Modellierung, Simulationen und Vorstellung von Spezialsoftware
Materialien
77
Content Mining des TIB|AV-Portals
1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals
Inhalt
8
3. Automatische VideoanalyseÜberblick über Prozesskette
• Zitierung und permanente Verlinkung• visuelles Inhaltsverzeichnis / zielgenauer Zugriff• Suche im geschriebenen Text des Videos
• Suche im gesprochenen Text des Videos
• Suche nach Bildmotiven
• Suche nach semantisch verknüpften Schlagworten
Ingest: AV-Medien + manuelle Metadaten 3.1 DOI-Vergabe 3.2 Szenenerkennung
3.3 Texterkennung
3.4 Spracherkennung
3.5 Bilderkennung
4. Named Entity Recognition
9
3.1 DOI-VergabeDOI und MFI
Der Digital Object Identifier (DOI)
• … ist ein eindeutiger und permanenter digitaler Identifikator für Objekte wie z.B. AV-Medien.
• … wird durch den DOI-Service der TIB vergeben.
Verlinkung und Zitierung des gesamten Videodokuments
Der Media Fragment Identifier (MFI)
• … wird dem DOI hinzugefügt, um Teile des Videos zu adressieren.
Verlinkung und Zitierung einzelner Sekunden des Videos
10
3.1 DOI-Vergabe
DOI
MFI
11
3.2 Szenenerkennung
visuelles Inhaltsverzeichnis: Überblick über den Inhalt des Videos
• Shot Boundary Detection segmentiert das Video anhand von Bildmerkmalen in einzelne Segmente.
zielgenauer Zugriff auf Videoinhalt
12
3.2 Szenenerkennung
Automatische Erkennung eines Schnittes anhand von
Kopf, S. (2006): Computergestützte Inhaltsanalyse von digitalen Videoarchiven. Dissertation, Mannheim.
• Helligkeit / Kontrast• Farbverteilung• Kanten
13
3.2 Szenenerkennung
visuelles Inhaltsverzeichnis
zielgenauer Zugriff
14
3.3 Texterkennung
Volltextsuche in den geschriebenen Texten des Videos (Texteinblendungen, Vorlesungsfolien …)
• Optical Character Recognition (OCR) indexiert geschriebene Sprache im Video und macht sie somit durchsuchbar.
15
3.3 TexterkennungTexteinblendung
16
3.3 TexterkennungVorlesungsfolie
17
3.4 Spracherkennung
Volltextsuche im gesprochenen Text des Videos
• Speech to Text notiert die gesprochene Sprache im Video in Form eines Transkripts.
18
3.4 Spracherkennung
19
3.5 Bilderkennung
Suche nach Bildmotiven wie z.B. Computeranimation, Experiment oder Mikroskopie
• Visual Concept Detection indexiert das Bewegtbild mit fächerübergreifenden und fachspezifischen visuellen Konzepten.
Manuell annotierte Keyframes
Liegt Konzept vor?
Keyframe
Falls ja
„Experiment“
Verschlagwortung des Labels
Training
Klassifikator, Label „Experiment“
20
3.5 Bilderkennung
2121
Content Mining des TIB|AV-Portals
1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals
Inhalt
22
4. Automatische Verschlagwortung der AV-Medien
• Named Entity Recognition: Zuordnung von Begriffen eines Referenzvokabulars auf analysierte Textinhalte.
Named Entity Recognition
GND = Gemeinsame Normdatei
63.000 GND-Sachbegriffe
Referenzvokabular
OCR-TranskriptOCR-Transkript
OCR-Transkript
OCR-Transkript
SprachtranskriptSprachtranskript
SprachtranskriptSprachtranskript
Analysierte Textinhalte
23
Named Entity RecognitionMapping der GND-Sachbegriffe
disambiguiereThermodynamik
Kontext
finde Mapping-Kandidaten im OCR-
/Sprachtranskript
ThermodynamikThermodruckThermoanalyseThermoanzugThermeThermalbad...
ThermodynamikWärmelehreWärmetheorie…
Bezeichner
http://d-nb.info/gnd/4059827-5
24
Verschlagwortung auf Segmentebene
2525
Vorteile der automatischen Verschlagwortung
1. GND-Sachbegriffe werden als Indexterme verwendetstandardisierte Erschließung mit kontrolliertem Vokabular
zielgenaue Suche innerhalb des Videos
höhere Precision (Genauigkeitsrate) im Retrieval
2. GND-Sachbegriffe werden zeitbezogen entsprechend der Videosegmentierung zugewiesen
3. GND-Sachbegriffe werden fachbezogen zugewiesen (z.B. Physikvokabular für Physikvideos)
4. GND-Sachbegriffe stehen in semantischen Beziehungen zueinanderErweiterung der Treffermenge durch Einbezug von Synonymen, Ober- und Unterbegriffen
2626
Content Mining des TIB|AV-Portals
1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals
Inhalt
2727
5. Mehrwert des TIB|AV-Portals
Rezipienten Produzenten
• Innovative Suchmöglichkeiten• Mehrsprachige Suche• Segmentgenauer Zugriff• Segmentgenaues Zitieren • Herunterladen, Bestellen, Lizenzieren• Einbetten auf anderen Webseiten • Empfehlungen
• Video-Upload• Hosting • Qualitätsprüfung• Standardisierte Erschließung• Sprachtranskription• DOI-Vergabe• Langzeitarchivierung• Rechtssicherheit
Vielen Dank für Ihre Aufmerksamkeit!