Dr. Sven Strobel DPG - Arbeitsgruppe Information 18. März 2015, Berlin Content Mining des...

Dr. Sven StrobelDPG - Arbeitsgruppe Information

18. März 2015, Berlin

Content Mining des TIB|AV-PortalsAutomatische Analyse und Verschlagwortung von AV-Medien

22

Content Mining des TIB|AV-Portals

1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals

Inhalt

3

Profil• Medienspezifisches Portal für wissenschaftliche Videos aus Technik & Naturwissenschaften• Automatische Videoanalyse mit Szenen-, Sprach-, Text- und Bilderkennung

av.getinfo.de

1. TIB|AV-Portal

Entwicklung: KNM und HPI (2011-2014)

Online-Gang: 29. April 2014

Zielgruppe• Wissenschaftler, Lehrende, Lernende

Inhalte• Videos aus Forschung und Lehre (Technik & Naturwissenschaften) • 2700 Videos / 1900 Filmnachweise (Feb. 2015)• Das Meiste unter Open Access

44

Content Mining des TIB|AV-Portals

1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals

Inhalt

55

2. Sammlungsprofil

• AV-Medien aus Wissenschaft und Lehre zu den Kernfächern der Technischen Informationsbibliothek:

• Architektur• Chemie• Informatik• Mathematik• Physik• Technik

66

Sammlungsprofil

• Aus den genannten Fachgebieten werden u.a. folgende Materialien gesammelt:

• Aufzeichnungen von Konferenzbeiträgen, Vorlesungen und Podiumsdiskussionen

• Aufzeichnungen von Experimenten aus Forschung und Entwicklung

• Interviews• Massive Open Online Courses (MOOCs)• Dokumentationen von Forschungsarbeiten und -ergebnissen• filmische Vorstellungen von 3D-Modellen (z.B. aus Architektur)• Modellierung, Simulationen und Vorstellung von Spezialsoftware

Materialien

77

Content Mining des TIB|AV-Portals

1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals

Inhalt

8

3. Automatische VideoanalyseÜberblick über Prozesskette

• Zitierung und permanente Verlinkung• visuelles Inhaltsverzeichnis / zielgenauer Zugriff• Suche im geschriebenen Text des Videos

• Suche im gesprochenen Text des Videos

• Suche nach Bildmotiven

• Suche nach semantisch verknüpften Schlagworten

Ingest: AV-Medien + manuelle Metadaten 3.1 DOI-Vergabe 3.2 Szenenerkennung

3.3 Texterkennung

3.4 Spracherkennung

3.5 Bilderkennung

4. Named Entity Recognition

9

3.1 DOI-VergabeDOI und MFI

Der Digital Object Identifier (DOI)

• … ist ein eindeutiger und permanenter digitaler Identifikator für Objekte wie z.B. AV-Medien.

• … wird durch den DOI-Service der TIB vergeben.

Verlinkung und Zitierung des gesamten Videodokuments

Der Media Fragment Identifier (MFI)

• … wird dem DOI hinzugefügt, um Teile des Videos zu adressieren.

Verlinkung und Zitierung einzelner Sekunden des Videos

10

3.1 DOI-Vergabe

DOI

MFI

11

3.2 Szenenerkennung

visuelles Inhaltsverzeichnis: Überblick über den Inhalt des Videos

• Shot Boundary Detection segmentiert das Video anhand von Bildmerkmalen in einzelne Segmente.

zielgenauer Zugriff auf Videoinhalt

12

3.2 Szenenerkennung

Automatische Erkennung eines Schnittes anhand von

Kopf, S. (2006): Computergestützte Inhaltsanalyse von digitalen Videoarchiven. Dissertation, Mannheim.

• Helligkeit / Kontrast• Farbverteilung• Kanten

13

3.2 Szenenerkennung

visuelles Inhaltsverzeichnis

zielgenauer Zugriff

14

3.3 Texterkennung

Volltextsuche in den geschriebenen Texten des Videos (Texteinblendungen, Vorlesungsfolien …)

• Optical Character Recognition (OCR) indexiert geschriebene Sprache im Video und macht sie somit durchsuchbar.

15

3.3 TexterkennungTexteinblendung

16

3.3 TexterkennungVorlesungsfolie

17

3.4 Spracherkennung

Volltextsuche im gesprochenen Text des Videos

• Speech to Text notiert die gesprochene Sprache im Video in Form eines Transkripts.

18

3.4 Spracherkennung

19

3.5 Bilderkennung

Suche nach Bildmotiven wie z.B. Computeranimation, Experiment oder Mikroskopie

• Visual Concept Detection indexiert das Bewegtbild mit fächerübergreifenden und fachspezifischen visuellen Konzepten.

Manuell annotierte Keyframes

Liegt Konzept vor?

Keyframe

Falls ja

„Experiment“

Verschlagwortung des Labels

Training

Klassifikator, Label „Experiment“

20

3.5 Bilderkennung

2121

Content Mining des TIB|AV-Portals

1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals

Inhalt

22

4. Automatische Verschlagwortung der AV-Medien

• Named Entity Recognition: Zuordnung von Begriffen eines Referenzvokabulars auf analysierte Textinhalte.

Named Entity Recognition

GND = Gemeinsame Normdatei

63.000 GND-Sachbegriffe

Referenzvokabular

OCR-TranskriptOCR-Transkript

OCR-Transkript

OCR-Transkript

SprachtranskriptSprachtranskript

SprachtranskriptSprachtranskript

Analysierte Textinhalte

23

Named Entity RecognitionMapping der GND-Sachbegriffe

disambiguiereThermodynamik

Kontext

finde Mapping-Kandidaten im OCR-

/Sprachtranskript

ThermodynamikThermodruckThermoanalyseThermoanzugThermeThermalbad...

ThermodynamikWärmelehreWärmetheorie…

Bezeichner

http://d-nb.info/gnd/4059827-5

24

Verschlagwortung auf Segmentebene

2525

Vorteile der automatischen Verschlagwortung

1. GND-Sachbegriffe werden als Indexterme verwendetstandardisierte Erschließung mit kontrolliertem Vokabular

zielgenaue Suche innerhalb des Videos

höhere Precision (Genauigkeitsrate) im Retrieval

2. GND-Sachbegriffe werden zeitbezogen entsprechend der Videosegmentierung zugewiesen

3. GND-Sachbegriffe werden fachbezogen zugewiesen (z.B. Physikvokabular für Physikvideos)

4. GND-Sachbegriffe stehen in semantischen Beziehungen zueinanderErweiterung der Treffermenge durch Einbezug von Synonymen, Ober- und Unterbegriffen

2626

Content Mining des TIB|AV-Portals

1. TIB|AV-Portal2. Sammlungsprofil3. Automatische Videoanalyse4. Automatische Verschlagwortung der AV-Medien5. Mehrwert des Portals

Inhalt

2727

5. Mehrwert des TIB|AV-Portals

Rezipienten Produzenten

• Innovative Suchmöglichkeiten• Mehrsprachige Suche• Segmentgenauer Zugriff• Segmentgenaues Zitieren • Herunterladen, Bestellen, Lizenzieren• Einbetten auf anderen Webseiten • Empfehlungen

• Video-Upload• Hosting • Qualitätsprüfung• Standardisierte Erschließung• Sprachtranskription• DOI-Vergabe• Langzeitarchivierung• Rechtssicherheit

Vielen Dank für Ihre Aufmerksamkeit!