Teile dieser Arbeit werden vom Bundesministerium für Wirtschaft und Technologie gefördert(Förderkennzeichen: 01MQ09031).

Semantische Suche im audiovisuellen Kulturerbe– Das Projekt mediaglobeJohannes Hercher

Hasso-Plattner-Institut für Sofwaresystemtechnik GmbH

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14

Forschungsgruppe:,Semantic Technologies & Multimedia Retrieval‘

■Themen in der Forschungsgruppe, u.a.:

□ Semantic Web Technologies

□Ontology Engineering

□Multimedia Analysis & Retrieval

■Projekte

2

Macht audiovisuelles Kulturerbe erlebbar!

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14

Übersicht

■Das Projekt mediaglobe

■Herausforderungen bei der Filmrecherche

■Metadatengenerierung & Vernetzung

■ Semantische Suche (Demo)

3

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 144

Das Projekt mediaglobe

{Unterstützung von Filmarchiven, bei:

Digitalisierung

Erschließung und

Verwertung

von audiovisuellen Materialien.

Projektlaufzeit:2009 – 2012

Aufgaben (HPI)

Medienanalyse & Metadatengenerierungsemantische Analyse & semantische Suche

innovative Benutzerschnittstellen

HistorikerFakten

Zitate

Fundstellen

Produzenten

Rechte

Verwertung

Qualität

Privat-personen

RückblickEmotionen

Ereignisse

Autoren Kontexte

Ideen

Perspektive

~1.000 h Dokumentarfilm (defa Spektrum GmbH)nicht fiktionale Filme zur deutsch-deutschen Geschichte (ab 1960)

Zeitzeugen, TV-Produktionen, Amateuraufnahmen, …

Die Ziele

■ Punktgenauer Zugriff auf Medieninhalte

■ Ereignisse,

■ Orte,

■ Personen

■ Genaue und vollständige Suchergebnisse

■ high precision,

■ high recall

■ Intuitive Benutzeroberfläche

■ interaktiv,

■ benutzerfreundlich

Die Situation

■ Filme online nicht verfügbar

■ verteilte Bestände

■ Sichtung vor Ort erforderlich

■ geringe Erschließung

■ keine Cross-Recherche

■ nicht intuitiv nutzbar

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 147

Lösung: Punktgenaue Semantische Suche

Metadaten

vernetzenNetz von

Beziehungenz.B.: bibliographische Daten,Gekoordinaten, Abstractsencyclopaedic data, ..

Medienanalyse

&

Metadaten-

generierung Text

MedienStrukturen

Kohl

Mai

Halle

Einheit

Adenauer Metadaten

Entitäten/

Ressourcen

Semantische

Analyse &

Named-Entity-

Recognition

Bonn

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14

Bild: Defa Spektrum GmbH

Erster Mai;1.5.1966; 20 Jahre SED

Ulbricht, Walter (PND)

Ulbricht, Lotte (PND) Honecker, Erich (PND)

Berlin; Marx-Engels-Platz

Nelke (SWD)

Film 1 : Walter Markov Interview (1989)

Bild: Defa Spektrum GmbH

Wendezeit; 17.12.1989

Walter UlbrichtWalter Markov

Berlin;Marx-Engels-Platz

RevolutionPrager Frühling

8

Lösung: Information → Wissen

Film 2: Berlin heute (1966)

dbpedia:wikiPageRedirects

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14

Persistent S

torag

e (Med

ia Asset M

anagem

ent)

UIMA - Unstructured Information Management Architecture

Med

ia Transcod

ing

Video OCR

Audio Analyse

Gesichtsdetektion

Schnitterkennung

Semantic Analysis

Named Entity Recognition

Disambiguierung

SemantischeSuche

DigitalisierteFilme

kollaborative Annotation

Genre Erkennung

9

Digitalisierung → Semantische Suche

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14

Medienanalyse Schnitterkennung

■ Strukturanalyse

□ harte Schnitte,

□weiche Schnitte

■Analytisch z.B. durch:

□Differenzbildanalyse

□ Analyse von Helligkeits- und Farbdifferenzen

□ Analyse von Bewegungsvektoren

■Maschnielles Lernen, z.B. mit:

□ K-Nearest Neighbor

□ Random Forrest

□ Support Vector Machines

10

Analyse von Histogramm-Differenzen

Analyse von Bewegungsvektoren

■ Fehlerquellen

□ Bildfehler,

□ Kamerabewegung< VS >

ähnliche Merkmale !

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14

Medienanalyse Texterkennung

■Texterkennung im Video, Herausforderungen:

□ Text in großen Bilddatenbeständen identifizieren

□ geringe Auflösung

□ unterschiedliche Textgrößen und Schriften

□ bei Szenentext:

□ schlechte Lichtverhältnisse□ perspektivische Verzerrung

□ bei Overlay-Text

□ heterogener Hintergrund

■Aufgaben (vor der Texterkennung)

» Bildverbesserung» Textseparierung

11

Prof. Rudolf AgstenLDPD

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14

Semantische Analyse

12

Truman

Truman Capote

Harry S. Truman

Truman, Minnesota

The Truman Show ?

?

?

?Kontext

PotsdamEisenhower

InaugurationAmtseinführung

Named Entity Recognition durch semantische Graphenanalyse

Amtseinführung

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14

Semantische Suche

Generierung von Metadaten

13

Analyse

Demonstration

Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 1414

KontaktJohannes HercherHasso-Plattner-Institut für SoftwaresystemtechnikUniversität PotsdamProf.-Dr.-Helmert-Str. 2-3D-14482 Potsdam

Web: http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies.htmlE-Mail: Johannes.Hercher@hpi.uni-potsdam.deTwitter: jhercher

Vielen Dank für

Ihre Aufmerksamkeit!