View
1.239
Download
1
Category
Preview:
DESCRIPTION
Semantische Suche im audiovisuellen Kulturerbe – Das Projekt mediaglobeIn den deutschen Medienarchiven stehen große Mengen an Film- und Videomaterial zur Verfügung. Aufgrund mangelnder finanzieller und technischer Voraussetzungen bzw. aus rechtlichen Gründen können jedoch nur Bruchteile davon über das Internet recherchiert und verwertet werden. Im Rahmen des Forschungsprojekts mediaglobe entsteht derzeit eine Arbeitsprozesslösung zur effizienten Verwaltung, Erschließung und Distribution von audiovisuellen Inhalten, deren Zielgruppe Medienarchive sowie Medienproduktions- und Rundfunkanstalten darstellen.Der Vortrag gibt einen Einblick in die Zielsetzungen des Projekts und thematisiert insbesondere die Nutzung von Metadaten zur Bereitstellung innovativer Suchfunktionen. Es werden Ansätze zur Extraktion, Generierung und Integration inhaltsbeschreibender Metadaten aufgezeigt, die eine semantische Suche in audiovisuellen Medienbeständen ermöglichen.Das Projekt mediaglobe ist Teil des THESEUS-Forschungsprogramms und wird vom Bundesministeriums für Wirtschaft und Technologie gefördert. Förderkennzeichen: 01MQ09031. Neben dem Hasso-Plattner-Institut für Softwaresystemtechnik sind als Partner die Medienbildungsgesellschaft Babelsberg gGmbH, die defa-Spektrum GmbH und die Flow Works GmbH beteiligt.Der I-Science Tag ist eine Veranstaltungsreihe des Fachbereichs Informationswissenschaften der FH Potsdam und stand in diesem Jahr unter dem Motto: "Digitale Gesellschaft: vom Web 2.0 zum semantischen und visuellen Web 3.0". Es wurden hier zentrale Themen der Vernetzung und speziell der Visualisierung semantischer Daten diskutiert und konkrete Lösungen für die Praxis in den Informationseinrichtungen vorgestellt.
Citation preview
Teile dieser Arbeit werden vom Bundesministerium für Wirtschaft und Technologie gefördert(Förderkennzeichen: 01MQ09031).
Semantische Suche im audiovisuellen Kulturerbe– Das Projekt mediaglobeJohannes Hercher
Hasso-Plattner-Institut für Sofwaresystemtechnik GmbH
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Forschungsgruppe:,Semantic Technologies & Multimedia Retrieval‘
■Themen in der Forschungsgruppe, u.a.:
□ Semantic Web Technologies
□Ontology Engineering
□Multimedia Analysis & Retrieval
■Projekte
2
Macht audiovisuelles Kulturerbe erlebbar!
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Übersicht
■Das Projekt mediaglobe
■Herausforderungen bei der Filmrecherche
■Metadatengenerierung & Vernetzung
■ Semantische Suche (Demo)
3
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 144
Das Projekt mediaglobe
{Unterstützung von Filmarchiven, bei:
Digitalisierung
Erschließung und
Verwertung
von audiovisuellen Materialien.
Projektlaufzeit:2009 – 2012
Aufgaben (HPI)
Medienanalyse & Metadatengenerierungsemantische Analyse & semantische Suche
innovative Benutzerschnittstellen
HistorikerFakten
Zitate
Fundstellen
Produzenten
Rechte
Verwertung
Qualität
Privat-personen
RückblickEmotionen
Ereignisse
Autoren Kontexte
Ideen
Perspektive
~1.000 h Dokumentarfilm (defa Spektrum GmbH)nicht fiktionale Filme zur deutsch-deutschen Geschichte (ab 1960)
Zeitzeugen, TV-Produktionen, Amateuraufnahmen, …
Die Ziele
■ Punktgenauer Zugriff auf Medieninhalte
■ Ereignisse,
■ Orte,
■ Personen
■ Genaue und vollständige Suchergebnisse
■ high precision,
■ high recall
■ Intuitive Benutzeroberfläche
■ interaktiv,
■ benutzerfreundlich
Die Situation
■ Filme online nicht verfügbar
■ verteilte Bestände
■ Sichtung vor Ort erforderlich
■ geringe Erschließung
■ keine Cross-Recherche
■ nicht intuitiv nutzbar
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 147
Lösung: Punktgenaue Semantische Suche
Metadaten
vernetzenNetz von
Beziehungenz.B.: bibliographische Daten,Gekoordinaten, Abstractsencyclopaedic data, ..
Medienanalyse
&
Metadaten-
generierung Text
MedienStrukturen
Kohl
Mai
Halle
Einheit
Adenauer Metadaten
Entitäten/
Ressourcen
Semantische
Analyse &
Named-Entity-
Recognition
Bonn
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Bild: Defa Spektrum GmbH
Erster Mai;1.5.1966; 20 Jahre SED
Ulbricht, Walter (PND)
Ulbricht, Lotte (PND) Honecker, Erich (PND)
Berlin; Marx-Engels-Platz
Nelke (SWD)
Film 1 : Walter Markov Interview (1989)
Bild: Defa Spektrum GmbH
Wendezeit; 17.12.1989
Walter UlbrichtWalter Markov
Berlin;Marx-Engels-Platz
RevolutionPrager Frühling
8
Lösung: Information → Wissen
Film 2: Berlin heute (1966)
dbpedia:wikiPageRedirects
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Persistent S
torag
e (Med
ia Asset M
anagem
ent)
UIMA - Unstructured Information Management Architecture
Med
ia Transcod
ing
Video OCR
Audio Analyse
Gesichtsdetektion
Schnitterkennung
Semantic Analysis
Named Entity Recognition
Disambiguierung
SemantischeSuche
DigitalisierteFilme
kollaborative Annotation
Genre Erkennung
9
Digitalisierung → Semantische Suche
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Medienanalyse Schnitterkennung
■ Strukturanalyse
□ harte Schnitte,
□weiche Schnitte
■Analytisch z.B. durch:
□Differenzbildanalyse
□ Analyse von Helligkeits- und Farbdifferenzen
□ Analyse von Bewegungsvektoren
■Maschnielles Lernen, z.B. mit:
□ K-Nearest Neighbor
□ Random Forrest
□ Support Vector Machines
10
Analyse von Histogramm-Differenzen
Analyse von Bewegungsvektoren
■ Fehlerquellen
□ Bildfehler,
□ Kamerabewegung< VS >
ähnliche Merkmale !
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Medienanalyse Texterkennung
■Texterkennung im Video, Herausforderungen:
□ Text in großen Bilddatenbeständen identifizieren
□ geringe Auflösung
□ unterschiedliche Textgrößen und Schriften
□ bei Szenentext:
□ schlechte Lichtverhältnisse□ perspektivische Verzerrung
□ bei Overlay-Text
□ heterogener Hintergrund
■Aufgaben (vor der Texterkennung)
» Bildverbesserung» Textseparierung
11
Prof. Rudolf AgstenLDPD
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Semantische Analyse
12
Truman
Truman Capote
Harry S. Truman
Truman, Minnesota
The Truman Show ?
?
?
?Kontext
PotsdamEisenhower
InaugurationAmtseinführung
Named Entity Recognition durch semantische Graphenanalyse
Amtseinführung
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 14
Semantische Suche
Generierung von Metadaten
13
Analyse
Demonstration
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam / 1414
KontaktJohannes HercherHasso-Plattner-Institut für SoftwaresystemtechnikUniversität PotsdamProf.-Dr.-Helmert-Str. 2-3D-14482 Potsdam
Web: http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies.htmlE-Mail: Johannes.Hercher@hpi.uni-potsdam.deTwitter: jhercher
Vielen Dank für
Ihre Aufmerksamkeit!
Recommended