Semantische Co-Annotation und Videosuche mit yovisto · Forum Multimedia-Dienste Berlin, 7. Oktober 2009 Semantische Co-Annotation und Videosuche mit yovisto.com. 51. Betriebstagung

Dr. Harald SackHasso-Plattner-Institut für SoftwaresystemtechnikUniversität Potsdam51. DFN-BetriebstagungForum Multimedia-DiensteBerlin, 7. Oktober 2009

Semantische Co-Annotation und Videosuche mit yovisto.com

51. Betriebstagung des DFN-Vereins, 07. Oktober 2009, Dr. Harald Sack, HPI Potsdam

2


•Etwas Statistik ...

•Aufzeichnung und Archivierung universitärer Lehrveranstaltungen

•Suche in audiovisuellen Daten

• Automatische AV-Analyse

• Benutzergenerierte Co-Annotation

• Metadatenstandards

•Semantische Annotation von Videodaten

•Yovisto.com - akademische Videosuche

•Explorative Suche mit yovisto


3

Etwas Statistik ...

• Aktuelle Video-Nutzungsstatistiken für USA, August 2009

• 82% aller Internet-Nutzer in den USA haben Videos im WWW angesehen

• 25 Milliarden Video Abrufe (Google/YouTube mit 40% Marktanteil)

• 161 Millionen Benutzer durchschnittlich jeweils 157 Videos aus dem WWW konsumiert

• der monatliche online Videokonsum betrug durchschnittlich 582 Minuten pro Internet-Nutzer

• die durchschnittliche Videolänge betrug 3.7 Minuten....

Quellen: comscore.com, Google Sites Surpasses 10 Billion Video Views in August 2009


4

Etwas Statistik ...

• Aktuelle Video-Nutzungsstatistiken für Deutschland, Dezember 2008

• 28,5 Millionen Deutsche haben im Dezember 2008 3,4 Milliarden Videos abgerufen

• die durchschnittliche Videolänge betrug 4,1 Minuten....

• Google erhielt im Juli 2008 von über 100 Milliarden Suchanfragen alleine 3 Milliarden aus Deutschland

• Bereits 1.6 Millionen dieser Suchabfragen fanden über Mobiltelefone statt.....

Quellen: comscore.com, Germany had 28 Million Online Video Viewers Watch More Than 3 Billion Videos in December 2008


5












6

Aufzeichnung und Archivierung universitärer Lehrveranstaltungen

• An den Universitäten wird die Präsenzlehre seit mehr als einer Dekade durch Vorlesungsaufzeichnungen ergänzt, die über das WWW zur Verfügung gestellt werden


6


• An den Universitäten wird die Präsenzlehre seit mehr als einer Dekade durch Vorlesungsaufzeichnungen ergänzt, die über das WWW zur Verfügung gestellt werden


7


tele-TASK -- Teleteaching Anywhere Solution Kit

• seit 2002 zuerst an der Universität Trier, dann am HPI im Einsatz

• mobile (low-cost) Aufzeichnung, Encoding, Streaming out-of-the-box


8


tele-TASK -- Videoportal

• Zugriff auf >2000 Kurse, Einzelvorlesungen, Vorträge, Events von über 440 Dozenten


9


HPI on iTunes U

• Zusätzlicher Distributionskanal für Video-Podcasts mit weltweiter Reichweite


10












11 Wie findet man etwas in einem audiovisuellen Archiv?

• Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.

Suche in audiovisuellen Daten


11 Wie findet man etwas in einem audiovisuellen Archiv?

• Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.

Manuelle Analyse und Annotation



12

automatische inhaltliche Analyse ist • schwierig und• berechnungs-/speicheraufwändig

Retrieval in Audiovisuellen (zeitabhängigen) Daten

•

© Friedrich Wilhelm Murnau Stiftung, DFI



12



•




12



•




12


Marlene Dietrich


•




12


Marlene Dietrich ????


•




12


Marlene Dietrich ????????


•




12


Marlene Dietrich ????????


•



„...ich bin von Kopf bis Fuß...“

{


13

Suche in audiovisuellen DatenAutomatische AV-Analyse

Strukturelle (temporäre) Segmentierung

• Grobsegmentierung (rein strukturell)

• --> Zerlegung Einzelbilder/Blöcke, Histogrammvergleich

• Feinsegmentierung (inhaltsbasiert)

• --> Objekterkennung/-verfolgung

• --> OCR/ICR

• --> Korrelation Audio/Video (NLP)

Zeit

ZeitZusammenfassen Verfeinern Zusammenfassen


Inhaltsbezogene Videoanalyse• Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen

Metadaten

• Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren

• Metadaten als Basis für traditionelles Information Retrieval

14

ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten



15


Automatische Metadatenextraktion


15


ICR / OCR



15


ICR / OCR

ASR



15


ICR / OCR

ASR

Dic

tiona

ry

Keyterm Spotting



16

Suche in audiovisuellen DatenBenutzergenerierte Co-Annotation

Benutzergenerierte Metadaten• automatische Analyse nur begrenzt leistungsfähig

• mangelnde Genauigkeit / Vollständigkeit

• Benutzergenerierte Metadaten können qualitativ zuverlässiger sein

• autoritative Metadaten

• strukturierte Daten

• unstrukturierte (textuelle) Daten

• nicht-autoritative Metadaten

• Tags

• Kommentare

• Diskussionen

• Rezensionen

• Feedback

• etc...


17

Suche in audiovisuellen DatenBenutzergenerierte Co-Annotation

Kollaborative Annotation

AutorRessourceBenutzer

autoritativeMetadaten

Apfel

Frucht

nicht-autoritativeMetadaten

Apfel

apple

Obst

Frühstück

kaufen

Quelle: wikipedia.de


18

ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten

Suche in audiovisuellen DatenMetadatenstandards

Metadaten für Audiovisuelle Medien

• Dublin Core

• LOM / SCORM

• Metadaten beziehen sich auf Zeitpunkt / Ort in den AV-Daten(spatio-temporale Annotation)

• Metadaten sind benutzerbezogen (Social Tagging, autoritative vs. nicht-autoritative Metadaten)


19


Spatiale Annotation audiovisueller Daten

(xmin, ymin, xmax, ymax)Hieroglyphen mitKönigskartusche,Haute-Relief

(xmin, ymin, xmax, ymax)Harald Sack


20


MPEG-7 Metadata Description Framework• umfassender XML-basierter Standard zur strukturellen und inhaltlichen

Beschreibung von multimedialen Daten

<!xml version=“1.0“ encoding=“iso-8859-1“><Mpeg7 xmlns=urn:mpeg:mpeg7:schema:2001 …>…<AudioVisualSegment> <TextAnnotation type=“heading“ xml:lang=“de“> <FreeTextAnnotation> Der Computer als universales Kommunikationsmedium </FreeTextAnnotation> </TextAnnotation> ….. <MediaTime> <MediaTimePoint> T00:03:42.2 </MediaTimePoint> <MediaDuration> PT1M28.6S </MediaDuration> </MediaTime> ….


21












22 Die ursprüngliche Vision des World Wide Web

„The Web was designed as an information space, with the goal that it should be useful not only for human-human communication, but also that machines would be able to participate and help… “

Voraussetzung:• Inhalte können maschinell gelesen und korrekt

interpretiert (= verstanden) werden

Tim Berners-Lee, Semantic Web Roadmap, Sept 1998

Wie kann das funktionieren?

Semantische Annotation von Videodaten

Tim Berners-Lee


23 Inhalte im Web maschinell „verstehen“•um Inhalte im Web maschinell „verstehen“ zu können werden zwei unterschiedliche Ansätze verfolgt

Natural Language Processing• Natürliche Sprache soll mit

Techniken der Linguistik und Statistik analysiert werden

• Die Bedeutung (Semantik) soll implizit (oder auch explizit) daraus erschlossen werden

• Techniken kommen im klassischen Information Retrieval (WWW-Such-maschinen) zum Einsatz

Semantic Web• (Natürlichsprachliche) Web-

Inhalte werden explizit mit Hilfe von semantischen Metadaten annotiert

• semantische Metadaten tragen die Bedeutung (Semantik) der Web-Inhalte und lassen sich maschinell lesen und korrekt interpretieren



24 Inhalte im Web maschinell „verstehen“

Text: „Diego zu Bayern?“

Diego Ribas da Cunha (Instanz)

Fußballspieler

ist ein

(Klasse)

Person

ist eine

(Klasse)

Superklasse

Subklasse

ist eine

Klassen-zugehörigkeit

Entitäten-zuweisung

• Die Bedeutung (Semantik) der Klassenmuss ebenfalls explizit definiert werden.

• Bedeutung wird über geeignete Wissens-repräsentationen (Ontologien) kodiert



25 Ontologien als Wissensrepräsentation

Symbol Gegenstandsteht für

„Golf“Ogden, Richards, semiotisches Dreieck, 1923

Konzept

ruft hervor referenziert

verwendengemeinsames Konzept



26 Ontologien als Wissensrepräsentation

„Philosophische Disziplin, die sich primär mit dem Sein, dem Seienden als solchem und mit den fundamentalen Typen von Entitäten beschäftigt…“ (wikipedia)

"An ontology is an explicit, formal specification of a shared conceptualization. The term is borrowed from philosophy, where an Ontology is a systematic account of Existence. For AI systems, what ‘exists’ is that which can be represented.“

(Thomas R. Gruber, 1993)

Konzeptualisierung: abstraktes Modell (Domäne, identifizierte relevante Begriffe, Beziehungen)Explizit: Bedeutungen aller Begriffe definiertFormal: maschinenverstehbarGemeinsam: Konsens bzgl. Ontologie



Das Semantic Web - Datenzentrierte Verarbeitung •Die Bedeutung der Informationen (Semantik) wird durch standardisierte Wissensrepräsentationen (Ontologien) explizit formalisiert (strukturiert)

• Damit wird es möglich,

•die Bedeutung der Informationen maschinell zu verarbeiten

•unterschiedliche (heterogene) Daten miteinander in Beziehung zu setzen

•implizite (nicht offensichtliche) Information aus der vorhandenen (offensichtlichen) Information automatisch zu folgern

27

Das Semantic Web ist eine Art globaler Datenbank, dieein universales Netz semantischer Aussagen bereit hält



28 Inhalte im Semantic Web<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML+RDFa 1.0//EN" "http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xmlns:foaf="http://xmlns.com/foaf/0.1/" version="XHTML+RDFa 1.0" xml:lang="en">... <body>... <div class=“content“ about=“http://www2.diego10.com.br/diego“ instanceof=“foaf:Person“> <span property=“foaf:givenname“>Diego</span> zu Bayern?“ ... <img rel=“foaf:depiction“ src=“http://www.bild.de/xyz.jpg /> ... </div> ... </body></html>

Webseite

http://www2.diego10.com.br/diego

foaf:Person

rdf:type

Diego

foaf:givenname

http://www.bild.de/xyz.jpgfoaf:depiction


Semantic Web Schichtenarchitektur

http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtd

http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtd

http://www.w3.org/1999/xhtml

http://www.w3.org/1999/xhtml

http://xmlns.com/foaf/0.1/

http://xmlns.com/foaf/0.1/



http://www.bild.de/xyz.jpg

http://www.bild.de/xyz.jpg












Linked Data - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘

29



Linked Data - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘

29



30












31

Yovisto.com - Akademische Videosuche

yovisto.com• Videosuchmaschine mit dem Schwer-

punkt akademischer Lehrveranstaltungen

• aktuell mehr als 6.000 Vorlesungen undwissenschaftliche Vorträge aus der ganzen Welt

• automatische Segmentierung und Videoanalyse

• benutzergenerierte Co-Annotation

• Social Tagging

• Diskussionen

• Rezensionen

• Wikis

• Lernmaterialien

• Zielgenauer Zugriff auf gesuchte Videoinhalte


32


www.yovisto.com

http://www.yovisto.com



33


Arbeitsweise

WWWWWW

upload your ownacademic videorecording

analyze and link toany available academic video recording in the WWW

video analysis andsearch index creation

search forvideo content

browse, play, and annotate video results

search engine frontend


34


Yovisto Video Player


35


Semantische Annotation • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand

ZeitMetadaten

Metadaten

Metadaten

Metadaten Metadaten

Metadaten

Person xyOrt yz

Person xyPerson yzOrt xyzEreignis abc

semantische Metadaten(z.B. als DC-RDF / MPEG7-COMM u.a.)


Semantische Annotationen• Entitätenerkennung in den textuellen Metadaten des

Grunddatenbestand

• Mapping der erkannten Entitäten gegen vorhandene Ontologien

36

Person xyOrt yz

Person xyPerson yzOrt xyzEreignis abc

z.B. bibliografische Daten, geografische Daten, enzyklopädische Daten, ....



37












Das „Google Paradigma“38

• Eingabe einer Suchphrase

• Boolesche Verknüpfung einzelner Suchbegriffe• Volltextsuche

Explorative Suche mit yovisto









• Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste

• TFIDF / PageRank

• Personalisierung (Logdatenanalyse)




• Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste

• TFIDF / PageRank

• Personalisierung (Logdatenanalyse)



41 Semantisch unterstütztes Information Retrieval• Semantische Annotationen ermöglichen eine Verbesserung der

traditionellen Schlüsselwort-basierten Suche durch

• Erweiterung / Präzisierung der Suchergebnisse

• Herleitung von impliziten Informationen durch logische Schlussfolgerungen

• Herstellung von Querverweisen

• Nutzung von semantischen Beziehungen zur

• Visualisierung und

• Navigation durch den Suchraum (Explorative Suche)



41 Semantisch unterstütztes Information Retrieval• Semantische Annotationen ermöglichen eine Verbesserung der

traditionellen Schlüsselwort-basierten Suche durch

• Erweiterung / Präzisierung der Suchergebnisse

• Herleitung von impliziten Informationen durch logische Schlussfolgerungen

• Herstellung von Querverweisen

• Nutzung von semantischen Beziehungen zur

• Visualisierung und

• Navigation durch den Suchraum (Explorative Suche)



42 Herstellung von Querverweisen□ Bereitstellung von Suchergebnissen, die zwar den Suchbegriff nicht

notwendigerweise enthalten, aber mit diesem in inhaltlichem Zusammenhang stehen

□ Nutzung von Domain Ontologien

□ Nutzung von Thesauri und Kookurrenzanalysen repräsentativer Dokumentenkorpora

Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorAusweitung der Suche auf andere amerikanische Autoren

dbpedia:Ernest_Hemingway

dbpedia:AmericanNovelists

rdf:type

Hemingway

Instanzerkennung

dbpedia:Edgar_Allen_Poe

rdf:type











Explorative Suche• Abkehr vom „Google Paradigma“

• Visualisierung von Querverbindungen zwischen

• Suchbegriffen (Ontologieebene)

• Suchergebnissen (Instanzebene)

• Ermöglicht es dem Benutzer

• Suchergebnisse „zufällig“ zu entdecken, die er eigentlich gar nicht gesucht hat (Serendipity)

• einen besseren Überblick über den Suchraum / Ergebnisraumzu gewinnen

43



Explorative Suche - ein einfaches Beispiel• Suche im Grunddatenbestand nach ,Ernest Hemingway‘

• Identifikation einer Entität dbpedia:Ernest_Hemingway

• Bestimmung gleichartiger Entitäten

44

dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ .dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist .

dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound .dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway .

Finde weitere Ressourcen vom selben Typ, d.h.(1) finde weitere amerikanische Autoren(2) finde Ressourcen (Videos) mit weiteren amerikanischen Autoren



Explorative Suche - ein einfaches Beispiel• Suche im Grunddatenbestand nach ,Ernest Hemingway‘

• Identifikation einer Entität dbpedia:Ernest_Hemingway

• Bestimmung eines geeigneten „Properties“

•Nutzung des Properties zur Navigation/Visualisierung

• Erweitere Suche mit asoziierten Entitäten

45

dbpedia:ontology/influences dbpedia:ontology/influences

Ezra Pound Ernest Hemingway J.D. Salinger



29

Prototyp unter http://testing.yovisto.com/

http://testing.yovisto.com



29

history





29

history

search term





29

history

search term

related resources with properties












•Explorative Suche


47

Vielen Dank für Ihre Aufmerksamkeit !Fragen....?

Links:• HPI Homepage: http://www.hpi.uni-potsdam.de/meinel/sack.html• Yovisto: www.yovisto.com• Blogs: http://moresemantic.blogspot.com/ http://yovisto.blogspot.com/




http://moresemantic.blogspot.com

http://moresemantic.blogspot.com

http://yovisto.blogspot.com

http://yovisto.blogspot.com

Documents

Semantische Co-Annotation und Videosuche mit yovisto · Forum Multimedia-Dienste Berlin, 7. Oktober 2009 Semantische Co-Annotation und Videosuche mit yovisto.com. 51. Betriebstagung