View
3
Download
0
Category
Preview:
Citation preview
Bridging the Semantic GapSeminar
Universität MannheimLehrstuhl für Praktische Informatik IV
Sommersemester 2006
Victor Schanvschan@rumms.uni-mannheim.de
MPEG-7
Inhalt
Überblick
Struktur
Ausgewählte Deskriptoren
Distanzmaß
Anwendungen
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Fazit
Einleitung
Einleitung
MPEG-7 ist
- kein Kompressionsstandard wie seine Vorgänger MPEG 1/2.
- kein (semi-)automatisches Verfahren zur Merkmals- extraktion aus Multimediadokumenten.
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
(Quelle: http://www.members.cox.net, 2004)
Einleitung
- universelle Beschreibungssprache für multimediale Daten
- Metadaten werden in einem XML-Dokument gespeichert.
- XML-Darstellung kann verlustfrei in eine binäre Dar- stellung umgewandelt werden (z.B. für Streaming).
- Informationen über Informationen (Metadaten)
- Format und Medium spielen keine Rolle.
MPEG-7:
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Einleitung
- stetig wachsender Informationsberg
Motivation:
- große Multimediabibliotheken
- effizient suchen
- in Multimediadaten enthaltene Metadaten effizient und intelligent nutzen
- neue Anwendungen
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
(Quelle: http://www.ibm.com, 2004)
Überblick Struktur Deskriptoren Distanzmaß Anwendungen
Der MPEG-7 Standard:
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Syst
ems
DDL
VisualDescriptors
AudioDescriptorsMD
SR
efer
ence
Sof
twar
e
Confor
mance
Extraction & Useof descriptors
Profiles
Schem
a
Definition
Fazit
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Erzeugung undProduktion
VerwendungMedientyp
semantischeAspekte
strukturelleAspekte
Audio Bild / Video
Inhaltsmanagement
Inhaltsbeschreibung
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
(Quelle: Ohm, 2005)
“A” “B”
“D”
“1”
“2”
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Description Scheme
S
S
Descriptor
Description Value
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
(Quelle: Höynck, 2004)
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Description Definition Language (DDL)
- basiert auf XML
- erweitert XML um Datentypen wie z.B. Arrays, Matrizen, Ländercodes, ...
- erlaubt die Erstellung eigener Descriptions und Description Schemes (DS)
- kann bestehende Descriptions und DS erweitern und modifizieren
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Media Description Schemes (MDS)
Collections ModelsContent organisation
Navigation& Access
Basic elements
Summaries
Basicdatatypes
Links & media localisation
Basictools
Creation andProduction
UsageMedia
Semanticaspects
Structuralaspects
Content management
Content description Views
Variations
SchemaTools
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
(Quelle: Martinez, 2004)
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
(Quelle: Martinez, 2004)
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
gelb
schwarz
Color Structure Descriptor
kompakt
sehr unstrukturiert
- unabhängig vom Format- unabhängig von der Größe
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Gelb
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
Orange
Dominant Color Descriptor
- charakterisiert einen Ausschnitt anhand der dominanten Farbe
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Homogeneus Texture Descriptor
- Man kann ein Bild auch als Mosaik aus homogenen Texturen betrachten.
- Blickwinkel und Entfernung spielen keine Rolle.
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Objekterkennung ist ein wichtiger Bestandteil der Videoanalyse.
- Das menschliche Gehirn erkennt anhand der Kontur(änderung) dreidimensionale Objekte.
MPEG-7 Contour Shape Descriptor
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
(Quelle: Kopf, 2006)
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
Contour Shape Descriptor
(Quelle: Kopf, 2006)
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Suchanwendungen benötigen ein Maß, mit dem Eigenschaften verglichenwerden können
Euklidische Distanz:
Da viele Deskriptoren als Vektoren(paare) dargestellt werden können,ist die Verwendung der Euklidischen Distanz sehr verbreitet.
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
Distanzmaß
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
- Multimodale Suche: Skizze oder Sprache anstatt eines Begriffs
- Inhaltsadaption: Speech-to-Text, Picture-to-Text, ...
- Videoüberwachung: Erkennung von gefährlichen Objekten
- Video-on-Demand: Untertitel, Sprache oder Musik nach persöhnlichen Präferenzen
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Überblick Struktur Deskriptoren Distanzmaß Anwendungen Fazit
Vorteile von MPEG-7:
Nachteile von MPEG-7:
- sehr komplex
- durch DDL erweiterbar
- universell einsetzbar
- Binärformat für Streaming
- wird bisher nur vereinzelt eingesetzt
Anwendung
Bridging the Semantic Gap Seminar: MPEG-7 Victor Schan 07. Juni 2006
Offene Fragen ?
Recommended