Niko ZenkerSeminar: Ähnlichkeitssuch in MMDB 1 Notwendige Multimedia- Erweiterungen für Anfragesprachen Niko Zenker Email: [email protected]

Niko Zenker Seminar: Ähnlichkeitssuch in MMDB

1

Notwendige Multimedia- Erweiterungen für Anfragesprachen

Niko ZenkerEmail: [email protected]


2

Gliederung

1. Anforderungen an eine Multimedia-Anfragesprache2. Object Query Language vs. TIGUKAT Query Language3. Inhaltsbasierte & unscharfe Anfragen4. Spatial Primitives5. Temporal Primitives6. Präsentationsfunktionen7. Zusammenfassung


3

Anforderungen an eine Multimedia-Anfragesprache

Zusätzlich zu den Eigenschaften, die eine Anfragesprache erfüllen muss, sollten folgende Attribute geltenUniversell Inhaltsbasierte AnfragenRäumliche AnfragenZeitliche AnfragenUnscharfe AnfragenPräsentation


4

Object Query Language orthogonale Sprache SQL92 + objektorientierte Erweiterungen (komplexe

Objekte, Objektidentität, Pfadausdrücke, Polymorphismus, Aufruf von Operationen, late binding, Strukturen, Listen, Felder

GrundstrukturSELECT [DISTINCT] projection_attributesFROM query [[AS] identifier} {, query [[AS] identifier]}[WHERE query][GROUP BY pratition_attributes][HAVING query][ORDER BY sort_criterion {, sort_criterion}]


5

Object Query Language II Erweiterungen zu OQL sind meistens in der

WHERE Klausel zu finden spatial_expression (räumliche Objekte, Linien,

Punkte, Kreise, ...) spatial_functions (length, area, intersection) spatial_expression, temporal_functions,

temporal_predicates contain_predicates

contain_predicate ::= media_object CONTAINS salientObject


6

Object Query Language: Beispiele

SELECT STRUCT (a:e.age, s:e.salary)FROM (SELECT f

FROM Employees f WHERE f.seniority>20) AS e

WHERE e.name = „John“

SELECT mFROM Images m, Persons pWHERE m CONTAINS p


7

TIGUKAT Query Language tee-goo-kat, bedeutet „Objekte“ bei kanadischen Inuits Typische Objektorientierte Features werden unterstützt SQL-like (ad-hoc), zusätzlich werden Pfadausdrücke

unterstützt Grundstruktur

SELECT object_variable_list[INTO [PERSISTENT [ALL]]] collection_referenceFROM range_variable_listWHERE boolean_formular


8

TIGUKAT Query Language in der WHERE Klausel werden drei neue

Ausdrücke definiert spatial_expression temporal_expressionboolean_expression

boolean_expression ::=contain_predicate | boolean_function Beispiel:

SELECT mFROM m IN C_image, p IN C_personWHERE m CONTAINS p


9

Inhaltsbasierte & unscharfe Anfragen

Informationen gewinnen aus extrahierten Features oder Metadaten

Schlüsselwort-basierte Ansätze Feature-basierte Ansätze Konzept-basierte Ansätze Manuelle Abschwächung / Verschärfung Automatische Abschwächung / Verschärfung auch bei wenigen Informationen müssen adäquate

Resultate geliefert werden


10

Spatial Primitives

Anforderungen an Räumliche Anfragesprachenkomplexe Objekte setzen sich aus kleineren zusammenDirekte räumliche SucheHybride AnfragenKomplexe Anfragen über gesamte DB räumliche Berechnungen von Objekten mit räumlichen

EigenschaftenRäumlich-Zeitliche Anfragen


11

Spatial Primitives II jedes Objekt wird mit Eigenschaften verglichen Bilder werden in abstraktes Format überführt

<SalientSet, SpatialSet, ColorSet, TextualSet>SalientSet: hervorstechende Objekte im BildSpatialSet: räumliche Eigenschaften der salienten Objekte

im Bild (Umrisse, Positionen, ...)ColorSet: Farbeigenschaften der salienten Objekte und

des HintergrundesTextualSet: Texte im salienten Objekt oder im

Hintergrund


12

Spatial Primitves III identical

2 Bilder sind gleich, wenn sie im Salient-, Spatial-, Color- und TextualSet übereinstimmen

coincident identische SpatialSets

subpicture Teil des ersten Bildes ist identisch mit dem gesamten zweiten

similar Ähnlich, wenn es räumliche Beziehungen, Farben, Texturen gibt

contains Gehört ein salientes Objekt zum SalientSet


13

Spatial Primitives IV Punkte, Linie und Regionen werden als räumliche

Zustände definiert andere Formen (Kreise, Rechtecke, etc.) werden als

Sonderformen von Regionen behandelt räumliche Beziehungen

Richtungsbeziehungen left, right, above, below, front, back, south, north, west, east,

northwest, ...Distanzbeziehungen

z.B. euklidische Distanz topologische Beziehungen


14

topologische BeziehungenA A A

A A A B

BB

B

B B

A disjont B A touch B A inside B

A overlap B A cover B A equal B


15

Räumliche Funktionen

führt Berechnungen mit Objekten aus und liefert Werte zurück

Ergebnis abhängig von den Objektenmbr – Minimal umfassendens Rechteckdistance – Entfernung region – Konvertierung zur Regionpan – nur Teilstücke aus dem Bild resize – Grössenänderung superimpose – fügt Bilder zusammen


16

Räumliche Anfragen MOQL

SELECT o.nameFROM SalientObjects o, Images mWHERE m CONTAINS o AND (o INSIDE a

OR a COVER o) MTQL

SELECT o.B_nameFROM o IN C_salientObject, m IN C_image WHERE m CONTAINS o AND (o INSIDE a

OR a COVER o)


17

Temporal Primitives Essentiell für MM-Anfragesprache vor allem für Geschichtsdatenbanken zeitliche Beziehungen zwischen realen Objekten in den

Multimedia Daten grosses Interesse besteht vor allem bei salienten Objekten „Finde das letzte Video, in dem Gerhard Schröder erscheint“ „...letzte...“ stellt besondere Anforderungen an Anfragesprachen Zeitintervall stellt eine Basis für eine verankerte Spezifikation der

Zeit J.F. Allen 1983:

equal, before, after, meet, metBy, overlap, overlapedBy, during, include, start, startedBy, finish, finishedBy


18

Zeitliche Funktionen unäre Funktionen: Anfang (LB), Ende(UP), Länge binäre Funktionen: Vereinigung, Durchschnitt, Differenz time interval

verankerter Zeitpunkt in der Zeit Vergleiche (<,>) Hinzufügen, Abziehen von Zeiten neue time instant time interval mit gleichem LB u. UB

time span Nichtverankerte Zeitdauer ist unabhängig von interval und instant

year, month, day, hour, minute, second, ms


19

Stetige Zeitliche Funktionen Videodaten

Sequenz von clips, und ein clip ist eine Sequenz von frames (Bild) jeder Frame hat: Zeitstempel oder time instant; clip, video wird

mit time interval assoziiert haben alle Eigenschaften, die auch Bilder haben (Farbe, Umrisse,

Objekte, Texturen) Zusätzlich: Zeitliche Beziehungen, z.B. Bewegungen

Audiodaten Sequenz von Tönen jeder Ton hat unterschiedliche Länge, Lautstärke und Frequenz Auch hier zeitliche Beziehungen: z.B. gesprochene Sprache


20

Videoanalyse lokale

Objektbewegungen globale

Kamerabewegungen tatsächliche Kamerabewegungen (6 Freiheitsgrade) aber auch Zoombewegungen (Fokusänderung der Linse)

Funktionen: zoomIn, zoomOut, panLeft, panRight, tiltUp, tiltDown, cut, fade, wipe, dissolve

Clips müssen segmentiert werden sind Mengen von salienten Objekten zu verschiedene Zeiten


21

Zeitliche Anfragen MOQL

SELECT c1, c2FROM Clips c1, Clips c2, p.prSet prWHERE c1 CONTAINS p AND c2 CONTAINS p AND

pr.timestamp DURING intersection(c1.timestamp, c2.timestamp) MTQL

SELECT c1, c2FROM c1 IN C_clip, c2 IN B_clip, pr IN p.prSetWHERE c1 CONTAINS p AND c2 CONTAINS p AND

pr.B_timestamp DURING intersection(c1.B_timestamp, c2.B_timestamp)


22

Präsentationsfunktionen Synchronisation von Audio und Videofiles räumliches Layout

Anzahl der Fenster Grösse Lage

zeitliches Layout welches Objekt startet zuerst Länge der Präsentation

Szenario Layout Verwendung von räumlichen und zeitlichen Layoutfunktionen


23

Präsentationsfunktionen II atWindow(identifier, point, point) atTime(absoluteTime) display(identifier, start_offset, duration) play(identifier, start_offset, duration, speed) thumbnail(identifier) resize(identifier, width, height) parStart parEnd after


24

Präsentationsfunktionen Beispiel MOQL

SELECT mFROM Images mWHERE m CONTAINS pPRESENT resize(m, 100, 100) AND display(m, 0, 10)

MTQLSELECT mFROM m IN C_imageWHERE m CONTAINS pPRESENT resize(m, 100, 100) AND display(m, 0, 10)


25

Zusammenfassung leichte Anfragesprache hilft Benutzern bei der Arbeit auf

MMDB sollte so allgemein sein wie möglich, d.h. verschiedenen

Datentypen unterstützen und daraus auch Information zu finden

viele Sprachen enthalten vorgestellte Funktionen nicht, sind daher speziell für einzelne Anwendungsgebiete

komplexere Anfragen nur für qualifizierte Anwender verstehbar

Entwicklung von grafischen BNO (z.B. VisualMOQL)

Documents

Niko ZenkerSeminar: Ähnlichkeitssuch in MMDB 1 Notwendige Multimedia- Erweiterungen für Anfragesprachen Niko Zenker Email: [email protected]