Seminar: Grundlagen derMultimedia-Software-Entwicklung

Thema: MPEG 4Eine analytische Betrachtung unter den 4 zentralen

Aspekten Multimedialer Anwendungen

Autor: Alexander SchlichtVersion 1.1 vom 9.Feb.2000

2/23

Verlaufsübersicht zum Seminar

1. Einleitung zu MPEG

2. Analytische Betrachtung

Die logische Struktur

Die räumliche Präsentation

Das zeitliche Verhalten

Die interaktive Kontrolle

3. Eine MPEG4 Präsentation

4. Schlusswort

3/23

Einleitung zu MPEG

Missverständnisse und Fragen die zu Beginn des Seminars geklärt werden sollten.

Wer oder Was ist MPEG?

Woraus besteht die MPEG?

Was dieses Seminar nicht behandelt.

4/23

Wer oder Was ist MPEG?

MPEG steht für „Motion Picture Expert Group“.

MPEG ist ein Standard.

MPEG-4 stellt sehr hohe Ansprüche an die Hardware.

5/23

Woraus besteht die MPEG

Der Aufbau des MPEG-Standards besteht aus 5 Teilen, die um einen 6. Teil für MPEG-4 erweitert wurden. Diese Teile werden mitunter auch als Parts oder auch als Layers bezeichnet.

1. System

2. Visual

3. Audio

4. Conformance Testing

5. Reference Software

6. DMIF (Delivery Multimedia Integration Framework)

6/23

Was dieses Seminar nicht behandelt

Technische Realisierung

Layer 2 bis 6

Die Funktionsweise derKompressionsalgorithmen

Dieses Seminar behandelt ausschließlich den Systempart von MPEG-4. Dieser ist für die Entwicklung von Multimediaprodukten von entscheidender Bedeutung.

7/23

Die logische Struktur 1/5

MPEG-4 ist ObjektorientiertDie Struktur von MPEG 4 wird wesentlichen durch

die objektorientierte Art geprägt. Dies spiegelt

sich in der Szenebeschreibung eines MPEG-4

Films wieder.

Hier stellen sich die Fragen:

Was ist eine MPEG-4 Szene?

Wie wird eine Szene beschrieben?

8/23

Die logische Struktur 2/5

Was ist eine MPEG 4 Szene?Ein MPEG-4 Film besteht aus der Komposition verschiedener Medien Objekten, wie z.B. Audio oder Video. Diese Komposition wird als Szene bezeichnet. Beschrieben wird eine solche Szene durch die hierarchische Struktur, die in einem gerichteten, zyklenfreien Graph dargestellt werden kann.Die Knoten eines solchen Graphen werden als AV Objekt bezeichnet.

9/23

Die logische Struktur 3/5

Wie wird eine Szene beschrieben?

Die Szenenbeschreibung geschieht durch die Hilfe von „Binaery Format for Scene description“, kurz BIFS.

In BIFS existieren dazu an die hundert verschiedene Knotenarten um eine Szene zu beschreiben.

AV Objekte haben verschieden Eigenschaften. Z.B. eine Lichtquelle Farbe, Stärke, Richtung,Ein

und Streuung.Diese werden in Felder definiert, wozu 20

verschiedene Grunddatentypen (Int,Float...) dienen.Dadurch, dass eine Eigenschaft aber auch ein

Knoten sein kann, kommt die Graphenstruktur zustande.

#

10/23

Die rote Farbe des Kreises wird durch das Material bestimmt, welches ein weiteres Objekt in der Szene darstellt. Zusammen bilden sie die Form eines roten Kreis, dies geschieht durch das Shape Objekt. Nun muss allerdings noch das Shape Objekt, auf einer 2D Zeichenfläche, dargestellt werden. Hierzu dient in dem Beispiel das Layer2D Objekt.

Beispiel für die Struktur eines roten, ausgefüllten Kreis.

Implementation in BIFS

Layer2D{

Children[

Shape{

geometry Circle { radius 1.0 }

appearance Appearance{

material Material2D {

diffuseColor 1 0 0

filled true

}

}

}

]

translation 0, 0}

B au m s tru k tu r

Circlerad iu s 1 .0

M aterial2DC olo r d ifu se C o lo rB oo lean filled

AppearanceS F N od e m ateria l

ShapeS F N od e g eom etryS F N od e ap p earan ce

Layer 2DM F N od e C h ild renS F V ec2 f tran s la tion

11/23

Die logische Struktur 4/5

Um möglichst komplexe Strukturen zu Beschreiben benötigt man eine Ausreichende Menge an BIFS Knoten.

BIFS Knoten sind für verschiedenste Funktionen zu gebrauchen, die nicht immer miteinander harmonieren müssen.

Eine Knotentypübersicht ist dabei hilfreich.

12/23

Die logische Struktur 5/5

Es ist eine Einteilung in verschiedene Knotentypen möglich.

FaceBodyAnimation Knoten (FBA)

Top Nodes

Child Knoten

Media Knoten

Attributsknoten

Gruppierende Knoten

Interpolierende Knoten

Sensor Knoten

“Bindable Children” Knoten

Geometrische Knoten

13/23

Die räumliche Präsentation

Die Szenenbeschreibung definiert nicht nur die Struktureigenschaft eines MPEG-4 Films, sondern ebenso die Räumliche Lage der einzelnenAV Objekte, dazu dienen die Felder:

translation

drawingOrder

isActive

Sowie die Knoten vom Typ „Bindable Children“

14/23

Das zeitliche Verhalten 1/3

Entwickelt wird MPEG-4 hauptsächlich für:„Broadcast“ Anwendungen„Interaktive“- und „OneOnOne“ Komunikationsanwendungen

Dazu wurde BIFS so entwickelt, dass eine MPEG-4 Anwendung selbst als eintemporaler Stream aufgefasst werden kann.

Anders ausgedrückt, ein MPEG-4 Film entsteht erst bei der der Darstellung.

Wie das geschieht, dass zeigt die interaktive Kontrolle

15/23

Das zeitliche Verhalten 2/3

Das vorbestimmte zeitliche Verhalten benötigtdynamische Knoten.

Dazu existieren 4 Arten von Felder:

EventIn :Können Werte empfangen.

EventOut :Können werden senden.

ExposedField :Können senden und empfangen.

Field. :Werden bei der Initialisierung des Knotens einmalig gesetzt.

Sowie die Methode des Mappen von Feldern:ROUTE

16/23

Das zeitliche Verhalten 3/3

Felder vom Typ EventOut/Exposed können auf EventIn/Exposed Felder abgebildet werden.

ROUTEs Syntax:

ROUTE <OutNodeID>.outFieldName TO <InNodeID>.inFieldName

Die Definition der ROUTEs geschieht in BIFS,

im Anschluss an die die Beschreibung der AVObjekte

17/23

Group {DEF position Transform {

translation 1 0 0children [

Shape {geometry DEF MeineÜberschrift Text {

string „Neues aus Paderborn“}}]}

}DEF PosInterp PositionInterpolator {

key [0 1]keyValye [1 0 0, -1 0 0] # Bewegung von x=1 nach x=-1

 DEF MeineZeit TimeSensor {

loop TRUEStoppTime –1}

ROUTE MeineZeit.fraction_changed TO PosInterp.keyROUTE PosInterp.keyValue to position.translation

Beispiel einer Laufschrift

18/23

Die interaktive Kontrolle 1/2

MPEG 4 beruht auf Client-Server-Model

Deshalb muss ein Benutzer den Client dazu veranlassen können auf dem Server Befehle auslösen.

BIFS Commands

19/23

Client-Server-Model

To Server Client

20/23

Die interaktive Kontrolle 2/2

BIFS Commands

BIFS Commands werden in 4 Funktionsweisen unterschieden.

Einfügung von Knoten/Feld/ROUTE

Löschen von Knoten/Wert/ROUTE

Ersetzen von Knoten/Feld/Wert/ROUTE

Ersetzen der Szenenbeschreibung

21/23

Eine MPEG4 PräsentationZusammengesetzes

MPEG-4 Szenario.

Zu erkennen:

5 JPEG-Bilder

1 Headline

Instruktionbox

Nach anklicken der

Pizzakomponenten

PositionInterpolator

Nach anklicken des

Pizzaofen

aktivieren eines AV Objekt

Deaktivierung desAV Objekt Pizzaofen

Nach klicken der

Des braunen Rechtecks

Deaktivierung desColorInterpolator

Abspielen desMPEGFilms

22/23

Szenarienstruktur

P iz z ak om p on en ten , 4 m a l P iz z ao fenH ead lin e P iz z avid eo

F ron ts tyle

Text

M ate ria l2 D

A p p earan ce

S h ap e T im eS en s or C o lo rIn te rp o la to r

Tran s fo rm 2 D

P os it ion 2 D In te rp o la to r Tou c h s en s or T im es en s or

Im ag e2 D

Tran s fo rm 2 D

Tou c h S en s or

Im ag e2 D

Tran s fo rm 2 D

vers c h ied e A V O b jek te

G rou p 2 D

S w itc h 2 D

IN S TR U K TIO N E N

G rou p 2 D

S w itc h 2 D

G rou p 2 D

ROUTEs

23/23

Schlusswort

Die Zukunft von MPEG

MPEG-4 (Version2)erweiterte Funktionalität

MPEG-7„Multimedia Content Description Interface“

MPEG-21Allumfassendes Multimedia Framework