167
Desktop Video Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido [email protected]

Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido [email protected]

Embed Size (px)

Citation preview

Page 1: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

Desktop VideoDesktop VideoSPV 2 SWS SS 2000

Gisbert Dittrich

FBI Unido

[email protected]

Page 2: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

2

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1. Grundlagen

1.1 Videotechnik

1.2 Kompression

1.3 Formate + deren Eigenschaften

1.4 Quicktime

Literatur für v.a. 1.1 + 1.2 :

• Steinmetz, Ralf : Multimedia -Technologie, Einführung und Grundlagen

Springer-Verlag Berlin Heidelberg ... 1993

Page 3: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

3

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik

• Das menschliche Auge• Grundlagen zu Signalen• Schwarzweißfernsehen• Farbfernsehen• Videotechnik im Rechner

Page 4: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

4

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Das menschliche Auge1.1 Videotechnik - Das menschliche Auge

• Menschliches Auge ist Rezeptor für Bilder.• Bildet Randbedingungen für das Folgende.• Auge:

• ortsabhängiges Auflösungsvermögen

• optischer Tiefpaß: nur begrenztes Vermögen, Kanten (fl hohe Frequenz) aufzulösen.

• Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde

• Flimmereffekt: bei ≤ 50 Bilder/sec: periodische Schwankung der Helligkeitsempfindung

Page 5: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

5

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Grundlagen zu Signalen 11.1 Videotechnik - Grundlagen zu Signalen 1

- Darstellung über Wellen - Modulation

- Signale: Amplitude, Frequenz, Phase

Page 6: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

6

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Grundlagen zu Signalen 21.1 Videotechnik - Grundlagen zu Signalen 2

• Modulation – Jede Art der Beeinflussung einer charakteristischen Größe

(Amplitude, Frequenz, Phase) von meist höherfrequenten, ungedämpften periodischen Vorgängen, im engeren Sinne von elektromagnetischen [Hochfrequenz]wellen bzw. -schwingungen, Lichtstrahlen oder Impulsfolgen zum Zwecke der Übertragung von Signalen oder Nachrichten ...

Page 7: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

7

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Grundlagen zu Signalen 31.1 Videotechnik - Grundlagen zu Signalen 3

• Beispiele: • Amplitudenmodulation

Page 8: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

8

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Grundlagen zu Signalen 41.1 Videotechnik - Grundlagen zu Signalen 4

• Frequenzmodulation

Page 9: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

9

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Grundlagen zu Signalen 51.1 Videotechnik - Grundlagen zu Signalen 5

• Quadraturmodulation: – Betrachte Trägerfrequenz und eine um 90 Grad

phasenverschobene Variante derselben.

– Führe Amplitudenmodulation zweier Teilsignale auf diese Träger durch.

– Summiere diese beiden zu einem neuen Signal auf.

Page 10: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

10

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Grundlagen zu Signalen 61.1 Videotechnik - Grundlagen zu Signalen 6

• Beispiel für Diskretisierung einer kontinuierlichen Funktion:

Page 11: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

11

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Grundlagen zu Signalen 71.1 Videotechnik - Grundlagen zu Signalen 7

• Lehrsatz der Informationstheorie:• Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon)

– Ist ein Signalstrom durch eine kontinuierliche Funktion f(t) gegeben und wird diese Funktion durch Abtasten in bestimmten Zeitintervallen Dt in eine aus diskreten Impulsen bestehende Funktion zerlegt, so läßt sich aus dieser Impulsfunktion die ursprüngliche Funktion ohne Informationsverlust wiedergewinnen, wenn für die Bandbreite B gilt:

• Dt < 1/(2B). Oder: Abtastrate 1/Dt > 2B.

Page 12: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

12

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Grundlagen zu Signalen 7 1.1 Videotechnik - Grundlagen zu Signalen 7

• Bandbreite: • Differenz zwischen größter und kleinster Frequenz in

einem zusammenhängenden Bereich von Schwingungen unterschiedlicher Frequenzen.

• In Nachrichtentechnik:

• Breite eines Frequenzbandes zwischen zwei Grenzfrequenzen, für die die übertragene oder von einem Bandfilter hindurchgelassene Leistung auf die Hälfte, die Spannung auf das 0,71fache abfällt; wird absolut in Hz oder relativ (auf die mittlere Frequenz bezogen) angegeben.

Page 13: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

13

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Schwarzweißfernsehen 11.1 Videotechnik - Schwarzweißfernsehen 1

• Darstellung von Helligkeit : Luminanz • Zeilensprungverfahren (Schema)

Page 14: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

14

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Schwarzweißfernsehen 21.1 Videotechnik - Schwarzweißfernsehen 2

• in Europa: 625 Zeilen, Breite:Höhe = 4:3

– also 833 Punkte pro Zeile

Page 15: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

15

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Schwarzweißfernsehen 3 1.1 Videotechnik - Schwarzweißfernsehen 3

• Extreme Übergänge schwarz-weiß-schwarz:

Page 16: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

16

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Schwarzweißfernsehen 41.1 Videotechnik - Schwarzweißfernsehen 4

• BAS-Signal (Schema) [Bild -Austast -Synchronsignal]

Page 17: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

17

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Schwarzweißfernsehen 51.1 Videotechnik - Schwarzweißfernsehen 5

• Abschätzungen zum BAS: – Für 25 Bilder/sec:

• Zeilendauer: 64s (= 40ms/625 Zeilen)

• Abtastfrequenz: 13,5 MHz,

• Zeilenfrequenz (1/64s=) 15,625 KHz

• Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz

• zudem: "Schwebungseffekte erzeugen unvernünftige Bilder"

• --> Kell-Faktor: 0,64 (0,67)

– --> Vertikale Auflösung von 400 Zeilen

Page 18: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

18

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Schwarzweißfernsehen 61.1 Videotechnik - Schwarzweißfernsehen 6

• Amplitudenmoduliertes Videosignal:

Page 19: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

19

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 11.1 Videotechnik - Farbfernsehen 1

• Erste Grundidee: Zusammensetzen aus z. B. RGB• Komponentenkodierung:

– Betrachtet die Bestandteile der Videoinformation getrennt voneinander.

z. B. Synchronisation extra

• Verschiedene Arten: – RGB Grundfarben werden angegeben

– Oder: Herausziehen der Luminanz Y:

– YUV• Luminanz (Leuchtdichte) [braucht man für SW-Fernseher]

• Chrominanz (Farbinformation)

Page 20: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

20

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 21.1 Videotechnik - Farbfernsehen 2

• Bestimmung von YUV aus RGB: Y = 0.30 R + 0.59 G + 0.11 B

U = (B-Y) * 0.493

V = (R-Y) * 0. 877

• Analoge Behandlung für YIQ - Signal (verwendet für NTSC)

Y = 0.30 R + 0.59 G + 0.11 B

I = 0.60 R - 0.28 G - 0.32 B

Q = 0.21 R - 0.52 G + 0.31 B

- Randbedingung (historisch): Als Erweiterung zum SW- Fernsehen, d.h. zum BAS-Signal

Page 21: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

21

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 31.1 Videotechnik - Farbfernsehen 3

• FBAS - Signal : Farb - Bild - Austast - Synchronsignal

Page 22: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

22

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 41.1 Videotechnik - Farbfernsehen 4

• Verschiedene Fernsehnormen– NTSC National Television Systems Committee (Amerika)

• Bildwechselfrequenz: 30 Hz• Bild aus 525 Zeilen• verwendet Quadraturamplitudenmodulation

– SECAM Sequential Coleur avec Memoire (Frankreich, ...) • Bildwechselfrequenz: 25 Hz• Bild aus 625 Zeilen• verwendet Frequenzmodulation

– PAL Phase alternating line (Deutschland, Bruch 1963)

• Bildwechselfrequenz: Halbbilder 50 Hz• Bild aus 625 Zeilen• Grundprinzip: Quadraturamplitudenmodulation

Page 23: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

23

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 51.1 Videotechnik - Farbfernsehen 5

• Bandbreite des FS-Signals (auch SW-FS)

Page 24: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

24

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 5a 1.1 Videotechnik - Farbfernsehen 5a

• Ergänzende Literatur:– Conventional Analog Television - An Introduction

www.ee.washington.edu/conselec/CE/kuhn/ntsc/95x4.htm

Page 25: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

25

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 61.1 Videotechnik - Farbfernsehen 6

• Fernsehen der Zukunft: (?) – D2-MAC: Duobinary Multiplexed Analog Components

• Komponentenverfahren! 2 hochwertige Stereo- resp. 8

Kanäle niederer Güte für Audio.

(wohl überholt !!!)– HDTV: High Definition Television

• in Europa: Übertragungsverfahren HD-MAC

(HD = High Definition)• Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!)

absolut: 1,152* 109 bit/s• durch Datenkompression Reduktion auf 34 Mbit/s

(" ohne merklichen Qualitätsverlust")

Page 26: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

26

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 71.1 Videotechnik - Farbfernsehen 7

– HDTV (Fortsetzung) • wird unterschieden in:

– Studiostandard

– Produktionsstandard

– Übertragungsstandard

– Reproduktionsstandard

– übergeordneter Standard HDP (P = Progressiv)

Page 27: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

27

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 7a1.1 Videotechnik - Farbfernsehen 7a

• Ergänzende Literatur: (Stand 14.4.99)– HDTV Television - An Introduction

http://www.ee.washington.edu/conselec/CE/kuhn/hdtv/95x5.htm

– HDTV (High Definition Television)http://www.circuitcity.com/tv2/products-tv-hdtv.htm

– High Definition Televisionhttp://meteor.uscolo.edu/ebersole/handbook/hdtv.html

Page 28: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

28

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 81.1 Videotechnik - Farbfernsehen 8

• HDTV-Entwicklungen: – HD-MAC Europa

• 1250 Zeilen , 50 Halbbilder, Bildwiederholfrequenz: 100

– MUSE Japan • 1125 Zeilen 60 Hz

• (seit ´92 auf Sendung, gar keine Kompatibilität)

– NTSC • 1050 Zeilen, 59,94 Hz

Page 29: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

29

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 91.1 Videotechnik - Farbfernsehen 9

• Digitales Fernsehen (gemäß beschlossener Normen) – Geschlossene Kodierung (denkbar)

• BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec

• FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate

• Probleme: – -Übersprechen, -Norm-abhängig, -Abtastfrequenz

+Datenreduktion nicht komponentenabhängig,– Weitere Störungen

– Komponentenkodierung: 4:2:2 Kodierung• Luminanz wird höher gewichtet:

• Behandlung von Y (Luminanz) mit 13.5 MHz,

• R-Y und B-Y je mit 6.25 MHz.

• Je zu 8 bit pro Abtastwert. --> Multiplexen.

Page 30: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

30

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - Farbfernsehen 101.1 Videotechnik - Farbfernsehen 10

– Komponentenkodierung (Fortsetzung) • Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate.

• Paßt nicht in herkömmliche PCM-Hierarchie.

• Daher Substandards mit niedrigerer Datenrate: – 1:(5/6,5/6)-->180Mbit/sec

– 2:(3/4,1/2)--> 135Mbit/sec

– 3:(2/3,1/3)--> 108Mbit/sec

– Weitere Reduktionen möglich.

Page 31: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

31

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 1Videotechnik im Rechner 1

• Fast nie mit Zeilensprungverfahren (Ausnahme: Amiga)• Bildwechselfrequenz ca. ≥ 70 Hz, daher flimmerfrei.• Farben über CLUT (Color LookUp Table)

– Anzahl der verwendbaren Farben n << m Anzahl aller darstellbaren Farben.

• Einige "Standards "(v.a. alte):– CGA Color Graphics Adapter

Bildgröße: 320*200 PixelAnzahl der verfügbaren Farben: 4Aufwand zur Darstellung eines Bildschirminhaltes:

320*200 Pixel*(2bit/Pixel)/(8bit/byte) = 16 000 byte

Page 32: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

32

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 2Videotechnik im Rechner 2

– EGA Enhanced GraphicAdapter

Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16

Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte

– VGA Video Graphics Array

Bildgröße: 640*480 Pixel Anzahl Farben: 256

Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte

– 8514/ A Display Adapter Mode

Bildgröße: 1024*768 Pixel Anzahl Farben: 256

Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte

Page 33: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

33

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 3Videotechnik im Rechner 3

– EGA Enhanced GraphicAdapter

Bildgröße: 640*350 Pixel

Anzahl der verfügbaren Farben: 16

Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte

– VGA Video Graphics Array

Bildgröße: 640*480 Pixel Anzahl Farben: 256

Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte

– 8514/ A Display Adapter Mode

Bildgröße: 1024*768 Pixel Anzahl Farben: 256

Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte

Page 34: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

34

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.1 Videotechnik - 1.1 Videotechnik - Videotechnik im Rechner 4Videotechnik im Rechner 4

– XGA Extended Graphics Array

Bildgröße: 640*480 Pixel

Anzahl der verfügbaren Farben: 65536

Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(16bit/Pixel)/(8bit/byte) = 614400

byte

Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!)

Also: Kompressionsverfahren nötig !

Page 35: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

35

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1. Grundlagen

1.1 Videotechnik

1.2 Kompression1.3 Formate + deren Eigenschaften

1.4 Quicktime

Page 36: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

36

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression1.2 Kompression

• Motivation • Kompressionsverfahren• Anforderungen an Kodierungen• Kodierungen• Klassifikation der Kodierungs- und

Kompressionsverfahren• Grundlegende Verfahren• JPEG • H. 261• MPEG

Page 37: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

37

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Motivation 11.2 Kompression - Motivation 1

• Zur Motivation von Datenkompression

– Beispielrechnungen für typische Werte:- Abkürzungen: 1kbit = 1.000 bit

1Kbit = 210 bit = 1.024 bit- Analog für Mbit:

1Mbit = 210 *210 bit = 1.024*1.024 bit

– Speicherplatzbedarf: = Anforderung an Speicherplatz , wenn je ein Bildschirminhalt resp. je ein Datenstrom pro Sekunde unkomprimiert dargestellt wird:

Page 38: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

38

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Motivation 21.2 Kompression - Motivation 2

• Je ein Bildschirminhalt

– Text Annahme: je Zeichen der Größe 8*8 Pixel sind 2

Byte nötig.Zeichen je Bildschirmseite: 640*480/(8*8) = 4800Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte

– VektorbilderAnnahme: typisches Bild besteht aus 500 Geraden,

Koordinate in x-Richtung : 10 bit, Koordinate in y-Richtung : 9 bit,

Attributvektor pro Gerade: 8 bit. Bit je Linie: (9+10+9+10+8) bit = 46 bitSpeicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8 Kbyte

Page 39: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

39

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Motivation 31.2 Kompression - Motivation 3

• Je ein Bildschirminhalt (Fortsetzung)

– Pixelbild

• Annahme: 256 Farben, d.h. 1byte pro PixelSpeicherplatzbedarf: 640*480*1 byte = 307200 byte = 300 Kbyte

Von hier ab:

• Platzbedarf für je eine Sekunde

– Sprache in Telefonqualität

• Annahme: Abtastung mit 8kHz, quantisiert mit 8 bitDatenstrom: 64 Kbit/sSpeicherplatzbedarf: 8 Kbyte

Page 40: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

40

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Motivation 41.2 Kompression - Motivation 4

• Platzbedarf für je eine Sekunde (Fortsetzung)

– Stereo-Audiosignal in CD-Qualität

• Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bitDatenstrom: 2*44100* 16/8 byte/s = 176400byte/sSpeicherplatzbedarf: 172 Kbyte

– Videosequenz

• Annahme: 25 Vollbilder pro SekundeLuminanz und Chrominanz zusamm. mit 3 byte pro PixelLuminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y) mit 6,75 MHz.8 bit-gleichförmige Kodierung:(13,5 MHz + 2*6,75 MHz) * 8bit = 216*106 bit/s (entspricht ca. 27 MByte/s)

Page 41: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

41

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Motivation 51.2 Kompression - Motivation 5

– Videosequenz (Fortsetzung)

• Datenrate: 640*480*25*3 byte/s = 23 040 000 byte/sSpeicherplatzbedarf: 22500 Kbyte = 21, 97 MbyteDatenübertragungsraten von ungefähr 140 (175,78) Mbit/s.

’ Heute nicht kostengünstig realisierbar.

Kontinierliche Medien erhöhen die Anforderungen an das System erheblich!

Durch Kompressionsverfahren "erheblich" reduzierbar.

Page 42: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

42

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Kompressionsverfahren1.2 Kompression - Kompressionsverfahren

Kompressionsverfahren, die immer wieder genannt werden:

– JPEG für Einzelbilder

(Joint Photographic Expert Group)– MJPEG

– [H.261(px64) für Videosequenzen mit geringer Auflösung]

– MPEG für Bewegtbilder als auch Audio

(Motion Picture Expert Group)

– [DVI für Einzelbilder und kontinuierliche Medien

(Digital Video Interactive)]

Page 43: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

43

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Anforderungen an Kod. 11.2 Kompression - Anforderungen an Kod. 1

1. Gute Qualität nach Kodierung - Dekodierung

2. Verfahren möglichst einfach

3. Symmetrisch in Aufwand für Kompression-Dekompression– z. B. für Dialogsysteme (Bildübertragung,

Videoconferencing, ..) etwa:

Ende-zu-Ende Verzögerung ≤ 150 msec ( z. B. px64)

4. Kompression mit hohem Aufwand - Dekompression schnell

z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme, ...): einmal komprimieren, häufig dekomprimieren, möglichst in Echtzeit (z.B. DVI)

Page 44: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

44

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Anforderungen an Kod. 21.2 Kompression - Anforderungen an Kod. 2

3.+ 4. sollen erfüllen:– Formal unabhängig von Bildschirmgröße/ Bildwiederhol-

frequenz zu definieren

– verschiedene Datenraten für Audio/Video

– Audio/Video exakt synchronisierbar, auch mit anderen Medienobjekten

– kostengünstig, möglichst Software

– Kooperation von unterschiedlichen Systemen

’ Standards : de jure - de facto

Page 45: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

45

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Anforderungen an Kod. 31.2 Kompression - Anforderungen an Kod. 3

4. soll insbesondere erfüllen:– schneller Vor- /Rücklauf bei Anzeige der Daten

– wahlfreier Zugriff auf Einzelbilder ≤ 0.5 sec

– Dekompression von Einzelbildern/Videosequenzen direkt, d.h. ohne Zugriff auf "vorherige" Daten möglich.

’ Editieren nach wahlfreiem Zugriff möglich.

Page 46: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

46

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Kodierungen 11.2 Kompression - Kodierungen 1

• Grobe Einteilung:– Entropiekodierung: verlustfrei

(Entropie: mittlerer Informationsgehalt einer Zeichenmenge)

– Quellenkodierung:meist verlustbehaftet nutzt Semantik der Daten, bzgl. des Kompressionsgrades abhängig vom Medium.

– Kanalkodierung (hier weggelassen)

– hybride Kodierung

Page 47: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

47

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Kodierungen 21.2 Kompression - Kodierungen 2

• Wesentliche Schritte der Datenkompression für Audio und Video (am Beispiel Einzelbild formuliert):

Page 48: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

48

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Kodierungen 31.2 Kompression - Kodierungen 3

Schritte der Datenkompression (Fortsetzung) 1. Bildaufbereitung

• z. B. Zerlegung in Blöcke von je 8x8 Pixel

• mit n Bit Beschreibungstiefe pro Block/Pixel

2. Bildverarbeitung • erzeugt geeignete digitale Darstellung (verschiedenste

Verfahren)

3. Quantisierung• erzeugt Verlustbehaftung

4. Entropiekodierung • Bearbeitet linearen Datenstrom; verlustfreie Kompression!

(2. und 3. können mehrfach iterativ durchlaufen werden).

Dekompression läuft invers.

Page 49: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

49

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Klassifikation K&K1.2 Kompression - Klassifikation K&Kverf 1verf 1

(wichtig für unseren Kontext; Verfahren werden im folgenden z. Teil erläutert)

• Entropiekodierung– Lauflängenkodierung Huffman-Kodierung

– Arithmetische Kodierung

• Quellenkodierung– Prädiktion: DPCM DM

– Transformation: FFT DCT

– nach Wichtigkeit, "Layered Coding": • Bitposition • Unterabtastung

• Subband Kodierung

Page 50: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

50

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - Klassifikation K&K1.2 Kompression - Klassifikation K&Kverf 2verf 2

• Vektor-Quantisierung• Hybride Kodierung

– JPEG

– MPEG

– px64

Page 51: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

51

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 1 Verfahren 1

VorbemerkungHybride Verfahren verwenden unterschiedliche

grundlegende Verfahren.

Gemäß den Fähigkeiten/Eigenschaften der Sinnesorgane: unterschiedliche Gewichtungen für verschiedene Attribute, z. B.

Helligkeit hohes Gewicht,

Farbe niedrigeres Gewicht.

Page 52: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

52

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 2 Verfahren 2

• Lauflängenkodierung– Voraussetzung: Bytestrom wird übertragen.

– Bei häufigen Wiederholungen von Bytes: • Angabe des Bytes + Anzahl des Vorkommens. (Unter

Verwendung von M(arkierungs)-Bytes, z. B. "!“

– Wenn mindestens 4 Bytes gleich, dann wird gezählt. Damit 4 - 259 gleiche in 3 Bytes kodierbar.

– Beispiel ( in vereinfachter Darstellung ) :

Unkomprimierte Daten : a!bbbcccccccccd

Lauflängenkodierung : a! !bbb!c5d

Page 53: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

53

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 3 Verfahren 3

• Nullunterdrückung

(Spezialfall der Lauflängenkodierung)– Nur ein spezielles Zeichen wird potentiell gezählt.

– Ab 3-258 gleiche Bytes so auf 2 Bytes reduzierbar. Variationen möglich.

• Vektorquantisierung– (vereinfacht:) Zerlegt Datenstrom in Blöcke zu je n Bytes.

– Verwendet Tabelle mit Mustern als Einträgen. Suche Muster, das gegebenen Block am besten approximiert . Block erhält Index(vektor) des zug. Musters aus dieser Tabelle zugeteilt.

Page 54: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

54

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 4 Verfahren 4

• Beispiel zur Vektorquantisierung:– Tabelle für Blöcke (hier durch 3 Dezimalziffern dargestellt)– ´24´,´801´ komprimiert ergibt z.B. (1,1), (6,4), dekodiert:´10´,´794´

Dimension 1 Dimension 2

1 2 3 4 Aufwand:

1 10 69 110 170 3 Ziffern:12 (10)bit

2 204 219 250 271 ‚Vektor‘: 3 +2 bit

3 305 328 352 388

4 401 439 455 479

5 501 527 556 597

6 700 726 751 794

7 901 932 955 979

Page 55: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

55

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 5 Verfahren 5

• Weitere Verfahren– (Static) Pattern Substitution

• Ersetzt häufige Muster durch einzelne Bytes. (Z.B. BEGIN in Progspr.)

• Häufig durch Approximation (z.B. für Bilder. fl Vektorquantisierung)

• Anmerkungen:– M- Bytes benutzen

– benötigt eine vorher bekannte Codetabelle

– schwierige Musterfindung bei Einzelbildern und Audiodaten

Page 56: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

56

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 6 Verfahren 6

– Diatomic Encoding• Variante von Static Pattern Substitution:

• Zusammenfassung je zweier Datenbytes.

Z.B. für englisch: 8 häufigste Paare:

'E ', 'T ', 'TH', ' A', 'S ', 'RE', 'IN', 'HE' (Vorsicht: Leerzeichen!)

• Allein Ersetzung dieser durch spezielle Bytes, die sonst nie auftreten ’10% Ersparnis.

Page 57: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

57

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 7 Verfahren 7

• Dynamic Pattern Substitution– Grundidee

• wie Static Pattern Substitution

• Erstellung der Codetabelle aber zur Laufzeit

– Problem• Erkennung der besten Muster

– Beispiel: Unkomprimierte Daten : ABCDEABCEEABCEE Komprimierte Daten : ABCDE11 Tabelleninhalt : 1=ABCEE

• Implementierung – Lempel-Ziv Encoding: in vielen Programmen eingesetzt

Page 58: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

58

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 8 Verfahren 8

• Lempel-Ziv Encoding 1– Grundideen

• Codetabelle wird während der Kompression erzeugt

• jede neue Folge von Bytes in der Codetabelle aufnehmen

– Kompression • sei #i der i-te Index und W der Inhalt von einem Fenster

– Pseudocode 1.) Codetabelle initialisieren mit Alphabet

2.) Fenster = [ W ] mit W = leer

3.) Falls ein Zeichen K vorhanden ist, dann Fenster = [ WK ]

Sonst Index von W ausgeben und Programm beenden

4.) Falls Fensterinhalt in der Codetabelle, dann W = WK, 3.)

Sonst füge WK in die Codetabelle ein, Index von

W ausgeben, setze W = K und springe zu Punkt 3.)

Page 59: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

59

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 9 Verfahren 9

• Beispiel für Lempel-Ziv Kodierung :– Alphabet = { A,B,C } - Originaldaten : ´ABABAAA´

– Lempel-Ziv Kodierung : ´#1 #2 #4 #1 #7´

Page 60: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

60

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 10 Verfahren 10

• Lempel-Ziv Kodierung 3– Anmerkungen

• keine explizite Übertragung der Codetabelle

– Tabellengröße • bestimmt Kompressionsgrad und Geschwindigkeit

• wächst schnell– Speicherplatzprobleme, Index wird zu groß

– erfordert erneute Initialisierung

Page 61: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

61

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 11 Verfahren 11

• Lempel-Ziv Kodierung 4– Dekompression

• inverses Verfahren der Kompression

• Aufbau der Codetabelle – sortiertes Alphabet initialisiert die Codetabelle

– beim ersten dekomprimierten Index passiert nichts

– sonst das vorherige dekodierte Codewort plus erstes Zeichen von dem neuen dekodierten Codewort einfügen

Page 62: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

62

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 12 Verfahren 12

• Lempel-Ziv Kodierung 5– Sonderfall

• Problem : verspäteter Aufbau der Tabelle um einen Schritt

letzter Eintrag aus der Codetabelle wurde benutzt

erster Buchstabe des dekodierten Codewortes wird benötigt

Anfang des zuletzt

dekodierten Codewortes

ist gleich dem Anfang

des neuen

letzter Buchstabe

= erster Buchstabe

Page 63: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

63

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 13 Verfahren 13

• Statistische Kodierung• Zeichen können unterschiedlich lang kodiert werden.

• häufig vorkommende Zeichen werden kurz, selten vorkommende Zeichen werden lang kodiert.

• wichtig: Eindeutige Dekodierung muß möglich sein.

• Beispiele: Huffman, Arithmetische Kodierung (s.u.).

• Huffman Kodierung• Gegeben: Zeichen mit Wahrscheinlichkeit/ (relative)

Häufigkeit ihres Auftretens.

• Darstellung: Kodierung mit minimaler Anzahl benötigter Bits über binären Baum.

• Prefix Code: - variable Symbollänge - kein Codewort ist Prefix eines anderen

Page 64: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

64

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 14 Verfahren 14

• Beispiel (zu Huffman) : – Zahl = Anzahl des (relativen) Auftretens des Zeichens

– p(A) = 10, p(B) = 30, p(C) = 5, p(D) = 8, p(E) = 6’ p(CE) = 11, p(AD) = 18, p(ACDE) = 29, p(ABCDE) = 59

Page 65: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

65

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 15 Verfahren 15

Beispiel (zu Huffman, Fortsetzung) : ’ Kode: w(A) = 011, w(B) = 1, w(C) = 000, w(D) = 010,

w(E) = 001

• Ersichtlich eindeutige Kodierung, da alle Zeichen an Blättern stehen.

• Beispiel: ’ABBAC’ wird kodiert durch: 01111011000

• Bei "üblicher" 3bit-Kodierung: 15 Bit nötig.

• Hier nur : 11 Bit nötig.

• In unserem Kontext:– Tabelle für jedes Einzelbild oder für mehrere Einzelbilder

– resp. für eine Sequenz oder Menge von Sequenzen.

– Dieselbe Tabelle braucht man für Kodierung und Dekodierung.

Page 66: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

66

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 16 Verfahren 16

• Arithmetische Kodierung 1 – Motivation

• Huffman- Kodierung liefert keine ausgeglichenen Bäume

– Beispiel• ein Zeichen kommt zu 90% vor

• ein Bit benötigt bereits zuviel Speicherplatz

– Grundidee• eine Zeichenkette entspricht einem Intervall zwischen [0..1]

• eine Zahl aus dem Intervall repräsentiert die Zeichenkette

• die Auftrittswahrscheinlichkeit bestimmt die Intervallgröße

– anfängliche Festlegung • Reihenfolge • Auftrittswahrscheinlichkeiten • Intervalle

Page 67: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

67

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 17 Verfahren 17

• Arithmetische Kodierung 2– auch optimale Kodierung (wie Huffman).

– kodiert Zeichen immer unter Berücksichtigung aller vorangegangenen Zeichen

’ wahlfreier Zugriff nicht möglich.

Page 68: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

68

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 18 Verfahren 18

• Arithmetische Kodierung 3• Kodierung: Beispiel:

– sei • low( i ) = untere Intervall-

grenze des i-ten Zeichens

• high( i ) = obere Intervall- grenze

• L = 0 und H = 1

– für alle Zeichen i {1..n} berechne : L = L + ( H - L ) ·low( i ) H = L + ( H - L ) ·high( i ) // ( alten L-Wert benutzen )

– wähle eine Zahl zwischen L und H

Page 69: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

69

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 19 Verfahren 19

• Arithmetische Kodierung 4• Beispiel: ´ACB´ entspricht einer Zahl aus [0,12..0,15[ z.B 0.13

Page 70: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

70

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 20 Verfahren 20

• Arithmetische Kodierung 5Zeichen werden nicht einzeln, sondern ganzer String wird

kodiert ’– Anzahl der komprimierten Zeichen

• Länge vorher übergeben

• Endezeichen

– Eigenschaften• kein zufälliger Zugriff möglich

• Kompressionsrate ungefähr wie bei der Huffman Kodierung

Page 71: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

71

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 21 Verfahren 21

• Transformationskodierung– transformiert Daten in anderen mathematischen Raum, in

dem (hoffentlich) besser kodiert werden kann.

z.B.: • Diskrete Kosinustransformation DCT (vgl. später JPEG)

• Wavelets

• Fouriertransformation FFT

Page 72: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

72

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 22 Verfahren 22

• Subbandkodierung– nur selektive Frequenztransformation

– Qualitätskriterium: Anzahl der Bänder

– gut zur Kompression von Sprache

• Prädiktion/relative Kodierung– Grundidee: Kodierung von Differenzen von Bytes resp.

Bytefolgen

– Beispiele:• 1. ein Bild:

– Kanten fl große Differenzwerte für Luminanz/ Chrominanz

– Flächen fl kleine Differenzwerte

– homogene Fläche fl viele Nullen ’ Lauflängenkodierung

Page 73: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

73

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 23 Verfahren 23

• Prädiktion/relative Kodierung (Fortsetzung)

– Beispiele (Fortsetzung)• 2. Bilder über der Zeit:

– Bewegtbilder: beschrieben durch Differenz eines Bildes zum vorherigen.

– z. B. Nachrichtensendung/Bildtelefon: Hintergrund weitgehend gleich.

– Bewegungskompensation über Bewegungsvektor möglich.

• 3. in Audiotechnik: Differential Puls Code Modulation (DPCM)

– Folge von PCM-kodierten Abtastwerten werden dargestellt durch

- erster Abtastwert durch volle Beschreibung

- für die nachfolgenden durch Differenz zum vorherigen Wert.

Page 74: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

74

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 24 Verfahren 24

• Delta Modulation– Variation von DPCM

– Kodierung der Differenzwerte durch genau 1 bit.

– (kleine Differenzen sind dadurch sinnvoll beschreibbar.)

• ! DIFFERENZBILDUNG ist wesentliches Merkmal aller im Multimedia-Bereich eingesetzten Verfahren!

Page 75: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

75

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 25 Verfahren 25

• Adaptive Kompressionsverfahren– Bisherige Verfahren:

• gut in bestimmtem Kontext

• untypische Folgen von Zeichen fl keine Kompression.

– Adaptive Verfahren:• lassen Anpassung des Verfahrens an zu komprimierende

Daten zu.

• Grundidee: – Kodierungstabelle (etwa nach Huffman) durch Zähler je

Eintrag für Vorkommen erweitern.

– Die Zuordnung der Kodewörter durch Änderung gemäß der Häufigkeit der Vorkommen (Zählereinträge!) anpassen!

’ Die häufigst erscheinenden Zeichen werden dann immer am kürzesten kodiert.

Page 76: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

76

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 26 Verfahren 26

Adaptive Verfahren (Fortsetzung)

Beispiel:– Adaptive DPCM (ADPCM, häufig auch nur DPCM).

• wenige Differenzbits beschreiben:– wenige große Differenzen

– wenige kleine Differenzen

• Fehler in diesem Kontext: Slope overload (Signalverzerrung)

• Wertigkeit der Diffbits durch Faktor beschreibbar.

• Änderung der Faktoren adaptiv möglich.

• --> nicht gut geeignet für z.B. Audio mit sich häufig ändernden Anteilen; jedoch:

• CCITT: für Telefonie ADPCM: 8kHz Abtastfrequenz, 4 bit pro Abtastwert.

Page 77: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

77

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - 1.2 Kompression - GrundlegendeGrundlegende Verfahren 27 Verfahren 27

• Weitere grundlegende Verfahren:– Farbtabellen

– Stummschaltung: • Daten werden nur kodiert, wenn der Lautstärkepegel

bestimmten Schwellwert überschreitet.

Page 78: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

78

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 1 (Gliederung)1.2 Kompression - JPEG 1 (Gliederung)

• Anforderungen an JPEG • Übersicht:Schritte im JPEG-Kompressionsverfahren

Bildaufbereitung (für alle Modi)• Bildverarbeitung im 1. Modus (FDCT)• Quantisierung• Entropiekodierung• Erweiterter, verlustbehafteter DCT-basierter Mode• Verlustfreier Mode• Hierarchischer Mode• Zur Qualität

Page 79: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

79

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 2 1.2 Kompression - JPEG 2

• (Joint Photographic Expert Group)• J, da 2 Kommissionen beteiligt waren, wohl 1992

veröffentlicht• für farbige und grauskalierte Standbilder• auch für Bewegtbildsequenzen, dann M(otion)JPEG• als Software oder mit spezieller

Hardwareunterstützung verfügbar.• Vorsicht: z. Teil nur ein Teil von JPEG kommerziell

erhältlich ("Basismode")

Page 80: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

80

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 3 1.2 Kompression - JPEG 3

• Anforderungen an JPEG:– Unabhängigkeit

• von der Bildgröße

• von Höhe zu Breite - eines Bildes - eines Pixels.

• der Farbvielfalt vom verwendeten Farbraum

• von der Komplexität des Bildinhalts

• von den statistischen Eigenschaften des Bildinhalts

– Aktueller Stand bzgl. des Kompressionsgrades und der erreichbaren Bildqualität (nahezu) zu erreichen.

– Softwarelösung sollte auf (möglichst vielen) Standardprozessoren laufen.

Page 81: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

81

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 41.2 Kompression - JPEG 4

• Anforderungen an JPEG (Fortsetzung 1) – Hardwarelösung sollte Komplexität der Verarbeitung

drastisch reduzieren.

– Beim Dekodieren mögliche Alternativen unterstützen:• sequentiellen Bildaufbau

• progressiven Bildaufbau (Bild wird erst nur grob, dann immer feiner gezeigt.)

• verlustfreie Dekodierung

• Kodierung mit unterschiedlichen Auflösungen desselben Bildes.

Page 82: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

82

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 51.2 Kompression - JPEG 5

• Anforderungen an JPEG (Fortsetzung 2)

– ’ obige "Parametrisierbarkeit" läßt Wahl zu unter:• Qualität des reproduzierten Bildes

• Dauer der Kompression

• Größe des komprimierten Bildes

– Möglichkeit: nur Kodierer oder Dekodierer nötig

– Austauschformat nach JPEG:• Parameter + Tabellen des Kodierprozesses

(Manchmal nur als "abbreviated Format", wenn gewisse "Meta"daten aus dem Kontext schon bekannt)

• Bilddaten

Page 83: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

83

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 61.2 Kompression - JPEG 6

• Übersicht:Schritte im JPEG-Kompressionsverfahren

Page 84: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

84

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 71.2 Kompression - JPEG 7

JPEG-Modi:

1. Baseline Process, Basis Mode– verlustbehafteter, sequentieller DCT-basierter Mode (muß

von jedem JPEG-Decoder unterstützt werden.)

2. Erweiterter verlustbehafteter DCT-basierter Mode– stellt Menge von Alternativen zur Verfügung.

3. Verlustfreier Mode--> verlustfreie Reduktion; geringerer Kompressionsfaktor

4. Hierarchischer Mode– liefert mehrere, unterschiedliche Auflösungen pro Bild

– verwendet Algorithmen aus 1.-3.

Page 85: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

85

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 81.2 Kompression - JPEG 8

• Bildaufbereitung (für alle Modi) – Zu beantwortende Frage:

• Wie wird ein (unkomprimiertes) Bild beschrieben und zur Verarbeitung in Teilinformationen zerlegt ?

– Nach obigem: • Viele Parameter offen, jedoch werden folgende

Voraussetzungen an die Beschreibung des unkomprimierten Bildes gestellt:

– Ein Bild besteht aus N Ebenen/Komponenten Ci 1≤i≤N, 1≤N≤255.

Page 86: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

86

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 91.2 Kompression - JPEG 9

• Bildaufbereitung (für alle Modi; Fortsetzung 1)

– Pro Pixel: p bit Beschreibungstiefe• p = 8, 12, falls verlustbehafteter Modus

• 2≤ p ≤ 12 , falls verlustfreier Modus.

• Ansonsten vorweg Transformation in eine solche Darstellung.

Page 87: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

87

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 101.2 Kompression - JPEG 10

• Bildaufbereitung (für alle Modi; Fortsetzung 2) – Für 1≤i≤N: Xi Spaltenzahl, Yi Zeilenzahl.

Beispiel 1: Beispiel 2: Homogene Auflösung Heterogene Auflösung

der Ebenen der Ebenen

Page 88: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

88

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 111.2 Kompression - JPEG 11

• Bildaufbereitung (für alle Modi; Fortsetzung 3)

Konkrete Notation eines Bildes durch :– (N, p, y, x, Vmax, Hmax, (i, Vi, Hi) 1≤i≤N), wobei:

• x := Min i = 1,.., N Xi , y := Min i = 1,.., N Yi

• (X := Max i = 1,.., N Xi , Y := Max i = 1,.., N Yi)

• Hi := Xi/x; Vi := Yi/y

• (Hmax := Max i = 1,.., N Hi , Vmax := Max i = 1,.., N Vi)

– Dabei Voraussetzung: 1≤Hi ,Vi≤4 für Hi, Vi¿§

– Festlegung: Dateneinheit:• 1 Pixel, falls verlustfreier Modus

• Block aus 8*8 Pixel, falls ein verlustbehafteter Modus

Page 89: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

89

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 121.2 Kompression - JPEG 12

• Bildaufbereitung (für alle Modi; Fortsetzung 4)

Verarbeitung:– nicht über Ebenen

verschachtelt:

– über Ebenen verschachtelt (Interleaving):• Problem: zusammengehörige Informationen sind zu

verarbeiten, trotz evtl. unterschiedlicher Auflösung der verschiedenen Ebenen.

• führt zum Begriff der MCU: Minimum Coded Units

Page 90: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

90

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 131.2 Kompression - JPEG 13

• Bildaufbereitung (für alle Modi; Fortsetzung 5)

– Beispiel:

– Vorgehen: • Zerlege jede Komponente/Ebene in Regionen, so daß die

Anzahl der Regionen für jede Ebene gleich groß ist.

• Die jte MCU enthält jeweils die jte Region der Ebene i (für 1≤i≤N).

Page 91: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

91

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 141.2 Kompression - JPEG 14

• Bildaufbereitung (für alle Modi; Fortsetzung 6)

– Für JPEG gilt:• Jede MCU erfüllt:

– Maximal 4 Komponenten können derart verschachtelt kodiert werden

– maximal 10 Dateneinheiten können enthalten sein.

– (Ende Bildaufbereitung für alle Modi.)

Page 92: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

92

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 151.2 Kompression - JPEG 15

• Bildverarbeitung im 1. Modus (FDCT)– Überblick:

– unkomprimiertes Bild wird in Dateneinheiten zu je 8*8 Pixel zerlegt

– p = 8 [bit]

Page 93: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

93

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 161.2 Kompression - JPEG 16

• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung1)

– Bildverarbeitung für je 8x8 Pixel:

(F)DCT: Diskrete Cosinus Transformation• Beschreibe dazu 8*8 Pixel so:

• Verschiebe Wertebereich von [0,255] nach [-128, 127]

• Dann gilt: Pixelwerte syx aus [-128, 127] für 0≤x,y≤7

• Wende darauf FDCT (Forward DCT) an:

• Svu = (1/4) cu cv x= 0,.., 7 y= 0,.., 7

syx cos((2x+1)u/16) cos((2y+1)v/16)

• mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1 für u,v [0,7].

Page 94: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

94

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 171.2 Kompression - JPEG 17

• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung2)

– Dies ist interessant, da folgende Interpretation:• Svu interpretierbar als "zweidimensionale" Frequenz.

• Beispiele:– S00 DC- Koeffizient

(fl Gleichspannungsanteil; direct current)

bestimmt Grundfarbton für die 64 Pixeldateneinheiten

– andere: AC - Koeffizienten (fl Wechselspannungsanteil)

– S70 = höchste Frequenz, die nur in waagerechter Richtung auftritt, d. h. dichtest mögliches Muster senkrechter Streifen.

– S77 maximal, wenn 8*8 Dateneinheit aus möglichst vielen, d.h. 1*1 Karos

Page 95: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

95

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 181.2 Kompression - JPEG 18

• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung3)

– "zweidimen-

sionale"

Frequenzen

Page 96: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

96

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 191.2 Kompression - JPEG 19

• Bildverarbeitung 1. Modus(FDCT) (Fortsetzung 4)

– Rücktransformation durch IDCT (Inverse DCT) :• syx = (1/4) u= 0,.., 7 v= 0,.., 7

cu cv Svu cos((2x+1)u/16) cos((2y+1)v/16)

mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1.

– Anmerkungen:• Cos-Werte in Tabelle erfaßbar.

• Hin- und Rücktransformation nicht exakt.

• Genauigkeit durch JPEG nicht vorgeschrieben.

• Flächen erzeugen viele AC-Koeffizienten zu Null oder fast Null.

Page 97: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

97

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 201.2 Kompression - JPEG 20

• Quantisierung – Erzeugt Verlustbehaftung

– pro Block: 64 Quantisierungseinträge; individuell einstellbar (vom Bildmaterial abhängig)

• Bildqualität <--> Kompressionsgrad einstellbar

– Qvu 8bit ganzzahlige Werte gemäß:

• sqvu = round Svu/Qvu.

• Je größer Tabelleneinträge, desto gröber die Quantisierung.

– Dequantisierung mit derselben Tabelle gemäß

• Rvu = sqvu* Qvu

Page 98: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

98

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 211.2 Kompression - JPEG 21

• Entropiekodierung – Vorbereitung der Verarbeitung in der Kodierung

• i.a. unterschiedliche Behandlung von DC- und AC - Koeffizienten

• DC-Wert: beschreibt Grundfarbton, differieren i.a. wenig von Block zu Block. Daher:

– Differenzbildung benachbarter Werte

Page 99: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

99

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 221.2 Kompression - JPEG 22

• Entropiekodierung (Fortsetzung 1) – AC-Werte: "Zick-Zack"- Verarbeitung

nach steigenden

Frequenzen

(entspricht meist

fallenden Werten

--> 0)

Page 100: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

100

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 231.2 Kompression - JPEG 23

• Entropiekodierung (Fortsetzung 2)

– JPEG-Entropiekodierung• Zunächst Lauflängenkodierung (von Nullwerten)

• dann: Huffman (/z. T. Arithmetische Kodierung)

--> Liefert ISO- Intermediate-Symbol-Sequenz- Format

i. w. folgende alternierende Angaben:• Anzahl der folgenden Koeffizienten mit dem Wert Null

• für die Darstellung des danach folgenden Koeffizienten benutzte Anzahl an Bits

• Wert des Koeffizienten, dargestellt mit der angegebenen Anzahl an Bits

Page 101: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

101

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 241.2 Kompression - JPEG 24

• Entropiekodierung (Fortsetzung 3)

– Zudem:• AC- Werte fi0 sowie DC- Werte werden so dargestellt, daß

Anzahl benötigter Bits von der Größe des Wertes abhängt– AC-Werte: 1-10 bits

– DC-Werte: 1-11 bits (i.a. höhere Auflösung)

• Huffman: – keine Lizenzgebühren für Patente

– schlecht: Anwendung hat Kodierungstabellen bereitzustellen.

• Hier verwendet man: sequentielle Kodierung

Page 102: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

102

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 251.2 Kompression - JPEG 25

• Bildaufbau bei Dekodierung– Beispiel:

Page 103: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

103

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 261.2 Kompression - JPEG 26

• Erweiterter, verlustbehafteter DCT-basierter Mode– Unterschiede zum 1. Mode:

• p = 8 oder 12

• Neben sequentieller Kodierung: progressive Kodierung

(fl Layered Coding)

– Erlaubt folgenden Bildaufbau bei Dekodierung• Beispiel:

Page 104: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

104

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 271.2 Kompression - JPEG 27

• Erweiterter, DCT-basierter Mode (Fortsetzung 1)

– Wird erreicht durch:• Erweiterung der Quantisierung

--> Alle quantisierten Werte kommen in Puffer

--> Selektive Weiterverarbeitung – Spectral Selektion:

» zuerst: nur Koeffizienten der niedrigen Frequenzen

» danach: auch Koeffizienten der höheren Frequenzen

– Successive Approximation:» alle Koeffizienten werden übertragen.

» jedoch nach Wertigkeit weiterverarbeitet

– Neben Huffman: Arithmetischer Kode • Patentschutz (noch?) - paßt sich autom. den statistischen Eigensch.

des Bildes an.- > keine Tabellen auf Seiten der Anwendung nötig.

Page 105: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

105

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 281.2 Kompression - JPEG 28

• Erweiterter, DCT-basierter Mode (Fortsetzung 2)

Verschiedene alternative Kombinationen in den Teilschritten:

Bildaufbau Bits/ Abtastwert Entropiekodierungsequentiell 8 Huffman - Kodierung

sequentiell 8 Arithmetische Kodierung

sequentiell 12 Huffman-Kodierung

sequentiell 12 Arithmetische Kodierung

progressiv sukzessive 8 Huffman-Kodierung

progressiv spektral 8 Huffman-Kodierung

progressiv sukzessive 8 Arithmetische Kodierung

progressiv spektral 8 Arithmetische Kodierung

progressiv sukzessive 12 Huffman-Kodierung

progressiv spektral 12 Huffman-Kodierung

progressiv sukzessive 12 Arithmetische Kodierung

progressiv spektral 12 Arithmetische Kodierung

Page 106: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

106

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 291.2 Kompression - JPEG 29

• Verlustfreier Mode

– Start: • Dateneinheit: Pixel mit 2- 16 bit Beschreibungstiefe.

Statt Transformationskodierung:

Page 107: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

107

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 301.2 Kompression - JPEG 30

• Verlustfreier Mode (Fortsetzung 1)

– Prädiktionsverfahren • Für Pixel X : 1-8 Prädiktoren

Aufgabe: Möglichst gute

Vorhersage von X aus

den bekannten A,B,C

Selektionswert Prädiktion Selektionswert Prädiktion

0 keine Prädiktion 4 A + B + C

1 A 5 A + (B-C)/2

2 B 6 B + (A-C)/

3 C 7 (A + B)/2

Selektionswert sowie Prä(X) - X werden entropiekodiert.

Page 108: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

108

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 311.2 Kompression - JPEG 31

• Hierarchischer Mode– nach Bedarf: - verlustbehaftet -verlustfrei

– Kodierungen je eines Bildes mit (mehreren) unterschiedlichen Auflösungen

• 1. Digitalisiertes Bild "um den Faktor 2n herabsetzen" --> komprimieren

• 2. Digitalisiertes Bild "um den Faktor 2n-1 herabsetzen"

--> Bild gemäß 1 davon abziehen ("Differenzbild")

--> komprimieren• 3. 2. geeignet iterieren, bis "vollständiges" Bild

komprimiert.

• Damit Skalierung einfach möglich.

Page 109: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

109

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 321.2 Kompression - JPEG 32

• Hierarchischer Mode (Fortsetzung) – Vorteil:

• Anwendung verarbeitet die Auflösung, die ihr angepaßt ist.

--> Berechnung der reduzierten Informationen aus den detailliert beschriebenen Bildern durch die Anwendung nicht nötig.

– Nachteil: • Kodierung ist rechen- und speicherplatzintensiv.

Page 110: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

110

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - JPEG 331.2 Kompression - JPEG 33

• Zur Qualität– Für DCT-kodierte Einzelbilder:

• 0,25 bis 0,50 bit/Pixel :Mäßige bis gute Qualität, für einige Anwendungen ausreichend.

• 0,50 bis 0,75 bit/Pixel: Gute bis sehr gute Qualität, für viele Anwendungen ausreichend.

• 0,75 bis 1,50 bit/Pixel: Ausgezeichnete Qualität, für die meisten Anwendungen ausreichend.

• 1,50 bis 2,00 bit/Pixel: Meistens vom Original nicht mehr zu unterscheiden. Genügt fast allen

Anwendungen, selbst bei höchsten Qualitätsansprüchen.

– Im verlustfreien Modus:• Kompressionsgrad 2:1 im Mittel.

Page 111: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

111

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - H.261 (px64) 11.2 Kompression - H.261 (px64) 1

• Bewegtbildstandard• Für Einsatz bzgl. ISDN gedacht für z. B.:

– Bildtelefon - Videokonferenzsysteme

--> Kodierung + Dekodierung in Echtzeit

– jetzt: für Videokompression auf p x 64 Kbit/sec mit p = 1, 2, . .., 30

• H. 261 Video Codec for Audiovisual Services at p x 64 kbit/s– Coder/Decoder

– 1990 verabschiedet

– Voraussetzung: Kompression + Dekompression ≤ 150 msec Signalverzögerung.

Page 112: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

112

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - H.261 (px64) 21.2 Kompression - H.261 (px64) 2

• Bildaufbereitung– Präzise(re) Voraussetzungen:

• Am Eingang anliegende Bildwechselfrequenz: 29,97 = 30000/1001 (wieso?)

• Geringere Bildwechselfrequenzen für Übertragung zugelassen (z.B. 10-15)

• Nicht Zeilensprungverfahren.

• Bild mit Y Luminanz, Cb,Cr Chrominanzdifferenzen (gemäß CCIR 601)

• 2:1:1 kodiert (vgl. YUV (Fernsehen); entspricht wohl 4:2:2)

Page 113: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

113

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - H.261 (px64) 31.2 Kompression - H.261 (px64) 3

• Auflösungen: 4:3 Seitenformat– CIF (Common Intermediate Format) : optional

• 288*352 Pixel Luminanz

• 144*176 Chrominanz

– QCIF (Quarter CIF) : vorgeschrieben• 144*176 Pixel Luminanz

– Zur Hilfe: [(2*3*3*8) *(2*11*8)] für unten

• 72* 88 Chrominanz [(3*3*8) *(11*8)]

• Nötiger Kompressionsgrad, um mit QCIF über 1 ISDN-

B-Kanal zu kommen: 1: 47,5. (bei 10 Bildern/sec)• Heute technisch machbar.

• CIF benötigt 6 ISDN-B-Kanäle

Page 114: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

114

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - H.261 (px64) 41.2 Kompression - H.261 (px64) 4

• Verwendete Unterteilung je eines Bildes:– Jede Komponente in Blöcke zu 8*8 Pixel

– Makroblock: 4 Blöcke für Y, je 1 für Cb und Cr

– Gruppe von Blöcken: 3*11 Makroblöcke

– QCIF-Bild: 3 Gruppen

– CIF-Bild: 12 Gruppen

Page 115: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

115

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - H.261 (px64) 51.2 Kompression - H.261 (px64) 5

• Kodierungsverfahren– Intraframe. Zur Kodierung werden nur Daten eines Bildes

verwendet

(vgl. Intrapicture bei MPEG; s.u.)

– Interframe: Zur Kodierung werden Daten aus mehreren Bildern verwendet.

(vgl. P-Bilder in MPEG; s.u.).

– Norm schreibt hier keine Parameter fest.

– Zu Intraframe:• 8*8 Pixelblock mit DCT (wie bei JPEG)

• DC und AC Koeffizienten unterschiedlich quantifiziert

• Kodierung mit Kode variabler Länge.

Page 116: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

116

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - H.261 (px64) 61.2 Kompression - H.261 (px64) 6

– Zu Interframe:• Für jeden Makroblock mit Prädiktion möglichst ähnlichen

Block im vorangegangenen Bild suchen.

Relative Lage über Bewegungsvektor festlegen. • Bewegungsvektor nicht zwingend vorgeschrieben• Möglich: Differenzen zwischen sequentiell

aufeinanderfolgenden Makroblöcken kodieren.

• Datenstrom – ist in H.261 in Schichten aufgeteilt. Unterste Schicht:

– Eigenschaften: komprimierte Bilder

• Fehlerkorrektur möglich • Jedes Bild hat 5 bit lange Bildnummer • Letztes Bewegtbild kann als Standbild "eingefroren" werden. • ........

Page 117: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

117

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG1.2 Kompression - MPEG

• Vorbemerkungen zu MPEG– MPEG: Moving Picture Expert Group

– Derzeitige Fassungen: (eine Klassifikation, zitiert nach: MPEG Video Webpage,

http://bs.hhi.de/mpeg-video/ (5.5.99)

• MPEG-1: Standard zur Speicherung und zum Information Retrieval bewegter Bilder und assoziiertem Audio auf Speichermedien

• MPEG-2: Standard für digitales TV

Noch in Entwicklung:

• MPEG-4: Standard für Multimedia-Anwendungen

• MPEG-7: Standard zur Inhaltsrepräsentation für die Inhaltssuche

Page 118: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

118

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 11.2 Kompression - MPEG-1 1

• Vorbemerkungen zu MPEG-1• MPEG-1:

• Zur Bearbeitung von Algorithmen zur Audio- und Bewegtbildkodierung.(s.u.)

• Interntl. Standard seit 92 (MPEG-1 „approved“ Nov. 92).

• berücksichtigt andere Normierungen– JPEG: Bewegtbild entspricht Folge von Standbildern; JPEG

lag früher vor.

– H.261

• MPEG 1: Datenrate ≤ 1856 Kbit/s (lt. Steinmetz ‚93)

• MPEG-1: Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s

drogo.cselt.stet.it/mpeg/standards/mpeg-1/mpeg-1.htm (5.5.99)

Page 119: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

119

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 21.2 Kompression - MPEG-1 2

– Geeignet für symmetrische und asymmetrische Kompression (incl. Audio)

– MPEG spezifiziert: - Video - Audio - Systemdefinition

• Videokodierung– Bildaufbereitung (ähnlich H.261)

• Bild ist beschrieben durch: – Y Luminanz,

– Cb,Cr Farbdifferenzkomponenten

– Y hat in horizontaler und vertikaler Richtung je doppelte Auflösung (Color Subsampling)

• Es sollte sein: Räumliche Auflösung ≤ 768*576 Pixel

Page 120: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

120

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 31.2 Kompression - MPEG-1 3

• Bildaufbereitung (Fortsetzung)– p = 8 in jeder Ebene

– Weitere Infos bei MPEG:• 14 unterschiedliche Seitenverhältnisse von Pixeln

• 8 Bildwechselfrequenzen: 23,976 Hz, 24 Hz, 25 Hz, 29,97 Hz, 30 Hz, 50 Hz, 59,94 Hz, 60 Hz.

– Verwendung von Prädiktoren für Bildbereiche

– Aufbau eines Bildes aus Bereichen:• Block : 8*8 Pixel• Makroblock: - 16*16 Pixel Luminanz, - 8*8 Pixel je Chrom.

diese 6 Blöcke werden sequentialisiert

– --> der Anwender hat keine MCUs zu definieren– 3 Komponenten werden gemeinsam komprimiert/ dekompr.

• kein progressiver Bildaufbau (Bildaufbau in max 41,7 ms)

Page 121: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

121

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 41.2 Kompression - MPEG-1 4

• Bildverarbeitung – 4 unterschiedliche

Bildkodierungsarten:

wegen: effiziente

Kodierung <-->

wahlfreier Zugriff

auf Einzelbild/Frame

– Bildarten: I-, P-, B-, D- Bilder

Page 122: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

122

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 51.2 Kompression - MPEG-1 5

• Bildverarbeitung (Fortsetzung 1)Beschreibung grob. (Zu Einzelheiten vgl. [Steinmetz ´93])

– I-Bilder (Intra Coded Pictures)• wird als Standbild (Einzelbild) behandelt.

• wie in JPEG (8*8 Blöcke, DCT, DPCM für DC-Koeff, ....)

• Kompression jedoch in Echtzeit nötig --> geringe Kompressionsrate

• bilden Anker für wahlfreien Zugriff

– P-Bilder (Predictive Coded Pictures)• verwenden vorangegangene I- resp. P-Bilder

--> Bewegungsschätzung: (Algorithmus ist nicht vorgeschrieben; nur die Kodierung des Ergebnisses. Bewegungsvektor + Differenzbild)

Page 123: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

123

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 61.2 Kompression - MPEG-1 6

• Bildverarbeitung (Fortsetzung 2)Bewegungsvektoren häufig (fast) gleich. Daher dafür DPCM-

Kodierung.

--> höhere Kompressionsrate als I-Bilder.

• Makroblöcke in P- Bildern auch wie in I-Bildern kodierbar.

• Im Prinzip gleich, im Detail anders als bei JPEG.

– B-Bilder (Bidirectionally Predictive Coded Pictures)• verwendet vorangegangene und nachfolgende I- und P-

Bilder

--> höchste Kompressionsrate

Page 124: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

124

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 71.2 Kompression - MPEG-1 7

• Bildverarbeitung (Fortsetzung 3)• Beispiel (zu sinnvollem Einsatz von B-Bildern):

Bewegung eines Balles von links nach rechts vor statischem Hintergrund. Geben sukkzessive Teile des Hintergrundes frei. Daher Ableitung aus nachfolgenden Bildern günstig.

• u.a. Interpolation von Makroblöcken.

• B-Bilder werden nicht im Dekoder als Referenzbilder gespeichert.

– D-Bilder (DC-Coded Picture)• intraframekodiert; nur DC-Parameter (, resp.

niederfrequente AC) • für schnellen Vorlauf

• diese Funktionalität kann auch durch periodisch auftretende I-Bilder erreicht werden

Page 125: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

125

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 81.2 Kompression - MPEG-1 8

• Bildverarbeitung (Fortsetzung 4)– Weitere Anmerkungen:

• Reihenfolge der Bilder in der Dekodierung und der Präsentation können unterschiedlich sein. (vgl. Beispiel oben + unten)

• Rückwärtslauf hier (evtl.) aufwendig, da Group of Pictures vorher zu verarbeiten .

• In praktischen Anwendungen von MPEG:– Bildfolge : I BBPBBPBB I BBPBBPBB I ....

--> Wahlfreier Zugriff auf jedes 9. Bild.

• (Mindestens alle 15 Bilder je ein I Bild gefordert.)

Page 126: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

126

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 91.2 Kompression - MPEG-1 9

• Quantisierung– wird an Bedarf angepaßt

• Audiokodierung– Abtastraten: eine aus 32 kHz, 44,1 kHz, 48kHz;

Abtastung mit 16 bit.

– Kompression je Audiosignal: – zu einem von 64, 96, 128, 192 kbit/sec.

– Vorverarbeitung: FF - Transformation (--> also Infos in Spektraldarstellung)

– Zerlegung des Frequenzbereichs in 32 (disjunkte) Bereiche (Bänder).

• Können unterschiedlich gewichtet quantisiert werden.

Page 127: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

127

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 101.2 Kompression - MPEG-1 10

• Audiokodierung (Fortsetzung)

– 3 Qualitätsstufen:• Stufe 1+2: PCM-kodiert

• Stufe 3: PCM-kodiert + Huffman

– verarbeitbar: • 1 Kanal,

• 2 unabhängige Kanäle

• Joint Stereo: nutzt Abhängigkeiten zwischen beiden Kanälen

– kompatibel zu:• CD-DA (Compact Disc - Digital Audio)

• DAT (Digital Audio Tape)

Page 128: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

128

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 111.2 Kompression - MPEG-1 11

• DatenstromMPEG spezifiziert feste Syntax für Audio- und Videodaten-

strom

– Audiostrom • besteht aus Frames, diese aus Audio Access Units, diese

wiederum aus Slots.• Slot: bei niedrigster Komplexität der Kodierung: 4 Byte, sonst

1 Byte• Audio Access Unit: kleinstmögliche Audiosequenz

komprimierter Daten, die unabhängig von allen übrigen Daten vollständig dekodiert werden kann.

– Spieldauern hierfür:- 48kHz: 8ms - 44.1 kHz: 8,7ms - 32

kHz: 12 ms

• Frame: feste Anzahl von Abtastwerten

Page 129: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

129

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 121.2 Kompression - MPEG-1 12

• Datenstrom (Fortsetzung 1)– Videostrom: 6 Schichten

• Sequence

• Group of

pictures

• Picture

• Slice

• Makroblock

• Block

Page 130: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

130

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 131.2 Kompression - MPEG-1 13

• Datenstrom (Fortsetzung 1)– Videostrom: (Fortsetzung)

• Sequence Layer: Steuert Zwischenspeicherung der Daten– Angaben enthalten u.a.:

» für Sequenz konstante Bitrate

» für Dekodierung min. Speicherplatz

– Video Buffer verifier: Sitzt hinter Quantisierer. Wird zur Überprüfung der durch die Dekodierung entstehenden Verzögerungszeit verwendet.

– Zwischen Sequenzen können grundlegende Parameter des Dekoders neu gesetzt und Initialisierung durchgeführt werden.

Page 131: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

131

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 141.2 Kompression - MPEG-1 14

• Datenstrom (Fortsetzung 2)– Videostrom (Fortsetzung 1)

• Group of Pictures Layer: – Enthält mindestens ein I-Bild (und das an erster Stelle)

.

– Folge im Datenstrom und in der Präsentation können unterschiedlich sein

Beispiel:» Reihenfolge bei der Darstellung:

Bildart B B I B B P B B P B B I

Bildnummer 0 1 2 3 4 5 6 7 8 9 10 11» Reihenfolge im Datenstrom:

Bildart I B B P B B P B B I B B

Bildnummer 2 0 1 5 3 4 8 6 7 11 9 10

Page 132: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

132

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 151.2 Kompression - MPEG-1 15

• Datenstrom (Fortsetzung 3)– Videostrom (Fortsetzung 2)

• Picture Layer: beinhaltet

– je ein gesamtes Einzelbild

– zeitlicher Bezug über Bildnummer

– (noch freie weitere Datenfelder [für Erweiterungen])

• Slice Layer– besteht aus Anzahl von Makroblöcken, die sich von Bild zu

Bild ändern können.

– enthält u.a. Skalierung der DCT-Quantisierung für dieses slice.

• Macro Block Layer

• Block Layer

Page 133: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

133

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 161.2 Kompression - MPEG-1 16

• Systemdefinition– Zusammenfassung von Audio- und Videostrom.

– Multiplexen incl. • Koordination beim Datentransfer zwischen einkommenden

und ausgehenden Datenströmen

• Justage von Uhren

• Puffermanagement

– Zerlegung des Datenstroms (nach ISO 11172) in Packs. • Erster Pack enthält Infos z.B. über maximal auftretende

Datenrate. (Headerinfos).---> Dies Vorgehen kritisch bei Verteilungsanwendung (etwa

späteres Aufschalten!).

– MPEG setzt zur Synchronisation erforderliche Zeitstempel.

Page 134: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

134

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 171.2 Kompression - MPEG-1 17

• Systemdefinition (Fortsetzung 1)– Prototypischer ISO/IEC 11172 Dekoder:

Page 135: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

135

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-1 181.2 Kompression - MPEG-1 18

• Anmerkungen– MPEG verlangt nicht Kompression in Echtzeit.

– MPEG spezifiziert Prozeß der Dekompression, nicht den Dekoder selbst.

– Weitgehend verfügbar: MPEG 1Datenrate: 1.5

Mbit/s

– Wichtig: Qualität, Kompressionsfaktor

– Unwichtig: Kompressionszeit

Page 136: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

136

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 11.2 Kompression - MPEG-2 1

• MPEG-2 (ISO 13818) Referenzen: (Stand: 14.6.98)

– Startseite zu MPEG-2 (ISO 13818): http://www.mpeg2.de/

– MPEG-2-Dokumentation:

http://www.mpeg2.de/doc/index.htm

– Video-Codierung mit MPEG-2: Breites Spektrum (deutsch) (*)http://www.mpeg2.de/doc/mpuo05/mpuo05.htm

– MPEG-2 FAQ Table of Contentshttp://bmrc.berkeley.edu/projects/mpeg/faq/mpeg2/

Page 137: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

137

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 21.2 Kompression - MPEG-2 2

• MPEG-2 (ISO 13818) Referenzen: Fortsetzung

– Überblicke zu MPEG (u.a. MPEG-2):• The MPEG Home Page:

– http://drogo.cselt.stet.it/mpeg/ (5.5.99)

• MPEG and multimedia communications (Leonardo Chiariglione) ["Vater" von MPEG]http://drogo.cselt.stet.it/ufv/leonardo/paper/isce96.htm (**)

• Recent advances in video compression http://www.stud.ee.ethz.ch/%7Erggrandi/intro.html

• Anmerkung:– Dieses Material v.a. nach (*) zusammengestellt.

Page 138: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

138

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 31.2 Kompression - MPEG-2 3

• Entwicklungstufen des Standards ISO 13818 (MPEG-2):– Working Draft 1 November 1992

– Comittee Draft November 1993

– Draft International Standard März 1994

– International Standard November 1994

– "Generische Kodierung von Bewegtbildern und synchronisiertem Audio" (übersetzt)

Page 139: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

139

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 41.2 Kompression - MPEG-2 4

• Ziele: – MPEG 1:

• Kodierung von Video auf CD-ROMs

• Anwendungen bei: Video-CDs (CD-V/heute: DVD), CD-Interactive (CD-I), Spieleconsolen

Page 140: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

140

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 51.2 Kompression - MPEG-2 5

• Ziele (Fortsetzung):– Ziele für MPEG 2:

• Für Einsatz im Fernsehfunk (broadcasting):

• Einsatzgebiete: – Video-On-Demand im Consumerbereich (Home Cinema)

– hochqualitative und verlustfreie Übertragung von Video im Studiobereich

» Verringerung der Kosten bei Satellitenübertragungen

» Nicht: Videokonferenzen (dazu: --> H.261)

» (würde: --> synchrones Kodierungsverhältnis, geringe Kodierverzögerung)

– in MPEG-2: – Verzögerung zwischen analogem Eingangsstrom und

digitalem Videodatenstrom: 1/2 bis 3 Sekunden.

Page 141: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

141

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 61.2 Kompression - MPEG-2 6

• Systemansatz:– Kombination eines oder mehrerer elementarer Video- und

Audioströme mit weiteren Daten in • einen oder mehrfachen Strom zur

– Speicherung

– Übertragung

– Spezifiziert in • Program- und

• Transportstrom

– (Vgl. Bild nächste Seite)

Page 142: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

142

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 71.2 Kompression - MPEG-2 7

• Systemansatz (Fortsetzung):

Page 143: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

143

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 81.2 Kompression - MPEG-2 8

• Verwendete Mechanismen (für Videos): – bei MPEG-1 und MPEG-2 ähnlich:

• Einzelbilder kodieren – mit temporären Abhängigkeiten (IPB-frames) und

– zeitlichen Verschiebungen von Bildinhalten (motion vectors).

• Mathematische Verfahren zur Datenreduktion: – Diskrete-Cosinus-Transform-Kodierung,

– Huffman- und Lauflängenkodierung.

– Ungleicher Kodier-/Dekodier-Aufwand: Studio-/Home-Hardware

Page 144: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

144

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 91.2 Kompression - MPEG-2 9

• MPEG-2 ermöglicht:– Skalierbarkeit:

• schnellere Dekodierhardware ---> erhöhte Bildqualität

• räumlich: für 16:9 HDTV-Bild Abwärtskompatibilität zu herkömmlichem 4:3.

• Bitrate bis 10 Mbit/s.

– erhebliche Flexibilität des Videoteils:• verschiedene Bildformate

• wahlfreie Bildqualität

• variable Bitraten

Page 145: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

145

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 101.2 Kompression - MPEG-2 10

• MPEG-2 ermöglicht: (Fortsetzung 1)– erhebliche Flexibilität des Videoteils (Fortsetzung)

• channel hopping: wahlfreier Zugriff auf verschiedene Videokanäle

• nachträgliche und einfache Editierung des kodierten Bitstroms

• trick modes (z.B. für effektreiche Überblendungen)

• Wiederholung des Kodier- /Dekodiervorgangs darf nicht zu weiteren Qualitätsverlusten führen.

Page 146: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

146

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 111.2 Kompression - MPEG-2 11

• MPEG-2 ermöglicht: (Fortsetzung 2) – Audioteil

der Kodierung muß mehrere Kanäle (--> Multilingualität) und niedrigere Sampling-Frequenzen unterstützen.

– Rückwärtskompatibilität zu MPEG-1 und H.261u.a.: MPEG-2 Kodierer realisieren Sub-Kodierer, die exakt

rückwärtskompatible Datenströme erzeugen.

z.B.: MP@ML: Video Main Profile + Video Main Level ist MPEG-1 ähnlich.

Page 147: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

147

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 121.2 Kompression - MPEG-2 12

• Kodierungs"methoden": - Profiles und Levels - Scalability - Security

– Profiles (complexity of compression) und

Levels (sample rate, framedimension, coded bitrates)• schränken die zur Verfügung stehenden Parameter der

Kodierung ein, um dieseEinschränkungen dann in den Kompressionsalgorithmen ausnutzen zu können.

• Standardisieren Kodierungsparameter.

Page 148: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

148

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 131.2 Kompression - MPEG-2 13

• Kodierungs"methoden":(Fortsetzung 1)– Profile und Level in MPEG-2:

Page 149: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

149

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 14 1.2 Kompression - MPEG-2 14

• Kodierungs"methoden":(Fortsetzung 2)– Sampling Größen und Bitraten:

Page 150: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

150

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 15 1.2 Kompression - MPEG-2 15

• Scalability:• ist die Möglichkeit des Dekoders, Teile eines Datenstroms

zu ignorieren und doch sinnvolle und angepaßte Video- und Audioausgaben zu erzeugen. --> MPEG-2 weitgehend speicher- und übertragunsmedienunabhängig.

Page 151: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

151

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 16 1.2 Kompression - MPEG-2 16

• Kodierungs"methoden":(Fortsetzung 3)– Zeitliche Scalability

• Bildrate kann erhöht werden, indem in den normalen Ablauf des "Base Layers“ zusätzliche B-frames des "Enhancement Layers" dekodiert werden.

Page 152: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

152

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 17 1.2 Kompression - MPEG-2 17

• Kodierungs"methoden":(Fortsetzung 4) – Qualitative Scalability

• anstelle der ungenaueren B-frames des "Base Layers"werden P-frames des "Enhancement Layers" dekodiert und angezeigt.

Page 153: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

153

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 18 1.2 Kompression - MPEG-2 18

• Kodierungs"methoden":(Fortsetzung 5)– Pan-Scan-Scalability: ermöglicht die Definition von

Ausschnitten im aktuellen Bild. Diese Ausschnitte können zwar von Bild zu Bild unterschiedlich eingeteilt werden, die Hauptanwendung ist jedoch die Definition eines 4:3 Fernsehbildes innerhalb eines 16:9

HDTV-Bildes.

Page 154: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

154

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 191.2 Kompression - MPEG-2 19

• Kombinationsmöglichkeiten:

Page 155: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

155

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 201.2 Kompression - MPEG-2 20

• Weitere Möglichkeiten von MPEG-2:– Sicherheit (Vertraulichkeit + Integrität) wird unterstützt

(nicht ausgeführt.)

– Makroblock-Scalability:einzelne Macroblöcke können mehrfach, in verschiedenen

Qualitätsstufen kodiert werden.

– Block-based Motion Compression Prediction (MCP):• das Erkennen von relativen Bewegungen einzelner Blöcke

im Vergleich von Bild zu Bild wird im MPEG-2 Format viel einfacher realisiert.

– Frame Motion Prediction:• Das Auffinden von ganzen, gleichen Frames innerhalb des

Datenstroms (Frame Motion Prediction) und

Page 156: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

156

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 211.2 Kompression - MPEG-2 21

• Weitere Möglichkeiten von MPEG-2:(Fortsetzung 1)– Field Motion Prediction:

• das Auffinden von gleichen, wie auch immer geformten Teilen in verschiedenen Bildern und auch innerhalb des aktuellen Bildes wird ermöglicht. ---> vgl. JPEG

– variabler Farbraum• für den Studiobereich notwendig, ein Farbverlust ist

während der Produktionsphase von Filmen nicht akzeptabel

• in MPEG-1 wird immer im Verhältnis 4:1:1 kodiert.

Page 157: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

157

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-2 221.2 Kompression - MPEG-2 22

• Weitere Möglichkeiten von MPEG-2:(Fortsetzung 2)– Zu Audio: (kurz)

• für Kodierung von Audiosignalen hoher Qualität (CD,Studio).

• auch für digitale Quellen ausgelegt, z.B. ISDN.

• unterstützt HDTV, Dolby Sorround (bis zu 5 Kanäle)

– MPEG-2 ist auf Verwendung von Hardware zugeschnitten--> SetTop Boxen

Page 158: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

158

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-4 11.2 Kompression - MPEG-4 1

• Wo bleibt MPEG 3 ?– Sollte v.a. HDTV bis zu 1920x1080 Pixel bis zu 30 Hz

mit kodierten Bitraten zwischen 20 und 40 Mbit/sec bearbeiten. Wurde jedoch allein durch MPEG 1+2 beschreibbar. HDTV ist nun Bestandteil von MPEG-2 High Level-1440. MPEG 3 ist damit gecancelt.

– Anmerkung: • Vorsicht. MPEG 3 nicht gleich

• MP3 : = MPEG 1 Layer 3 (aktuelles Audioformat !!!!)

Page 159: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

159

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-4 21.2 Kompression - MPEG-4 2

• (Nur) Einstieg in MPEG-4:– zitiert v.a. nach: Overview of the MPEG-4 Standard

• ISO/IEC JTC1/SC29/WG11 N2725 March 1999/Seoul, South Korea

• www.drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm (Stand 5.5.99)

• Inhaltsverzeichnis– Executive Overview

– Scope and features of the MPEG-4 standard

– Detailed technical description of the MPEG-4

– List of major functionalities provided by MPEG-4 in Vers. 1

– Verification Test: checking MPEG’s Performance standard

– Profiles in MPEG-4 Version 1 - Version 2 of MPEG-4

– Annexes

Page 160: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

160

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-4 31.2 Kompression - MPEG-4 3

• Executive Overview– MPEG-4 (offiziell: ISO/IEC 14496) is an ISO/IEC

standard von MPEG entwickelt

– MPEG-4 • begonnen Juli 1993

• Draft Intnl Standard level Oktober 1998.

• Offizieller Standard: 1999

• Aktuell wird gearbeitet an MPEG-4 Version 2 (abwärtskompatibel zu MPEG-4 Version 1)

Page 161: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

161

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-4 41.2 Kompression - MPEG-4 4

• Executive Overview (Fortsetzung 1)– MPEG-4 stützt sich auf die nachgewiesenermaßer

erfolgreichen Gebiete: • Digital television

• Interactive graphics applications (synthetic content)

• Interactive multimedia (World Wide Web, distribution of and access to content)

– MPEG-4 liefert standardisierte technologische Elemente für die Integration von

• Produktion

• Verteilung und

• Zugriff auf den Inhalt

aller drei Bereiche von oben. Also: nicht (nur) Kompression !!

Page 162: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

162

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-4 51.2 Kompression - MPEG-4 5

• Executive Overview (Fortsetzung 2)

The MPEG-4

standard: a set of

technologies

to support AVOs

"audio-visual

objects"

Page 163: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

163

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-4 61.2 Kompression - MPEG-4 6

• Executive Overview (Fortsetzung 3)

Satz von Technologien:– 1. Kodierte Repräsentation von Objekten mit sprachlichem oder

visuellem oder audiovisuellem Inhalt (AVOs)

– 2. Art, wie individuelle AVOs in einer Szene zusammengesetzt werden;

– 3.Art, wie AVOs gemultiplexed und synchronisiert werden, so daß sie über Netzwerke transportiert werden können bei Einhaltung benötigter Qualität.

– 4. Generisches (?) Interface zwischen Anwendung und Transportmechanismus

– 5. Art für die Benutzerinteraktion mit der Szene

– 6. Projektion der AV Szene gemäß Benutzersicht/Hörpunkt.

Page 164: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

164

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-4 71.2 Kompression - MPEG-4 7

Page 165: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

165

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

1.2 Kompression - MPEG-4 81.2 Kompression - MPEG-4 8

• MPEG 4: zielt auf sehr niedrige Bitraten 4800 - 64000 bits/sec. Bis 176x144 und 10 Hz: Für Videophone und analoges Telephon.

• Aktuelle Infos zu MPEG-4:– Overview of the MPEG-4 Standard

• drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm

(Stand 5.5.99)

– MPEG Informations, Questions and Answers• http://www.crs4.it/HTML/LUIGI/MPEG/mpegfaq.html

(Stand 5.5.1999)

Page 166: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

166

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

Grundlagen (contd.) (contd.)

1.3 Formate + deren Eigenschaften– MiniDV– IEEE 1394 /FireWire– Quicktime 3.0/4.0 -> v.a. auch Streaming Technology

1.4 Für die Verarbeitung geeignete Rechnerarchitekturen Vgl. unseren Macromedia-Film

1.5 Benötigte Peripheriegeräte: – Camcorder, Recorder– Für Nachbearbeitung: Rechner mit Platten + Anbindung

1.6 Beispielkonfigurationen – erheblich ausgeweitet zusammenstellen (nach unterschiedlichen

Randbedingungen)

Page 167: Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

28.4.2000

167

Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich

Grundlagen (contd.) (contd.)

1.6 Formate + deren Eigenschaften– MiniDV

– IEEE 1394 /FireWire

– Quicktime 3.0/4.0 -> v.a. auch Streaming Technology