Einführungsvortrag 'Multimedia-Analysetechniken', Seminar SS2010, HPI

MULTIMEDIA-ANALYSE-TECHNIKEN

SeminarDr. Harald Sack / Jörg Waitelonis

Zalan Kramer / Johannes HercherHasso-Plattner-Institut für Softwaresystemtechnik

Universität PotsdamSommersemester 2010

Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).

Mittwoch, 12. Mai 2010

http://creativecommons.org/licenses/by-nc/3.0/deed.de

http://creativecommons.org/licenses/by-nc/3.0/deed.de

Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam

2

Multimedia-Analyse-Techniken

1. Multimedia und Kodierung

2. Bild- und Videokodierung

3. Audiokodierung

4. Aufgabenstellung



3

Multimedia-Analyse-Techniken1. Multimedia und Kodierung

Multimediale Daten im Computer

•Definition Multimedia

•Kommen bei der Darstellung von Information mehrere, verschiedenartige Medien zum Einsatz, wie z.B. Text, Bild und Ton, so spricht man von einer multimedialen Darstellung der Information.

•Multimediale Darstellung soll dem Betrachter die Wissensaufnahme von Inhalten erleichtern, da der Benutzer die Informationen mit verschiedenen Sinnesorganen aufnimmt

alphanumerischeInformation

graphischeInformation

Audio-information

Video-information



4


Medientypen•zeitunabhängige Medien

•Zeitkomponente während der Aufzeichnung ohne Bedeutung

•z.B. Text, Grafik

•„diskrete Medien“

•zeitunabhängige Medien

•Information verändert sich mit der Zeit

•Gehalt einer Einzelinformation (zu einem diskreten Zeitpunkt) nicht signifikant

•Gesamtinformation erschließt sich erst aus dem zeitlichen Ablauf

•Zeitkomponente kritisch sowohl bei Aufzeichnung als auch bei Wiedergabe

•z.B. Audio, Video



5


Multimediakodierung•Um Informationen zum Zweck der Archivierung oder Übertragung aufzuzeichnen,

müssen die Informationen entsprechend kodiert werden.

•alphanumerische Information (Text)

•Zur Kodierung alphanumerischer Nachrichten, also mittels Ziffern und Buchstaben verschiedener Alphabete dargestellter Informationen, existieren viele unterschiedliche Verfahren, angefangen von ASCII, dem 7-Bit Standard, der noch aus den Zeiten des Fernschreibers stammt, bis hin zum 32-Bit Unicode, mit dem es möglich ist, annähernd alle Alphabete der Erde zu kodieren.



6


Multimediakodierung•graphische Information

•Graphische Information liegt analog vor und muss vor einer entsprechenden Kodierung zunächst digitalisiert werden.

•man unterscheidet verlustfreie und verlustbehaftete Kodierung graphischer Information

•verlustfreie Kodierung:

•RAW, TIFF, BMP, ...

•verlustbehaftete Kodierung:

•GIF, PNG, JPEG, JPEG2000, ...



7


Multimediakodierung•Audio- /Videoinformation

•Audio-/Videoinformation liegt analog vor und muss vor einer entsprechenden Kodierung zunächst (zeitabhängig) digitalisiert werden.

•man unterscheidet verlustfreie und verlustbehaftete Kodierung von Audio-/Videoinformation

•verlustfreie Kodierung:

•Audio: AU, WAV, ...

•Video: DV

•verlustbehaftete Kodierung:

•Audio: MP3, MPEG-2 AAC, MPEG-4 AAC, ...

•Video: MPEG-1, MPEG-2, MPEG-4, H.264, X.264, DVCPro, ...



8




3. Audiokodierung

4. Aufgabenstellung



9

Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

Farbe und Farbmodelle•Was ist Farbe?

•Farben sind die Grundbestandteile des weißen Lichts

•Prisma zerlegt weißes Licht in seine spektralen Bestandteile

•Lichtstrahlen besitzen keine Farbe sondern eine spektrale Energieverteilung

1648 Marcus Marci1672 Isaac Newton

λ=780 nm λ=380 nm

Infrarot UVsichtbares Licht

Elektromagnetisches Spektrum

PrismaIsaac Newton(1643-1727)

Marcus Marci(1595-1667)



10


Farbe und Farbmodelle•Thomas Young (1801) weist nach, dass das menschliche Auge nur in der Lage

ist, 3 Grundfarben wahrzunehmen (3-Farbtheorie)

•Alle übrigen wahrgenommenen Farben ergeben sich durch Mischung der 3 Grundfarben in unterschiedlicher Intensität

•Max Planck (1900) weist Zusammenhang zwischen Strahlungsfrequenz (Farbe des Lichts) und Temperatur nach (Schwarzkörperstrahlung und Farbtemperatur)

•„In einem geschlossenem Hohlraum stellt sich eine nach allen Richtungen gleiche elektromagnetische Strahlung bestimmter Gesamtenergie und bestimmter spektraler Verteilung ein, die nur von der Temperatur der Hohlraumwände abhängt.“

Thomas Young(1773-1829)

2200 K 5500 K Farbtemperatur(Kelvin)



10


Farbe und Farbmodelle•Thomas Young (1801) weist nach, dass das menschliche Auge nur in der Lage

ist, 3 Grundfarben wahrzunehmen (3-Farbtheorie)

•Alle übrigen wahrgenommenen Farben ergeben sich durch Mischung der 3 Grundfarben in unterschiedlicher Intensität

•Max Planck (1900) weist Zusammenhang zwischen Strahlungsfrequenz (Farbe des Lichts) und Temperatur nach (Schwarzkörperstrahlung und Farbtemperatur)

•„In einem geschlossenem Hohlraum stellt sich eine nach allen Richtungen gleiche elektromagnetische Strahlung bestimmter Gesamtenergie und bestimmter spektraler Verteilung ein, die nur von der Temperatur der Hohlraumwände abhängt.“

Thomas Young(1773-1829)

Max Planck(1858- 1947)

2200 K 5500 K Farbtemperatur(Kelvin)



11


Farbe und Farbmodelle•Um Farben korrekt (auf dem Computer) reproduzieren zu können dienen

mathematische Farbmodelle

•Diese basieren auf unterschiedlichen Arten der Mischung von Anteilen der jeweiligen Grundfarben, deren Helligkeit und anderer Farbeigenschaften

Isaac Newton (1704) verbindet die beidenEnden des optischen elektromagnetischen Spektrums zum Farbkreis

Isaac Newton(1643-1727)



12


Farbe und Farbmodelle•Auch Goethe beschäftigte

sich mit der Farbenlehre. Er entwickelte einen Farbkreis und ordneteden einzelnen Farben spezifische Eigenschaften zu.

•Goethe vertrat im Gegensatz zu Newton die Ansicht, dasssich das weisse Licht nicht aus monochromatischen Komponenten zusammensetzt(Spektrum), sondern Farbe erst imAuge entsteht

Johann Wolfgang v. Goethe

(1749-1832)

Farbenkreis zur Symbolisierung des menschlichen Geistes- und Seelenlebens, 1809



13


Farbe und Farbmodelle•1931 wurde als erstes Modell

zur objektiven Farbbestimmungdie Farbnormtafel von derinternationalen Beleuchtungs-kommision festgelegt(Commission Internationale d´Eclairage, CIE)

•Farben werden aus Farbanteilen derGrundfarben (Rot, Grün, Blau)gemischt und in ein 2-dimensionalesKoordinatensystem projiziert

CIE Farbnormtafel, 1931



14


Farbe und Farbmodelle•RGB-Farbmodell

•additive Farbmischung

•Mischung selbstleuchtender Grundfarben

•Rot (700nm)

•Grün (546,1nm)

•Blau (435,8nm)

•Farbe wird als Tripel (r,g,b) aus den jeweiligen Farbanteilen angegeben

•z.B. bei 8 Bit pro Farbkanal:gelb = (255,255,0)

additive Farbmischung



15


Farbe und Farbmodelle•RGB-Farbmodell

•Bsp.:

R

G

B

additive Farbmischung



16


Farbe und Farbmodelle•CMY(K)-Farbmodell

•subtraktive Farbmischung

•Farbe entsteht durch Reflektion/Absorbtion an unterschiedlichen Oberflächen

•Grundfarben Cyan / Magenta / Yellow

•Druckprinzip: Farbpigmente der Grundfarben werden auf weiße Oberfläche aufgetragen

Lichtstrahl bestimmte Farbanteilewerden reflektiert,andere absorbiert

subtraktive Farbmischung



16


Farbe und Farbmodelle•CMY(K)-Farbmodell

•subtraktive Farbmischung

•Farbe entsteht durch Reflektion/Absorbtion an unterschiedlichen Oberflächen

•Grundfarben Cyan / Magenta / Yellow

•Druckprinzip: Farbpigmente der Grundfarben werden auf weiße Oberfläche aufgetragen

Lichtstrahl bestimmte Farbanteilewerden reflektiert,andere absorbiert




17


Farbe und Farbmodelle•CMY(K) Farbmodell

•Bsp.:

C

YM




18


Farbe und Farbmodelle•YUV-Farbmodell

•Zerlegung der Farben in

•Helligkeitsanteil (Luminanz) – Y-Komponente

•Farbanteil (Chrominanz) – U und V Komponente

•Historisch in Verbindung mit dem Farbfernsehens entstanden

•Rückwärtskompatibilität mit Schwarzweiß-Empfängern

•daher separater Helligkeitskanal

•Ausnutzung der unterschiedlichen Empfindlichkeit des menschlichen Auges für Helligkeits- und Farbunterschiede



19



rot grün blau



20



Y U V



21

Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.2 Visuelle Wahrnehmung

Visuelle Wahrnehmung des Menschen•Das menschliche Auge



22 Visuelle Wahrnehmung des Menschen•Licht- / Farbempfindlichkeit

•Netzhaut enthält zwei Typen von Licht-rezeptoren im menschlichen Auge:

•ZapfenFarb- und Helligkeitsempfindlich,verantwortlich für Farbsehen,im zentralen Retinabereich,ca. 6 Millionen, man unterscheidet drei Typen von Zapfen, die jeweils über unterschiedliches Sehpigment verfügen

•StäbchenHelligkeitsempfindlichauch bei geringer Beleuchtungim peripheren Retinabereichca. 120 Millionen

Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.2 Visuelle Wahrnehmung



23 Verlustbehaftete JPEG Kodierung•JPEG, Joint Photographic Experts Group

•verlustbehaftete Komprimierung, sehr gut geeignet für natürliche Bildquellen

•Komprimierung bis 1:20 bei kaum nennenswerten Verlust der Darstellungsqualität

•Ausnutzung der Physiologie der menschlichen Wahrnehmung

•Das menschliche Auge reagiert auf Änderungen der Helligkeit empfindlicher als auf Farbänderungen

•Natürliche Bildquellen besitzen

•häufig Farb- / Helligkeitsverläufe

•häufig keine starken Kontrastschwankungen

Helligkeit benachbarte Bildpunkte unterscheidet sich kaum

Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.3 JPEG Kodierung



24 Verlustbehaftete JPEG Kodierung•Natürliche Bildquellen besitzen




Idee: Das Herausfiltern von Bildanteilen mit starken Kontrastschwankungen fällt bei den meisten „natürlichen“ Bildern nicht auf




24 Verlustbehaftete JPEG Kodierung•Natürliche Bildquellen besitzen




Idee: Das Herausfiltern von Bildanteilen mit starken Kontrastschwankungen fällt bei den meisten „natürlichen“ Bildern nicht auf




25 JPEG Komprimierung - Ablauf•


Farbraum-wechsel

DiskreteCosinus-

Transformation

Chroma-Subsampling

Quantisierungmodifizierte

HuffmanKodierung

Originalbild komprimiertes Bild

schwächereFarbempfindlichkeitdes menschlichenAuges

Filterung von Bildanteilenmit starken Kontrastschwankungen



26 JPEG Komprimierung - Ablauf

(1) Farbraumwechsel (r,g,b) →(Y,Cb,Cr)


Farbraum-wechsel

Originalbild

(r,g,b)

Y

Cb

Cr

Luminanz

Chrominanz

+0,299 +0,587 +0,114+0,1687 −0,3313 +0,5

+0,5 −0,4187 −0,081

⎛

⎝

⎜ ⎜ ⎜

⎞

⎠

⎟ ⎟ ⎟ ⋅

rgb

⎛

⎝

⎜ ⎜ ⎜

⎞

⎠

⎟ ⎟ ⎟

=

YCb

Cr

⎛

⎝

⎜ ⎜ ⎜

⎞

⎠

⎟ ⎟ ⎟


JPEG Komprimierung - Ablauf(2) Chroma Subsampling


27


Y-Pixel



Cr-Pixel


27


Y-Pixel


Cb-Pixel


Cr-Pixel


27


Y-Pixel


Cb-Pixel


Cr-Pixel


27


Y-Pixel

Statt 4·(r,g,b) 4·Y+1·(Cb+Cr)

4·(8+8+8)=96 Bit 4·8+(8+8)=48 Bit




28


4:4:4 – kein Subsampling

Luminanzpixel

Chrominanzpixel

4:2:2 – horizontales Subsampling um Faktor 2




29


Luminanzpixel

Chrominanzpixel

4:1:1 – horizontales Subsampling um Faktor 4

4:2:0 – horizontales und vertikales Subsampling um Faktor 2




30


4:2:0 Subsampling285 KB

Original PNG968 KB


JPEG Komprimierung - Ablauf(3) Diskrete Cosinus-Transformation (DCT)

•versetzt einzelne Helligkeitswerte von Ortsraum in Frequenzraum

•Jede Komponente (Y,Cb,Cr) wird separat transformiert

•Bild wird dazu in Blöcke 8x8-Pixel zerlegt


31


(0,0)

(7,7)8x8 Block

DCT

F(0,0)

F(7,7)

transformierter 8x8 Block




32


(0,0)

(7,7)8x8 BlockOrtsraum




32


(0,0)

(7,7)8x8 BlockOrtsraum




32


(0,0)

(7,7)8x8 Block

177 177177 136218 218177 218

Ortsraum




32


(0,0)

(7,7)8x8 Block

177 177177 136218 218177 218

Ortsraum




32


(0,0)

(7,7)8x8 Block

177 177177 136218 218177 218

Ortsraum




32


(0,0)

(7,7)8x8 Block

177 177177 136218 218177 218

Ortsraum



•Das Prinzip der Fouriertransformation:Jede periodische Funktion lässt sich als Summevon Sinus- und Cosinus-Funktionen darstellen.


33


Jean-Babtiste Joseph Baron de Fourier

(1768-1830)





33



(1768-1830)

A

x

Ortsraum





33



(1768-1830)

A

x

Ortsraum





33



(1768-1830)

A

f

Frequenz-Spektrum

A

x

Ortsraum



34 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT)


• Jede periodische Schwingung kann als eine Überlagerung von Sinusschwingungen unterschiedlicher Amplituden und Frequenzen dargestellt werden • Trägt man die Amplituden der beteiligten Schwingungen in Abhängigkeit der Frequenz auf, erhält man das Frequenz- spektrum





Ortsraum

xy

DCT

Frequenzraum

uv

f(x,y) F(u,v)





Frequenzraum

uv

F(u,v)

• Jeder Punkt bezeichnet Anteil einer bestimmten Frequenz

• F(0,0) - niedrigste Frequenz• F(7,7) - höchste Frequenz

Niedrige Frequenz = langsame ÄnderungHohe Frequenz = rasche Änderung

„natürliche“ Bilder besitzen viele kontinuierliche Farb-/Helligkeitsübergänged.h. Hauptanteil der Bildinformation liegt in den niedrigen Frequenzen





große, regelmäßig gefärbte Flächen niedrige Frequenzanteile

feine Details, hohe Kontrast-unterschiede hohe Frequenzanteile

DC (Direct Current) = F(0,0) enthält Durchschnittswert der 8x8-Matrix

AC (Alternating Current) = F(0,1) … F(7,7) speichern Veränderungen zum DC

wachsende Frequenz

wac

hsen

de F

requ

enz

Visualisierung der Basisfrequenzen





45 5045 45 50

50 5045

50

53

56

56

56

5653 53

535350

58 48

43 48

48

43 48 61 63

68 504858

45 48 56

56

50 45

48

6168

61

61

61

61

63

53635656

56 56

50

50

53

53 53

45 5050 61 61

58

48

425 -6-25 -5

-1 -710

9

-4

0

3-15

-3

-17 0

-5

-3 -3 4

-3

0 0 0 -1

4

1-43

-8 3

3

1

4

2

-3 2 -1

5

-6

DCT

Orts

raum

Freq

uenz

raum

-15

3

4

-6

-2-10

13

10

0 -22

4

6 66

1

0

3

2

-4

-3

-3

0 4



39 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - Quantisierung


Hohe Frequenzenwerden entfernt

Niedrige Frequenzenbleiben erhalten

Qua

ntis

ieru

ngsm

atrix

– Q

(u,v

)1 11 1 8

1 41

2

16

4

4

8

161 4

888

1 16

1 1

2

1 1 4 8

16 16168

4 8 8

8

8 16

4

3216

16

64

32

32

32

3216168

8 8

8

4

8

8 16

16 328 8 16

16

8



40 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - Zig-Zag-Encodierung


DC

Mittelwert



40 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - Zig-Zag-Encodierung


DC

Mittelwert



41 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - mod. Huffman Kodierung


• Kodierung variabler Länge mit fester Kodierungsvorschrift• Zusammenfassung von Null-Ketten mit Lauflängenkodierung (RLE-Kodierung)

Bits Wertebereich1 -1, +1

2 -3,-2, +2,+3

3 -7…-4, +4…7

4 -15…-8, 8…15

5 -31…-16, 16…31

6 -63…-32, 32…63

7 -127…-64, 64…127

8 -255..-128, 128…255

9 -511…-256, 256…511



42 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - mod. Huffman Kodierung


Quality : 90%Size: 21,868 bytes






43 Videokodierung und Bewegungswahrnehmung•Grundlagen

•Video (Film):kontinuierliche Abfolge von aufeinander folgenden Einzelbildern, die aufgrund der Netzhautträgheit des Menschen als zusammen-hängende, bewegte Sequenz erscheint.

•Netzhautträgheit:das von der Netzhaut (Retina) wahrgenommene Bild bleibt für 1/16s auf dieser bestehen, ehe es verlischt

•Kodierung einer Video(Film)sequenz erfordert sehr viel Speicherplatz

•Bild und Ton müssen synchron ablaufen

•erfordert hohe Bandbreite

Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung



44 Videokodierung und Bewegungswahrnehmung•Bewegungswahrnehmung

•komplexe Funktion der menschlichen Sensorik

•abhängig von

•Physiologischen Faktoren

•Beeinflussung benachbarter Lichtsinneszellen in der Retina

•Foveale Objektverfolgung (Nachführung des Auges)

•Vergenz und Akkomodation

•Psychologischen Faktoren

•Elimination gleichförmiger Bewegung durch das Gehirn

•Koppelung von Bewegung und Beschleunigungswahrnehmung (Gleichgewichtsorgan)




45 Videokodierung und Bewegungswahrnehmung•Analoge Videotechnik

•Farbfernsehen – PAL

•PAL (Phase Alternation Line, Europa) sendet mit Bildwiederholfrequenz von 25 Hz und einer Bildauflösung von 720x576 Pixeln, wobei 2 gegenseitig verschränkte Halbbilder mit im Takt von jeweils 1/50s gesendet werden


gerade Zeilen ungerade Zeilen

+

1/50s 1/50s

=

1/25s

PAL interlaced



46 Videokodierung und Bewegungswahrnehmung•PAL (SD576i)- notwendige Bandbreite

•Bildauflösung: 720 x 576 Pixel

•Bildwiederholfrequenz: 25 Hz

•Farbtiefe: 8 Bit

•Subsampling: 4:2:2

•Benötigte Bandbreite: 720 x 576 x 25 x 8 + 2 x (360 x 576 x 25 x 8) = 166 Mbps


Luminanz Chrominanz



47 Videokodierung und Bewegungswahrnehmung•HDTV (HD1080p) - notwendige Bandbreite

•Bildauflösung: z.B. 1920 x 1080 Pixel

•Bildwiederholfrequenz: bis 60 Hz

•Farbtiefe: 8 Bit

•Subsampling: 4:2:2

•Benötigte Bandbreite (Beispiel): 1920x1080x60x8 + 2x(960x1080x60x8) = 1,99 Gbps




48 Prediktive Kodierung•Ausnutzung von inhärenten Redundanzen in Videosequenzen

•z.B. Hintergrund statisch, nur Objekt im Vordergrund bewegt

•Objekte und Objektbewegungen müssen erkannt werden

•Bewegung kann als Grauwertveränderungder Position von Bildpunkten definiert werden

•Bei fester Kameraeinstellung ändert sich derBildinhalt durch Bewegung der Objekte in der Szene

•Verfahren zur Bewegungsprädiktion:

• Vorhersage ohne semantischen Kontext

• Modellbasierte Verfahren, z.B. bei Videotelefonie, Nachrichtensprecher, etc.

• Objekt-/Regionenbasierte Verfahren, d.h. Bildsegmentierung und Extraktion von Objekten




49 Prediktive Kodierung•Block-Matching


Referenzbild RIn-k

• Annahme:

• benachbarte Bildpunkte führen die gleiche Bewegung aus.

• Vorgehen

• Unterteile das vorherzusagende Bild In in gleich große Blöcke (Segmente)

• Für jedes Segment bestimme im Referenzbild RIn-k einen Block mit möglichst gleichem Inhalt

Originalbild In



50 Prediktive Kodierung•Block-Matching


Referenzbild RIn-k

• Vorgehen (Fortsetzung):

• Ist ein passendes Segment gefunden, bestimme den Verschiebevektor v=(vx,vy)

• Vollständige Prädiktion ist nur möglich, wenn für jedes Segment in In ein passender Block im Referenzbild gefunden wird.

• Das Prädiktionsbild PIn wird wie eine Collage aus den gefundenen Segmenten des Referenzbildes zusammengesetzt und sieht bei erfolgreicher Prädiktion dem Originalbild In sehr ähnlich.

Originalbild In

v



51 Prediktive Kodierung•Ursache für Bildveränderungen in Videosequenzen sind auch Bewegungen der

Kamera

•Geradlinige Bewegungen der Kamera (Translation)

•Kameraschwenk (Rotation)

•Einsatz von Zoomobjektiven (Skalierung)


y

z

Bewegungskompensation gleichtBewegungen der Kamera aus

x



52 Video Codecs und Komprimierverfahren


Codec Komprimierungs-verfahrenDatencontainer implementiertverpackt kodierte

Daten in

WMV9

DivXRealVideo

XviD

h.261

h.263

MPEG 1

MPEG 2

MPEG 4

h.264

avi

RealMedia

mpg

ogm

mkv

vobasf QuickTime Nero

HDX4mp4



53 Videokomprimierung nach MPEG•MPEG - Moving Pictures Experts Group

•eigentlich ISO/IEC JTC1/SC29/WG11

•seit 1988, ca. 360 Mitglieder aus Industrie/Forschung

•MPEG-1 Standard 1992

•VCD, MP3-Audiokomprimierung

•Datenrate 1,5 Mbps erfordert Komprimierung von >100:1


•Digitalfernsehen (DVB), DVD

•MPEG-3 Standard in MPEG-2 integriert (HDTV)


•Interaktives Audio und Video über drahtlose Netze und Internet

•HDTV, DRM, komplexe Objektverwaltung




54 MPEG-1 Videokodierung - Prinzipieller Ablauf•


Farbkonversionnach YCrCb

DCTTransformation Quantisierung Lauflängen

KodierungBlock-

vergleich

Videoeinzelbilder

Referenz-bild

HuffmanKodierung

RGB YUV

YUV Fehler-/Differenzwerte DCT-Werte quantisierte

DCT-WerteNullen

unterdrückt

Codevariabler Länge

MPEG Bitstrom

InverseQuantisierungInverse DCT

quantisierteDCT-Werte

DCT-WerteYUV



55 MPEG-1 Videokodierung - Datenstrom Struktur•


Videosequenz

Group of Pictures

Einzelbild

Slice

Makroblock

16 x 16 Pixel

Block

8 x 8 Pixel



56 MPEG-1 Videokodierung •Farbraumkonvertierung → YCrCb (4:2:2)

•Aufteilung der Einzelbilder in Zeilenabschnitte (Slices) und Makroblöcke

•16 x 16 Pixel Luminanz (Makroblock)

• 8 x 8 Pixel Chrominanz (Block)

•Bewegungsvorhersagealgorithmus

•Vergleiche Luminanzmakroblöcke aufeinander folgender Einzelbilder

•Ortsveränderungen von Luminanzmakroblöcken werden über Vektoren kodiert

•Qualität abhängig von Suchraumgröße




57 MPEG-1 Videokodierung •Farbraumkonvertierung → YCrCb (4:2:2)

•Bewegungsvorhersagealgorithmus

•DCT – Transformation

•Unterscheide Einzelbildvarianten:

•Intra-Frame (I-Frame)vollständiges Einzelbild, keine Bewegungsvorhersage, stets erstes Bild einer Sequenz (Standbild)

•Predictive Frame (P-Frame)nutzt zusätzlich Bewegungsvorhersage, bezieht sich auf vorhergehendes I-Frame

•Bidirectional Frame (B-Frame)Bewegungsvorhersage, bezieht sich auf vorhergehendes/nachfolgendes P-/I-Frame




58 MPEG-1 Videokodierung •Frametypen

•I-Frame muss nach spätestens 12 Frames wieder folgen

•Reihenfolge und jeweilige Wiederholungsanzahl der einzelnen Framessonst nicht vorgeschrieben


Zeit

I B B B P B B B P B B B P B B B I



59MPEG-1 Videokodierung •P-Frame Kodierung


Referenz-Frame Ziel-Frame











1. Suche Best Match






2. Verschiebungsvektor1. Suche Best Match






2. Verschiebungsvektor1. Suche Best Match

3. Differenzbildung

-



60MPEG-1 Videokodierung •B-Frame Kodierung


Past Referenz Ziel-Frame Future Referenz

- ( + )/2





Past Referenz Ziel-Frame

1. Suche Best Match

Future Referenz

- ( + )/2





Past Referenz Ziel-Frame

1. Suche Best Match2. Verschiebungsvektoren

3. Differenzbildung

Future Referenz

- ( + )/2



61MPEG-1 Videokodierung •Typische Kompressionsfaktoren (SD576)


Frame Size Rate

I 92 kB 7:1

P 32 kB 20:1

B 13 kB 50:1

average 26 kB 25:1



62MPEG-1 Videokodierung •MPEG Datenstrom


Sequence…SequenceSequence

GOP…GOPQTsStrParVidParSqc SC

Pict…PictGOPParTCodeGOP SC

Slice…SliceSliceEncodeBufferTypeP SC

MB…MBQscaleVPosS SC

… b5b0CBPQScaleMVTypeAddrln

Sequence Layer

Group of PicturesLayer

Picture Layer

Slice Layer

Macroblock Layer

Block Layer



63




3. Audiokodierung

4. Aufgabenstellung



64 Grundlagen - Was ist Schall?•Schall wird hervorgerufen durch Schwingungen von Molekülen in einem elastischen

Medium, die sich wellenförmig ausbreiten.

•Maßeinheit:

•Frequenz = #Schwingungen/Sekunde = Hz (Hertz)

•≙ Dauer einer Schwingung:

•Frequenz:

•Lautstärke: Höhe der Amplitude A

Multimedia-Analyse-Techniken3. Audiokodierung





•Maßeinheit:



•Frequenz:







•Maßeinheit:



•Frequenz:





65 Grundlagen - Was ist Schall?•Lautstärke: Schalldruck

•Druckschwankungen eines kompressiblen Schall-übertragungsmediums, die bei der Ausbreitung von Schall auftreten

•angegeben wird aber meist der Schalldruckpegel, gemessen in Dezibel (db)

•1db entspricht der Lautstärke, bei der ein Ton von 1 KHz gerade noch hörbar ist

•p0 = 0 db →Hörschwelle, entspricht Schalldruck von 20µPa

AlexanderGraham Bell(1847-1922)




66 Grundlagen - Was ist Schall?•der Klang (subjektives Schallerlebnis) kann charakterisiert werden durch

•Lautstärken (→ Amplitude) und

•Tonhöhen (→ Frequenz) seiner Grund- und Obertöne (→ Frequenzspektrum)

•im zeitlichen Verlauf

Hüllkurve (envelope) eines Tones

A

t

Atta

ck

Decay

Sustain

Release

Grundtontiefste Frequenz einer komplexen Wellenform

Obertonbei natürlicher Tonerzeugung wird stets nebendem Grundton eine Vielzahl höherer Töneerzeugt

FrequenzspektrumGesamtheit aller Obertöne




67 Audio Digitalisierung•Läst sich in drei Stufen zerlegen:

1.Abtastung des Signals (Sampling)

2.Diskretisierung der Abtastwerte (Quantisierung)

3.Kodierung der quantisierten Abtastwerte

!"#$%&'()'"%*(+,&(&-"%+."'/%0'(!"#$%#&%'()%*+',

-#-)".',

/%#.-#.,,%.#-)

0%,!"#$%#&%'()%*+',

-#-)".',12%.#-)

0%,!"#$%#&%'()%*+',

0%,!('$',

3&,.-#.,,%.#-)

! !"" ! !""#$ ! !""#$! "




68 Audio Digitalisierung•Sampling und Quantisierung

Δt

!"#$

%&'(#$)*"

+),-$#.#"/)-0.1

#-$"/2,(("

3#0-,(,4$,.$)-0

,-,(50".63#0-,(

7#0#$,(1%-,(501

8,-*()-0

!"#$

%&'(#$)*"3#0-,(,4$,.$)-0

*#0#$,(".63#0-,(



Psychoakustik und menschliche Wahrnehmung


69

Δt20 50 100 200 500 1000 5.000 10.000

100110120130140

0102030405060708090

Frequenz f, Hz

Schalldruckpegel A, dB

Ruhehörschwelle

0 Phon

40 Phon

80 Phon

100 Phon

130 Phon

Schmerzschwelle



Psychoakustik und menschliche Wahrnehmung


70

GehörgangTrommelfellMittelohrSteigbügel

Schnecke(Cochlea)

HammerAmboß

Bogengänge

Innenohr

Hörnerv




71 Psychoakustik und Audiokodierung•kodiere nur Signale, die im menschlichen Hörfeld liegen

•auch innerhalb des Hörfeldes müssen nicht alle Signale kodiert werden

•Simultane Verdeckung:starkes (lautes) Signal verdeckt (maskiert) gleichzeitiges schwaches (leises) Signal

•Temporäre Verdeckung:starkes Signal verdeckt schwaches Signal nicht nur zeitgleich, sondern wirkt

•für gewisse Zeit nach (bis 200 ms)

•sogar einige Zeit vor (bis 50 ms, liegt an der Trägheit des Hörvorganges)




72 Psychoakustik und Audiokodierung•Simultane Verdeckung

20 50 100 200 500 1000 5.000 10.000

100110120130140

0102030405060708090

Frequenz f, Hz

Schalldruckpegel A, dB

Wahrnehmungs-schwelle

Störpegel100 dB

80 dB

60 dB

40 dB20 dB




73 Psychoakustik und Audiokodierung•Temporäre Verdeckung

A

0 dB

20 dB

40 dB

60 dB

-50 0 50 100 150 0 50 100 150mst

Maskierungssignal

Vor-verdeckung

Nach-verdeckung

Simultan-verdeckung




74 MP3 Audiokodierung•MPEG 1 – Layer 3

•Motion Pictures Expert Group - MP3 = MPEG 1 - Layer 3

•Standard für Video Compact Disc (VCD)

•entwickelt vom Fraunhofer Institut für Integrierte Schaltkreise in Erlangen mit AT&T Bell Labs und Thompson (ab 1987)

•basiert auf Subband-Coding mit eigenem psycho-akustischen Modell

•ISO-Standard

•standardisiert lediglich Dekoder und Datenformat

•Kodierer nicht standardisiert

•MP3-Datei besitzt keinen expliziten Header, sondern ist eine Aneinanderreihung einzelner Datenblöcke mit jeweils eigenem Header + Audioinformationen (→ Streaming)




75 MP3 Audiokodierung•Predictive Coding

•Wissen über bereits kodiertes Signal wird zur Vorhersage des Folgesignals benutzt (nur Differenz wird kodiert)

•Spektral-/Transform Coding

•Fourier-Transformation des Wellensignals (Überführung von Ortsraum in Frequenzraum)

•Sub-Band Coding

•psycho-akustisches Modell

•Audio-Spektrum wird in Frequenzbänder aufgeteilt(fast alle Bänder haben gegenüber dem lautesten Band weniger relevante Information)




76 MP3 Audiokodierung•!"#$%

&$'()'(

*$+,-./)'0

1!')+23-4

5"//6'#-.

73289%)0"3,$389-3:;%#-++

**<=-.#-80"'(3>

389?-++-'

@-$3,"'(3>:"'#:=-.A-.."'(3>

3,-"-."'(3389+-$B-

50)+$-."'(:"'#

C")',$3$-."'(

D"BBE)'>

F%#$-."'(

G

HI

G

JKJ

F%-BB$A$-',-'

F%#$-."'(:#-.

L"3),A$'B%.E),$%'

;"+,$M+-N-.

O$($,)+-.:F)')+

HP>HQR:0/M3

O-E"+,$M+-N-.D"BBE)'>

O-0%#$-."'(

O-0%#$-."'(:#-.

L"3),A$'B%.E),$%'

O-30)+$-."'(:"'#

O-S")',$3$-."'(

T'U-.3-:;OV<:E$,

#2')E$389-.

*-'3,-.)'M)33"'(

*$+,-./)'0

152',9-3-4

!"#$%

!"3()'(

G

JKJ

F%-BB$A$-',-'5"//6'#-.

G

HI

HP>HQR:0/M3

;7H:F%#$-."'(

;7H:O-0%#$-."'(

;OV<:E$,

#2')E$389-.

*-'3,-.)'M)33"'(




77




3. Audiokodierung

4. Aufgabenstellung



78

Multimedia-Analyse-Techniken4. Aufgabenstellung

Generelles Vorgehen•Ziel ist, die Aufgaben wissenschaftlich und prototypisch zu lösen.

•Aufgabenschritte:

(1) Literatur Recherche

(2) Anfertigen eines Testdatensatzes, der zur Evaluation verwendet wird

•manuelles Annotieren des Testdatensatzes mit den relevanten Informationen

(3) Implementieren des Analysealgorithmus

(4) Anwenden des Analysealgorithmus auf den Testdatensatz

(5) Evaluation der analytischen Ergebnisse

•Vergleich der Ergebnisse mit der manuell erstellten Annotation

•Anpassen des Analysealgorithmus und weiter mit (4)



79




3. Audiokodierung

4. Evaluation und Aufgabenstellung



80

Literatur

• Meinel, Ch., Sack, H.: Digitale Kommunikation - Vernetzen, Multimedia, Sicherheit, Springer, 2009.

• Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008

• Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : O'Reilly, 2008



Education

Einführungsvortrag 'Multimedia-Analysetechniken', Seminar SS2010, HPI