01-0 Grundlagen des Digitalen Bildes€¦ · Film / Video • t: wenige Abtastungen Bewegtbild eine Abtastung Festbild • I(λ): 3 Abtastungen Farbbild 1 Abtastung Grauwertbild extrem

Prof. Dr.-Ing. Detlef Krömker

Goethe-Universität, FrankfurtGraphische Datenverarbeitung

Graphische Datenverarbeitung

Grundlagen des digitalen Bildesund der Bilderzeugung

SS 20052Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker

Übersicht

1. Die Plenoptische Funktion2. Bildrepräsentationen:

Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion

Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion

� Das Abtasttheorem: Die Theorie � Aliasing� Ideale Abtastung und Rekonstruktion� Reale Abtastung und Rekonstruktion � Charakterisierung und Bewertung der unvermeidbaren Fehler


Übersicht (Fortsetzung)

7. Zusammenfassung 8. Glossar9. Weitere Informationen10. Ausblick – Nächste Schritte


Die Plenoptische Funktion

“Der Mensch ist ein Augentier.”Die plenoptische Funktion beschreibt die für

einen (menschlichen) Beobachter visuell erfassbaren Informationen an jedem Ort und zu jeder Zeit.

Idealisierung des potentiell Sichtbaren.


Die plenoptische Funktion [Adelson, Bergen]

P = f (θ, φ, I(λλλλ), t, Pb)

θ, φ RaumwinkelI (λλλλ) Lichtintensität als

Funktion der Wellenlänget ZeitPb Position und

Blickrichtungdes Beobachters6 Freiheitsgrade!


Die plenoptische FunktionGrundgrößen der visuellen Wahrnehmnung

Der Mensch wertet dieParameter dieser Funktion simultan aus:� θ, φ durch die flächige Anordnung

von Rezeptoren in der Retina � I(λλλλ) 3 Abtastungen durch

unterschiedliche Rezeptoren

� t Zeit

� Pb 2 Abtastungzusätzlich sukzessiv durch Augen-, Kopf- und Körperbewegung

Wahrnehmungsprimitive

FORMSEHENTEXTURSEHEN

FARBSEHEN

BEWEGTBILDSEHEN

STEREOSEHENTIEFEN- und RAUMSEHEN


Spezialisierungen der plenoptischen Funktion� technisch realisierbare Bilder

• Pb: eine Abtastung � (Monokulares) Bildzwei Abtastungen � Stereo Bildfreie Bewegung � Virtual Realitygeführte Bewegung � Film / Video

• t: wenige Abtastungen � Bewegtbildeine Abtastung � Festbild

• I(λλλλ):3 Abtastungen � Farbbild1 Abtastung � Grauwertbildextrem quantisiert � schwarz/weiß Bild

Erkenntnis: Reize lassen sich stark reduzieren (diskretisieren und quantisieren)


Identifikation von Grundproblemen

� Das visuelle System tastet die Plenoptische Funktion in allen Parametern ab, diskretisiert sie:

� Fragen: Was sind die Abtastraten? Sind sie regulär, äquidistant? Welche Quantisierungen erfolgen?

Abtastung:- Zeit- Ort- Spektrum


Visionen

� Technologie soweit entwickeln, daß künstliche Reize (Szenen) von realen Reizen (Szenen) nicht unterscheidbar sind:

„Photorealismus“

� Ivan Sutherlands Vision (1963)„The screen is a window through which one sees a virtual world. Thechallenge is to make that worldlook real, act real, sound real, feel real. ”

Immersion �� Virtual Reality


Ziele

� Optimale Gestaltung der Schnittstelle

Mensch – Computer

� Maximale Kommunikationsqualität� Grad des Erreichens des kommunikativen Ziels� Verhältnis von wahrgenommener Information zu

präsentierter Information


Folgerungen

� Grundverständnis zur visuellen Wahrnehmung erwerben � Kapitel 2.

� Unterschied Reiz (physikalisch, extern) .... Wahrnehmung (nervös, intern)

� Leistungsfähigkeit des visuellen Systems� Effekte� Täuschungen


Übersicht





BildrepräsentationenCharakterisierung und Beispiele

DigitalesBild

Digital-video

Graphik Animation

statischeModelle

dynamischeModelle

Reiz

Analog Video

� Symbolisch

� Geometrie & Merkmal

� Diskret, Quantisiert

� (Elektrisch (optisch))immer weniger bedeutsam, entfällt!

� Optisch (unmittelbar wahrnehmbar)

im C

ompu

ter


Visualisierung

Rendering

RekonstrukionDas Problem bleibt,

wird in die Anzeige verschoben

Anzeige

Methoden der GDV

Bildverstehen

Merkmalsextraktion

Abtastung

Aufnahme

Digitales Bild Digital-Video

Graphik Animation

Statische Modelle Dynamische Modelle

Reiz

Video


Methoden der GDV


Graphik Animation


Reiz

AnalogVideo

Graphikbearbeitung

Bildbearbeitung

Videobearbeitung (Schnitt)


Visualisierung

Rendering

Rekonstrukion

Anzeige

Schwerpunkte in dieser Veranstaltung

DigitalisierenEntfällt immer häufiger

(Aufnahme/Sensorik)


Graphik Animation


Reiz

Analog-Video

Graphikbearbeitung


Bildmodelle

G f x y= ( , ) Graubild

F f x y→

= ( , ) Farbbild

Spezialisierung

partielle Funktionen: ℜ×ℜ⊂×∈ YXyx ),(

P = f (θ, φ, I(λλλλ), t, Pb)

Herleitung aus der plenoptischen Funktionzunächst Festbilder (statische Bilder)


Exkurs: Sehwinkelh

Sehwinkel α = arctan h/s

s

Abstandcm 60 in mm 10,5 ˆ1keZapfenstär ˆ Retinaderaufm5ˆ'1

Retina der auf mm 3,0ˆ1

===

=

SehwinkelSehwinkelSehwinkel

o

o

µ

αααα


Digitales Bild

kontinuierliches Bild (Bildfunktionen)kontinuierliches Bild (Bildfunktionen)

�� diskretisierendiskretisieren (abtasten)(abtasten)((OrtskoordinatenOrtskoordinaten))

�� quantisierenquantisieren(Signalamplitude)(Signalamplitude)

� Sonderfall: analoges VideosignalNur vertikal abgetastet; horizontal nur gewandelt

DIGITALESBILD


Beispiel: kontinuierliche 2D-Bildfunktion

01

23

45

67

89

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

40-4535-4030-3525-3020-2515-2010-155-100-5


Beispiel: diskretes Bild

0 1 2 3 4 5 6 7 8 9

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

01234

0 1 2 3 40 30 35 40 42 421 25 30 32 38 382 20 25 26 29 363 15 20 22 25 344 10 15 18 22 285 5 10 16 19 256 3 5 12 17 237 2 3 17 16 228 1 2 22 17 229 5 4 15 18 23


Beispiel: quantisiertes diskretes BildDigitales Bild (Rasterbild)

0 12

34

56

78

9

0

1

2

3

4

0

10

20

30

40

01234

0 1 2 3 40 30 40 40 40 401 30 30 30 40 402 20 30 30 30 403 20 20 20 30 304 10 20 20 20 305 10 10 20 20 306 0 10 10 20 207 0 0 20 20 208 0 0 20 20 209 10 0 20 20 20


Noch ein Beispiel: Analogvideo

0 1 2 3 4 5 6 7 8 9

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

01234

horizontal: kontinuierlich - analogvertikal: diskret - Zeilen

© D

etle

f Krö

mke

r


Bildsignale

Ein einkanaliges Bild B (z.B. Grauwertbild) wird als reelle Funktion mit 2-dimensionalen Definitionsbereich

modelliert.x,y i.d.R kartesische Ortskoordinatenmanchmal auch Winkel, dann (x,y) � (θ,φ)(θTheta φ Phi)f(x,y) nennt man (kontinuierliche) Bildfunktion.

ℜ//∈= ByxmityxfB ,,),(


Bildsignale (2)

Oft haben wir es mit endlichen Bildern zu tun, d.h. es gilt zusätzlich:

Auch der Wertebereich ist oft beschränkt:

Für Grauwertbilder gilt dann i.d.R. folgende Entsprechung:0: schwarz Bmax: weiß

yy

xx

LyLLxL

yxf

≤≤−≤≤−

≠ für nur 0),(

max),(0 ByxfB ≤=≤


Bildsignale (3)

Multispektrale Bilder Farbbilder als werden als Vektor dreidimensionaler repräsentiert, mit Vektor, z.B. mit

��

�

��

�

�

=

),(...

),(),(

2

1

yxF

yxFyxF

n

M��

��

�

=),(),(),(

yxByxGyxR

C


Weitere Bildmodellierungen� funktionales Bildmodell -- lineare Systeme

� kontinuierlich -- diskret -- quantisiert� Ortsbereich -- Frequenzbereich z.B.

� Fouriertransformation� Cosinustransformation

� alternative Beschreibungsformen sind:� fraktale Bildmodelle -- nichtlineare Systeme� statistische Bildmodelle

� Erweiterung: Volumenbilder

),,( zyxfV = Volumenrendering G f x y= ( , )


Probleme und FragenWie hängen kontinuierliche Bilder und

Digitale Bilder zusammen?

Abtastung (Diskretisierung) <==> Rekonstruktion� Das Abtasttheorem: Die Theorie � Ideale Abtastung und Rekonstruktion� Reale Abtastung und Rekonstruktion � Charakterisierung und Bewertung der unvermeidbaren Fehler� ...

später, noch in dieser Vorlesung

Quantisierung


Beschreibt ein Bild (2D) oder eine Szene (3D) durch� Ensemble von geometrischen Objekten

(Punkte, Linien, Flächen, Körper)� Erscheinungsattribute

(Farbe, Struktur, Textur, Parametern von Beleuchtungsmodellen, ... )

� Betrachtungsbedingungen

Geometrie und Merkmalsebene

Wichtige UnterscheidungDefinitionsbereich: 2D oder 3D

2D: ggf Ausschnitt aus Definitionsbereich darstellen: streng: Window (Teilmenge des Definitionsbereichs) Viewport (Teil des Bildschirms)Window-Viewport Transformation

3D: Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf 2D abgebildet

Geometrie und Merkmalsebene

y z

x

x

y

-z


Übersicht





Speicher- und AustauschformateKompression und Kodierung

Prinzipiell auf jeder Ebene möglich:� Daten / Informationen� Graphik/Animation� (Digitale) Bilder/Video� Analog-Video� „Papierausdruck“Speichern Austauschen

Format: Syntax und Semantik einer SpracheKodierung Abbildung auf ein Alphabet, SerialisierungKompression Reduzierung der Datenmenge

(verlustbehaftet oder verlustfrei)

Austauschen: Übertragen eines Speicherinhaltesoder Streaming


Beispiele für Austauschformate Analogvideo

� Basis des Standardfernsehen (Zeilenzahl/Halbbild-Frequenz)� 625/50 Europa

� 525/60 USA, Japan Zwischenzeilenverfahren /Interlaced

zusätzlich ggf. Angabe der Farbcodierung� Komponenten (RGB, YIQ, YUV, YCRCB, ..YC)

� Composite (FBAS) (NTSC, SECAM, PAL)

� Videosignale� RS 170, RS 170A, ...

� Speziell: Videobandformate für Recorder� VHS, S-VHS

� Betacam, Betacam SP, ... Details in Multimedia und Animation

� Computervideo kein genereller Standard gebräuchlich.Details siehe 4. Graphische Systeme


Beispiele für Austauschformate Digitale Bilder (Rasterfiles)

� BMP Windows Bitmap Format Microsoft

� Fax Group 3 oder Fax Group 4 CCITT (ITU)

� GIF Graphics Interchange Format� JFIF JPEG File Interchange Format ISO/IEC

� PBM Portable Bitmap

� PNG Portable Network Graphics� TGA Targa File Format

� TIFF Tag Image File format

� u.v.a.m. , insbesondere proprietäre Produktformate


Beispiele für Austauschformate Digitalvideo

� CCIR 601 Basis des Digitalfernsehen (CCIR) ITU� H.261 Videokonferenzstandard (CCITT) ITU

� M-JPEG Motion JPEG ISO/IEC/ITU� MPEG Motion Picture Expert Group ISO/IEC/ITU

� QT Quicktime Apple� AVI MicrosoftSonderform:� QTVR Quicktime VR

Details in Multimedia und Animation


Beispiele für Austauschformate Geometrie und Merkmalsebene 2D

Vector Files „Zeichnungen“, CAD� HPGL HP Graphics Language (Plottersprache) Hewlett-Packard

� DXF Drawing eXchange Format Autodesk(original 2D später auf 3D erweitert)

Metafiles (Raster & Vektorgraphik)� CGM Computer Graphic Metafile ISO/IEC

Page Description Language (Seitenbeschreibungssprachen)� PS (EPS) (Encapsulated) PostScript� PDF Portable Document Format Adobe


Beispiele für Austauschformate Geometrie und Merkmalsebene 3D

CAD Formate� IGES Initial Graphics Exchange Specification� STEP Standard for the Exchange of Product Data

Szenen- und Objektbeschreibungssprachen� VRML Virtual Reality Modeling Language ISO/IEC� RIB Renderman Interface Bytestream � Animation� FLT MultiGen Flight� OBJ Wavefront Object Alias (Wavefront)� MAX 3D Studio Max Kinetix


Übersicht





JAVA 3DPerformer (SGI)Open SG

Programmierschnittstellen

API: Application ProgrammersInterface

� Funktionale Spezifikationund

� Spracheinbindung

Beispiel: Geometrie undMerkmalsebene

(Open) GLDirect XDirect 3D

Szenengraph


Zwischen - Zusammenfassung

� Plenoptische Funktion� Verschiedene Bildrepräsentationen

symbolische EbeneGeometrie + Merkmalediskret + quantisiert

� Bildaustauschformate� Programmierschnittstellen

DigitalesBild

Digital-video

Graphik Animation

statischeModelle

dynamischeModelle

Reiz

Video


Jetzt wird es theoretisch


Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion:



Eine spezielle Funktion Der Diracsche Deltaimpuls

(Diracfunktion, Deltafunktion, Nadelimpuls nach Paul Dirac 1930)

wird über ihre Haupteigenschaften definiert:

Streng: Es gibt keine klassische Funktion δ mit diesen Eigenschaften. δ ist streng genommen eine Distribution (verallgemeinerte Funktion).

�∞+

∞−

=

≠=

1)(

0 für0:)(

dxx

xx

δ

δ

)()(),(

1),(

0, für0:),(

yxyx

dxdyyx

yxyx

δδδ

δ

δ

=

=

≠=

� �∞+

∞−

∞+

∞−


Der Diracsche Deltaimpuls

Die Deltafunktion läßt sich als Grenzwert einer Familie von Funktionen definieren, z.B:

anschaulich: eine Rechteckfunktion mit unendlich kleiner Impulsbreite und unendlicher Impulshöhe im Ursprung

� Nadelimpuls

�� ≤≤

=

⋅≡

→

byundaxfüryxrect

mityxrectba

yx

ba

baba

1sonst0),(

),(4

1lim),(

,

,0,

δ


Die Ausblendeigenschaft (Siebeigenschaft; sifting property)

der Deltalfunktion:

Dieses Integral blendet an der Stelle x0 den Funktionswert f(x0) aus:

)()()( 00 xfdxxxxf�+∞

∞−

=−δ

xx0

)(xf


Diracfolgeund Diracfeld

x∆x

)(xT

x

y

∆y

∆x

),( yxS

Diracfolge

Diracfeld

� �+∞

−∞=

+∞

−∞=

∆−∆−=m n

ynyxmxyxS ,(),( δ

�+∞

−∞=

∆−=m

xmxxS )()( δ


Übersicht


Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion:



Abtastung -- Rekonstruktion

AbtastungRekonstruktion

kontinuierliche Bildfunktion

diskretes Bild


Zwischenruf: Fouriertransformationals Integraltransformation

� Operationen nach ihrer Schwierigkeit geordnet:� Addition und Subtraktion� Multiplikation und Division� Differentiation und Integration

� Allgemeine mathematische Strategie: Durch Transformationen lassen sich ggf. Schwierigkeiten reduzieren:� Logarithmieren: Multiplikation � Addition� Integraltransformationen:

Differentiation �� Multiplikation

Fouriertransformation 2D

F u v f x y e dxdyj ux uy( , ) ( , ) ( )=−∞

∞− +

−∞

∞

� �

f x y F u v e dudvj ux vy( , ) ( , ) ( )=−∞

∞+

−∞

∞

� �1

4 2π

OrtsraumOrtsfunktion f(x,y)i.d.R. reell

FrequenzraumFrequenzspektrum F(u,v)i.d.R. komplexwertig

© D

etle

f Krö

mke

r


Eigenschaften der 2D-Fourriertransformation

� Es sei f(x, y) die Funktion der Intensität im Punkt (x, y).

� Dann sind die zugehörigen Ortsfrequenzen von f(x, y).

� Zwischen den stetigen Funktion f(x, y) und besteht eine eineindeutigeeineindeutige Beziehung.

21,ξξ

( )21 ,ξξF

© D

etle

f Krö

mke

r


Transformationstabelle

( )f x y, ( )F ξ ξ1 2,

( )δ x y, 1

( )δ x x y y± ±0 0, ( ) ( )exp exp± ±j x j y2 20 1 0 2π ξ π ξ

( ) ( )exp exp± ±j x j y2 21 2π η π η ( )δ ξ η ξ η1 1 2 2± ±,

( )[ ]exp − +π x y2 2 ( )[ ]exp − +π ξ ξ1

22

2

[ ]rect x y, ( )sinc ξ ξ1 2,

( )tri x y, ( )sinc2 ξ ξ1 2,

( )comb x y, ( )comb ξ ξ1 2,


Transformationspezieller Funktionen

1∆x

−∆x2

∆x2

1 0.

1∆x

1 0.

1 0.

2∆x

1∆x

1 0.

2 0ξx

2σ

∆x∆x

4 0ξx

4 0ξx

( )sinc 1x0

sinc 2y0

ξξ

ξξ

��

��

sinc 1x0

sinc 2y0

ξξ

ξξ

��

��

��

��

�

�

��

2

e− +

�

�

��

�

�

��2 2 2

12

22π σ ξ ξ

( )rect 1x0

rect 2y0

ξξ

ξξ

��

��

12 2

2

2 2

πσσex

−

1∆ ∆x

trixx

��

��

1∆ ∆x

rectxx

��

��

1∆ ∆x

xx

sinc ��

��


RechenregelnEigenschaft Funktion ( )f x y, Fourier Transformation

( )F ξ ξ1 2,

Rotation ( )f x y± ±, ( )F ± ±ξ ξ1 2,

Linearität ( ) ( )a f x y a f x y1 1 2 2, ,+ ( ) ( )a F a F1 1 1 2 2 2 1 2ξ ξ ξ ξ, ,+ Konjunktion ( )f x y* , ( )F * ,− −ξ ξ1 2

Unabhängigkeit ( ) ( )f x f y1 2 ( ) ( )F F1 1 2 2 1 2ξ ξ ξ ξ, ,

Skalierung ( )f ax by, ( )F a bab

ξ ξ1 2/ , /

Verschiebung ( )f x x y y± ±0 0, ( )[ ] ( )exp ,± +j x y F2 0 1 0 2 1 2π ξ ξ ξ ξ

Modulation ( )[ ] ( )exp ,± +j x y f x y2 1 2π η η ( )F ξ η ξ η1 1 2 2± ±,

Faltung ( ) ( ) ( )g x y h x y f x y, , ,= ∗ ( ) ( ) ( )212121 ,,, ξξξξξξ FHG =

Multiplikation ( ) ( ) ( )g x y h x y f x y, , ,= ( ) ( ) ( )G H Fξ ξ ξ ξ ξ ξ1 2 1 2 1 2, , * ,=


AbtasttheoremShannon (1949) (Originalformulierung):

“If a function f(t) contains no frequencies higher than W cps, it iscompletely determined by giving ist ordinates at a series of points spaced 1/2 W seconds apart.”

The function can be simply reconstructed from the samples byusing a pulse of the type

Vorarbeiten durch H. Nyquist (1924) und J.M. Whittaker (1935).

sin 22

ππ

WtW t

Abtasttheorem (1): Abtastung

Ein bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen sind.

∆ ∆x y,

1 2 1 2∆ ∆x

u byv bs u s v= > = >,

mitF b bu v( , ) , ,ξ η ξ η= > >0

b bu v,

ss vu ,

© D

etle

f Krö

mke

r

Abtasttheorem (2): RekonstruktionEin diskretes Bild läßt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion

rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann

H u v x y r e c t u v m i tb u b u n d b v bh x y x y x y

T P

u u v v

T P

( , ) ( , )

( , ) s i n c ( ) s i n c ( )

=

< < − < < −=

∆ ∆

∆ ∆∆ ∆

ξ η

ξ ηξ η

f x yd ( , )

f x y f m x n y

xxm

xxm

yyn

yynnm

( , ) ( , )sin( )

( )

sin( )

( )=

−

−

−

−=−∞

∞

=−∞

∞

�� ∆ ∆ ∆

∆

∆

∆

π

π

π

π

© D

etle

f Krö

mke

r


Abtastung -- Rekonstruktion

AbtastungRekonstruktion

kontinuierliche Bildfunktion

diskretes Bild


Ideale Abtastung

Jetzt sind wir in der Lage, die Abtastung formal zu fassen und zu beschreiben:

Gegeben: � kontinuierliche Bildfunktion

� Diracfeld

s x y x m x y n ynm

( , ) ( , )= − −=−∞

∞

=−∞

∞

�� δ ∆ ∆

f x y( , )0 1 2 3 4 5 6 7 8 9

0

2

4

0

10

20

30

40

50

40-5030-4020-3010-200-10

12

34

56

7

R1

R2

R3

R4

R5

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1


Abtaster

f x y( , )

s (x,y) Diracfeld

),( yxfs

Ideale Abtastung

Wir definieren als abgetastetes Bild:

f f x y s x y

f x y x m x y n y

f x y x m x y n y

f m x n y sonstf x y für x m x y n y

s

m n

m n

= ⋅

= ⋅ − −

= ⋅ − −

= = = =��

=−∞

∞

=−∞

∞

��

��

( , ) ( , )

( , ) ( , )

( , ) ( , )

( , ) ( , ) ,

,

,

δ

δ

∆ ∆

∆ ∆

∆ ∆ ∆ ∆0

© D

etle

f Krö

mke

r

Ideale AbtastungUm mehr über die Eigenschaften des abgetasteten Signals zu

erfahren, führen wir eine Fouriertransformation aus:

f f x y s x ys = ⋅( , ) ( , )

F u v F u v S u vu v F u k u v l v

S

k l

wobei u x und v y

( , ) ( , ) ( , )

( , ),

/ /

= ⊗

= − −=−∞

∞

��

= =

∆ ∆ ∆ ∆

∆ ∆ ∆ ∆

4 2

2 2

ππ π

© D

etle

f Krö

mke

r

Veranschaulichung der idealen Abtastung

x

y

∆y

∆x

u

v

bubv

F u v( , )s x y( , )

F u vs ( , )

u

v

∆∆

ux

= 2π

∆∆

vy

= 2π

© D

etle

f Krö

mke

r


Veranschaulichung der idealen Abtastung

x

y

∆x

∆y

Veranschaulichung der idealen Rekonstruktion

x

y

∆x

∆y

f(x,y) kann durch einen idealen Tiefpaß mit

H u v x yrect u vmit bu u bu und bv v bv

( , ) ( , )=

< < − < < −

∆ ∆

∆ ∆

ξη

ξ η

rekonstruiert werden.

bu∆uv

u

bv∆v

© D

etle

f Krö

mke

r

Abtasttheorem (1)

Ein bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen sind.

∆ ∆x y,

1 2 1 2∆ ∆x

u byv bs u s v= > = >,

mitF b bu v( , ) , ,ξ η ξ η= > >0

b bu v,

ss vu ,

Abtasttheorem (2)Ein diskretes Bild lässt sich mit Hilfe eines (idealen) Tiefpasses

mit der Übertragungsfunktion

rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann

H u v x y r e c t u v m i tb u b u n d b v bh x y x y x y

T P

u u v v

T P

( , ) ( , )

( , ) s i n c ( ) s i n c ( )

=

< < − < < −=

∆ ∆

∆ ∆∆ ∆

ξ η

ξ ηξ η

f x yd ( , )

f x y f m x n y

xxm

xxm

yyn

yynnm

( , ) ( , )sin( )

( )

sin( )

( )=

−

−

−

−=−∞

∞

=−∞

∞

�� ∆ ∆ ∆

∆

∆

∆

π

π

π

π

sinc-Funktion-1D

-0,25

0

0,25

0,5

0,75

1

1,25

f x xx

( ) sin=

π 2π 3π 4π−π−2π

© D

etle

f Krö

mke

r

2D-Sinc - Die ideale Rekonstruktionsfunktion

6,283-4,712

-3,142-1,571

0,0001,571

3,1424,712

6,2837,854

9,425 0,000

1,571

3,142

4,712

6,283

7,854

9,425

0,9-10,8-0,90,7-0,80,6-0,70,5-0,60,4-0,50,3-0,40,2-0,30,1-0,20-0,1-0,1-0-0,2--0,1-0,3--0,2

f x y xx

yy

( , ) sin sin= ⋅

© D

etle

f Krö

mke

r

2D-Sinc - Die ideale Rekonstruktionsfunktion

-6,2

83

-4,7

12

-3,1

42

-1,5

71

0,00

0

1,57

1

3,14

2

4,71

2

6,28

3

7,85

4

9,42

5

10,9

96

12,5

66

0,000

1,571

3,142

4,712

6,283

7,854

9,425

-0,3-0,2-0,100,10,20,30,40,50,60,70,80,91

0,9-10,8-0,90,7-0,80,6-0,70,5-0,60,4-0,50,3-0,40,2-0,30,1-0,20-0,1-0,1-0-0,2--0,1-0,3--0,2

f x y xx

yy

( , ) sin sin= ⋅

© D

etle

f Krö

mke

r

Reale Abtastung und Rekonstruktion

Die Forderungen des Abtasttheorems sind in realen Systemen nicht zu erfüllen. Im einzelnen:

� Bandbegrenzung: Reale Bildvorlagen sind nicht bandbegrenzt Aliasing (1.Art)

� ideale Abtastung (mit Diracimpuls): Reale Abtaster haben endliche Apertur Unschärfe

� ideale Rekonstruktion (mit sinc-Funktion): Real nur Approximationen möglich

Aliasing (2.Art)Ursachen - Effekte -Maßnahmen

© D

etle

f Krö

mke

r

Ortsraum

Frequenz-raum

bu Bandgrenze

Nyquistfrequenz

us Abtast-frequenz

Aliasing 1. Art: Veranschaulichung im 1D

-1,25

-1

-0,75

-0,5

-0,25

0

0,25

0,5

0,75

1

1,25

0 15 30 45 60 75 90 105 120 135 150 165 180

© D

etle

f Krö

mke

r

Aliasing 1. Art: Unterabtastung

-1,5

-1

-0,5

0

0,5

1

1,5

0 15 30 45 60 75 90 105 120 135 150 165 180

Ortsraum

Frequenz-raum

bu Bandgrenze

Nyquistfrequenz

us Abtast-frequenz

© D

etle

f Krö

mke

r

Aliasing 1. Art: Veranschaulichung im 1D

-1 ,2 5

-1

-0 ,7 5

-0 ,5

-0 ,2 5

0

0 ,2 5

0 ,5

0 ,7 5

1

1 ,2 5

Ortsraum

ALIASDoppelgänger

© D

etle

f Krö

mke

r

Aliasing 1. Art im 2D

x

y

∆x

∆y

ALIASING

© D

etle

f Krö

mke

r

Aliasing 1. Art - Ursachen und Artefakte

� Ursache: Unterabtastung, Überlappung der Spektren

� Durch nachträgliche Filterung nicht korrigierbar!

� Artefakte:� Moirees� Perlschnüre� Aufblitzen (Szintilation) nur in Bewegtbildern

© D

etle

f Krö

mke

r


Moiree


Moiree (Resampling 1:2)


Moiree (Resampling 1:4)


VeranschaulichungSzintilation

Aliasing 1. Art - Maßnahmen

� Bandbegrenzung des abzutastenden Bildes durch z.B.� bei der Aufnahme durch optische Unschärfe

� einfach, adhoc einsetzbar� wenig effektiv, weil Filterflanken nicht steil genug � erfordert Abtastraten deutlich über Nyquistfrequenz� deutlich sichtbare Unschärfe

� endliche Abtastapertur� hat Tiefpaßwirkung

� beim Renderingsehen wir später!

© D

etle

f Krö

mke

r

Reale Bildrekonstruktion - Anzeige

� Ideale Rekonstruktion mit sinc-Funktion ist praktisch nicht realisierbar

� praktische Lösungen:� Rechteckausgaben (zero-order hold)� Artifakte:

� Treppenstufen Aliasing 2. Art� Ameisenkrabbeln (ant crawling) nur im Bewegtbild

� in der Praxis auf CRT teilweise gemildert durch:� horizontal: Tiefpaßwirkung des Videoverstärkers� vertikal: Gaußfunktion des Elektronenstrahls� hochfrequentes “Rauschen” durch Lochrastermaske

� auf LCDs deutlich sichtbar!


Übersicht Rekonstruktion

1∆x

−∆x2

∆x2

1 0.

1∆x

1 0.

1 0.

2∆x

1∆x

1 0.

2 0ξx

2σ

∆x∆x

4 0ξx

4 0ξx

( )sinc 1x0

sinc 2y0

ξξ

ξξ

��

��

sinc 1x0

sinc 2y0

ξξ

ξξ

��

��

��

��

�

�

��

2

e− +

�

�

��

�

�

��2 2 2

12

22π σ ξ ξ

( )rect 1x0

rect 2y0

ξξ

ξξ

��

��

12 2

2

2 2

πσσex

−

1∆ ∆x

trixx

��

��

1∆ ∆x

rec txx

��

��

1∆ ∆x

xx

sinc��

��

Ortsfunktion Frequenzfunktion

Das Rekonstruktionsdilemma� Sinc-Funktion als Rekonstruktionsfunktion ist praktisch nicht möglich

(negatives Licht). Fehler sind also unvermeidbar!Rekonstruktionsfunktion Auflösungsfehler Interpolationsfehler

� Sinc 0% 0%� Rechteck (bei LCD-Displays) 26,9% 15,7% � Gauss (bei CRTs) σW=T/2 54,6% 2,0%

variabel! σW=3T/8 38,6% 10,3%

-0,25

0

05

0,5

0,75

1

1,25

Auflösungsfehler

Interpolationsfehler

Im FrequenzraumIdeal

Sync-Funktion im OrtsbereichRechteck im Frequenzbereich

Rechteck im OrtsbereichSync im Frequenzbereich


Rekonstruktion auf LCD-Displays= Rechteck!

� Auflösungsverlust: minimal !!!� Interpolationsfehler: maximal !!!

� Treppenstufen� Ameisenkrabbeln

� Theoretisch ist Verbesserung möglich durch eine entsprechende optische Filterung (Mattscheibe –kein idealer TP!)

� Glücklicherweise ist das Visuelle System auch ein wirksamer Tiefpaß


Rekonstruktion auf CRT-Displays

� Vergleichsweise gute Annäherung an Sinc-Funktion im Zentralimpuls = Rechteck in der Fouriertransformierten

� � Auflösungsverlust fast so gering wie bei LCD-Display

� � Interpolationsfehler geringer � „friedlich“

� Notwendig: korrekte Strahlfokussierung


Zusammenfassung

� Abtastung: theoretisch bandbegrenztes Bildsignal erforderlich – in der Praxis nicht realisierbar

� Rekonstruktion auch nicht ideal möglich� � unvermeidbare Fehler – nur Minimierung möglich:

Aliasing 1. Art: Abtastfehler � Moiree, Scintillation,...Aliasing 2. Art: Rekonstruktion � Treppenstufen,...


Glossar

Plenoptische Funktion Plenoptic FunctionBildrepräsentationen Image RepresentationDigitales Bild digital imageRasterformat-Dateien raster filesVektorformat-Dateien vector filesMetafiles metafilesCAD-Dateien CAD filesSzenenbeschreibung scene descriptionProgrammierschnittstellen application programmers

interface API


Glossar (2)

Bildbearbeitung image processing(auch Bildverarbeitung)

Abtastung samplingAufnahme recordingAnzeige (Display) displayVideosignal video signalRasterfile (-formate) Beispiele raster formatsSzenen- und Objektbe- scene filesschreibungsformate (-sprachen)


Glossar (3)

Abtasttheorem sampling theoremBandbegrenztes Bildsignal bandlimited Image signalRekonstruktion reconstructionAliasing aliasingInterpolationsfehler interpolation errorAuflösungsfehler resolution error


Weitere Informationen

� Übersicht zu Graphics File Formatsftp://rtm.mit.edu/pub/usenet/news.answers/

graphics/fileformats-faq/Mehr als 100 verschiedene Formate werden vorgestellt.

Links zu Format-Spezifikationen.Viele praktische Hinweise zur Formatwandlung und Problemlösungen.

Leider seit 1997 nicht mehr aktualisiert.


Ausblick – Nächste Schritte

Bilder werden für Menschen erzeugt.

Wir müssen (besser) verstehen, wie Menschen Bilder wahrnehmen.

Documents

01-0 Grundlagen des Digitalen Bildes€¦ · Film / Video • t: wenige Abtastungen Bewegtbild eine Abtastung Festbild • I(λ): 3 Abtastungen Farbbild 1 Abtastung Grauwertbild extrem