Prof. Dr.-Ing. Detlef Krömker
Goethe-Universität, FrankfurtGraphische Datenverarbeitung
Graphische Datenverarbeitung
Grundlagen des digitalen Bildesund der Bilderzeugung
SS 20052Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Übersicht
1. Die Plenoptische Funktion2. Bildrepräsentationen:
Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion
Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion
� Das Abtasttheorem: Die Theorie � Aliasing� Ideale Abtastung und Rekonstruktion� Reale Abtastung und Rekonstruktion � Charakterisierung und Bewertung der unvermeidbaren Fehler
SS 20053Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Übersicht (Fortsetzung)
7. Zusammenfassung 8. Glossar9. Weitere Informationen10. Ausblick – Nächste Schritte
SS 20054Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Die Plenoptische Funktion
“Der Mensch ist ein Augentier.”Die plenoptische Funktion beschreibt die für
einen (menschlichen) Beobachter visuell erfassbaren Informationen an jedem Ort und zu jeder Zeit.
Idealisierung des potentiell Sichtbaren.
SS 20055Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Die plenoptische Funktion [Adelson, Bergen]
P = f (θ, φ, I(λλλλ), t, Pb)
θ, φ RaumwinkelI (λλλλ) Lichtintensität als
Funktion der Wellenlänget ZeitPb Position und
Blickrichtungdes Beobachters6 Freiheitsgrade!
SS 20056Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Die plenoptische FunktionGrundgrößen der visuellen Wahrnehmnung
Der Mensch wertet dieParameter dieser Funktion simultan aus:� θ, φ durch die flächige Anordnung
von Rezeptoren in der Retina � I(λλλλ) 3 Abtastungen durch
unterschiedliche Rezeptoren
� t Zeit
� Pb 2 Abtastungzusätzlich sukzessiv durch Augen-, Kopf- und Körperbewegung
Wahrnehmungsprimitive
FORMSEHENTEXTURSEHEN
FARBSEHEN
BEWEGTBILDSEHEN
STEREOSEHENTIEFEN- und RAUMSEHEN
SS 20057Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Spezialisierungen der plenoptischen Funktion� technisch realisierbare Bilder
• Pb: eine Abtastung � (Monokulares) Bildzwei Abtastungen � Stereo Bildfreie Bewegung � Virtual Realitygeführte Bewegung � Film / Video
• t: wenige Abtastungen � Bewegtbildeine Abtastung � Festbild
• I(λλλλ):3 Abtastungen � Farbbild1 Abtastung � Grauwertbildextrem quantisiert � schwarz/weiß Bild
Erkenntnis: Reize lassen sich stark reduzieren (diskretisieren und quantisieren)
SS 20058Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Identifikation von Grundproblemen
� Das visuelle System tastet die Plenoptische Funktion in allen Parametern ab, diskretisiert sie:
� Fragen: Was sind die Abtastraten? Sind sie regulär, äquidistant? Welche Quantisierungen erfolgen?
Abtastung:- Zeit- Ort- Spektrum
SS 20059Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Visionen
� Technologie soweit entwickeln, daß künstliche Reize (Szenen) von realen Reizen (Szenen) nicht unterscheidbar sind:
„Photorealismus“
� Ivan Sutherlands Vision (1963)„The screen is a window through which one sees a virtual world. Thechallenge is to make that worldlook real, act real, sound real, feel real. ”
Immersion ���� Virtual Reality
SS 200510Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Ziele
� Optimale Gestaltung der Schnittstelle
Mensch – Computer
� Maximale Kommunikationsqualität� Grad des Erreichens des kommunikativen Ziels� Verhältnis von wahrgenommener Information zu
präsentierter Information
SS 200511Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Folgerungen
� Grundverständnis zur visuellen Wahrnehmung erwerben � Kapitel 2.
� Unterschied Reiz (physikalisch, extern) .... Wahrnehmung (nervös, intern)
� Leistungsfähigkeit des visuellen Systems� Effekte� Täuschungen
SS 200512Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Übersicht
1. Die Plenoptische Funktion2. Bildrepräsentationen:
Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion
Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion
SS 200513Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
BildrepräsentationenCharakterisierung und Beispiele
DigitalesBild
Digital-video
Graphik Animation
statischeModelle
dynamischeModelle
Reiz
Analog Video
� Symbolisch
� Geometrie & Merkmal
� Diskret, Quantisiert
� (Elektrisch (optisch))immer weniger bedeutsam, entfällt!
� Optisch (unmittelbar wahrnehmbar)
im C
ompu
ter
SS 200514Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Visualisierung
Rendering
RekonstrukionDas Problem bleibt,
wird in die Anzeige verschoben
Anzeige
Methoden der GDV
Bildverstehen
Merkmalsextraktion
Abtastung
Aufnahme
Digitales Bild Digital-Video
Graphik Animation
Statische Modelle Dynamische Modelle
Reiz
Video
SS 200515Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Methoden der GDV
Digitales Bild Digital-Video
Graphik Animation
Statische Modelle Dynamische Modelle
Reiz
AnalogVideo
Graphikbearbeitung
Bildbearbeitung
Videobearbeitung (Schnitt)
SS 200516Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Visualisierung
Rendering
Rekonstrukion
Anzeige
Schwerpunkte in dieser Veranstaltung
DigitalisierenEntfällt immer häufiger
(Aufnahme/Sensorik)
Digitales Bild Digital-Video
Graphik Animation
Statische Modelle Dynamische Modelle
Reiz
Analog-Video
Graphikbearbeitung
SS 200517Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Bildmodelle
G f x y= ( , ) Graubild
F f x y→
= ( , ) Farbbild
Spezialisierung
partielle Funktionen: ℜ×ℜ⊂×∈ YXyx ),(
P = f (θ, φ, I(λλλλ), t, Pb)
Herleitung aus der plenoptischen Funktionzunächst Festbilder (statische Bilder)
SS 200518Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Exkurs: Sehwinkelh
Sehwinkel α = arctan h/s
s
Abstandcm 60 in mm 10,5 ˆ1keZapfenstär ˆ Retinaderaufm5ˆ'1
Retina der auf mm 3,0ˆ1
===
=
SehwinkelSehwinkelSehwinkel
o
o
µ
αααα
SS 200519Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Digitales Bild
kontinuierliches Bild (Bildfunktionen)kontinuierliches Bild (Bildfunktionen)
�� diskretisierendiskretisieren (abtasten)(abtasten)((OrtskoordinatenOrtskoordinaten))
�� quantisierenquantisieren(Signalamplitude)(Signalamplitude)
� Sonderfall: analoges VideosignalNur vertikal abgetastet; horizontal nur gewandelt
DIGITALESBILD
SS 200520Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beispiel: kontinuierliche 2D-Bildfunktion
01
23
45
67
89
0
1
2
3
4
0
5
10
15
20
25
30
35
40
45
40-4535-4030-3525-3020-2515-2010-155-100-5
SS 200521Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beispiel: diskretes Bild
0 1 2 3 4 5 6 7 8 9
0
1
2
3
4
0
5
10
15
20
25
30
35
40
45
01234
0 1 2 3 40 30 35 40 42 421 25 30 32 38 382 20 25 26 29 363 15 20 22 25 344 10 15 18 22 285 5 10 16 19 256 3 5 12 17 237 2 3 17 16 228 1 2 22 17 229 5 4 15 18 23
SS 200522Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beispiel: quantisiertes diskretes BildDigitales Bild (Rasterbild)
0 12
34
56
78
9
0
1
2
3
4
0
10
20
30
40
01234
0 1 2 3 40 30 40 40 40 401 30 30 30 40 402 20 30 30 30 403 20 20 20 30 304 10 20 20 20 305 10 10 20 20 306 0 10 10 20 207 0 0 20 20 208 0 0 20 20 209 10 0 20 20 20
SS 200523Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Noch ein Beispiel: Analogvideo
0 1 2 3 4 5 6 7 8 9
0
1
2
3
4
0
5
10
15
20
25
30
35
40
45
01234
horizontal: kontinuierlich - analogvertikal: diskret - Zeilen
© D
etle
f Krö
mke
r
SS 200524Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Bildsignale
Ein einkanaliges Bild B (z.B. Grauwertbild) wird als reelle Funktion mit 2-dimensionalen Definitionsbereich
modelliert.x,y i.d.R kartesische Ortskoordinatenmanchmal auch Winkel, dann (x,y) � (θ,φ)(θTheta φ Phi)f(x,y) nennt man (kontinuierliche) Bildfunktion.
ℜ//∈= ByxmityxfB ,,),(
SS 200525Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Bildsignale (2)
Oft haben wir es mit endlichen Bildern zu tun, d.h. es gilt zusätzlich:
Auch der Wertebereich ist oft beschränkt:
Für Grauwertbilder gilt dann i.d.R. folgende Entsprechung:0: schwarz Bmax: weiß
yy
xx
LyLLxL
yxf
≤≤−≤≤−
≠ für nur 0),(
max),(0 ByxfB ≤=≤
SS 200526Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Bildsignale (3)
Multispektrale Bilder Farbbilder als werden als Vektor dreidimensionaler repräsentiert, mit Vektor, z.B. mit
��
�
��
�
�
=
),(...
),(),(
2
1
yxF
yxFyxF
n
M��
��
�
=),(),(),(
yxByxGyxR
C
SS 200527Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Weitere Bildmodellierungen� funktionales Bildmodell -- lineare Systeme
� kontinuierlich -- diskret -- quantisiert� Ortsbereich -- Frequenzbereich z.B.
� Fouriertransformation� Cosinustransformation
� alternative Beschreibungsformen sind:� fraktale Bildmodelle -- nichtlineare Systeme� statistische Bildmodelle
� Erweiterung: Volumenbilder
),,( zyxfV = Volumenrendering G f x y= ( , )
SS 200528Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Probleme und FragenWie hängen kontinuierliche Bilder und
Digitale Bilder zusammen?
Abtastung (Diskretisierung) <==> Rekonstruktion� Das Abtasttheorem: Die Theorie � Ideale Abtastung und Rekonstruktion� Reale Abtastung und Rekonstruktion � Charakterisierung und Bewertung der unvermeidbaren Fehler� ...
später, noch in dieser Vorlesung
Quantisierung
SS 200529Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beschreibt ein Bild (2D) oder eine Szene (3D) durch� Ensemble von geometrischen Objekten
(Punkte, Linien, Flächen, Körper)� Erscheinungsattribute
(Farbe, Struktur, Textur, Parametern von Beleuchtungsmodellen, ... )
� Betrachtungsbedingungen
Geometrie und Merkmalsebene
Wichtige UnterscheidungDefinitionsbereich: 2D oder 3D
2D: ggf Ausschnitt aus Definitionsbereich darstellen: streng: Window (Teilmenge des Definitionsbereichs) Viewport (Teil des Bildschirms)Window-Viewport Transformation
3D: Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf 2D abgebildet
Geometrie und Merkmalsebene
y z
x
x
y
-z
SS 200531Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Übersicht
1. Die Plenoptische Funktion2. Bildrepräsentationen:
Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion
Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion
SS 200532Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Speicher- und AustauschformateKompression und Kodierung
Prinzipiell auf jeder Ebene möglich:� Daten / Informationen� Graphik/Animation� (Digitale) Bilder/Video� Analog-Video� „Papierausdruck“Speichern Austauschen
Format: Syntax und Semantik einer SpracheKodierung Abbildung auf ein Alphabet, SerialisierungKompression Reduzierung der Datenmenge
(verlustbehaftet oder verlustfrei)
Austauschen: Übertragen eines Speicherinhaltesoder Streaming
SS 200533Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beispiele für Austauschformate Analogvideo
� Basis des Standardfernsehen (Zeilenzahl/Halbbild-Frequenz)� 625/50 Europa
� 525/60 USA, Japan Zwischenzeilenverfahren /Interlaced
zusätzlich ggf. Angabe der Farbcodierung� Komponenten (RGB, YIQ, YUV, YCRCB, ..YC)
� Composite (FBAS) (NTSC, SECAM, PAL)
� Videosignale� RS 170, RS 170A, ...
� Speziell: Videobandformate für Recorder� VHS, S-VHS
� Betacam, Betacam SP, ... Details in Multimedia und Animation
� Computervideo kein genereller Standard gebräuchlich.Details siehe 4. Graphische Systeme
SS 200534Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beispiele für Austauschformate Digitale Bilder (Rasterfiles)
� BMP Windows Bitmap Format Microsoft
� Fax Group 3 oder Fax Group 4 CCITT (ITU)
� GIF Graphics Interchange Format� JFIF JPEG File Interchange Format ISO/IEC
� PBM Portable Bitmap
� PNG Portable Network Graphics� TGA Targa File Format
� TIFF Tag Image File format
� u.v.a.m. , insbesondere proprietäre Produktformate
SS 200535Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beispiele für Austauschformate Digitalvideo
� CCIR 601 Basis des Digitalfernsehen (CCIR) ITU� H.261 Videokonferenzstandard (CCITT) ITU
� M-JPEG Motion JPEG ISO/IEC/ITU� MPEG Motion Picture Expert Group ISO/IEC/ITU
� QT Quicktime Apple� AVI MicrosoftSonderform:� QTVR Quicktime VR
Details in Multimedia und Animation
SS 200536Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beispiele für Austauschformate Geometrie und Merkmalsebene 2D
Vector Files „Zeichnungen“, CAD� HPGL HP Graphics Language (Plottersprache) Hewlett-Packard
� DXF Drawing eXchange Format Autodesk(original 2D später auf 3D erweitert)
Metafiles (Raster & Vektorgraphik)� CGM Computer Graphic Metafile ISO/IEC
Page Description Language (Seitenbeschreibungssprachen)� PS (EPS) (Encapsulated) PostScript� PDF Portable Document Format Adobe
SS 200537Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Beispiele für Austauschformate Geometrie und Merkmalsebene 3D
CAD Formate� IGES Initial Graphics Exchange Specification� STEP Standard for the Exchange of Product Data
Szenen- und Objektbeschreibungssprachen� VRML Virtual Reality Modeling Language ISO/IEC� RIB Renderman Interface Bytestream � Animation� FLT MultiGen Flight� OBJ Wavefront Object Alias (Wavefront)� MAX 3D Studio Max Kinetix
SS 200538Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Übersicht
1. Die Plenoptische Funktion2. Bildrepräsentationen:
Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion
Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion
SS 200539Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
JAVA 3DPerformer (SGI)Open SG
Programmierschnittstellen
API: Application ProgrammersInterface
� Funktionale Spezifikationund
� Spracheinbindung
Beispiel: Geometrie undMerkmalsebene
(Open) GLDirect XDirect 3D
Szenengraph
SS 200540Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Zwischen - Zusammenfassung
� Plenoptische Funktion� Verschiedene Bildrepräsentationen
symbolische EbeneGeometrie + Merkmalediskret + quantisiert
� Bildaustauschformate� Programmierschnittstellen
DigitalesBild
Digital-video
Graphik Animation
statischeModelle
dynamischeModelle
Reiz
Video
SS 200541Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Jetzt wird es theoretisch
1. Die Plenoptische Funktion2. Bildrepräsentationen:
Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion:
Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion
SS 200542Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Eine spezielle Funktion Der Diracsche Deltaimpuls
(Diracfunktion, Deltafunktion, Nadelimpuls nach Paul Dirac 1930)
wird über ihre Haupteigenschaften definiert:
Streng: Es gibt keine klassische Funktion δ mit diesen Eigenschaften. δ ist streng genommen eine Distribution (verallgemeinerte Funktion).
�∞+
∞−
=
≠=
1)(
0 für0:)(
dxx
xx
δ
δ
)()(),(
1),(
0, für0:),(
yxyx
dxdyyx
yxyx
δδδ
δ
δ
=
=
≠=
� �∞+
∞−
∞+
∞−
SS 200543Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Der Diracsche Deltaimpuls
Die Deltafunktion läßt sich als Grenzwert einer Familie von Funktionen definieren, z.B:
anschaulich: eine Rechteckfunktion mit unendlich kleiner Impulsbreite und unendlicher Impulshöhe im Ursprung
� Nadelimpuls
��� ≤≤
=
⋅≡
→
byundaxfüryxrect
mityxrectba
yx
ba
baba
1sonst0),(
),(4
1lim),(
,
,0,
δ
SS 200544Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Die Ausblendeigenschaft (Siebeigenschaft; sifting property)
der Deltalfunktion:
Dieses Integral blendet an der Stelle x0 den Funktionswert f(x0) aus:
)()()( 00 xfdxxxxf�+∞
∞−
=−δ
xx0
)(xf
SS 200545Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Diracfolgeund Diracfeld
x∆x
)(xT
x
y
∆y
∆x
),( yxS
Diracfolge
Diracfeld
� �+∞
−∞=
+∞
−∞=
∆−∆−=m n
ynyxmxyxS ,(),( δ
�+∞
−∞=
∆−=m
xmxxS )()( δ
SS 200546Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Übersicht
1. Die Plenoptische Funktion2. Bildrepräsentationen:
Charakterisierung und Beispiele3. Austauschformate, Kompression, Kodierung4. Programmierschnittstellen5. Eine spezielle Funktion:
Der Diracsche Deltaimpuls6. Abtastung <==> Rekonstruktion
SS 200547Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Abtastung -- Rekonstruktion
AbtastungRekonstruktion
kontinuierliche Bildfunktion
diskretes Bild
SS 200548Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Zwischenruf: Fouriertransformationals Integraltransformation
� Operationen nach ihrer Schwierigkeit geordnet:� Addition und Subtraktion� Multiplikation und Division� Differentiation und Integration
� Allgemeine mathematische Strategie: Durch Transformationen lassen sich ggf. Schwierigkeiten reduzieren:� Logarithmieren: Multiplikation � Addition� Integraltransformationen:
Differentiation ���� Multiplikation
Fouriertransformation 2D
F u v f x y e dxdyj ux uy( , ) ( , ) ( )=−∞
∞− +
−∞
∞
� �
f x y F u v e dudvj ux vy( , ) ( , ) ( )=−∞
∞+
−∞
∞
� �1
4 2π
OrtsraumOrtsfunktion f(x,y)i.d.R. reell
FrequenzraumFrequenzspektrum F(u,v)i.d.R. komplexwertig
© D
etle
f Krö
mke
r
SS 200550Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Eigenschaften der 2D-Fourriertransformation
� Es sei f(x, y) die Funktion der Intensität im Punkt (x, y).
� Dann sind die zugehörigen Ortsfrequenzen von f(x, y).
� Zwischen den stetigen Funktion f(x, y) und besteht eine eineindeutigeeineindeutige Beziehung.
21,ξξ
( )21 ,ξξF
© D
etle
f Krö
mke
r
SS 200551Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Transformationstabelle
( )f x y, ( )F ξ ξ1 2,
( )δ x y, 1
( )δ x x y y± ±0 0, ( ) ( )exp exp± ±j x j y2 20 1 0 2π ξ π ξ
( ) ( )exp exp± ±j x j y2 21 2π η π η ( )δ ξ η ξ η1 1 2 2± ±,
( )[ ]exp − +π x y2 2 ( )[ ]exp − +π ξ ξ1
22
2
[ ]rect x y, ( )sinc ξ ξ1 2,
( )tri x y, ( )sinc2 ξ ξ1 2,
( )comb x y, ( )comb ξ ξ1 2,
SS 200552Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Transformationspezieller Funktionen
1∆x
−∆x2
∆x2
1 0.
1∆x
1 0.
1 0.
2∆x
1∆x
1 0.
2 0ξx
2σ
∆x∆x
4 0ξx
4 0ξx
( )sinc 1x0
sinc 2y0
ξξ
ξξ
��� �
��
sinc 1x0
sinc 2y0
ξξ
ξξ
��� �
�� �
��
���
�
�
��
2
e− +
�
�
��
�
�
��2 2 2
12
22π σ ξ ξ
( )rect 1x0
rect 2y0
ξξ
ξξ
��� �
��
12 2
2
2 2
πσσex
−
1∆ ∆x
trixx
���
���
1∆ ∆x
rectxx
���
���
1∆ ∆x
xx
sinc ���
���
SS 200553Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
RechenregelnEigenschaft Funktion ( )f x y, Fourier Transformation
( )F ξ ξ1 2,
Rotation ( )f x y± ±, ( )F ± ±ξ ξ1 2,
Linearität ( ) ( )a f x y a f x y1 1 2 2, ,+ ( ) ( )a F a F1 1 1 2 2 2 1 2ξ ξ ξ ξ, ,+ Konjunktion ( )f x y* , ( )F * ,− −ξ ξ1 2
Unabhängigkeit ( ) ( )f x f y1 2 ( ) ( )F F1 1 2 2 1 2ξ ξ ξ ξ, ,
Skalierung ( )f ax by, ( )F a bab
ξ ξ1 2/ , /
Verschiebung ( )f x x y y± ±0 0, ( )[ ] ( )exp ,± +j x y F2 0 1 0 2 1 2π ξ ξ ξ ξ
Modulation ( )[ ] ( )exp ,± +j x y f x y2 1 2π η η ( )F ξ η ξ η1 1 2 2± ±,
Faltung ( ) ( ) ( )g x y h x y f x y, , ,= ∗ ( ) ( ) ( )212121 ,,, ξξξξξξ FHG =
Multiplikation ( ) ( ) ( )g x y h x y f x y, , ,= ( ) ( ) ( )G H Fξ ξ ξ ξ ξ ξ1 2 1 2 1 2, , * ,=
SS 200554Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
AbtasttheoremShannon (1949) (Originalformulierung):
“If a function f(t) contains no frequencies higher than W cps, it iscompletely determined by giving ist ordinates at a series of points spaced 1/2 W seconds apart.”
The function can be simply reconstructed from the samples byusing a pulse of the type
Vorarbeiten durch H. Nyquist (1924) und J.M. Whittaker (1935).
sin 22
ππ
WtW t
Abtasttheorem (1): Abtastung
Ein bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen sind.
∆ ∆x y,
1 2 1 2∆ ∆x
u byv bs u s v= > = >,
mitF b bu v( , ) , ,ξ η ξ η= > >0
b bu v,
ss vu ,
© D
etle
f Krö
mke
r
Abtasttheorem (2): RekonstruktionEin diskretes Bild läßt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion
rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann
H u v x y r e c t u v m i tb u b u n d b v bh x y x y x y
T P
u u v v
T P
( , ) ( , )
( , ) s i n c ( ) s i n c ( )
=
< < − < < −=
∆ ∆
∆ ∆∆ ∆
ξ η
ξ ηξ η
f x yd ( , )
f x y f m x n y
xxm
xxm
yyn
yynnm
( , ) ( , )sin( )
( )
sin( )
( )=
−
−
−
−=−∞
∞
=−∞
∞
�� ∆ ∆ ∆
∆
∆
∆
π
π
π
π
© D
etle
f Krö
mke
r
SS 200557Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Abtastung -- Rekonstruktion
AbtastungRekonstruktion
kontinuierliche Bildfunktion
diskretes Bild
SS 200558Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Ideale Abtastung
Jetzt sind wir in der Lage, die Abtastung formal zu fassen und zu beschreiben:
Gegeben: � kontinuierliche Bildfunktion
� Diracfeld
s x y x m x y n ynm
( , ) ( , )= − −=−∞
∞
=−∞
∞
�� δ ∆ ∆
f x y( , )0 1 2 3 4 5 6 7 8 9
0
2
4
0
10
20
30
40
50
40-5030-4020-3010-200-10
12
34
56
7
R1
R2
R3
R4
R5
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
SS 200559Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Abtaster
f x y( , )
s (x,y) Diracfeld
),( yxfs
Ideale Abtastung
Wir definieren als abgetastetes Bild:
f f x y s x y
f x y x m x y n y
f x y x m x y n y
f m x n y sonstf x y für x m x y n y
s
m n
m n
= ⋅
= ⋅ − −
= ⋅ − −
= = = =���
=−∞
∞
=−∞
∞
��
��
( , ) ( , )
( , ) ( , )
( , ) ( , )
( , ) ( , ) ,
,
,
δ
δ
∆ ∆
∆ ∆
∆ ∆ ∆ ∆0
© D
etle
f Krö
mke
r
Ideale AbtastungUm mehr über die Eigenschaften des abgetasteten Signals zu
erfahren, führen wir eine Fouriertransformation aus:
f f x y s x ys = ⋅( , ) ( , )
F u v F u v S u vu v F u k u v l v
S
k l
wobei u x und v y
( , ) ( , ) ( , )
( , ),
/ /
= ⊗
= − −=−∞
∞
��
= =
∆ ∆ ∆ ∆
∆ ∆ ∆ ∆
4 2
2 2
ππ π
© D
etle
f Krö
mke
r
Veranschaulichung der idealen Abtastung
x
y
∆y
∆x
u
v
bubv
F u v( , )s x y( , )
F u vs ( , )
u
v
∆∆
ux
= 2π
∆∆
vy
= 2π
© D
etle
f Krö
mke
r
SS 200563Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Veranschaulichung der idealen Abtastung
x
y
∆x
∆y
Veranschaulichung der idealen Rekonstruktion
x
y
∆x
∆y
f(x,y) kann durch einen idealen Tiefpaß mit
H u v x yrect u vmit bu u bu und bv v bv
( , ) ( , )=
< < − < < −
∆ ∆
∆ ∆
ξη
ξ η
rekonstruiert werden.
bu∆uv
u
bv∆v
© D
etle
f Krö
mke
r
Abtasttheorem (1)
Ein bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen sind.
∆ ∆x y,
1 2 1 2∆ ∆x
u byv bs u s v= > = >,
mitF b bu v( , ) , ,ξ η ξ η= > >0
b bu v,
ss vu ,
Abtasttheorem (2)Ein diskretes Bild lässt sich mit Hilfe eines (idealen) Tiefpasses
mit der Übertragungsfunktion
rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann
H u v x y r e c t u v m i tb u b u n d b v bh x y x y x y
T P
u u v v
T P
( , ) ( , )
( , ) s i n c ( ) s i n c ( )
=
< < − < < −=
∆ ∆
∆ ∆∆ ∆
ξ η
ξ ηξ η
f x yd ( , )
f x y f m x n y
xxm
xxm
yyn
yynnm
( , ) ( , )sin( )
( )
sin( )
( )=
−
−
−
−=−∞
∞
=−∞
∞
�� ∆ ∆ ∆
∆
∆
∆
π
π
π
π
sinc-Funktion-1D
-0,25
0
0,25
0,5
0,75
1
1,25
f x xx
( ) sin=
π 2π 3π 4π−π−2π
© D
etle
f Krö
mke
r
2D-Sinc - Die ideale Rekonstruktionsfunktion
6,283-4,712
-3,142-1,571
0,0001,571
3,1424,712
6,2837,854
9,425 0,000
1,571
3,142
4,712
6,283
7,854
9,425
0,9-10,8-0,90,7-0,80,6-0,70,5-0,60,4-0,50,3-0,40,2-0,30,1-0,20-0,1-0,1-0-0,2--0,1-0,3--0,2
f x y xx
yy
( , ) sin sin= ⋅
© D
etle
f Krö
mke
r
2D-Sinc - Die ideale Rekonstruktionsfunktion
-6,2
83
-4,7
12
-3,1
42
-1,5
71
0,00
0
1,57
1
3,14
2
4,71
2
6,28
3
7,85
4
9,42
5
10,9
96
12,5
66
0,000
1,571
3,142
4,712
6,283
7,854
9,425
-0,3-0,2-0,100,10,20,30,40,50,60,70,80,91
0,9-10,8-0,90,7-0,80,6-0,70,5-0,60,4-0,50,3-0,40,2-0,30,1-0,20-0,1-0,1-0-0,2--0,1-0,3--0,2
f x y xx
yy
( , ) sin sin= ⋅
© D
etle
f Krö
mke
r
Reale Abtastung und Rekonstruktion
Die Forderungen des Abtasttheorems sind in realen Systemen nicht zu erfüllen. Im einzelnen:
� Bandbegrenzung: Reale Bildvorlagen sind nicht bandbegrenzt Aliasing (1.Art)
� ideale Abtastung (mit Diracimpuls): Reale Abtaster haben endliche Apertur Unschärfe
� ideale Rekonstruktion (mit sinc-Funktion): Real nur Approximationen möglich
Aliasing (2.Art)Ursachen - Effekte -Maßnahmen
© D
etle
f Krö
mke
r
Ortsraum
Frequenz-raum
bu Bandgrenze
Nyquistfrequenz
us Abtast-frequenz
Aliasing 1. Art: Veranschaulichung im 1D
-1,25
-1
-0,75
-0,5
-0,25
0
0,25
0,5
0,75
1
1,25
0 15 30 45 60 75 90 105 120 135 150 165 180
© D
etle
f Krö
mke
r
Aliasing 1. Art: Unterabtastung
-1,5
-1
-0,5
0
0,5
1
1,5
0 15 30 45 60 75 90 105 120 135 150 165 180
Ortsraum
Frequenz-raum
bu Bandgrenze
Nyquistfrequenz
us Abtast-frequenz
© D
etle
f Krö
mke
r
Aliasing 1. Art: Veranschaulichung im 1D
-1 ,2 5
-1
-0 ,7 5
-0 ,5
-0 ,2 5
0
0 ,2 5
0 ,5
0 ,7 5
1
1 ,2 5
Ortsraum
ALIASDoppelgänger
© D
etle
f Krö
mke
r
Aliasing 1. Art im 2D
x
y
∆x
∆y
ALIASING
© D
etle
f Krö
mke
r
Aliasing 1. Art - Ursachen und Artefakte
� Ursache: Unterabtastung, Überlappung der Spektren
� Durch nachträgliche Filterung nicht korrigierbar!
� Artefakte:� Moirees� Perlschnüre� Aufblitzen (Szintilation) nur in Bewegtbildern
© D
etle
f Krö
mke
r
SS 200576Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Moiree
SS 200577Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Moiree (Resampling 1:2)
SS 200578Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Moiree (Resampling 1:4)
SS 200579Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
VeranschaulichungSzintilation
Aliasing 1. Art - Maßnahmen
� Bandbegrenzung des abzutastenden Bildes durch z.B.� bei der Aufnahme durch optische Unschärfe
� einfach, adhoc einsetzbar� wenig effektiv, weil Filterflanken nicht steil genug � erfordert Abtastraten deutlich über Nyquistfrequenz� deutlich sichtbare Unschärfe
� endliche Abtastapertur� hat Tiefpaßwirkung
� beim Renderingsehen wir später!
© D
etle
f Krö
mke
r
Reale Bildrekonstruktion - Anzeige
� Ideale Rekonstruktion mit sinc-Funktion ist praktisch nicht realisierbar
� praktische Lösungen:� Rechteckausgaben (zero-order hold)� Artifakte:
� Treppenstufen Aliasing 2. Art� Ameisenkrabbeln (ant crawling) nur im Bewegtbild
� in der Praxis auf CRT teilweise gemildert durch:� horizontal: Tiefpaßwirkung des Videoverstärkers� vertikal: Gaußfunktion des Elektronenstrahls� hochfrequentes “Rauschen” durch Lochrastermaske
� auf LCDs deutlich sichtbar!
SS 200582Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Übersicht Rekonstruktion
1∆x
−∆x2
∆x2
1 0.
1∆x
1 0.
1 0.
2∆x
1∆x
1 0.
2 0ξx
2σ
∆x∆x
4 0ξx
4 0ξx
( )sinc 1x0
sinc 2y0
ξξ
ξξ
��� �
��
sinc 1x0
sinc 2y0
ξξ
ξξ
��� �
�� �
��
���
�
�
��
2
e− +
�
�
��
�
�
��2 2 2
12
22π σ ξ ξ
( )rect 1x0
rect 2y0
ξξ
ξξ
��� �
��
12 2
2
2 2
πσσex
−
1∆ ∆x
trixx
���
���
1∆ ∆x
rec txx
���
���
1∆ ∆x
xx
sinc���
���
Ortsfunktion Frequenzfunktion
Das Rekonstruktionsdilemma� Sinc-Funktion als Rekonstruktionsfunktion ist praktisch nicht möglich
(negatives Licht). Fehler sind also unvermeidbar!Rekonstruktionsfunktion Auflösungsfehler Interpolationsfehler
� Sinc 0% 0%� Rechteck (bei LCD-Displays) 26,9% 15,7% � Gauss (bei CRTs) σW=T/2 54,6% 2,0%
variabel! σW=3T/8 38,6% 10,3%
-0,25
0
05
0,5
0,75
1
1,25
Auflösungsfehler
Interpolationsfehler
Im FrequenzraumIdeal
Sync-Funktion im OrtsbereichRechteck im Frequenzbereich
Rechteck im OrtsbereichSync im Frequenzbereich
SS 200584Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Rekonstruktion auf LCD-Displays= Rechteck!
� Auflösungsverlust: minimal !!!� Interpolationsfehler: maximal !!!
� Treppenstufen� Ameisenkrabbeln
� Theoretisch ist Verbesserung möglich durch eine entsprechende optische Filterung (Mattscheibe –kein idealer TP!)
� Glücklicherweise ist das Visuelle System auch ein wirksamer Tiefpaß
SS 200585Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Rekonstruktion auf CRT-Displays
� Vergleichsweise gute Annäherung an Sinc-Funktion im Zentralimpuls = Rechteck in der Fouriertransformierten
� � Auflösungsverlust fast so gering wie bei LCD-Display
� � Interpolationsfehler geringer � „friedlich“
� Notwendig: korrekte Strahlfokussierung
SS 200586Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Zusammenfassung
� Abtastung: theoretisch bandbegrenztes Bildsignal erforderlich – in der Praxis nicht realisierbar
� Rekonstruktion auch nicht ideal möglich� � unvermeidbare Fehler – nur Minimierung möglich:
Aliasing 1. Art: Abtastfehler � Moiree, Scintillation,...Aliasing 2. Art: Rekonstruktion � Treppenstufen,...
SS 200587Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Glossar
Plenoptische Funktion Plenoptic FunctionBildrepräsentationen Image RepresentationDigitales Bild digital imageRasterformat-Dateien raster filesVektorformat-Dateien vector filesMetafiles metafilesCAD-Dateien CAD filesSzenenbeschreibung scene descriptionProgrammierschnittstellen application programmers
interface API
SS 200588Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Glossar (2)
Bildbearbeitung image processing(auch Bildverarbeitung)
Abtastung samplingAufnahme recordingAnzeige (Display) displayVideosignal video signalRasterfile (-formate) Beispiele raster formatsSzenen- und Objektbe- scene filesschreibungsformate (-sprachen)
SS 200589Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Glossar (3)
Abtasttheorem sampling theoremBandbegrenztes Bildsignal bandlimited Image signalRekonstruktion reconstructionAliasing aliasingInterpolationsfehler interpolation errorAuflösungsfehler resolution error
SS 200590Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Weitere Informationen
� Übersicht zu Graphics File Formatsftp://rtm.mit.edu/pub/usenet/news.answers/
graphics/fileformats-faq/Mehr als 100 verschiedene Formate werden vorgestellt.
Links zu Format-Spezifikationen.Viele praktische Hinweise zur Formatwandlung und Problemlösungen.
Leider seit 1997 nicht mehr aktualisiert.
SS 200591Graphische Datenverarbeitung1. Grundlagen des Digitalen Bildes© Prof. Dr.-Ing. Detlef Krömker
Ausblick – Nächste Schritte
Bilder werden für Menschen erzeugt.
Wir müssen (besser) verstehen, wie Menschen Bilder wahrnehmen.