59
Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische Datenverarbeitung Institut für Informatik Fachbereich Informatik und Mathematik (12)

Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Embed Size (px)

Citation preview

Page 1: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Hier wird Wissen Wirklichkeit

Modul: B-CG Grundlagen der Computergraphik

Grundlagen des Digitalen Bildes

Prof. Dr. Detlef KrömkerProfessur für Graphische DatenverarbeitungInstitut für InformatikFachbereich Informatik und Mathematik (12)

Page 2: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

2 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Bildrepräsentationen

• Symbolische Ebene:

• Merkmalsebene

• Abtastebene

• Reiz- & Aktionsebene

Text, Tabellen (Noten, .. Modelle (Kinematik, Dynamik, Verhalten)

Geometrie & (visuelle) Merkmale

Animation

Festbild Digitalvideo

Grafik- undMerkmals-Primitive

Digitales Bild

optisch

beliebige Datenstruktur

1

2

3

4

Page 3: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

3 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Das Ziel der heutigen Vorlesung

Charakteristika der drei Bildrepräsentationen

‣ Bildfunktionen‣ Digitales Bild‣ Geometrie- und Merkmalsbild

verstehen und die Zusammenhänge erkennen!

Schwerpunkt: Das Digitales Bild

Page 4: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

4 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Übersicht

1. Die Plenoptische Funktion – kontinuierliche Bildfunktionen2. Das Digitale Bild - Charakterisierung

Austauschformate und Programmierschnittstellen3. Das „Computergraphik-Bild“

Austauschformate und Programmierschnittstellen4. Abtastung / Rendering Anzeige (Rekonstruktion)

Das Abtasttheorem: Die Theorie Ideale Abtastung und RekonstruktionReale Abtastung und Rekonstruktion Aliasing: Eine erste Charakterisierung der unvermeidbaren Fehler

5. Zusammenfassung 6. Ausblick – Nächste Schritte

Page 5: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

5 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Die Plenoptische Funktion

‣ “Der Mensch ist ein Augentier.”

‣ Die plenoptische Funktion beschreibt die für einen (menschlichen) Beobachter visuell erfassbaren Informationen an jedem Ort und zu jeder Zeit

‣ Idealisierung des potentiell Sichtbaren

‣ Modell des potentiell Sichtbaren

Page 6: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

6 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Die plenoptische Funktion P [Adelson, Bergen]

P = f (, , I(), t, Pb)

, RaumwinkelI () Lichtintensität als

Funktion der Wellenlänge

t ZeitPb Position und

Blickrichtungdes Beobachters6 Freiheitsgrade!

Page 7: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

7 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Exkurs: Sehwinkel abstrahiert von Objektgröße und –abstand für ein Bild auf der Retina

h

Sehwinkel = arctan h/s

s

Abstandcm 60 in mm 10,5 ˆSehwinkel1

keZapfenstär ˆ Retinaderaufm5ˆSehwinkel'1

Retina der auf mm 3,0ˆSehwinkel1

o

o

Bild auf der Retina

Page 8: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

8 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Grundgrößen der visuellen Wahrnehmnung

‣ , durch die flächige Anordnung von Rezeptoren in der Retina

‣ I() drei Abtastungen durch unterschiedliche Rezeptoren

‣ t Zeit

‣ Pb 2 Abtastungenzusätzlich sukzessiv durch

Augen-, Kopf- und Körperbewegung

WahrnehmungsfähigkeitenFORMSEHEN

TEXTURSEHEN

FARBSEHEN

BEWEGTBILDSEHEN

STEREOSEHENTIEFEN- und RAUMSEHEN

Der Mensch wertet die Parameter der Plenoptischen Funktion simultan aus:

Page 9: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

9 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Spezialisierungen der plenoptischen Funktion technisch realisierbare Bilder

‣ Pb: eine Abtastung (Monokulares) Bild zwei Abtastungen Stereobild geführte Bewegung Film / Video freie Bewegung Virtual Reality

‣ t: wenige Abtastungen Bewegtbild eine Abtastung Festbild

‣ I():3 Abtastungen, z.B. RGB Farbbild 1 Abtastung Grauwertbild

extrem quantisiert schwarz/weiß BildErkenntnis: Reize lassen sich stark reduzieren

wir müssen uns mit den Wahrnehmungsfähigkeiten beschäftigen: in der nächsten Vorlesung

Page 10: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

10 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Bildmodelle: Herleitung aus der plenoptischen Funktion

),(),( yxffG Graubild

),( yx

b

g

r

b(x,y)

g(x,y)

r(x,y)

F Farbbild

Spezialisierung: Zeit t, Position und Richtung Pb fest

partielle kontinuierliche (analoge) Funktionen: YXyx ),(

P = f (, , I(), t, Pb)

Page 11: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

11 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiel: kontinuierliche 2D-Bildfunktion G(x,y)

01

23

45

67

89

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

40-45

35-40

30-35

25-30

20-25

15-20

10-15

5-10

0-5

0 1 2 3 4 5 6 7 8 9

x

4

3

2

1

0

y

x

y

G(x,y)

Page 12: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

12 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Bildfunktion (auch Bildsignal)

Ein einkanaliges Bild G (z.B. Grauwertbild) wird als reelle Funktion mit 2-dimensionalen Definitionsbereich

modelliert.

x,y i.d.R kartesische Ortskoordinatenmanchmal auch Winkel, dann (x,y) (,

ThetaPhi)

f(x,y) nennt man (kontinuierliche) Bildfunktion.

GyxmityxfG ,,),(

Page 13: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

13 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Bildfunktionen (Bildsignale)

Oft haben wir es mit endlichen Bildern zu tun, d.h. es gilt zusätzlich:

Auch der Wertebereich ist oft beschränkt:

Für Grauwertbilder gilt dann i.d.R. folgende Entsprechung:

0: schwarz Gmax: weiß

yy

xx

LyL

LxL

yxf

für nur 0),(

max),(0 GyxfG

Page 14: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

14 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Bildfunktionen

Multispektrale Bilder Farbbilder als werden als Vektor dreidimensionaler repräsentiert, mit Vektor, z.B. mit

),(

...

),(

),(

2

1

yxF

yxF

yxF

n

M

),(

),(

),(

yxB

yxG

yxR

F

Page 15: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

15 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Weitere Bildmodellierungen‣ funktionales Bildmodell Theorie der linearen Systeme

kontinuierliche Funktionen und lineare TransformationenOrtsbereich f (x,y) kann man transformieren in einen Frequenzbereich f (,) z.B. zur Analysedurch Fouriertransformation, Cosinustransformation, etc.(,) nennt man Ortsfrequenzen

‣ alternative Beschreibungsformen sind:‣ fraktale Bildmodelle -- nichtlineare Systeme‣ stochastische (statistische) Bildmodelle

‣ auch Erweiterungen sind möglich: Volumenbilder

),,( zyxfV Volumenrendering G f x y ( , )

Page 16: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

16 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Zusammenfassung: Bildfunktionen

Bilder können durch (partielle) kontinuierliche Funktionen (Signale) mit reellen Variablen (Ortskoordinaten und Bildwerte) beschrieben werden

beschreibt Bilder als optisches (auch elektrisches) Signal

Damit steht uns die Theorie der Funktionen als „Handwerkszeug“ zur Verfügung: insbesondere die lineare Signaltheorie

Alternative Beschreibungen sind möglichFrequenztransformationen Ortsfrequenzenfraktale Bildbeschreibungen (nichtlineare Signaltheorie)stochastische Bildbeschreibungen

Page 17: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

17 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

• Merkmalsebene

• Abtastebene

• Reiz- & Aktionsebene

Aus der letzten Vorlesung

Grafik- undMerkmals-Primitive

Digitales Bild

Rendering

Anzeige (Display) Aufnahme

Merkmalsextraktion

Bildmodelle

(Bild-)funktion

??? (Bild-)

Page 18: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

18 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Das Digitale Bild

Bei der Aufnahme wird einBei der Aufnahme wird ein kontinuierliches Bild (Bildfunktionen)kontinuierliches Bild (Bildfunktionen)

‣ diskretisiert (diskretisiert (abgetastetabgetastet))(Ortskoordinaten x,y)(Ortskoordinaten x,y)

‣ quantisierenquantisieren(Signalamplitude G(x,y))(Signalamplitude G(x,y))

‣ Sonderfall: analoges VideosignalVertikal abgetastet, d.h. in Bildzeilen zerlegt; horizontal nur in elektrische Signale gewandelt

DIGITALES BILD

Page 19: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

19 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

übrigens:Lena oder Lenna ist eines derbekanntesten Testbilder der Community,weitere siehe: http://sipi.usc.edu/database/

zur Auswahl dieses Bildes (Bild-Ausschnitt des Playmate des Monats November 1972) gibt es eine ganze Story: http://www.cs.cmu.edu/~chuck/lennapg/

mit amerikanischer „Krorrekteheit:“ „WARNING this picture contains nudity.“

Charakterisierung des Digitalen Bildes am Beispiel „Lena“

158 157 104 120 133 135 133 133 132 126 141 158 164 155 126 95

159 154 102 119 130 132 140 154 136 125 132 154 189 152 94 53

Digitale Bild =2D Array aus Abtastwerten (Pixeln)in z.B. 8 Bit Integer

Page 20: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

20 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Abtasten, was heißt das genauer?

Betrachten wir einen Ausschnitt aus „Lena“

Die Kreuzungspunke der Linien sind die Abtast -punkte und markieren z.B: den Pixelmittelpunktquadratische Apertur

Ideale Abtastung:Mit einer unendlichen dünnen „Meß-spitze“ wird der Bildfunktionswert am Abtastpunkt genau bestimmt.

Reale Abtastung:In einem Gebiet, z.B. Quadrat, Rechteck, Kreis um den Abtastpunkt, der endlichen Apertur, werden die Bildfunktionswerte (ggf. gewichtet) aufintegriert und ein „Mittelwert“ gebildet.

33 56 61

69 22 52

47 69 58

24 55 59

56 49 63

44 55 64

Pixelwerte bei idealer und realer Abtastung

Page 21: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

21 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Die Gewichtung der Bild-Funktionswerte im Pixel

muss bei der realen Abtastung nicht einheitlich sein, ist aber oft symmetrischzum Pixelmittelpunkte

‣ Rechteck Box‣ CCD-Abtaster

‣ Dreieck Tent

‣ Glockenkurve GaussianFlying Spot-Abtaster, Kameraröhre

u.v.a.m.

‣ aber kann ein Nadelimpuls sein„ideale“ Abtastung

1

1

1

1

Page 22: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

22 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiel: diskretes Bild

0 1 2 3 4 5 6 7 8 9

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

0

1

2

3

4

0 1 2 3 40 30 35 40 42 421 25 30 32 38 382 20 25 26 29 363 15 20 22 25 344 10 15 18 22 285 5 10 16 19 256 3 5 12 17 237 2 3 17 16 228 1 2 22 17 229 5 4 15 18 23

01

23

45

67

89

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

40-45

35-40

30-35

25-30

20-25

15-20

10-15

5-10

0-5

Zentraler Begriff: Pixel (abstrakt für ein Abtastwert)Kunstwort abgeleitet von picture elementin der Gerätetechnik manchmal auch Pel (konkret, z.B. auf dem Display)

Page 23: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

23 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiel: quantisiertes diskretes BildDigitales Bild (Rasterbild, „Pixelbild“)

01

23

45

67

89

0

1

2

3

4

0

10

20

30

40

0

1

2

3

4

0 1 2 3 40 30 40 40 40 401 30 30 30 40 402 20 30 30 30 403 20 20 20 30 304 10 20 20 20 305 10 10 20 20 306 0 10 10 20 207 0 0 20 20 208 0 0 20 20 209 10 0 20 20 20

Page 24: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

24 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Die wichtigsten Parameter (Metadaten) eines Digitalen Bildes

‣ Pixelzahl und (horizontal und vertikal), z.B. 512x512 Achtung: manche Autoren nennen das Auflösung: FALSCH! Auflösung wäre etwas wie Pixel/mm, dots/inch, Linien /mm, ...

‣ Interpretation der Indexwerte: Wo ist G(0,0)?, üblich oben links undz.B. 72 Index-Incremente entsprechen 1 inch: 72 dots/inch Auflösung

‣ Wertebereich und Interpretation , z.B. 0 = schwarz ... 255 = weißweitere Parameter zur Interpretation: Gamma, Abtastparameter, was ist schwarz?, was ist weiß, kommt später.

‣ Codierung, meist Integer (1 Byte = 8 Bit pro Pixel) Grauwertbildoder 3 Byte pro Pixel RGB für ein Farbbild

Page 25: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

25 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Speicher- und Austauschformate für Digitale Bilder Kompression und Kodierung

Speichern Austauschen

Format: Syntax und Semantik einer Sprache, Struktur des Headers mit den Metadaten

Kodierung Abbildung der Pixelwerte auf ein Alphabet und Art der Serialisierung

Kompression Reduzierung der Datenmenge (verlustbehaftet oder verlustfrei)

Page 26: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

26 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiele für Austausch- und Speicherformate Digitale Bilder (Rasterfiles)

‣ BMP Windows Bitmap Format Microsoft‣ Fax Group 3 oder Fax Group 4 CCITT (ITU)‣ GIF Graphics Interchange Format‣ JFIF JPEG File Interchange Format ISO/IEC ‣ PBM Portable Bitmap‣ PNG Portable Network Graphics‣ TGA Targa File Format‣ TIFF Tag Image File format

‣ u.v.a.m. , insbesondere proprietäre Produktformate

Page 27: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

27 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiele für Austausch- und Speicherformate Digitalvideo

‣ CCIR 601 Basis des Digitalfernsehen (CCIR) ITU‣ H.261 Videokonferenzstandard (CCITT) ITU

‣ M-JPEG Motion JPEG ISO/IEC/ITU‣ MPEG Motion Picture Expert Group ISO/IEC/ITU

‣ QT Quicktime Apple‣ AVI Microsoft

Details in Multimedia und Animation

oder

Page 28: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

28 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiele zur Bildkompression, hier JPEG

Geringe Kompressionrate / Beste Qualität80KB file

Mittlere Kompressionsrate und Qualität8KB file

Sehr hohe Komprssionsrate / Schlechte Qualität6KB file

aus http://www.webopedia.com/quick_ref/graphics_formats.asp

Page 29: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

29 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Weitere Informationen zu Fileformaten

‣ Übersicht zu Graphics File Formatshttp://www.faqs.org/faqs/graphics/fileformats-faq/ Mehr als 100 verschiedene Formate werden vorgestellt. Links zu

Format-Spezifikationen.Viele praktische Hinweise zur Formatwandlung und Problemlösungen.

Leider seit 1997 nicht mehr aktualisiert.

‣ aktuellere Infos unter : http://www.wotsit.org/default.asp “Wotsit's Format, the complete programmer's resource on the net”

Page 30: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

30 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Probleme und FragenWie hängen kontinuierliche Bilder und Digitale Bilder zusammen?

Abtastung (Diskretisierung) <==> Rekonstruktion‣ Das Abtasttheorem: Die Theorie ‣ Ideale Abtastung und Rekonstruktion‣ Reale Abtastung und Rekonstruktion ‣ Charakterisierung und Bewertung der unvermeidbaren Fehler‣ ...

später, noch in dieser Vorlesung

Quantisierung

Page 31: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

31 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beschreibt ein Bild (2D) oder eine Szene (3D) durch

‣ Ensemble von geometrischen Objekten (Punkte, Linien, Flächen, Körper) in einem

‣ Koordinatensystem

‣ Erscheinungsattribute der Objekte (Farbe, Struktur, Textur, Parametern von Beleuchtungsmodellen,

‣ Betrachtungsbedingungen (Ausschnittsbildung, Skalierung in 2Doder Virtuelle Kamera und Beleuchtung in 3D)

Geometrie und Merkmalsebene

Page 32: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

32 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Wichtige UnterscheidungKoordinatensystem: 2D oder 3D

2D: ggf Ausschnitt darstellen: streng: Window (Teilmenge des Definitionsbereichs) Viewport (Teil des Bildschirms)Window-Viewport Transformation

3D: Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf 2D abgebildet

Geometrie und Merkmalsebene

y z

x

x

y

-z

Page 33: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

33 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiele für Austauschformate Geometrie und Merkmalsebene 2D

Vector Files „Zeichnungen“, CAD‣ HPGL HP Graphics Language (Plottersprache) Hewlett-Packard‣ DXF Drawing eXchange Format Autodesk

(original 2D später auf 3D erweitert)

Metafiles (Raster & Vektorgraphik)‣ CGM Computer Graphic Metafile ISO/IEC

Page Description Language (Seitenbeschreibungssprachen)‣ PS (EPS) (Encapsulated) PostScript‣ PDF Portable Document Format Adobe

Page 34: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

34 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiele für Austauschformate Geometrie und Merkmalsebene 3D

CAD Formate‣ IGES Initial Graphics Exchange Specification‣ STEP Standard for the Exchange of Product Data

Szenen- und Objektbeschreibungssprachen‣ VRML Virtual Reality Modeling Language ISO/IEC‣ RIB Renderman Interface Bytestream Animation‣ FLT MultiGen Flight‣ OBJ Wavefront Object Alias (Wavefront)‣ MAX 3D Studio Max Kinetix

Page 35: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

35 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

JAVA 3DPerformer (SGI)Open SG

Programmierschnittstellen

API: Application Programmers

Interface

(Open) GLDirect XDirect 3D

Display List oderSzenegraph

Page 36: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

36 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Übersicht

1. Die Plenoptische Funktion – kontinuierliche Bildfunktionen2. Das Digitale Bild - Charakterisierung

Austauschformate und Programmierschnittstellen3. Das „Computergraphik-Bild“

Austauschformate und Programmierschnittstellen4. Abtastung / Rendering Anzeige (Rekonstruktion)

Das Abtasttheorem: Die Theorie Ideale Abtastung und RekonstruktionReale Abtastung und Rekonstruktion Aliasing: Eine erste Charakterisierung der unvermeidbaren Fehler

5. Zusammenfassung 6. Ausblick – Nächste Schritte

Page 37: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

37 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

• Abtastebene

• Reiz- & Aktionsebene

Aus der letzten Vorlesung plus neue Terminologie, insbesondere aus der Signal- und Abtasttheorie

Digitales Bild

Rendering: spezielldas Rasterisieren

Anzeige (Display) Rekonstruktion

Aufnahme: Abtastung

(Bild-)funktion

2D array of integer

Page 38: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

38 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Ein kleiner Ausflug in die Systemtheorie

Ziel: Wir wollen das Abtasten mathematisch fassen, um so den Vorgang zu verstehen und um

‣ die optimalen Abtast-Bedingungen zu erkennen‣ zu erkennen, wann wir keine Fehler machen‣ ggf. auftretende Fehler qualitativ und quantitativ beschreiben zu

können‣ Ideen zur Minimierung dieser Fehler zu bekommen‣ unsere Lösungen zu bewerten

Vollständig geht das in dieser Vorlesung leider nicht! – Aber: Wir wollen die Grundzüge verstehen, dann ist ggf. ein Selbststudium möglich!

Page 39: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

39 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Eine spezielle „Funktion“: Der Diracsche Deltaimpuls nach Paul Dirac 1930

‣ wird über seine Haupteigenschaften definiert:

‣ Streng: Es gibt keine klassische Funktion mit diesen Eigenschaften. ist streng genommen eine Distribution (verallgemeinerte Funktion).

‣ andere Namen Diracfunktion, Deltafunktion, Nadelimpuls

1)(

0 für0:)(

dxx

xx

)()(),(

1),(

0, für0:),(

yxyx

dxdyyx

yxyx

Page 40: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

40 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Der Diracsche Deltaimpuls

Die Deltafunktion läßt sich als Grenzwert einer Familie von Funktionen definieren, z.B:

anschaulich: eine Rechteckfunktion mit unendlich kleiner Impulsbreite und unendlicher Impulshöhe im Ursprung Nadelimpuls

byundaxfüryxrect

mityxrectba

yx

ba

ba

ba

1sonst0

),(

),(4

1lim),(

,

,

0,

ab

ba 4

1

Page 41: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

41 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Die Ausblendeigenschaft (Siebeigenschaft,sifting property) der Deltalfunktion:

Dieses Integral blendet an der Stelle x0 den Funktionswert f(x0) aus:

)()()( 00 xfdxxxxf

x

f(x0))(xf

x0

Page 42: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

42 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Ideale Abtastung eines Bildes erfolgt durch

S(x,y) Diracfeld = 2D Feld von Nadelimpulsen (-Impulsen)

x

y

y

x

),( yxS

m n

ynyxmx

yxS

),(

),(

Page 43: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Ideale Abtastung

Wir definieren als abgetastetes Bild fs:

f f x y s x y

f x y x m x y n y

f x y x m x y n y

f m x n ysonst

f x y für x m x y n y

s

m n

m n

( , ) ( , )

( , ) ( , )

( , ) ( , )

( , ) ( , ) ,

,

,

0

© D

etle

f K

röm

ker

Page 44: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

44 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Beispiel: Abtastung der Funktion f(x,y)

01

23

45

67

89

0

1

2

3

4

0

5

10

15

20

25

30

35

40

45

x

y

f(x,y)

x

y

y

),( yxfS

ynyxmxfüryxf

sonstynxmfyxfs,),(

0),(),(

x

Eine systematische Untersuchung der Eigenschaften von zeigt u.a.:),( yxfS

Page 45: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Ein bandbegrenztes Bild f(x,y), das orthogonal mit Abtastintervallen ideal abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen 2bu und 2bv sind.

Abtasttheorem nach Shannon (1): Abtastung

x y,

12

12

xu b

yv bs u s v ,

mit

F b bu v( , ) , , 0

b bu v,

ss vu ,

© D

etle

f K

röm

ker

Page 46: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Abtasttheorem (2): Rekonstruktion

Ein diskretes Bild lässt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion

rekonstruieren, so dass dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann

H u v x y rect u v mit

b u b und b v b

h x y x y x y

TP

u u v v

TP

( , ) ( , )

( , ) sinc( ) sinc( )

f x yd ( , )

f x y f m x n y

xxm

xxm

yyn

yynnm

( , ) ( , )sin( )

( )

sin( )

( )

© D

etle

f K

röm

ker

Page 47: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

47 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Eine wunderschöne Theorie! Aber

‣ Erfüllung des Abtasttheorems: ein bandbegrenztes Bildsignal ist Voraussetzung! – in der Praxis oft nicht gegeben!

‣ einen idealen Abtaster (Nadelimpuls) gibt es nicht!

‣ Rekonstruktion auch nicht ideal möglich (sinc-Funktion negatives Licht!)

‣ unvermeidbare Fehler können nur minimiert werden (dann bestenfalls unsichtbar): Diese sind

Aliasing 1. Art: Abtastfehler: Moiree, Scintillation,...Aliasing 2. Art: Rekonstruktionsfehler: Treppenstufen,...

Page 48: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Ortsraum

Frequenz-raum

bu Bandgrenze

Nyquistfrequenz

us Abtast-frequenz

Aliasing 1. Art: Veranschaulichung im 1D

-1,25

-1

-0,75

-0,5

-0,25

0

0,25

0,5

0,75

1

1,25

0 15 30 45 60 75 90 105 120 135 150 165 180

© D

etle

f K

röm

ker

Page 49: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Aliasing 1. Art: Unterabtastung

-1,5

-1

-0,5

0

0,5

1

1,5

0 15 30 45 60 75 90 105 120 135 150 165 180

Ortsraum

Frequenz-raum

bu Bandgrenze

Nyquistfrequenz

us Abtast-frequenz

© D

etle

f K

röm

ker

Page 50: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Aliasing 1. Art: Veranschaulichung im 1D

-1,25

-1

-0,75

-0,5

-0,25

0

0,25

0,5

0,75

1

1,25

Ortsraum

ALIASDoppelgänger

© D

etle

f K

röm

ker

Page 51: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

51 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Moiree

niederfrequente Muster, dort wo man ein einheitliches Grau erwarten würde!

Page 52: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

52 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

VeranschaulichungSzintilation

bei Bewegung zu kleiner Objekte führt dieses zum „Aufblitzen“

Page 53: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Aliasing 1. Art - Maßnahmen

‣ Bandbegrenzung des abzutastenden Bildes durch z.B.

‣ bei der Aufnahme durch optische Unschärfe ‣ einfach, adhoc einsetzbar‣ wenig effektiv, weil Filterflanken nicht steil genug ‣ erfordert Abtastraten deutlich über Nyquistfrequenz‣ deutlich sichtbare Unschärfe

‣ endliche Abtastapertur ‣ hat Tiefpaßwirkung

‣ beim Rendering sehen wir später!

© D

etle

f K

röm

ker

Page 54: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Reale Bildrekonstruktion - Anzeige

‣ Ideale Rekonstruktion mit sinc-Funktion ist praktisch nicht realisierbar

‣ praktische Lösungen:‣ Rechteckausgaben (zero-order hold)‣ Artifakte:

‣ Treppenstufen‣ Ameisenkrabbeln (ant crawling) nur im Bewegtbild

‣ in der Praxis auf CRT teilweise gemildert durch:‣ horizontal: Tiefpaßwirkung des Videoverstärkers‣ vertikal: Gaußfunktion des Elektronenstrahls‣ hochfrequentes “Rauschen” durch Lochrastermaske

‣ auf LCDs deutlich sichtbar!

Page 55: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Das Rekonstruktionsdilemma

-0,25

0

05

0,5

0,75

1

1,25

Auflösungsfehler

Interpolationsfehler

Im Frequenzraum: Vergleich der idealen Rekonstruktion mit einer Rechteck-Rekonstruktion

IdealSync-Funktion im OrtsbereichRechteck im Frequenzbereich

Rechteck im Ortsbereich

Sync im Frequenzbereich

Wenn man nicht mit einer sync-Funktion rekonstruiert, dann sind Auflösungsfehler „Unschärfe“ und Interpolationsfehler Treppenstufenunvermeidlich.

Page 56: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

56 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Rekonstruktion auf LCD-Displays= Rechteck!

‣ Auflösungsverlust: minimal !!!‣ Interpolationsfehler: maximal !!!

‣ Treppenstufen‣ Ameisenkrabbeln

‣ Theoretisch ist Verbesserung möglich durch eine entsprechende optische Filterung (Mattscheibe – kein idealer TP!)

‣ Glücklicherweise ist das Visuelle System auch ein wirksamer Tiefpaß

Page 57: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

57 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Rekonstruktion auf CRT-Displays

‣ Vergleichsweise gute Annäherung an Sinc-Funktion im Zentralimpuls = Rechteck in der Fouriertransformierten

‣ Auflösungsverlust fast so gering wie bei LCD-Display‣ Interpolationsfehler geringer „friedlich“

‣ Notwendig: korrekte Strahlfokussierung

Page 58: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

58 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Fragen und (hoffentlich) Antworten

Page 59: Hier wird Wissen Wirklichkeit Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Prof. Dr. Detlef Krömker Professur für Graphische

Prof. Dr. Detlef KrömkerInstitut für Informatik

59 Hier wird Wissen Wirklichkeit B-CG – V01 Das Digitale Bild

Ausblick ... am nächsten Donnerstag

Wir wenden uns unserem Hauptthema, der Graphikebene, zu und untersuchen zunächst, wie die Geometrie der Objekte repräsentiert werden kann.

... und, danke für Ihre Aufmerksamkeit!