Begriffsdefinitionen „Bildverstehen“• Semantik von Bildern• Den Inhalt von Bildern erkennen• Objekte im Bild erkennen• Verarbeiten visueller Information• Die Bedeutung von Bildern mit Hilfe von exakt

definierten Prozessen ermitteln. [Niemann]• Vom Bild zum Objektmodell. [Winston]• Wissensbasierte Mustererkennung

Bildverstehen ist ein Prozess

“Cognitive Vision”

• Aktuelle EU-Projekte– Cognitive Vision: 5.RP– Cognitive Systems: 6.RP– www.ecvision.org– www.eucognition.org

• Cognitive vision system:=– Visually-enabled cognitive system– Cognitively-enabled vision system

Das Allgemeine Bildverstehende System

• Gibt es nicht !

• Immer über eine Anwendung definiert

Anwendung

Wissen

Spezielle Lösung• Repräsentation• Steuerung• Algorithmen

Gabor Filter (1)

• 2D Gaussglocke im Spektrum• Ortsfrequenzband (+ Orientierung) im Bild• vgl. komplexe Zellen im visuellen Cortex

http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/TRAPP1/filter.htmlmplab.ucsd.edu/~movellan/ mypapers/FaselBartlettMovellan2002.pdf

Gabor Filter (2)

Gabor Filter (3)

Gabor Filter (4)

real imaginär

Gabor Filter (5)

Gabor Filter (6)

Gabor-Filter-Bank

Scale Space (1) [Lindeberg]

Lindeberg: ``Scale-space: A framework for handling image structures at multiple scales'', Proc. CERN School of Computing, Egmond aan Zee, The Netherlands, 8--21 September, 1996.(An introductory overview on 12 pages PostScript 1.4Mb). (PDF 2.0 Mb)

http://www.nada.kth.se/~tony/earlyvision.html

Scale Space (2) [Lindeberg]

Scale Space (3) [Lindeberg]

Automatic Scale Selection

Rezeptive Felder Repräsentationen

• On-Off / Off-On

• Einfache Zelle

• Komplexe Zelle

• Corners, blobs

• Lines, edges

• Scale space

• Gauss-/Laplace-P.

• (Wavelet)

• Gabor Filter

HauptkomponentenTransformation – HKT (1)

([Gonzalez&Woods, 1993], pp.148ff)

• Hotelling transform• Diskrete Karhounen-Loève Transformation• Eigenvector transform• Principal component transform (PCT)

)( xmxAy

n

00

0

0

00

2

1

yC

HKT (2): Kovarianzmatrix Cx

• reell• symmetrisch• cii: Varianz von xi

• cij: Varianz von xi und xj

Eigenschaften:

Zufallsvektoren x:

}))({( )( ...

2

1

T

n

EE

x

x

x

xxxx mxmxCxmx

M Proben:T

M

k

Tkk

M

kk MM xxxx mmxxCxm

11

1

1

HKT (3): Eigenvektoren, -werte

Dann gilt:

1,,1 1 njjjiii eeCx

)( , 1

xmxAy

e

e

A

Tn

T

Def. HKT:

n

T

00

0

0

00

2

1

yxy CAACC

Eigenfaces [Turk, Pentland]

• Many normalized images 256x256

• 65536 eigenvectors ! eigenimages

Systemmodell für Bildverstehen