T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil

TEAM 2

EPIPOLARGEOMETRIE

TRIANGULIERUNG

OPENCV

Lisa Blum - Kathrin Kunze - Michael Kreil

EPIPOLARGEOMETRIE



Korrespondierende Punkte

- Gegeben:2D-Positionen der gefundenen Lichtquellen im Bild der ersten Kamera

- Ziel:Korrespondierende 2D-Punkte im Bild der zweiten Kamera finden

- Lösungsansatz:Epipolargeometrie


• W: ein beliebiger Punkt in der Welt

• p, q: Abbildungen des Weltpunktes auf die Bildebenen

• : Brennpunkte der Kameras

• : Epipole

• : Epipolarlinien

• t: Translation

• R: Rotation

Epipolargeometrie

21,EE

21, ll

21,CC


21,BB

Die Epipolarbedingung

- Bedingung:Der zu p korrespondierende Punkt q muss auf der Epipolarlinie im zweiten Bild liegen

- Nutzen:Der Suchbereich, in dem diekorrespondierende Lichtquellegesucht wird, ist aufeine Linie reduziert

2l


Die Essential Matrix

- Epipolar-Bedingung:

- Essential Matrix

mit Kreuzproduktmatrix

- Die Essential Matrix E mappt einen Bildpunkt auf seine epipolare Linie im zweiten Bild: iT pEl ~

2

0

0

0

][

12

13

23

tt

tt

tt

t x

xtRE ][

0~~ iiT pEq

ip~

2l


Die Fundamental Matrix- Bisher: Zusammenhänge in Bildkoordinaten- Gesucht: Zusammenhänge in Pixelkoordinaten

- Umwandlung von Bild- in Pixelkoordinaten: ,wobei K die intrinsischen Kameraparameter enthält

- Epipolarbedingung unter Verwendung von Pixelkoordinaten

- Fundamental Matrix

- Die Fundamental Matrix F mappt einen Punkt auf seine epipolare Linie im zweiten Bild:

ip pKp ~~

0~))((~ 11 pTpT pKEKq

11)( KEKF T

pT pFl ~2

pp~


VIELEN DANK


TRIANGULIERUNG


8-Punkte-Algorithmus

- Gesucht: F- Gegeben: (min.) 8 korrespondierende Punktepaare

- (min.) 8 Gleichungen der Form

werden umgeschrieben in die Form

- Gleichung nur lösbar, wenn Rang(A)=8- Rauschen Rang(A)=9 Gleichung nicht lösbar

0~~

pT

pFqp

i

33

12

11

9 und mit 0

f

...

f

f

fIRAfA N


8-Punkte-Algorithmus- f liegt im Nullraum von A- Vorgehen

- SVD(A) = - - Setze

- SVD(F)= - Setze

- Setze

-

TVU 09

09

TFFF VU

03

TFF VUF

000

00

00

2

1

~

2pT pFl


8-Punkte-Algorithmus

- Problem: Numerische Instabilität des Algorithmus- resultierend aus großer Varianz der Einträge in A

- Verbesserte 8-Punkte-Algorithmus durch Normalisieren der korrespondierenden Punkte- Ursprung in Schwerpunkt der feature-Punkte

verschieben- feature-Punkte skalieren, so dass Wurzel(2) mittlere

Norm

max. Stabilität


Triangulierung

- Gegeben: korrespondierende Punkte

- Gesucht: 3D-Punkt in der Welt

y

xi

y

xi

q

qq

p

pp und

yy qp

bwFd z /


Triangulierung

- 3D-Koordinate des Weltpunktes:

yz

y

xz

x

z

pF

ww

pF

ww

bd

Fw


Triangulierung

- Problem: Projektion

Idee: Reprojektionsfehler minimieren


VIELEN DANK


OPENCV


Was ist das?

- C++ Bibliothek

- Intel-Entwicklung

- Basiert auf IPL

(Intel Image Processing Library)

- Open Source

- Optimiert für Intelprozessoren


Datenstrukturen

Bilder- 1, 2, 3, ... Kanäle- 8, 16, 32 Bit Integer- 32 und 64 Bit Float- B/W, Graustufen, RGB, RGBA, LUV,

XYZ, YCrCb, HSV, CMY, CMYK, YCC

Felder, Matrizen, Vektoren, Graphen


Filter

- Kalmann- Sobel- Convolution- Dilatation, Erosion, Öffnen, Schließen- Distanz- Schwellwert (auch adaptiv)- Median- Max, Min


weitere Funktionen

- Linien, Rechtecke, Kreise, Ellipsen(auch antialiased)

- Histogramm- Hough- und Gauß-Laplace-Transformation- Kamerakalibrierung und Linsenentzerrung- Approximation durch Geraden, Polygone,

Kurven, Ellipsen, konvexe Hüllen- Konturen, Objekt-, Bewegung-,

Gestikerkennung





http://www.intel.com/technology/computing/opencv/

http://sourceforge.net/projects/opencvlibrary/

VIELEN DANK


Input

1 2 3

1 2 3

1 2 3

n

n

n

x x x x

y y y y

l l l l

0

0 0 1

x x

y y

K s H

K K H

3n Matrix mit n Koordinaten und Helligkeitswerten

Intrinsische Kameraparameter

HDR-Bild der 2. Kamera

x

y

FK

dxF

Kdy


Output

1 2 3

1 2 3

1 2 3

1 2 3

n

n

n

n

x x x x

y y y y

z z z z

l l l l

4n Matrix mit n Koordinaten und Helligkeitswerten


Documents

T EAM 2 E PIPOLARGEOMETRIE T RIANGULIERUNG O PEN CV Lisa Blum - Kathrin Kunze - Michael Kreil