Projektive Abbildung VideokameraPerspektivisches Abbildungsmodell„Lochkamera-Modell“
Sensor-Koord.-System S: x,y
Welt-Koor-dinaten-system W:X, Y, Z
PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek
t-punkt
y
xH P
XPZYPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YKPZ
X
Y
Z
Bildpunkt
Kammerkonst. c
O
Weltkoordinaten-Pixelkoordinaten
1. Weltkoordinaten-Kamerakoordinaten
2. Kamerakoordinaten-Sensorkoordinaten
3. Sensorkoordinaten-Pixelkoordinaten
Perspektivisches Abbildungsmodell
Pixel-Koordina-tensystem: u,v
Sensor-Koordinatensystem
Objektpunkt O: Weltkoord. [XO,YO,ZO]T Kamerakoord. [XK
O,YKO,ZK
O]T Persp. Zentrum PZ: [XPZ,YPZ,ZPZj]T
Bildpunkt P: [xP,yP]T
Hauptpunkt H: [xH,yH]T
u
v
Sensor-Koord.-System S: x,y
Welt-Koor-dinaten-system W:X, Y, Z
PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek
t-punkt
y
xH P
XPZYPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YKPZ
X
Y
Z
Bildpunkt
Kammerkonst. c
x
y
H
O
Projektive AbbildungVideokamera
Perspektivisches AbbildungsmodellInterne Koordinatentransformation
Objektpunkt O in Kamerakoord.: [XKO,YK
O,ZKO]T
Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]T
1. Projektion Kamera-Koord. in Sensor-Koord.mittels Strahlensatz:
Projektion in homogenen Koordinaten:
Sensor-Koord.-System S: x,y
PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek
t-punkt
y
xH PHauptpunkt
ZK
XK
YKPZ
Bildpunkt
Kammerkonst. c
O :d.Kamerakoorin Bildpunkt
//
:Koord. homogene
KO
KO
KO
KO
P
P
KO
KO
KOP
P
ZYX
Zc
cyx
cbca
cba
YX
Zc
yx
Projektive AbbildungVideokamera
KO
KO
KO
KO
P
P
KO
KO
KO
KO
P
P
KO
KO
KO
P
P
ZYc
ZXc
yx
ZYZX
cy
cx
ZYX
cyx
:Koord.homogenen in
Perspektivisches AbbildungsmodellInterne Koordinatentransformation
Objektpunkt O in Kamerakoord.: [XKO,YK
O,ZKO]T
Bildpunkt P: [xP,yP]T, Hauptpunkt H: [xH,yH]T
2. Korrektur, wenn Hauptpunkt nicht inBildmitte:
Sensor-Koord.-System S: x,y
PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek
t-punkt
y
xH P
ZPZ
Hauptpunkt
ZK
XK
YKPZ
Bildpunkt
Kammerkonst. c
O
HP
HP
yyxx
yx
Projektive AbbildungVideokamera
cyx
cycx
cyx
p
p
H
H
100/10/01
Pixel-Koordina-tensystem: u,v
u
v
x
y
H
Perspektivisches AbbildungsmodellSensor-Pixel-Koordinatentransformation
3. Umrechnung Sensor-Koord. xP,yP in Pixel-Koord. u,v
yM
xM
y
xuu
vvvM
uM
x
y
Die Bildmittelpunktskoordinaten uM und vM sowie x und y sind aus den Angaben desSensorherstellers entnehmbar.
Sensor-Koordinatensystem
Projektive Abbildung Videokamera
1000000
100/10/01
v 1
1
y
x
M
M
cvcu
c
u
cyx
cvcu
cyxu
c
u
y
x
M
M
y
x
M
M
1000000
100/10/01
1000000
0vv
1
1
1
1
cyx
vu
P
P
y
x
1000
0
01
01
cyx
cycx
P
P
H
H
100/10/01
Pixel-Koordina-tensystem: u,v
u
v
x
y
H
Optische DetektorenPerspektivisches AbbildungsmodellKamera-Pixel-Koordinatentransformation
Umrechnung Sensor-Koord. in Pixel-Koord. (in homogenen Koord.)
vM
uM
x
y
Sensor-Koordinatensystem
Projektive Abbildung Videokamera
cyx
vcucu
cyx
vuu
P
P
y
x
P
P
y
x
1000
0
1v
1000
0
c-v
01
01
01
01
KO
KO
KO
ZYX
1000
0
1v 0
10
1
vcucu
y
x
Sensor-Koord.-System S: x,y
PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek
t-punkt
y
xH P
ZPZ
Hauptpunkt
ZK
XK
YKPZ
Bildpunkt
Kammerkonst. c
O
Umrechnung Kamera-Koord. in Sensor-Koord.
:Koord.homogenen in
KO
KO
KO
P
P
ZYX
cyx
Optische DetektorenPerspektivisches Abbildungsmodell4. Transformation Welt- in Kamera-Koord.
Welt-Koor-dinaten-system W:X, Y, Z
Kamera-Koordinaten-System K: XK,YK,ZK
Objekt-punkt
XPZYPZ
ZPZ
ZO
YO
XO
XK
YK
X
Y
Z
O
ZK
PZO
PZO
PZO
jKO
KO
KO
ZZYYXX
RZYX
),,( 6
Translation und Rotation
PZ: PerspektivischesZentrum
1000cossin0sincos
)(
cos0sin010
sin0cos)(
cossin0sincos0001
)(
)()()(),,(
3
2
1
321
R
R
R
RRRR
6
6
6
6666
333231
232221
131211
RRRRRRRRR
Projektive AbbildungVideokamera
1000cossin0sincos
)(cos0sin
010sin0cos
)(cossin0sincos0001
)(
)()()(),,(
321
321
RRR
RRRR
666
6666
333231
232221
131211
RRRRRRRRR
coscossinsincoscossincossincossinsincossinsinsinsincoscoscossinsinsincos
sinsincoscoscosR6
Optische DetektorenPerspektivisches Abbildungsmodell4. Transformation Welt- in Kamera-Koord.Rotationsmatrix
Projektive AbbildungVideokamera
Optische DetektorenPerspektivisches Abbildungsmodell4. Welt-Kamera-Koordinatentransformation
PZO
PZO
PZO
KO
KO
KO
ZZYYXX
RZYX
),,( 6
Projektive Abbildung Videokamera
11000100010001
1000000
1333231
232221
131211
O
O
O
PZ
PZ
PZ
KO
KO
KO
ZYX
ZYX
RRRRRRRRR
ZYX
In homogenen Koordinaten:
Welt-Koor-dinaten-system W:X, Y, Z
Kamera-Koordinaten-System K: XK,YK,ZK
Objekt-punkt
XPZYPZ
ZPZ
ZO
YO
XO
XK
YK
X
Y
Z
O
ZK
11000
11000
333231
232221
131211
333231333231
232221232221
131211131211
O
O
O
z
y
x
O
O
O
PZPZPZ
PZPZPZ
PZPZPZ
ZYX
tRRRtRRRtRRR
ZYX
ZRYRXRRRRZRYRXRRRRZRYRXRRRR
Optische DetektorenPerspektivisches Abbildungsmodell5. Zusammensetzung zur Welt-Pixel-Koordinatentransformation Sensor-Koord.-
System S: x,y
Welt-Koor-dinaten-system W:X, Y, Z
PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek
t-punkt
y
xH P
XPZYPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YKPZ
X
Y
Z
Bildpunkt
Kammerkonst. c
O
Projektive Abbildung Videokamera
110001333231
232221
131211
O
O
O
z
y
x
KO
KO
KO
ZYX
tRRRtRRRtRRR
ZYX
1000
0
1v 0
10
1
vcucu
y
x
1010000100001
KO
KO
KO
ZYX
1000
0
1v 0
10
1
vcucu
y
x
11000010000100001
333231
232221
131211
O
O
O
z
y
x
ZYX
tRRRtRRRtRRR
134333231
24232221
14131211
ZYX
pppppppppppp
vu
Optische DetektorenPerspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene
Projektive Abbildung Videokamera
1mit 11
oder
1
11000
0
1
zu
Dann wird
3231
01
320221
310211
01
320121
310111
3231
01
320221
310211
01
320121
310111
3231
2221
1211
01
01
int
z
zyyyy
zxxxx
O
O
O
O
z
zyyyy
zxxxx
O
O
z
y
x
y
x
ext
tRRtvtcRvRcRvRctutcRuRcRuRc
HYX
Hvu
YX
tRRtvtcRvRcRvRctutcRuRcRuRc
YX
tRRtRRtRR
vcuc
vu
XKPKp
66
666
1000
0
1v 0
10
1
vcucu
y
x
11000010000100001
333231
232221
131211
O
O
O
z
y
x
ZYX
tRRRtRRRtRRR
Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0
XKPKp ext
666 int
oder
Optische DetektorenPerspektivisches Abbildungsmodell: Spezialfall Abbildung einer Ebene
Projektive Abbildung Videokamera
333231
232221
131211
3231
01
320221
310211
01
320121
310111
hhhhhhhhh
1mit 11
z
zyyyy
zxxxx
O
O
tRRtvtcRvRcRvRctutcRuRcRuRc
HYX
Hvu
66
In homogenen Koordinaten: lineare Darstellung
In kartesischen Koordinaten: nicht-lineare Darstellung
333231
232221
333231
131211
hhhhhh
hhhhhh
OO
OO
OO
OO
YXYXv
YXYXu
Zwei-Ansichten-AbbildungVideokamera
Optische DetektorenAllgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien
Allgemeine projektive Transformation zwischen Ebenen:
Nicht-linear, undef. wenn Nenner Null:explizites Hinzufügen einer Linie mit Punkten im Unendlichen Projektive EbeneLGS in homogenen Koordinaten
Nach: Robert T. Collins: Projective Reconstruction of Approximately Planar Scenes, Proc. SPIE 1839, pp. 174-185
333231
232221
333231
131211 ,hhhhhh
hhhhhh
eiche Punktfür unendlEbenePunkte in für endl.
ss
kSkalarshhh
hhhhhh
sk
01
0
333231
232221
131211
x
y
x´
y´
´
´
x‘‘
y‘‘
‘‘
‘‘
HomographieH1
Homographie H2
C1affin
Objektebene
C2affin
Lochkamera1 Lochkamera2
Optische DetektorenAllgemeines Perspektivisches Abbildungsmodell zwischen Ebenen: Homographien
Einander entsprechende Punkte inirgendwelchen zwei Ebenen der Abbildungsind über eine Homographie verbunden.
Ist die Abweichung der realen Kameravom Lochkameramodell linear, ist dasBild eine affine Transformation der reinenLochkamera-Abbildung.
Gesamtabbildung: H1C1Affine Abb. Untergruppe von Homographie H1C1 ist ebenfalls Homographie.
x
y
x´
y´
´
´
x‘‘
y‘‘
‘‘
‘‘
HomographieH1
Homographie H2
C1affin
Objektebene
C2affin
Lochkamera1 Lochkamera2
v´
v´
v´´
v´´
2
11 :
tt
yx
rqpo
vu
C
Zwei-Ansichten-AbbildungVideokamera
Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien
Zwei-Ansichten-AbbildungVideokamera
H0w: Homographie bildet Weltebene auf erste Bildebene ab.
Hii-1: Homographien zwischen Bildern
010
121 w
ii
ii
iw HHHHH
66
666
Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien
Berechnung einer Homographie
Skalierung, so dass h33 1 (h´ij=hij/h33), ausmultiplizieren, umstellen:
Für N Punktepaare i,i und ´i, ´i 1iN ergibt sich LGS in Matrixschreibweise:
232221333231
131211333231
333231
232221
333231
131211 ,hhhhhhhhhhhh
hhhhhh
hhhhhh
3231232221
3231131211
2322213231
1312113231
´´´´´´´´´´
´´´1´´´´´1´´
hhhhhhhhhh
hhhhhhhhhh
SVDmit z.B. Lösung´ˆ
´´´´´´´´
10000001
10000001
1
1
32
31
23
22
21
13
12
11
111111
111111
bhA
hhhhhhhh
N
N
NNNNNN
NNNNNN
6
Zwei-Ansichten-AbbildungVideokamera
Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien
Berechnung einer Homographie: Vorgehen
1. Vorstufe: Datennormierung
rTrrTryssxss
Tyssxss
T
rTrd
syxd
rTrd
syxd
rrrrrr
r
ii
N
iii
N
ii
N
ii
ii
N
iii
N
ii
N
ii
NN
6666
6
6
~ und ~:100
00
und 100
00
mit
~2N1,
N1y,
N1x
~2N1,
N1y,
N1x
.2ttelwert Abstandsmi auf alierungAbstandssk und gin Ursprun ungtverschiebSchwerpunk
:,,, :Bild2in und ,,, :1 Bildin
Punkteierenden korrespondder Mengefür Normierung
1
22
11
1
22
11
2121
Zwei-Ansichten-AbbildungVideokamera
Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien
Berechnung einer Homographie: Vorgehen
2. Berechnung der „normierten“ Homographie
3. „Denormierung“ der „normierten“ Homographie
SVDmit z.B. Lösung~~~
ˆ
~
~
~
~
~~~~~~~~
~~~~1~~000
~~~~0001~~
~~~~1~~000
~~~~0001~~
1
1
32
31
23
22
21
13
12
11
111111
111111
bhA
hhhhhhhh
N
N
NNNNNN
NNNNNN
6
Zwei-Ansichten-AbbildungVideokamera
Optische DetektorenPerspektivisches Abbildungsmodell für Ebenen: Homographien
Anwendung: Mosaicing
Zwei-Ansichten-AbbildungVideokamera
Sensor-Koord.-System S: x, y
Welt-Koor-dinaten-system W:X, Y, Z
PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S
Objekt-punkt
y
xH P
XPZYPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YK
PZ
X
Y
Z
Bildpunkt
Kammerkonst. c
O
Ebenen-basierte Bestimmung der Pose einer Kamera
1mit 11
oder
1
11000
0
1
zu
Dann wird
3231
01
320221
310211
01
320121
310111
3231
01
320221
310211
01
320121
310111
3231
2221
1211
01
01
int
z
zyyyy
zxxxx
O
O
O
O
z
zyyyy
zxxxx
O
O
z
y
x
y
x
ext
tRRtvtcRvRcRvRctutcRuRcRuRc
HYX
Hvu
YX
tRRtvtcRvRcRvRctutcRuRcRuRc
YX
tRRtRRtRR
vcuc
vu
XKPKp
66
666
1000
0
1v 0
10
1
vcucu
y
x
11000010000100001
333231
232221
131211
O
O
O
z
y
x
ZYX
tRRRtRRRtRRR
Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie
1. Projektive Abbildung einer Ebene: Homographie
Objektpunkte seien ausschließlich in einer Ebene: Annahme o.E.d.A.: Z0=0
XKPKp ext
666 int
oder
3231
22212
12112!
323122212
12112
22
21
32
22
12
2
31
21
11
1
333231
232221
131211
3231
2221
1211
323121
33
23
13
3
32
22
12
2
31
21
11
1
333231
232221
131211
~~~~~~
0~~~~~~1
~
~
~
,~
~
~
~~~~~~~~~
1~
.0,0,0
,,
hhhhyhhxchhhhyhhx
crr
h
hcy
hcx
r
h
hcy
hcx
rhhhhhhhhh
tRR
ty
cRy
cRy
c
tx
cRx
cRx
c
H
rrrrrr
RRR
rRRR
rRRR
rRRRRRRRRR
R
T
z
y
x
TTT
6
6
Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie
2. Bestimmung der Kammerkonstanten aus der Homographie mit xH=yH=u0=v0=0
1000
0
1v 0
10
1
vcucu
y
x
11000010000100001
333231
232221
131211
O
O
O
z
y
x
ZYX
tRRRtRRRtRRR
Für die Spaltenvektoren der in
enthaltenen Rotationsmatrix
gilt wechselseitige Orthogonalität
Bestimmung der Kammerkonstanten mit erster Orthogonalitätsbedingung
3212133
21231
2221
2211
22
312
2212
2
2112
21
21
3231
22212
12112
32
22
12
2
31
21
11
1
321
,, :
, ~~~1
~~~11
:1
~~~~~~
~
~
~
,~
~
~
1
rrrRrrrr
rrhchyhx
ch
chy
chx
rr
rr
hhhhyhhxc
h
hc
y
hc
x
r
h
hc
y
hc
x
r
rrr
6
Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie
3. Bestimmung der Rotationsmatrix
Spaltenvektoren der Rotationsmatrix sind Einheitsvektoren des gedrehten Koordinatensystems
wobei aus voriger Orthogonalitätsbedingung
Bestimmung von so, dass
Bestimmung von aus weiterer Orthogonalitätsbedingung
Einsetzen von und c
33
23
13
33
23
13
3
~
~
~
1~~~
~
~
hc
yhc
xh
t
t
tyc
txc
hhh
hH
z
y
x
6
z
y
xT
PZ
PZ
PZT
z
y
x
PZ
PZ
PZ
PZ
PZ
PZ
z
y
x
ttt
RRRRRRRRR
ZYX
RRRRRRRRR
RRRRRRRRR
ttt
RRRRRRRRR
ZYX
ZYX
RRRRRRRRR
ttt
333231
232221
131211
333231
232221
1312111
333231
232221
131211
1
333231
232221
131211
333231
232221
131211
mit
Berechnung der Kamera-Orientierung gegenüber einer Ebene aus der Homographie
4. Bestimmung der Translation
Die dritte Spalte der Homographiematrix lautet
Mit c und aus vorheriger Rechnung ist Translationsvektor bestimmt.
Mit dem Translationsvektor und der Rotationsmatrix wird die Lage des persp. Zentrums berechnet.
H
XPZ
ZPZ
ZK
XK
YK
PZ
X
Y
Z
YPZ
Rechteck in Objektebene
Seitengerade l1
des Rechtecks
Seitengerade l2
des Rechtecks
Ebene E1 aufgespanntdurch l1 und PZ
Ebene E2 aufgespanntdurch l2 und PZ
Schnittgerade zwi-schen E1 und E2
Schnittgerade l´2 zwischen E2 undSensorfläche
Schnittgerade l´1 zwischen E1 undSensorfläche
Normalen-vektor von E2
Normalen-vektor von E1
Seitengeraden des Rechtecks:
Die Abbildung einer Geraden l1 geht durch PZ.Sie bildet damit eine Ebene E1, welche die Sensorfläche in einer Geraden l1´ schneidet.Ebenso ergeben sich E2 und l2´ für die paralleleGerade l2 der gegenüber liegenden Seite des Rechtecks.Die beiden Ebenen E1 und E2 schneiden sichin einer Geraden parallel zu l1 und l2, derenRichtungseinheitsvektor einer der Einheitsvek-toren des Marken-Koordinatensystems ist. steht senkrecht auf und ,bestimmt durchKreuzprodukt. wird durch die anderenSeitengeraden und und deren Ebenen mit und bestimmt:
steht senkrecht auf und :
´:´´;:´:;:
20221011
20221011
xxlxxlxxlxxl
n2
n1
2ˆ
Me1ˆ
Me
3ˆ
Me
Me
2ˆ
Me 2n1n
21
212
ˆnnnneM
1ˆ
Me
1l 2l2n1n
21
211
ˆnnnneM
3ˆ
Me 1ˆ
Me 2ˆ
Me
213ˆˆˆ
MMM eee
Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera
H
XPZ
ZPZ
ZK
XK
YK
PZ
X
Y
Z
YPZ
Rechteck in Objektebene
Seitengerade l1
des Rechtecks
Seitengerade l2
des Rechtecks
Ebene E1 aufgespanntdurch l1 und PZ
Ebene E2 aufgespanntdurch l2 und PZ
Schnittgerade zwi-schen E1 und E2
Schnittgerade l´2 zwischen E2 undSensorfläche
Schnittgerade l´1 zwischen E1 undSensorfläche
Normalen-vektor von E2
Normalen-vektor von E1
Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera
Bestimmung der Normalenvektoren:Die Abbildung l1´ der Geraden l1 durch PZliegt ebenfalls in Ebene E1. Somit kann E1
(d.h. ) durch Bestimmung von l1´ aus dem Bildmithilfe der internen KalibrierparameterHauptpunkt H und Kammerkonste c berech-net werden.Ebenso kann aus l2´ berechnet werden.Nach Segmentierung und z.B. Hough-Trans-formation: Geradengleichung für l1´in Bild-koordinaten
n2
n1
1ˆ
Me2ˆ
Me
3ˆ
Me
2n
1n
1101 wrr
Pixel-Koordina-tensystem: u,v
u
v
x
y
H
vM
uM
x
y
Sensor-Koordinatensystem10r
1w
Bestimmung der Normalenvektoren:
Transformation der Bildgeraden in das Kamera-Koordinatensystem:
1. Transformation vom Pixel- in das Sensor-Koordinatensystem
2. Transformation in das Kamera-Koordinatensystem:
3. Gleichung für Normalenvektor der Ebene durch l1´ und projektives Zentrum PZals Kreuzprodukt des Richtungsvektors der Geraden und Differenzvektor zwischenAufpunkt der Geraden und PZ:
Pixel-Koordina-tensystem: u,v
u
v
x
y
H
vM
uM
x
y
Sensor-Koordinatensystem10r
1w
MPy
MPx
p
p uuyx
vv
y
xM
PPS rrr0
0,
66
cwrrr
crr
rP
HMPP
HS
K 11011
66
1101101
11011 :nKoordinate-Sensorin iert transform:l´ Gerade
wrrwrrr
wrrP
MPPP
MPPS
PPP
666
1v 1u
,11
cw
vP 6
,10
1
crrr
u HMPP 6
11
111
ˆuvuvn
Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera
Bestimmung der Marken-Koordinatensystemachsen:
Normalenvektoren der Ebenen durch parallele Markenberandungen l1 und l2
ergeben Koordinatenachse als Kreuzprodukt:
Analoges Verfahren für zweites, zum ersten senkrechtes Parallelenpaar und der Rechteckmarke.
Die dritte Achse ergibt sich aus dem Kreuzprodukt der beiden ersten
Und damit die Rotationsmatrix der Marke gegenüber der Kamera
Pixel-Koordina-tensystem: u,v
u
v
x
y
H
vM
uM
x
y
Sensor-Koordinatensystem10r
1w
1101101
11011 :nKoordinate-Sensorin iert transform:l´ Gerade
wrrwrrr
wrrP
MPPP
MPPS
PPP
666
,11
cw
vP 6
,10
1
crrr
u HMPP 6
11
111
ˆuvuvn
2202202
22022 :nKoordinate-Sensorin iert transform:l´ Gerade
wrrwrrr
wrrP
MPPP
MPPS
PPP
666
,22
cw
vP 6
,20
2
crrr
u HMPP 6
22
222
ˆuvuvn
212ˆˆˆ nneM
1l 2l
211ˆˆˆ nneM
213ˆˆˆ
MMM eee
321ˆˆˆ
MMM eeeR 6
Bestimmung der Lage und Orientierung einer Rechteckmarke aus den Bildkoordinateneiner intern kalibrierten Kamera
Optische DetektorenPerspektivisches AbbildungsmodellBestimmung der Modellparameter
Interne Parameter: • Hauptpunkt-Koordinaten xH, yH • Kammerkonstante: c • Skalenfaktoren:x, y.
Externe Parameter:• Weltkoordinaten des Perspektivischen Zentrums: XPZ, YPZ, ZPZ • Drehwinkel zwischen Welt- und Kamera-Koordinatensystem:
Abbildungsmodelle Videokamera
Sensor-Koord.-System S: x, y
Welt-Koor-dinaten-system W:X, Y, Z
PerspektivischesZentrum: Ursprung desKamera-Koordinaten-systems K: XK,YK,ZK, parallel zu S Objek
t-punkt
y
xH P
XPZYPZ
ZPZ
Hauptpunkt
ZO
YO
XO
ZK
XK
YKPZ
X
Y
Z
Bildpunkt
Kammerkonst. c
O
Bestimmung der Abbildungsparameter: Kalibrierung
Schätzung der Parameter auf Basis genau vermessener Szenenmerkmale (z.B. Kalibrierpunkte) und zugeordneter Bildmerkmale.
• Menge von Modellparametern {p}• Menge der Punkte (Weltkoordinaten) der Szenenmerkmale durch Vermessung
• Menge der Punkte (Bildkoordinaten) der Bildmerkmale durch Bildauswertung (automatisch oder interaktiv oder automatisch mit iterativer Verbesserung)
Damit Menge von Zuordnungen:
Bestimmung des optimalen Parametervektors p: Minimierung der Quadratabweichungen der Positionen der projizierten Szenenmerkmale von den Positionen der Bildmerkmale:
KamerakalibrierungVideokamera
s
s
sModell
p
zyx
Tvu 6
nizyxs Tsisisii ,...,1,],,[
lisbzZii hgi ,...,1],,[
mivub T
iii ,...,1,],[
)(}),...,1{()(},...,1{:},,...,1{, jiijii ghnhggmgjiljimit
min)(1
2
l
ih
Modellpg ii
sTb
Siehe Prof.Dr. Trommer: Praktikum Systemoptimierung,Versuch 7
Optische Detektoren
• Modellierung von Abweichungen vom perspektivischen Abbildungsmodell
Korrekturterme zu
Erweiterung:
AbbildungsmodelleVideokamera
dx und dy können Verzeichnungen sein vom Typ
• Radial symmetrisch dxsym• Radial asymmetrisch dxasy so dass dx = dxsym + dxasy + dxtan• Tangential dxtan und dy = dysym + dyasy + dytan
dydx
yx
YX
Zc
yx
H
HK
O
KO
KOP
P
H
HK
O
KO
KOP
P
yx
YX
Zc
yx
Optische AbbildungVideokamera
Optische Detektoren
Abbildungsprozess: Aberration VerzerrungenRadiale Vergrößerungsänderungen.
Positive Verzerrung Negative Verzerrung
Kissenförmige Tonnenförmige Verzeichnung Verzeichnung
Optische Detektoren
Modellierung von radial symmetrischen Abweichungen
Modellierung durch ungeradzahliges Polynom:
Wobei r der Bildradius ist: r² = x² + y². r0 ist der Nulldurchgang der Verzeichnungskurve.
Somit erhält man für den radial symmetrischen Korrekturterm:
Bei normalen Objektiven genügt ein Polynom mit zwei Koeffizienten.
Einparametrige Alternative von Lenz:
AbbildungsmodelleVideokamera
)()()( 60
73
40
52
20
31 rrrArrrArrrAdrsym
yr
drdyundx
rdr
dx symsym
symsym
2
2
411
411
Kr
Krrdrsym
Verzeichnungsparameter K
sym
sym
H
HK
O
KO
KOP
P
dydx
yx
YX
Zc
yx
Modellierung von radial symmetrischen Abweichungen
Beispiel
AbbildungsmodelleVideokamera
Modellierung von radial asymmetrischen und tangentialen Abweichungen
Mehrere Modellierungen
Conrady:
Zusätzliche Berücksichtigung einer nicht-ebenen Bildfläche (Brown):
Für Videokameras genügt meist die Modellierung radial symmetrischer Abweichungen:[Lenz, Tsai]
AbbildungsmodelleVideokamera
E10
Effekt radial symmetrischer und tangentialer Abweichungen
AbbildungsmodelleVideokamera
Modellierung von Affinität
Unterschiedliche Pixelgröße in x- und y-Richtung
dxaff = Sxy x und dyaff = 0
AbbildungsmodelleVideokamera
Abbildung der Bildpunkte auf Elemente der Grauwertmatrix:
AbbildungsmodelleVideokamera
Pixel-Koordina-tensystem
Bildkoordinatensystem
u
v
u = sx(x + N/2)v = sy( y + M/2)
sx = Abtastfrequenz / (Pixeltakt*horiz. Pixelabstand)sy = 1 / vertikaler Pixelabstand
Beispiel Parametervektor:
KSssyxc
ZYX
p
xy
y
x
H
H
O
O
O
j
j
j
Rotationswinkel äußere Orientierung
Translation
KammerkonstanteHauptpunkt
innereSkalierungsfaktoren Orientierung
Verzerrungsfaktoren
Optische AbbildungVideokamera
Optische Detektoren
Abbildungsprozess: Dicke paraxiale Linse
Objektebene Bildebene
TatsächlicherStrahlenpfad Zur Konstruktion
benutzter Pfad
Abbildungskonstruktion: Strahl von P parallel zu opt. Achse bis H´, von H´ über F´Strahl von P über F nach H, von H parallel zu opt. Achse -> Schnittpunkt P´ def. S´.
H H´Hauptebenen
Optische AbbildungVideokamera
Optische Detektoren
Abbildungsprozess: Sphärische Aberrationen
Strahlen mit unterschiedlichem Abstand vom Linsenzentrum haben unterschiedliche Brennweite
Optische AbbildungVideokamera
Optische Detektoren
Abbildungsprozess: Linsensysteme (Abbildungsoptik aus mehreren dicken Linsen)
H11 H12 P1 P2 H21 H22
h
h
H11
H22
Optische AbbildungVideokamera
Optische Detektoren
Abbildungsprozess: Aberration Negatives KomaDie transversale Vergrößerung nimmt mit wachsender Strahlhöhe ab.
Optische AbbildungVideokamera
Optische Detektoren
Abbildungsprozess: Aberration Positives KomaJe größer der Kreisdurchmesser auf der Linse, desto größer der Kreisdurchmesser in der Bildebene.
Bildebene
Objektebene
KomaT
KomaV
Optische AbbildungVideokamera
Optische Detektoren
Abbildungsprozess: Aberration AstigmatismusDie Brennweiten unterscheiden sich für die sagittale und für die meridionale Ebene.
Objekt-punkt
SagittalesBild
MeridionalesBild
KleinsterFehler
Optische AbbildungVideokamera
Optische Detektoren
Abbildungsprozess: Zusammenfassung primäre Aberrationen
Aberration Radial (Unschärfe) Axial (fokale Verschiebung)
Sphärische Aberration y³ y²
Coma y²h
Astigmatismus y h² h²
Feldkrümmung y h² h²
Verzerrung h³
h: Strahlhöhe, y: Apertur
Zwei-Ansichten-AbbildungVideokamera
PZ PZ`
p1 p2
R,t – 6 Parameter
Relative Orientierung zweier KamerasP Objektpunkt-Welt
PZ: perspektivisches Zentrum Kamera 1p1: Bildpunkt von P in Kamera 1
PZ`: perspektivisches Zentrum Kamera 1p2: Bildpunkt von P in Kamera 2
Zwei-Ansichten-AbbildungVideokamera
PZ PZ`
p1 p2
3D – Koordinaten des WeltpunktesP Objektpunkt-Welt
PZ: perspektivisches Zentrum Kamera 1p1: Bildpunkt von P in Kamera 1
PZ`: perspektivisches Zentrum Kamera 1p2: Bildpunkt von P in Kamera 2
1133
132
131
124
123
122
121
114
113
112
111
1
1
1
ZYX
ppppppppppp
vu
1133
232
231
224
223
222
221
214
213
212
211
2
2
2
ZYX
ppppppppppp
vu
24
1133
123
1132
122
1131
121
11
141
1331
131
1321
121
1311
111
1
241
231
221
211
331
321
311
1
141
131
121
111
331
321
311
1
11
pZvppYvppXvppvpZuppYuppXuppu
pZpYpXpZpYpXpvpZpYpXpZpYpXpu
24
2233
223
2232
222
2231
221
22
142
2332
132
2322
122
2312
112
2
242
232
222
212
332
322
312
2
142
132
122
112
332
322
312
2
11
pZvppYvppXvppvpZuppYuppXuppu
pZpYpXpZpYpXpvpZpYpXpZpYpXpu
LGS für X,Y,Z
Zwei-Ansichten-AbbildungVideokamera
PZ PZ`
p1 p2
3D – Koordinaten des WeltpunktesP Objektpunkt-Welt
PZ: perspektivisches Zentrum Kamera 1p1: Bildpunkt von P in Kamera 1
PZ`: perspektivisches Zentrum Kamera 1p2: Bildpunkt von P in Kamera 2
24
1133
123
1132
122
1131
121
11
141
1331
131
1321
121
1311
111
1
pZvppYvppXvppvpZuppYuppXuppu
24
2233
223
2232
222
2231
221
22
142
2332
132
2322
122
2312
112
2
pZvppYvppXvppvpZuppYuppXuppu
LGS für X,Y,Z
Voraussetzungen:
•Kameramodelle exakt bekannt•Bildkoordinaten der homologen Punkte bekannt
Zwei-Ansichten-AbbildungVideokamera
Epipolargeometrie
PZ PZ`
p p`
Bildebene
Sensorfläche
Bildebene
Sensorfläche
Objektpunkt-Welt
Basislinie
Epipolarlinien
Epipole
e e`
p p`
P
Zwei-Ansichten-AbbildungVideokamera
Perspektivisches ZentrumKamera1
Perspektivisches ZentrumKamera2
Ebenen, die sich in Basislinie schneiden
BasislinieIdealeStereo-
Anordnung
Zeilen der idealen Stereo-Anordnung (photogrammetrischer Normalfall):Ebenen, die sich in Basislinie schneiden
Abbildung dieser Ebenen in realen Kameras:Epipolarlinien
Zwei-Ansichten-AbbildungVideokamera
PZ PZ`
p p`
Bildebene
Sensorfläche
Bildebene
Sensorfläche
Objektpunkt-Welt
Basislinie
Epipolarlinien
Epipolargeometrie
Korrespondierende Bildpunkte liegen auf Epipolarlinien
Zwei-Ansichten-AbbildungVideokamera
Epipolargeometrie und Homographie:Homographie-induzierte Parallaxe
PZ PZ`
p p`
Objektpunkt-WeltP
e e`
pp`
o o
oo
o o
o
E pE
H
pH`
p` und pH` liegenauf Epipolarlinie
B1 B2
H bezgl. Schrift-tafel
H.B1 überlagertmit B2
Zwei-Ansichten-AbbildungVideokamera
Epipolargeometrie und Homographie
PZ PZ`
p p`
Objektpunkte-Welt
e e`
o o
oo
o o
o
E
H
o
o
o
oo
Bestimmung des Epipols als Schnittpunkt zweier Epipolarlinien.
Epipolarlinie jeweils bestimmt durch Bildpunkt des Objektpunkts des einen Bildes und den durch H transformierten Bildpunkt des Objektpunkts des anderen Bildes.
Zwei-Ansichten-AbbildungVideokamera
Epipolargeometrie und Homographie
H x'xl
EpipolarlinienBildzeilen
Zwei-Ansichten-AbbildungVideokamera
Epipolargeometrie und Homographie
Rektifizierung durch polare Reparameterisierung bezüglich Epipolen
Erhalte Länge der Epipolarlinien.Wähle Winkelinkrement so, dass Pixel nicht komprimiert werden.
Ursprungsbild
Funktioniert für alle relativen Bewegungen.Garantiert minimale Bildgröße.
Epipol
rmax
rmin
x
y
Rektifiziertes Bild
r
Resampling
Zwei-Ansichten-AbbildungVideokamera
BasislinieIdealeStereo-
Anordnung
Ursprungsbild
rmax
rmin
x
y
r
Ursprungsbild
rmax
rmin
x
y
r
Zwei-Ansichten-AbbildungVideokamera
BasislinieIdealeStereo-
Anordnung
o o
PZ1 PZ2
D
cx1 x2
Aus Geradenschnitt:
cyzy
cxzx
xxcBz
PP
PP
P
,
21
B
z
x
PzP
Zwei-Ansichten-AbbildungVideokamera
Epipolargeometrie, Homographie und Fundamentalmatrix
Fundamentalmatrix F: Abbildung des Bildpunktes x aus Bildebene B1 auf zugehörige Epipolarlinie l` in Bildebene B2.
Berechnung mittels Homographie
6655 H x'xH x'xe '
x1,x2,x3,x4 in Ebene, x5,x6 außerhalb Ebene
Berechnung von H aus x1,x2,x3,x4
He 'F
l`
B1 B2