Vortrag Relative Orientierung Vortrag Vertieferpraktikum Photogrammetrie SS 2004 Thema Robuste Schätzung von Geometrieparametern: Relative Orientierung

Vortrag Relative OrientierungVortrag Relative Orientierung

VortragVortrag

Vertieferpraktikum PhotogrammetrieVertieferpraktikum Photogrammetrie

SS 2004SS 2004

ThemaThema

Robuste Schätzung von Geometrieparametern: Robuste Schätzung von Geometrieparametern: Relative Orientierung und 3D-Rekonstruktion Relative Orientierung und 3D-Rekonstruktion

von Dirk Beilschmidtvon Dirk Beilschmidt

©2004 Dirk Beilschmidt©2004 Dirk Beilschmidt

EinführungEinführung

Fundamentalmatrix / Essentielle MatrixFundamentalmatrix / Essentielle Matrix

Relative OrientierungRelative Orientierung

3D-Panoramen3D-Panoramen

ÜbersichtÜbersicht

ÜbersichtÜbersicht





3D Panoramen3D Panoramen




Gegeben : Zwei Bilder mit homologen PunktpaarenGegeben : Zwei Bilder mit homologen Punktpaaren Gesucht : geometrischer Zusammenhänge der beiden Gesucht : geometrischer Zusammenhänge der beiden

BilderBilder





Ziel :Ziel :







FundamentalmatrixFundamentalmatrix



Es gilt :Es gilt : Koplanarbedingung durch Spatprodukt :Koplanarbedingung durch Spatprodukt :

Es folgt :Es folgt : BasisBasis RichtungsvektorenRichtungsvektoren



' ' ' '' '' ''[ ] 0O P OO O P

'' '' ''

O Ob OO X X

0 ' ' ' ' 1 ' 1 '( ) ( )x O P R K x 0 '' '' '' '' 1 '' 1 ''( ) ( )x O P R K x

Einsetzung liefert :Einsetzung liefert :

mit der Fundamentalmatrix F und der mit der Fundamentalmatrix F und der schiefsymmetrischen Matrixschiefsymmetrischen Matrix



0 ' 0 ''

0 ' 0 ''

0 ' 0 ''

' ' ' '' 1 '' 1 ''

' ''

[ ] 0

( ) 0

( ) S 0

( ) ( ) ( ) S ( ) ( ) 0

( ) F 0

Tb

T T Tb

T

x b x

x b x

x x

x K R R K x

x x

00

0

Z Y

b Z X

Y X

B BS B B

B B

Vereinfachung bei kalibrierten Kameras : Vereinfachung bei kalibrierten Kameras :

mit der essentieller Matrix E.mit der essentieller Matrix E.



' ' '' 1 ''

' ''

( ) ( ) S ( ) 0

( ) E 0

T Tb

T

m R R m

m m



Direkte Lösung für FDirekte Lösung für F''

11 12 13' '' ' ' ''

21 22 23

31 32 33

11

21

31

12'' ' '' ' '' '' ' '' ' '' ' '

22

32

13

23

33

0 ( , ,1)1

( , , , , , , , ,1) 0 für

nTn n n n n

n n n n n n n n n n n n

F F F xx F x x y F F F y

F F F

FFFF

x x x y x y x y y y x y FFFFF

1,..,

0 Lösbar durch Singulärwertzerlegung

n N

A f








Parameter :Parameter : Basis BBasis B RotationRotation

D.h. erste Kamera fest und RO gleich der D.h. erste Kamera fest und RO gleich der Raumlage der zweiten Kamera.Raumlage der zweiten Kamera.



Allgemeine Parametrisierung des Allgemeine Parametrisierung des FolgebildanschlussesFolgebildanschlusses

''R R

' '' ' ''( ) S 0 ( ) E 0T T Tbm R m m m

1b

Gegeben :Gegeben : Gesucht :Gesucht : Lösung durch Hartley/Zisserman Algorithmus :Lösung durch Hartley/Zisserman Algorithmus :

Singulärwertzerlegung :Singulärwertzerlegung : Hilfsmatrizen :Hilfsmatrizen :



Orientierungsparameter aus der Orientierungsparameter aus der essentiellen Matrix bestimmenessentiellen Matrix bestimmen

1 , wobei und det 1T TBE S R R R R

,BS R

TE=U V

0 1 0 0 1 01 0 0 , 1 0 0

0 0 0 0 0 1Z W

und oder T T T T T TBS UZU R UWV R UW V



Geometrische Lösung für zwei Geometrische Lösung für zwei RaumstrahlenRaumstrahlen

Gegeben : zwei Raumstrahlen f und gGegeben : zwei Raumstrahlen f und gGesucht : Punkt mit kürzesten Abstand zuGesucht : Punkt mit kürzesten Abstand zu

beiden Strahlenbeiden Strahlen



Geometrische Lösung für zwei Geometrische Lösung für zwei RaumstrahlenRaumstrahlen

Gegeben : zwei Raumstrahlen f und gGegeben : zwei Raumstrahlen f und g Gesucht : Punkt mit kürzesten Abstand Gesucht : Punkt mit kürzesten Abstand

zu beiden Strahlenzu beiden Strahlen Vorgehensweise :Vorgehensweise :

Orthogonalitätsbedingung :Orthogonalitätsbedingung :

' ''' ' '' ''

O

' ' '' ''

Sei , X , , , dann ist

und die Punktrichtungsform der beiden Raumstrahlen.

T TO

p X q r R m s R m

f O P p r g O P q s

( ) 0 ( ) 0( ) 0 ( ) 0f g r f g sp r q s r p r q s s



Problem : Vier mögliche Lösungen für EProblem : Vier mögliche Lösungen für E Lösung : Nimm die Möglichkeit, bei der so viele Lösung : Nimm die Möglichkeit, bei der so viele

Punkte wie möglich vor der Kamera liegen, d.h. Punkte wie möglich vor der Kamera liegen, d.h. z>0 ist.z>0 ist.



QuellcodeausschnittQuellcodeausschnitt





ProblemeProbleme

SIFT-Matchings enthalten noch viele falsch SIFT-Matchings enthalten noch viele falsch zugeordnete Punktpaarezugeordnete Punktpaare

Schon wenige Fehlzuordnungen führen zu Schon wenige Fehlzuordnungen führen zu großen Abweichungen der relativen großen Abweichungen der relativen OrientierungOrientierung

→ → RANSAC Verfahren für eine robuste SchätzungRANSAC Verfahren für eine robuste Schätzung



RANSAC Verfahren für die relative RANSAC Verfahren für die relative OrientierungOrientierung

Wähle zufällige Mindestanzahl an Punkten für Wähle zufällige Mindestanzahl an Punkten für die Berechnung der rel. Orientierungdie Berechnung der rel. Orientierung

Prüfe die Qualität des Ergebnisses anhand der Prüfe die Qualität des Ergebnisses anhand der anderen Punkteanderen Punkte

höre nach einer bestimmten Anzahl an höre nach einer bestimmten Anzahl an Iterationen auf und wähle das bis dahin beste Iterationen auf und wähle das bis dahin beste ErgebnisErgebnis



Da Fehlerrate unbekannt :Da Fehlerrate unbekannt :→ → ca. 500 Iterationen führen bei PCA-SIFT ca. 500 Iterationen führen bei PCA-SIFT Matching zu stabilen ErgebnissenMatching zu stabilen Ergebnissen

Nicht alle Punkte aus dem SIFT Matching für Nicht alle Punkte aus dem SIFT Matching für Berechnung von E nehmen Berechnung von E nehmen

Auswahlkriterium :Auswahlkriterium : ClosestToNextClosest Verhältnis beachtenClosestToNextClosest Verhältnis beachten



Vorgehensweise :Vorgehensweise :1.1. Bei Auswahl der Minimalpunkte für E, nehme nur Bei Auswahl der Minimalpunkte für E, nehme nur

zufällige Punkte mit CtNC<0,5zufällige Punkte mit CtNC<0,52.2. Bei Überprüfung der E-Matrix nutze Punkte mit Bei Überprüfung der E-Matrix nutze Punkte mit

CtNC<0,95CtNC<0,95



Wie gut ist die berechnete Orientierung?Wie gut ist die berechnete Orientierung?→ → Idee : Projiziere die 3D Punktwolke zurück ins Bild und Idee : Projiziere die 3D Punktwolke zurück ins Bild und

überprüfe Abweichungenüberprüfe Abweichungen

1.1. Berechne normierten geometrischen Abstand von Berechne normierten geometrischen Abstand von projizierten und tatsächlichen Punktprojizierten und tatsächlichen Punkt

→ → Verwerfe alle Punkte mit mehr als bestimmter Verwerfe alle Punkte mit mehr als bestimmter AbweichungAbweichung

2.2. Merke dir richtig zugeordnete Punkte für bestes Merke dir richtig zugeordnete Punkte für bestes ErgebnisErgebnis

3.3. Nach allen Iterationen berechne E Matrix erneut mit Nach allen Iterationen berechne E Matrix erneut mit allen richtig zugeordneten Punktenallen richtig zugeordneten Punkten

Qualitätsprüfung der ROQualitätsprüfung der RO



Essentielle Matrix E, Rotation der zweiten Essentielle Matrix E, Rotation der zweiten Kamera, die Basis und von Fehlern gereinigte Kamera, die Basis und von Fehlern gereinigte homologe Punktpaarehomologe Punktpaare

3D Model :3D Model :

ErgebnisErgebnis












Bisheriger Stand :Bisheriger Stand :



Situation : neues Bild soll an 3D Modell angehängt Situation : neues Bild soll an 3D Modell angehängt werdenwerden



Direct Linear Transformation (DLT)Direct Linear Transformation (DLT)

Gegeben : Gegeben : 3D Objektpunkte3D Objektpunkte Korrespondierende 2D BildpunkteKorrespondierende 2D Bildpunkte

Gesucht : Gesucht : Kalibrierungsmatrix KKalibrierungsmatrix K Rotationsmatrix RRotationsmatrix R äußere und innere Orientierungäußere und innere Orientierung Projektionszentrum XProjektionszentrum X00



Algorithmus : Algorithmus : 1.1. Es gilt :Es gilt :

2.2. Projektionsmatrix durch Eigenvektor zum kleinsten Projektionsmatrix durch Eigenvektor zum kleinsten Singulärwert berechnenSingulärwert berechnen

3.3. →→→ → QR-Zerlegung von BInv liefert R und K, wobeiQR-Zerlegung von BInv liefert R und K, wobei

Ergebnis durch RANSAC verbesserbarErgebnis durch RANSAC verbesserbar

11 12 13 14 21 22 23 24

31 32 33 34 31 32 33 34

1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1

1 0 0 0 00 0 0 0 1

1 0 0 0 00 0 0 0 1

i i i i i ii i

i i i i i i

N N N N N N N N N N

N N N N

p X p Y p Z p p X p Y p Z px yp X p Y p Z p p X p Y p Z p

X Y Z x X x Y x Z xX Y Z y X y Y y Z y

X Y Z x X x Y x Z xX Y Z y X

0

0N N N N N N

p

y X y X y

A p

0 0( | ) ( | ) mit P K R I X B Z B K R Z K R X 1

0X B Z

33

1K KK



Gegeben :Gegeben : Bild, das im 3D-Model schon vorhanden istBild, das im 3D-Model schon vorhanden ist Bild, das neu ins 3D-Model eingefügt werden sollBild, das neu ins 3D-Model eingefügt werden soll Matching homologer Punkte zwischen den BildernMatching homologer Punkte zwischen den Bildern

Algorithmus :Algorithmus :1.1. Berechne Matching von 3D-Model und erstem BildBerechne Matching von 3D-Model und erstem Bild2.2. Berechne Matching von 3D-Model und zweitem BildBerechne Matching von 3D-Model und zweitem Bild3.3. Bestimme Orientierungen der beiden Kameras durch DLTsBestimme Orientierungen der beiden Kameras durch DLTs4.4. Schneide durch RVS Matchings ins 3D Modell und nimm neue Schneide durch RVS Matchings ins 3D Modell und nimm neue

Punkte mit kleinem Fehler ins 3D Modell aufPunkte mit kleinem Fehler ins 3D Modell auf

3D-Panoramenkonstruktion3D-Panoramenkonstruktion



Kameraposition angeben bzw. im Bild Kameraposition angeben bzw. im Bild markierenmarkieren

Relative Orientierung durch Ausgleichung Relative Orientierung durch Ausgleichung verbessern (Kovarianzmatrizen u. ä.)verbessern (Kovarianzmatrizen u. ä.)→ → Besonders Ungenauigkeiten des Besonders Ungenauigkeiten des Vorwärtsschnitts benötigen AusgleichungVorwärtsschnitts benötigen Ausgleichung

PerformanceverbesserungenPerformanceverbesserungen

ErweiterungsmöglichkeitenErweiterungsmöglichkeiten



EndeEnde

Documents

Vortrag Relative Orientierung Vortrag Vertieferpraktikum Photogrammetrie SS 2004 Thema Robuste Schätzung von Geometrieparametern: Relative Orientierung