Photometrische Stereoanalyse Kai Christian Bader ([email protected]) Hauptseminar Computer Vision Kapitel VIII

Photometrische Stereoanalyse

Kai Christian Bader([email protected])

Hauptseminar

Computer VisionKapitel VIII

Photometrische Stereoanalyse (Kai Bader) 2

Nur ein kurzer Überblick...

1. Grenzen der SFS-Verfahren

2. Analyse von Irradianzpaaren

3. Analyse von Irradianztripeln


Das Beispiel aus dem letzten Vortrag

SFS-Verfahren sind nur unter idealen Bedingungen zu solchen Resultaten fähig.


Was aber ist mit solchen Fällen?


1. Grenzen von SFS-Verfahren

Die Problemstellung aus einem Einzelbild eine Oberfläche zu rekonstruieren ist stark unterbestimmt.

Starke Einschränkungen in der Objektvielfalt notwendig...

Kapitel 1



1.1 Der Term E0 ist bekannt und konstant

E0 bekannt Lösungsmenge ist bei einer Lambertschen Reflektanzkarte gleich einem Kegelschnitt im Gradientenraum

(E0 bestimmbar, falls eine Orientierung n = s vorhanden und sichtbar ist)

Zur Erinnerung:

E0 Bestrahlungsstärke der Beleuchtung

Albedo / Reflektionskonstante



1.2 Die Oberflächen sind mindestens C(1)-stetig

Facettenübergänge / Objektkanten sind nicht immer wahrnehmbar Stetigkeitsanforderung

Da die Stetigkeitsanforderung für jeden Punkt gilt:

Keine Möglichkeiten der Untersuchung polyedrischer Objekte

(es existieren allerdings hierfür spezielle SFS-Verfahren welche mit einem Kantenoperator arbeiten)



1.3 Es müssen singuläre Punkte bzw. Orientierungen bekannt sein

(d.h. einige Höhenwerte, bevorzugt Orte mit einer Konvexität bzw. Konkavität oder Sattelpunkte sollten bekannt sein)

Problem der Mehrdeutigkeit: konkav-konvex-Konflikt



Aber nun zur

Photometrischen Stereoanalyse

Als Erweiterung der vorher behandelten SFS-Verfahren, genauer zur...


2. Die Analyse von Irradianzpaaren

Kapitel 2

Der erste Erweiterungsschritt zur schattierungsbasierten Mehrbildanalyse



Eine weitere Beleuchtungsquelle wird hinzugefügt Die Richtungen s1 und s2 der Beleuchtungsquellen dürfen nicht

kollinear sein Zwei Aufnahmen durch einen Sensor bei identischer

Positionierung und Orientierung, aber mit jeweils nur einer Beleuchtungsquelle

Für jeden Bildpunkt ergeben sich so zwei Irradianzen: Irradianzpaar

2S-Verfahren

(2-Beleuchtungsquellenverfahren)



Allgemeine Vorraussetzung: Bei einer Irradianz = 0 wird = 0 angenommen, d.h. der Punkt ist nicht beleuchtet

Beispiel für zwei Aufnahmen mit verschiedenen Lichtquellen:



Nur falls s = v gilt können alle Orientierungen der sichtbaren Punkte beleuchtet werden

Bei SFS-Verfahren sind unter Annahme allg. Beleuchtungsrichtungen immer ein Teil der Orientierungen im Schatten



Je kleiner der Winkel zwischen s1 und s2, desto mehr Orientierungen sind sichtbar Je größer der Winkel , desto robuster ist das Verfahren gegenüber

Meßungenauigkeiten bei den Irradianzen

Eine optimale Wahl der Beleuchtungsrichtungen existiert nicht

Alle bestrahlten Orientierungen sollten von v aus sichtbar sein (d.h. es sollte gelten: v = as1 + bs2 )


2.1 Lineare Reflektanzkarten

Für die Oberflächenrefflektion und die Beleuchtung wird ein lineares Reflektanzverhalten angenommen

Jede gemessene Irradianz E1 reduziert die Lösungsmenge der Orientierungen auf eine von p abhängige Gerade h im Gradientenraum

Existiert eine zweite Aufnahme mit veränderter Beleuchtungsrichtung und Irradianz E2, so ergibt sich eine zweite Gerade k.

),()()(: 111 Esbpsmphqh

),()()(: 222 Esbpsmphqk



Beide Irradianzen beschreiben den gleichen Szenepunkt

Der Schnittpunkt (pm,qm) der Geraden h und k repräsentiert die einzige konsistente Orientierung



Aus den beiden Gleichungen kann ein LGS gebildet werden:

Mit zwei Reflektanzkarten deren Steigungen nicht identisch sind lässt sich für jedes Irradianzpaar eine eindeutige Orientierung konstruieren.

),(

),(

1)(

1)(

22

11

1

2

1

Esb

Esb

sm

sm

q

p

m

m


2.2 Albedoabhängige Analyse

Der Lösungsansatz für Lineare Reflektanzkarten lässt sich nicht direkt auf Lambertsche Oberflächen übertragen

(eine Bildirradianz beschränkt hier den Gradienten (p, q) auf Kegelschnitte, also Kurven 2.Ordnung)

Für ein Irradianzpaar existieren max. zwei Orientierungen, da die Isoirradianzkurven höchstens zwei Schnittpunkte haben



Durch messen: Beleuchtungsrichtungen s1, s2 und Irradianzen E1, E2

Die Gradientenraumpräsentation sei durch ps1=p(s1), ps2=p(s2) gegeben

Aus der Lambertschen Reflektionseigenschaft ergeben sich zwei Bildirradianzgleichungen als nichtlin. Gleichungssystem in p, q:

(für E2 / s2 äquivalent)

11

121

21

22

11011

ss

ss

qpqp

qqppEE



Das Zweibein der Beleuchtungsrichtungen s1, s2 wird mit einer 3x3 Rotationsmatrix R rotiert bis beide Y-Komponenten der transform. Beleuchtungsrichtungen Null ergeben:

s1 und s2 sind komplanar zur XZ-Ebene:

Genauso kann mit den Oberflächenorientierungen verfahren werden:

2'21'1 , sRssRs

1,2i ; 0)( , )( '''' isiisi sqqspp

)()'(' , )()'(' nRqnqqnRpnpp



Durch die Rotation vereinfacht sich das Gleichungssystem zu:

(äquivalent für E2 / s2)

Die Bildirradianzen ändern sich nicht durch die Rotation

11''

1'22

22

1011

s

s

pqp

ppEE



Durch Eliminierung von

kann das Gleichungssystem auf

reduziert werden.

p‘ als einzige Unbekannte kann (da sie in linearer Form auftritt) eindeutig aus (E1,E2) bestimmt werden.

q‘ kann aus p‘ ermittelt werden

1'' 22 qp

1)1'(1)1'( 2'2'2021

2'2'1012 ssss pppEEpppEE



Die Gleichung

Ist quadratisch in q‘ es existieren zwei Lösungen für q‘1,2

21

21

222202

21 )1'()1)(1''( ss pppqpEE



Existiert ein Paar von Lösungsorientierungen, so sind diese Spiegelsymmetrisch zur Ebene aufgespannt von s1 und s2

Existiert nur eine Lösungsorientierung, so sind n, s1 und s2 komplanar

Es kann eine eindeutige Oberflächenorientierung rekonstruiert werden, falls zur Modellierung Lambertsche Reflektanzkarten eingesetzt werden

(dann sogar Punktlokal verwendbar)


2.3 Eindeutigkeit durch Integrabilität

Direkte SFS-Erweiterung Konvexitätsannahme Integrabilitätsbedingung

3 Beispiele für Verfahren, mit deren Hilfe trotz Mehrdeutigkeiten eine eindeutige Lösung rekonstruiert werden kann



Direkte SFS-Erweiterung

Rekonstruktion einer eindeutigen Oberfläche mit der Erweiterung schattierungsbasierter Einzelbildverfahren

(besonders geeignet: globale Minimierungsansätze)



Konvexitätsannahme

Die Objektumgebung wird auf konkave oder konvexe Oberflächen beschränkt

die Lösung ist dann eindeutig bestimmbar


2.4 Albedounabhängige Analyse

Die Verwendung Lambertscher Reflektanzkarten impliziert im allgemeinen, dass die Terme E0 und E1 bekannt und konstant sind.

Wie groß ist aber die Mächtigkeit der Lösungsmenge, wenn die Albedo unbekannt bleibt?



Bildirradianzen unter paralleler Beleuchtung:

Nennerfrei gemacht und von einander subtrahiert:

(diese kann als ein Skalarprodukt aufgefasst werden)

2

2022

1

1011 und

sn

snEE

sn

snEE

TT

0)( 2110212201 ssEEssEEnT



Ist 0, so kann die Albedo aus der Gleichung eliminiert werden.Mit der Hilfsgröße

kann die Gleichung als vereinfachtes Skalarprodukt dargestellt werden:

oder noch kompakter als:

bbaba sEEE 0,0

0)( 21,0212,01 sEsEnT

abbaababaT ssEEsEsssn 0,0,1,22,1 mit 0)(



Die Vektordifferenz s1,2 - s2,1 ist eine konstante Größe und s1, s2 aufgespannt

Die veränderlichen Größen sind die Bildirradianzen E1 und E2

Vektor s1s2 ist orthogonal zur Vektordifferenz s1,2 - s2,1

Lösungen sind alle Vektoren n, für die das Skalarprodukt Null ergibt (n orthogonal zu s1,2 - s2,1)


2.5 Kugelapproximation

Prinzipiell: Albedounabhängige Rekonstruktion mit dem Irradianzpaar, vergleichbar mit dem Problem der albedounabhängigen Rekonstruktion von SFS-Verfahren

(in beiden Fällen beschränkt die Irradianziformation die Orientierungen auf Kreise auf der Gaußschen Kugel)

Bei SFS-Verfahren: Kreisumfang ist immer < 2

(je größer die Irradianz, desto kleiner der Kreisumfang)


2.5 Kugelapproximation

Die Irradianz E und der Kreisumfang U stehen durch die Gleichung

in Relation.

Bei albedounabhängigen 2S-Verfahren:Kreisumfang konstant 2 (damit i.a. größer als bei SFS)

2

0

12

E

EU



Ähnlich den vorherigen 2S-Verfahren werden nun Verfahren betrachtet, bei denen drei Beleuchtungsquellen eingesetzt werden.

Diese 3S-Verfahren ordnen jedem Bildpunkt 3 Irradianzen, also das Irradianztripel, zu.



Mit einem Irradianzpaar einer Lambertschen Oberfläche kann die Lösungsvielfalt der Orientierungen auf maximal zwei beschränkt werden.

Wird eine dritte Beleuchtungsquelle hinzugenommen, so entsteht ein weiterer Kreis auf der Gaußschen Kugel.

Bei drei konsistenten Irradianzen müssen diese drei Kreise mindestens einen gemeinsamen Schnittpunkt besitzen.

Mit der dritten Irradianz kann die korrekte der beiden Lösungsorientierungen ermittelt werden!



Im Gradientenraum wurde vorher das Paar der Lösungsgradienten durch Schnitt zweier Kegelschnitte bestimmt.

Kommt eine weitere Beleuchtungsquelle hinzu, so schneiden sich die drei Kegelschnitte in einem Punkt.

Dieser Schnittpunkt (p,q) im Gradientenraum repräsentiert die gesuchte Orientierung.



Auch ohne Berechnung der Lösungskandidaten kann eine Lösung bestimmt werden, indem die Schnittkurven nichtanalytisch erzeugt werden.

Dazu werden die Reflektanzkarten als Bildmatrizen repräsentiert. Bei Verwendung eines Kalibrierobjektes müssen weder Beleuchtungsrichtung noch das Produkt E0 bekannt sein.

Die Berechnung der Orientierungen erfolgt durch Schwellenwertsegmentierung der Reflektanzkarten.

Durch die robuste Verfahrensweise können auch Oberflächen ohne Lambertsche Reflektionseigenschaften rekonstruiert werden.



Look-Up-Tabellen

Ein im Bild gemessenes Irradianztripel lässt sich als Punkt im kartesischen Koordinatensystem E1E2E3 auffassen, wenn jede der drei aufspannenden Achsen die Bildirradianzen einer Beleuchtungsquelle repräsentieren.

Jedem möglichen Irradianztripel ist eindeutig eine Oberflächenorientierung zugeordnet, so dass die die Generierung einer dreidimensionalen Look-Up-Tabelle möglich ist:



Zwei Möglichkeiten der Erstellung:

Sind Richtung und Bestrahlungsstärke der Beleuchtungsquellen bekannt kann die Look-Up-Tabelle aus Reflexionsmodellen bestimmt werden.

Mit einem Kalibrierungsobjekt bekannter Geometrie und Reflexion (das alle Orientierungen in diskreter Form aufweist) kann die Bestimmung der Bestrahlungsstärken und der Reflektionsparameter entfallen.

Soll eine Oberflächenorientierung bestimmt werden, so muss lediglich der Tabelleneintrag nachgeschlagen werden.

Dem Zeitvorteil beim Analysieren steht ein hoher Speicherbedarf entgegen.





Ein Irradianzpaar beschränkt die Gradienten in einem Lambertschen Oberflächenpunkt unbekannter Albedo auf eine Gerade im Gradientenraum.

Mit einer dritten Beleuchtungsquelle hat man drei Irradianzpaare, also auch drei Gradengleichungen.

Unter der Vorraussetzung konsistenter Irradianzen besitzen diese immer einen gemeinsamen Schnittpunkt.



Unter 2.4 wurde eine Gleichung genannt, mit der zur Oberflächenorientierung orthogonaler Vektor berechnet werden kann - hier (E1,E2):

(äquivalent für (E1,E3) und (E2,E3))

Durch Bildung des Vektorproduktes entsteht ein zur gesuchten Orientierung n kollinearer Vektor:

Es gilt also:

0)( 2110212201 ssEEssEEnT

)()( 31103133012110212201 ssEEssEEssEEssEEu

usn



Wird die Gleichung durch eine der Bestrahlungsstärken geteilt (hier E3), so ändert sich die Richtung des Vektors nicht bezüglich u.

Dies bedeutet, dass für den Analyseprozess die Bestrahlungsstärken der Leuchtquellen nur relativ zueinander bekannt sein müssen.

Die Albedo kann folglich auch nur relativ bestimmt werden.

)()( 31113303

01211

03

02122

03

01* ssEssEE

EssE

E

EssE

E

Eu



Beispiel für ein Bildtripel mit nichtuniformer Albedo:


3.3 Bestimmung der Beleuchtungsrichtung

Durch Abwandlung des Ansatzes zur Photometrischen Stereoanalyse können diese zur Bestimmung einer

Beleuchtungsrichtung eingesetzt werden.

(Dieser Ansatz wird auch inverse Photometrische Stereoanalyse genannt)


3.3 Bestimmung der Beleuchtungsrichtung

Bei der PS setzt voraus, dass für jeden Bildpunkt drei Beleuchtungsrichtungen s0, s1, s2 gemessen werden können.

Aus den drei Irradianzen wird Punktneutral eine Oberflächenneutrale n bestimmt.

Das Kalibrierungsobjekt wird mit einer Beleuchtungsquelle unbekannter Richtung s bestrahlt.

Zur Berechnung der Beleuchtungsrichtung können die drei gemessenen Irradianzen mit der Oberflächenneutralen vertauscht und zu einer Matrix zusammengefasst werden:

Die Bildirradianzgleichung kann nun aufgelöst werden:

zyx

zyx

zyx

nnn

nnn

nnn

N

333

222

111

EDNssNDE 11


Nochmals Als Erinnerung...

1. Grenzen der SFS-Verfahren

2. Analyse von Irradianzpaaren


Fragen??

?

?

?

?

Documents

Photometrische Stereoanalyse Kai Christian Bader ([email protected]) Hauptseminar Computer Vision Kapitel VIII