Generierung von Omni -Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen

Generierung vonOmni-Bildern

Teil 1 – EntzerrungTeil 2 – Weißabgleich

Teil 3 – Aneinanderfügen

von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

1. Ergebnisse Entzerrung 2. Probleme nach Entzerrung

◦ Welche? Wodurch? Was tun? 3. Weißabgleich

◦ Wozu? Womit? Wie? Wann? 4. Aneinanderfügen

◦ 4.1 Ausrichten◦ 4.2 Überblenden

5. Beispielserie 6. Quellen

Agenda

1. Ergebnisse Entzerrung

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung

3/35

2. Probleme nach Entzerrung –Welche?


Fisheye-Algorithmus entzerrt horizontal und vertikal Ergebnis:

perspektivische Information geht verloren

4/35

2. Probleme nach Entzerrung – Was tun?


Neuer Entzerrungsalgorithmus [1] nur horizontale Verzerrung korrigieren:

Perspektive bleibt erhalten Vertikale Verzerrungen leider auch

5/35



Probleme, entzerrte Bilder aneinanderzufügen

Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°)

Durch Verzerrungen Probleme mit Kanten an Bildrändern

6/35



Probleme mit Kanten und Krümmungen an Bildrändern

Phänomen in aufgenommenen Bildern

7/35

2. Probleme nach Entzerrung –Wodurch?


Entzerrungsalgorithmus = Mathematik! Verlangt absolute Genauigkeit Jedoch Fehler durch

◦ Ungenauigkeit Position/Ausrichtung der Linse◦ Ungenauigkeit Position/Ausrichtung CCD Chip◦ Ausrichtung des Roboter (unebener Untergrund)

Angewandte Formeln können daher keine perfekten Ergebnisse liefern

8/35

2. Probleme nach Entzerrung – Was tun?


Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren über polynomiale Gleichungssysteme möglich, aber sehr aufwendig

Ausrichtung der Bilder vor Aneinanderfügen notwendig

Einzelbilder ineinander Überblenden, um Überlappungen zu beheben

9/35

Durch unterschiedliche Beleuchtungssituationen

unterschiedliche Farbtemperatur der Bilder

3. Weißabgleich – Wozu?


Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild

10/35

Abgleich der Farbtemperaturen notwendig:◦ besserer visueller Eindruck◦ kräftigere Kontraste bessere Detektion von

Kanten o.Ä.◦ einheitlicher Bildeindruck nach Aneinanderfügen

3. Weißabgleich – Wozu?


Gleiche Farbtemperaturen in beiden Teilbildern

11/35

Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden in allen Bildern

3. Weißabgleich – Womit?


Cyan markierte Fläche für Referenzweiß

12/35

Ermitteln der Maximalwerte je Farbkanal im Referenzbereich liefert Rmax, Gmax, Bmax

Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 Berechnen der Korrekturfaktoren pro

Farbkanal: Cr = Wr / Rmax Cg = Wg / Gmax Cb = Wb / Bmax

3. Weißabgleich – Wie?

Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 13/35

Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A:

Ar = Cr * Er Ag = Cg * Eg Ab = Cb * Eb Alle Pixel des Eingangsbildes durchlaufen

und Korrektur anwenden

3. Weißabgleich – Wie?


Vor der Entzerrung sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist

Durch Entzerrung möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird

3. Weißabgleich – Wann?


Referenzfläche links im verzerrten und rechts im entzerrten Bild

15/35

Durch Überbelichtung viele Bildbereiche bereits weiß Korrektur bringt nichts

Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild Überblenden der Teilbilder nötig

3. Weißabgleich – Probleme?


Überbelichtung irreversibel

16/35

Ziele:

◦ Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören

◦ Überblenden der Pixel mit Minimum an

sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting)

4. Aneinanderfügen


Nur einige Bilder sind zusammenzufügen

◦ Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden

Wenn größeres Sichtfeld (>90 Grad)

◦ jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren

◦ auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen

4. Wie soll Ergebnisbild aussehen?


4.1 Ausrichten

Ziel:

◦ Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen


Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch:◦ Ausrechnen◦ Abmessen◦ Definieren

Bereich im Programm statisch festlegen

4.1 Ausrichten – Trivialer Ansatz


Pixelbasierte Methoden◦ Bilder relativ zueinander verschieben◦ Größtmögliche Übereinstimmung der Pixel suchen◦ Direkter Vergleich von Pixeln oder Pixelblöcken

◦ Methoden Error Metrics Hierarchical Motion Estimation Fourier-Based Alignment Incremental Refinement

4.1 Ausrichten – Intelligente Algorithmen


Durch Verschieben Platzierung der Bilder ermitteln

Jede Pixelkombination miteinander vergleichen

Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit

4.1 Ausrichten – Error Metrics


Beispiele:

◦ Robust Error Metrics

◦ Spatially Varying Weights

◦ Bias and Gain

◦ Korrelation

4.1 Ausrichten – Error Metrics


Erstellen einer „Image Pyramide“ -> hierarchischer Vergleich von groben bis

hin zu feinen Mustern/Blöcken Innerhalb eines Levels: Full Search Block mit geringster Abweichung:

Initialwert für nächstdarunterliegendes Level

4.1 Ausrichten – Hierarchical Motion Estimation


Vorteil:◦ Viel schneller

Nachteil◦ Ineffektiv◦ Signifikante Bilddetails können verloren gehen

4.1 Ausrichten – Hierarchical Motion Estimation


4.1 Ausrichten – Intelligente Algorithmen Eigenschaftenbasierte Methoden

◦ Beiden Bildern markante Eigenschaften entnehmen

◦ Vergleichen◦ Übereinstimmungen ermitteln◦ -> geometrische Transformation der Bilder

abschätzbar

◦ Methoden Keypoint Detectors Feature Matching Geometric Registration


4.1 Ausrichten – Intelligente Algorithmen

Keypoint Detectors

Feature Matching


Aufgabe◦ Belichtungsunterschiede und

Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren

◦ Übergang soll nahezu unsichtbar werden

4.2 Überblenden


Laplace-Pyramiden-Überblendung

◦ sich anpassende Breite anhand Frequenz (verschiedene Level)

◦ Band-Pass Pyramide (Laplace) aus jedem Eingangsbild

◦ Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild

4.2 Überblenden - Lösungsansätze


4.2 Überblenden – Vergleich Lösungsansätze

Mittelwert Region of Difference

Pyramiden-ÜberblendungGewichtung (Feathering)


Entzerrte Einzelbilder5. Beispielserie


Weißabgleich Einzelbilder5. Beispielserie


Ausrichten und Aneinanderfügen5. Beispielserie


Blenden5. Beispielserie


Guter Übergang Problem durch Aliasing

34/35

Weißabgleich:http://de.wikipedia.org/wiki/Wei%C3%9Fabgleichhttp://de.wikibooks.org/wiki/Digitale_bildgebende_Verfahren:_Digitale_Bilder#Wei.C3.9Fabgleich

Aneinanderfügenhttp://research.microsoft.com/pubs/70092/tr-2004-92.pdf

Quellen verfügbar unter:[1] http://www.altera.com/literature/wp/wp-01107-stitch- fisheye-images.pdf

6. Quellen

35/35Generierung von Omni-Bildern – Weißabgleich &

Aneinanderfügen

Documents

Generierung von Omni -Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen