Schattenentfernung unter Verwendung des Retinex-Algorithmus...Lightness and Retinex Theory. In: Journal of the Optical Society of America 61 (1971), 1, Nr. 1, S. 1–11 Sarah Steinmetz,

Schattenentfernung unter Verwendung desRetinex-Algorithmus

13. Workshop Farbbildverarbeitung 2007, Koblenz

Sarah Steinmetz, Dietrich Paulus, Wolfram Hans

sarah.steinmetz,paulus,[email protected]

Institut für ComputervisualistikUniversität Koblenz-Landau

05. Oktober 2007

Sarah Steinmetz, Dietrich Paulus, Wolfram Hans – Schattenentfernung unter Verwendung des Retinex-Algorithmus Folie 1

Überblick

Überblick

Einleitung

SchattendetektionBeleuchtungsinvariante DarstellungKamerakalibrierung mit künstlichen LichtquellenBerechnung des Schattenkantenbilds

Schattenentfernung mit RetinexPfadbasierter Retinex-AlgorithmusSchattenentfernung

Quantitative Bewertung

Experimente

Zusammenfassung


Einleitung Schattendetektion Schattenentfernung mit Retinex Quantitative Bewertung Experimente Zusammenfassung

Motivation

Die Entfernung von Schatten ist für verschiedene Bereiche derBildverarbeitung interessant, z.B.:

◮ Segmentierung

◮ Tracking

◮ Objekterkennung

◮ Bildverbesserung



Überblick über das Verfahren [FHD02b]



Beleuchtungsinvariante Darstellung

Beleuchtungsinvariante Darstellung [FH01]

Annahmen

◮ Vereinfachtes Modell der Bildentstehung:

f (k)(x) = E (λk , xw )ρ(λk , x

w )

◮ Lambert’sche Flächen◮ Linearität◮ Sensorempfindlichkeitskurven perfekt schmalbandig

◮ Beleuchtung kann als Planck’scher Strahler approximiertwerden

→ Logarithmische Chromatizitätswerte, die Oberflächenpunkte derselben Reflektanz unter verschiedener Beleuchtung darstellen,liegen im Log-Chromatizitäts-Raum auf einer Linie



Beleuchtungsinvariante Darstellung

◮ Ort: bestimmt durch die Reflektanz des Oberflächenpunkts

◮ Position auf der Linie: abhängig von der Farbtemperatur

◮ Beleuchtungsinvariante Richtung: abhängig von denspektralen Eigenschaften der Kamera

−4

−2

0

2

4

−4 −2 0 2 4

ln(B

/G)

ln(R/G)

Inva

riant

e W

erte

Invariante Richtung

RotGrünBlau

MagentaCyan

Beleuchtungsinvariante Darstellung: Projektion entlang derinvarianten Richtung



Kamerakalibrierung mit künstlichen Lichtquellen

Kamerakalibrierung mit künstlichen LichtquellenBenötigt: Mehrere Aufnahmen des Macbeth Color Checker beijeweils verschiedener Planck’scher Beleuchtung

0.22

0.24

0.26

0.28

0.3

0.32

0.34

0.36

0.38

0.4

0.42

0.44

0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6

y

x

Lichtquellen im CIE 1931 xy−Chromatizitäts Diagramm

Plancksche OrtskurveLichtbox A

Lichtbox D65Lichtbox TL84

KohlebogenlampeHalogenstrahler 400WHalogenstrahler 100W

Glühbirne gedimmt



Kamerakalibrierung mit künstlichen Lichtquellen

ErgebnisseCCD Firewire Kamera, keine Nachbearbeitung der Sensordaten

Lichtquellen: 400W Halogenstrahler, 6 Dimmstufen, A

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

-1 -0.5 0 0.5 1 1.5

patch 0 patch 1 patch 2 patch 3 patch 4 patch 5 patch 6 patch 7 patch 8 patch 9

patch 10 patch 11 patch 12 patch 13 patch 14 patch 15 patch 16 patch 17 patch 18 patch 19 patch 20 patch 21 patch 22 patch 23



Berechnung des Schattenkantenbilds

Berechnung des Schattenkantenbilds

Schattenkantenpixel: Kantenpixel im Farbbild, aber nicht iminvarianten Bild [FHD02a]

◮ Wenn Farbwerte benachbarter Flächen auf ähnliche invarianteWerte abgebildet werden:Fehlklassifikation von Materialkanten als Schattenkante

Anpassung

◮ Annahme: Kanten mit großer Änderung des Hue-Werts stellenMaterialkanten, keine Schattenkanten dar

◮ Detektierte Schattenkantenpixel, an deren Stelle sich imHue-Kantenbild eine starke Kante befindet, werden verworfen

◮ Voraussetzung: Farben der Lichtquellen in der Szeneunterscheiden sich nicht stark



Pfadbasierter Retinex-Algorithmus


Theorie der menschl. Farbwahrnehmung nach Edwin Land [LM71]

Farbkonstanzalgorithmus bei nicht uniformer Beleuchtung

Farbwahrnehmung durch 3 unabhängige Retinex-Prozesse:

◮ Lightness eines Punktes wird bestimmt durch Mittelung derrelativen Reflektanzen zu anderen Punkten im Sichtfeld

◮ Relative Reflektanz ≈ Produkt der Intensitätsverhältnisseentlang eines Verbindungspfades

E E E1 2 3E3E2E1

ρ1

ρ ρ ρ2 3 4

E1ρ2E1ρ1

·

E2ρ3E2ρ2

·

E3ρ4E3ρ3

=ρ4

ρ1




Annäherung der Lightness eines Punktes

◮ Verfolgen mehrerer Pfade zu einem Punkt, Mittelung derPfadprodukte

◮ Annahme der maximalen Reflektanz für den Startpunkt:Initialisierung des Pfadprodukts mit 1

◮ Entlang des Pfades: Multiplikation mit Verhältnis desaktuellen Pixelwerts zum vorigen Pixelwert

◮ Pfadprodukt > 1: Reflektanz des aktuellen Punkts größer alsdie des Startpunkts→ Reset: Neustart der Berechnung des Pfadprodukts

◮ Schwellwertfunktion zur Eliminierung nicht uniformerBeleuchtung: Verhältnis benachbarter Pixelwerte, dasannähernd Eins ergibt, wird auf Eins gesetzt



Schattenentfernung

Schattenentfernung

Idee [FHD02b]: Anpassung der Schwellwertfunktion:

◮ Annahme: Binäres Schattenkantenbild gegeben

◮ An Schattenkante: Verhältnis aufeinander folgender Pixel wirdauf Eins gesetzt



Schattenentfernung

Umsetzung [FHD02b]Erzeugung der Pfade nur an Position (0, 0)

An jeder Pixelposition

◮ Pfadpunkte um aktuellen Vektor verschieben

◮ Verfolgen der Pfade von Endpunkten zum aktuellen Pixel

◮ Mittelung der Pfadprodukte



Schattenentfernung

Anpassungen

Bessere Mittelung: Jedes Pixel entlang des Pfades wird aktualisiert

Keine Farbkorrektur:

◮ Pfadprodukt mit dem Wert des Startpixels initialisieren

��

Product

1.0 1.0Ratio

Schattenkante

200 200 200

200

100 110 100

200200100

110 100110

200

200

200

200 200 220 200 200 200

◮ Reset: Wenn Pfadprodukt größer als Maximalwert

◮ Mehrere Pfade nötig um Fehler abzuschwächen



Schattenentfernung

Einschränkungen

Lokale Fehler an der Schattenkante wirken sich global aus, da sieentlang der Pfade propagiert werden, z.B.

◮ Falsch klassifizierte Schattenkanten

◮ Schattenkantenbild unvollständig

◮ Start des Pfades im Schatten



Ansatz zur quantitativen Bewertung

Anforderungen an Schattenentfernung

◮ Der Schatten wird entfernt

◮ Keine Erzeugung von Artefakten außerhalb des Schattens

◮ Keine Erzeugung von Artefakten innerhalb des Schattens

◮ Erhaltung der Struktur im Bereich der Schattenkante

Ground Truth: Gradientenbild des Bilds der Szene ohne Schatten



Bewertungsmaße

Mittlerer euklidischer Abstand der Gradienten derGT-Aufnahme f und des schattenentfernten Bilds f ′

in 3 Bereichen:

◮ de(f , f′): im Bereich der Schattenkanten

◮ di(f , f′): innerhalb der Schattengrenzen

◮ do(f , f′): außerhalb der Schattenregionen

Diese 3 Werte sollen möglichst klein sein

Benötigte Ground Truth Daten

◮ Aufnahme der Szene ohne Schatten

◮ Binäres Schattenkantenbild

◮ Binäres Schattenregionenbild



Experimente

Erzeugung von Testdaten im Labor

Berechnung der zugehörigen GT-Schattenbilder

Erzeugung von Referenzwerten

◮ Für jedes Schattenbild: Mittlere Gradientenabstände zwischenSchattenbild und GT-Bild der Szene

◮ Mittelung über alle Aufnahmen: Gemittelte mittlereGradientenabstände deref , diref , doref als Referenzwerte



Vergleich verschiedener Parametereinstellungen

◮ Setup 1: 5 Pfade pro Pixel beim Retinex

◮ Setup 2: 20 Pfade

◮ Setup 3: 50 Pfade

◮ Setup 4: wie Setup 2, keine Berücksichtigung derHue-Information bei der Schattenkantendetektion

◮ Setup 5: wie Setup 2, Verwendung einer GT Schattenkante

Prozentuale Abweichung von den Referenzwerten zeigt, um wievielProzent die Gradientenabstände erniedrigt oder erhöht wurden



Tabelle: Prozentuale Abweichung von den Referenzwerten

Setup 1 Setup 2 Setup 3 Setup 4 Setup 5

de -7.79754 -8.88230 -9.13976 0.07119 -19.22858

di -1.02827 -1.97263 -2.04209 5.02562 -1.17247

do 6.15882 4.38410 3.68278 28.84424 1.19270

−20

−10

0

10

20

30

Setup 5Setup 4Setup 3Setup 2Setup 1

Abw

eich

ung

in P

roze

nt

Parameterbelegungen

dedi do



Ergebnisse für 5, 20 und 50 Pfade beim Retinex

Ergebnisse ohne und mit GT Schattenkante

Ergebnisse ohne und mit Berücksichtigung der Hue Information



◮ Kamerakalibrierung mit künstlichen Lichtquellen möglich

◮ Invariante Bilder: zeigen teilweise noch Schattenkanten,Materialkanten teilweise schwach

◮ Einbeziehen der Hue Information verringertFehlklassifikationen

◮ Retinex kann auch bei korrekter SchattenkanteninformationSchatten nicht vollständig entfernen

◮ Quantitative Maße zur Bewertung von Schattenentfernungund Erzeugung von Artefakten

◮ GT-Daten können im Labor erzeugt werden

◮ Teilweise Zuordnung nicht eindeutig, da Artefakte auch imSchatten

◮ Vergleich von Ergebnissen anhand der Maße ist möglich


Literatur

Finlayson, Graham D. ; Hordley, Steven:Color constancy at a pixel.In: Optical Society of America Journal A 18 (2001), 2,253-264.http://www2.cmp.uea.ac.uk/∼pm/cp web/253.pdf

Finlayson, Graham D. ; Hordley, Steven ; Drew,Mark S.:Removing shadows from images.In: European Conference on Computer Vision (ECCV 2002).Copenhagen, 2002, IV 823-836. –Lecture Notes in Computer Science Vol. 2353


http://www2.cmp.uea.ac.uk/~pm/cp_web/253.pdf

Literatur

Finlayson, Graham D. ; Hordley, Steven ; Drew,Mark S.:Removing Shadows From Images using Retinex.In: Color Imaging Conference.Scottsdale, Arizona, 11 2002, 73-79

Land, E.H. ; McCann, J.J.:Lightness and Retinex Theory.In: Journal of the Optical Society of America 61 (1971), 1, Nr.1, S. 1–11


Overview�ÜberblickOverview

ContentEinleitungSchattendetektionBeleuchtungsinvariante DarstellungKamerakalibrierung mit künstlichen LichtquellenBerechnung des Schattenkantenbilds

Schattenentfernung mit RetinexPfadbasierter Retinex-AlgorithmusSchattenentfernung

Quantitative BewertungExperimenteZusammenfassung

Resources�LiteraturLiterature

Documents

Schattenentfernung unter Verwendung des Retinex-Algorithmus...Lightness and Retinex Theory. In: Journal of the Optical Society of America 61 (1971), 1, Nr. 1, S. 1–11 Sarah Steinmetz,