Spektrale Farbkorrektur mittels linearer Schätzverfahren · · 2014-06-11L L L T K L K k k k k ... Wavelength [nm] Linear Transformed Sensor Sensitivity R G B-0.0005 0 0.0005 0.001

Spektrale Farbkorrektur mittels linearer SchätzverfahrenSpectral Color Correction based on Linear Estimatio n

Dr. rer. nat. Christian Mü[email protected]

Fraunhofer Institut für Integrierte Schaltungen, Erlangen

Abteilung für Bildverarbeitung und Medizintechnik

Spektrale Farbkorrektur mittels linearer Schätzverfahren

Inhalt

• Motivation

• Spektrale Farbkorrektur

• Evaluierung

• Zusammenfassung


Inhalt

• Motivation


• Evaluierung

• Zusammenfassung


Farbbilder in medizinischen Anwendungen

MikroskopieOral-Photographie Endoskopie

Dermatoskopie


Gewebeklassifikation – Verfahren

Lc

c

c

⋮

2

1

Original Korrigiert TrainingROI Merkmale

Bild-aufnahme

Vorver-arbeitung

Segmen-tierung

Klassifi-kation

Merkmals-Extraktion κ

Spektrale Farbkorrektur


Inhalt

• Motivation


• Evaluierung

• Zusammenfassung


Lineares Bildentstehungsmodell

( )

11

)(1)(

)(I

)(

)(

~

)()()(

××××

−

=

=

= ∫

LLLT

KLK

kk

kk

ρFρ

dsERtρ

sERρ

en λλλλ

-1000

0

1000

2000

3000

4000

5000

6000

7000

8000

400 450 500 550 600 650 700

Sen

sitiv

ity R

0

Wavelength [nm]

Linear Transformed Sensor Sensitivity

RGB

-0.0005

0

0.0005

0.001

0.0015

0.002

0.0025

0.003

400 450 500 550 600 650 700

Inte

nsity

Wavelength [nm]

Illumination Spectrum Estimation

OriginalConstrained PE

0

0.2

0.4

0.6

0.8

1

400 450 500 550 600 650 700

Re

flect

ivity

S

Wavelength [nm]

Surface Spectrum Estimation

OriginalReconstructed


Spektrale Farbkorrektur - Überblick

• Ermittlung der Linearisierungsfunktion

• Schätzung der Sensor-Empfindlichkeiten

• Schätzung des Beleuchtungsspektrums

• Schätzung der Oberflächenreflektivität

• Rendering der Farbwerte

( ))()( ~ kk F ρρ =

?ˆ =R

?ˆ U =E

?ˆ =s

( ) sERρ ˆCC T=

1. Kalibrierung (Einmalig)

2. Beleuchtungs-Schätzung(Pro Serie)

3. Farbkorrektur(Pro Pixel)


Bestimmung der Sensor-Nichtlinearität

IT8.7-Target 12 Graufelder (A16-L16) Bekannte Oberflächenreflektivitäten

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 5 10 15 20 25 30

Sur

face

Ref

lect

ance

S

Wavelength Index l

Gray Patch Reflectance

S1S2S3S4S5S6S7S8S9

S10S11S12

Mean(S1)Mean(S2)Mean(S3)Mean(S4)Mean(S5)Mean(S6)Mean(S7)Mean(S8)Mean(S9)

Mean(S10)Mean(S11)Mean(S12)


Korrektur der Sensor-Nichtlinearität (Hardeberg ´01)

nρnρ

nρnρnρnρ

nb

nρnρ

nρnρ

na

nn

nn

ρρρ

bρasρ

,G~

1,G~

1,Glog,G~

,Glog1,G~

,G~

1,G~

,Glog1,Glog

1,G,G~~~

}~exp{

−+

+−+=

−+

−+=

+≤<

+=

[Hardeberg 2001]


0

50

100

150

200

250

300

0 50 100 150 200 250 300

Line

ariz

ed R

espo

nse

Response

Linearization Characteristic

CharacteristicReference

Linearisierungs-Charakteristik

Stückweise linear (s=4.0)

0

50

100

150

200

250

300

0 50 100 150 200 250 300

Line

ariz

ed R

espo

nse

Response

Global Linearization Characteristic

CharacteristicReference

Globaler Ansatz


Sensorkalibrierung - Farbreferenz

IT8.7-Target 20+20 Felder Erfassung der Farbreferenzen


0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

400 450 500 550 600 650 700

Ref

lekt

ivitä

t S

Wellenlänge [nm]

Farbfeld-Reflektivität (Rekonstruktion)

S1S2S3S4S5S6S7S8S9

S10

S11S12S13S14S15S16S17S18S19S20

0

0.0005

0.001

0.0015

0.002

0.0025

0.003

0.0035

0.004

0.0045

350 400 450 500 550 600 650 700 750 800

Bes

trah

lung

sstä

rke

[W/(

sr*m

^2)]

Wellenlänge [nm]

Beleuchtungsspektrum Olympus CLV-160 (Xenon, 300W)

Level 1Level 2Level 3Level 4Level 5

Level 4 10nm

Sensorkalibrierung - Messungen

Farben Reflektivitäten

...

nρ ( )λns ( )λMEBeleuchtung


Sensorkalibrierung - Angepasstes Modell

��

⋮

⋮

⋮

�� ⋯⋯⋯

⋯⋯⋯

⋯⋯⋯

⋮⋮⋮⋮⋮⋮⋮⋮⋮

⋯⋯⋯

⋯⋯⋯

⋯⋯⋯

��

⋮

1

0000

0000

0000

0000

0000

0000

1

B)(

B)(1

R)(

R)(1

,,11

,,11

,,11

1,1,11

1,1,11

1,1,11

)B(

)G(

)R(

)B(1

)G(1

R)(1

×

×

=

×

KL

R

R

R

R

KLKN

SeSe

SeSe

SeSe

SeSe

SeSe

SeSe

KN

L

L

NLLN

NLLN

NLLN

LL

LL

LL

N

N

N

rCvρρρ

ρρρ

EsRρT=


Sensorkalibrierung – Lineare Lösung

• Minimaler Vorhersagefehler und Glattheit

• Rangeinschränkung mittels Singulärwert-Zerlegung

• Lösung durch Ableiten, Nullsetzen

=

−−−−

−−−−

=

×

×

'~

'~

'~

1000

12100

012100

001210

00121

0001

'~

D00

0D0

00D

D

D

⋯

⋮⋱⋮⋮

⋯

⋯

⋯⋯⋯

⋯⋯

⋯

⋮⋱⋮⋮⋮⋮

⋯

⋯⋯

⋯⋯⋯

KLKL

LL

≤∀

=sonst0

1 riPii

TT VUPΣCVUΣC =′→=

( ) vUVPΣDVVPΣr TT 12C

−+= µ

min→+− DrrvCr Tµ


-1000

0

1000

2000

3000

4000

5000

6000

7000

8000

400 450 500 550 600 650 700

Em

pfin

dlic

hkei

t R0

Wellenlänge [nm]

Linear transformierte Sensor-Empfindlichkeit

RGB

-4000

-2000

0

2000

4000

6000

8000

10000

12000

400 450 500 550 600 650 700

Em

pfin

dlic

hkei

t R

Wellenlänge [nm]

Schätzung der Sensor-Empfindlichkeit

RGB

Sensorkalibrierung - Ergebnisse

Optimales Ergebnis Linear transformiert-1CRMR =�


��

⋮

�� ⋯

⋯

⋯

⋮⋱⋮⋮

��

⋮

11

1

2

3

2

1

,)B(

,2)B(

2,1)B(

1

,)G(

,2)G(

2,1)G(

1

,)R(

,2)R(

2,1)R(

1

1,)B(

1,2)B(

21,1)B(

1

1,)G(

1,2)G(

21,1)G(

1

1,)R(

1,2)R(

21,1)R(

1

)B(

)G(

)R(

)B(1

)G(1

)R(1

×

×

=

×

−

−

L

e

e

e

e

e

e

LKN

SRSRSR

SRSRSR

SRSRSR

SRSRSR

SRSRSR

SRSRSR

KN

L

L

L

NLLNN

NLLNN

NLLNN

LL

LL

LL

N

N

N

eAvρρρ

ρρρ

Beleuchtungsschätzung - Angepasstes Modell EsRρT=


• Schätzung mittels

- Minimalen Vorhersagefehlers

- Glattheitsbedingung

- Rangeinschränkung

-0.0005

0

0.0005

0.001

0.0015

0.002

0.0025

0.003

400 450 500 550 600 650 700

Bes

trah

lung

sstä

rke

[W/(

sr*m

^2)]

Wellenlänge [nm]

Schätzung des Beleuchtungsspektrums

OriginalSchätzung

Beleuchtungsschätzung - Ergebnis

Ergebnis (NCC=0.99)


• Linearer Schätzer

• Wiener Inverse

��

⋮

�� ⋯

⋯

⋯

��

1

1 1

2

3

2

1

)B(2

)B(21

)B(1

)G(2

)G(21

)G(1

)R(2

)R(21

)R(1

)B(

)G(

)R(

×

×

=

×

−

−

L

s

s

s

s

s

s

LK

eReReR

eReReR

eReReR

KL

L

LLL

LL

LL

s

Bρ

ρρρ

Reflektivitätsschätzung – Lineare Lösung

( ) ( ){ } minˆˆE

ˆ

→−−

=

ssss

GρsT

( ) ρG

BBRBRs��

1

sssswˆ−= TT

EsRρT=


0

0.2

0.4

0.6

0.8

1

400 450 500 550 600 650 700

Ref

lekt

ivitä

t S

Wellenlänge [nm]

Schätzung der Reflektivität

OriginalSchätzung

0

0.2

0.4

0.6

0.8

1

400 450 500 550 600 650 700

Rek

onst

rukt

ions

fehl

er

Wellenlänge [nm]

Mittlerer absoluter Rekonstruktionsfehler

Fehler

J18, grün (∆∆∆∆E = 3.31)

Reflektivitätsschätzung – Ergebnisse

Durchschnittl. Rekonstruktionsfehler


Inhalt

• Motivation


• Evaluierung

• Zusammenfassung


Farbkorrektur – Evaluierungsschema Farbreproduktion

20 FarbwerteRef. Bel. (Set 1)

Transformation20 Spektren(Set 1)

Kanon.Beleuchtung

Kanon.Farbraum

20 FarbwerteKan. Bel. (Set 1)

Berechnung der Transformation

Fehlermaß20 Spektren(Set 2)

Kanon.Beleuchtung

Kanon.Farbraum


20 FarbwerteRef. Bel. (Set 2)

Trans-formation


Bestimmung des Reproduktionsfehlers


20

40

60

80

100

120

140

400 450 500 550 600 650 700

Inte

nsitä

t

Wellenlänge [nm]

CIE Normlicht-Spektren

4000450050005500600065007000

Farbkorrektur – Ergebnisse Farbreproduktion

Farbfehler (RMSE)

3.083.393.673.914.124.294.44

3x10

4.835.466.066.597.077.477.83

SPC-QP

19.6317.3415.9615.4215.5115.9716.60

−−−−

3.023.193.373.543.703.843.97

SPC-PE

9.119.549.94

10.3010.6210.9111.16

v. Kries

3x3

3.053.293.513.713.884.034.16

CCT [K]4000450050005500600065007000

Normlicht-Spektren Vergleich der Farbfehler


Farbkorrektur – Ergebnisse Gewebeklassifikation

8071

63

8180

8177

8383

66

3x3PAT

LinearSPC

68636366HST

8172

7968

7572

7776

SGF XORSGF intra inv

Klassifikationsrate 2ηηηη [%]BAR-Clr

8180

v.K.

8178

-

8281

D65

8079

3x10Merkmale

SDH intraSDH intra inv


Inhalt

• Motivation


• Evaluierung

• Zusammenfassung


• Spektrales Farbkorrekturverfahren mit drei Phasen

- Kalibrierung

- Beleuchtungsschätzung

- Pixelweise Farbkorrektur

• Keine Positivitäts-Annahme für Kalibrierung

• Farbkorrektur verbessert Gewebeklassifikation

Zusammenfassung


Herzlichen Dank für dieAufmerksamkeit!

Documents

Spektrale Farbkorrektur mittels linearer Schätzverfahren · · 2014-06-11L L L T K L K k k k k ... Wavelength [nm] Linear Transformed Sensor Sensitivity R G B-0.0005 0 0.0005 0.001