Segmentation d'images hyperspectrales par Morphologie …angulo/publicat/NoyelEtAl_30... ·...

Segmentation d’images hyperspectrales par Morphologie Mathématique

Segmentation d’images hyperspectrales parMorphologie Mathématique

Guillaume NOYEL, Jesus Angulo, Dominique Jeulin{guillaume.noyel, jesus.angulo, dominique.jeulin}@ensmp.fr

Centre de Morphologie MathématiqueEcole des Mines de Paris

35, rue Saint-Honoré, 77305 Fontainebleau cedex - France

30ème journée ISS France - Paris - 8 Février 2007

1 / 25

Segmentation d’images hyperspectrales par Morphologie Mathématique

Plan

1 Introduction

2 Réduction du nombre de canaux

3 Segmentation par Ligne de Partage des Eaux

4 Résultats

5 Conclusion et Perspectives

2 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueIntroduction

1 Introduction

2 Réduction du nombre de canaux

3 Segmentation par Ligne de Partage des Eaux

4 Résultats

5 Conclusion et Perspectives

3 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueIntroduction

Qu’est ce qu’une image hyperspectrale ?

DéfinitionImage hyperspectrale : à chaque point xi est associé un vecteur qui a desvaleurs dans le spectre, dans le temps ou associées à un index j .

fλ :

{E → T L avec E ⊂ R2, T ⊂ Rx → fλ(x) = (fλ1(x), fλ2(x), . . . , fλL(x))

fλj \ j ∈ {1, 2, . . . , L} est un canal (L est le nombre de canaux)

xi

fλ j

Source de l’image [Legrand,Meriaudeau, Gorria, 2002]Laboratoire LE2i, Le Creusot

4 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueIntroduction

Problématique

L’étude réalisée à pour but de présenter une méthodologie desegmentation par Morphologie Mathématique pour les imageshyperspectrales. L’image traitée n’est utilisée que comme illustration dela méthode.

Que donne la segmentation sur un seul canal ?

Canal 60 fλ60 Segmentation

5 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRéduction du nombre de canaux

1 Introduction

2 Réduction du nombre de canaux

3 Segmentation par Ligne de Partage des Eaux

4 Résultats

5 Conclusion et Perspectives

6 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRéduction du nombre de canaux

Réduction du nombre de canaux

Une image hyperspectrale peut compter beaucoup de canaux : jusqu’àquelques milliers. Il est donc nécessaire de réduire l’information spectrale.

Deux approches pour la réduction du nombre de canaux été effectuées :• approche par analyse de données : Analyse Factorielle des

Correspondances (AFC)• approche modèle : ajustement d’un modèle pour tous les pixels

vecteurs.

7 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRéduction du nombre de canaux

Réduction du nombre de canaux

Image hyperspectrale (60 canaux) AFC (2 canaux)

fλ1 fλ30 fλ60 c fα1

c fα2

Avant filtrage Après filtrage

Reconstruction AFC−1

(60 canaux)

Avant fλ50 Après fλ50

8 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRéduction du nombre de canaux

Réduction du nombre de canaux

Paramètres du modèle (ajusté sur fλ) ACP

p1 = a p2 = b p3 = m cpβ1

cpβ2

Sur l’image filtrée fλ on ajuste en chaque point x un modèle de droite :

fλ(x) ∼ a(x)λ + b(x) avec λ = λ1, λ2, . . . , λL

Les cartes de paramètres produites sont donc :• p1 = a : pente• p2 = b : ordonnée à l’origine• p3 = m : montée définit par

m(x) = maxj∈[1:10]

(fλj (x))− minj∈[1:10]

(fλj (x)))

9 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueSegmentation par Ligne de Partage des Eaux

1 Introduction

2 Réduction du nombre de canaux

3 Segmentation par Ligne de Partage des Eaux

4 Résultats

5 Conclusion et Perspectives

10 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueSegmentation par Ligne de Partage des Eaux

Segmentation par LPE

La segmentation par Ligne de Partage des Eaux (LPE) nécessite :• la norme d’un gradient : le gradient contient l’information spatiale.• des marqueurs obtenus par classification de type kmeans ou nuées

dynamiques dans l’espace considéré. Les marqueurs contiennentl’information spectrale.

)(xmrks

Gradient

Classification)(

)()(

)(ˆ

xxx

x

p

f

cpc

f

β

α

λ

d

g

∇∇∇

+

∨

LPE

)(xseg1p

2p3p

11 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueSegmentation par Ligne de Partage des Eaux

LPE : quel gradient utiliser ?

DéfinitionUn gradient est une fonction scalaire dont les valeurs sont dansl’intervalle [0, 1], i.e. ∇ : E → [0, 1].

Plusieurs gradients ont été essayés :• Morphologique (scalaire, i.e. marginal) :

g(fλj(x)) = δB(fλj(x))− εB(fλj(x))

• Supremum (vectoriel) :

∇∨fλ(x) = ∨[g(fλj(x)), j ∈ {1, . . . , L}]• Somme pondérée (vectoriel) :

∇+fλ(x) =L∑

j=1

[wλj g(fλj(x)), j ∈ {1, . . . , L}]

• Distance (vectoriel) :

∇d fλ(x) = ∨[d(fλ(x), fλ(y)), y ∈ B(x)]−∧[d(fλ(x), fλ(y)), y ∈ B(x)]12 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueSegmentation par Ligne de Partage des Eaux

LPE : quel gradient utiliser ?

Pour le gradient à partir d’une distance, il faut utiliser une distancecorrespondant à l’espace image de travail :• Euclidienne pour les espaces factoriels : cf

α, cpβ

=⇒ gradient distance euclidienne : ∇E

• Mahalanobis pour l’espace des paramètres : p=⇒ gradient distance de Mahalanobis : ∇M

• Chi Deux pour l’espace image de départ : fλ=⇒ gradient distance du Chi Deux : ∇χ2

13 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats

1 Introduction

2 Réduction du nombre de canaux

3 Segmentation par Ligne de Partage des Eaux

4 Résultats

5 Conclusion et Perspectives

14 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats

Résultats

On recherche des traces de colle sur un bouchon en plastique (image detaille 256× 256× 60). On possède un segmentation référence de[Legrand Meriaudeau Gorria 2002] obtenue par différence entre uneimage avant et une image après l’arrivée de colle.

Pour notre étude, nous n’avions que l’image avec la colle.

15 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats

Résultats

Espace image filtrée : fλ(x)

Mark(x) Grad(x) seg(x) Référence

∇χ2

La segmentation est mauvaise.

16 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats

Résultats

Espace AFC : cfα(x)

Mark(x) Grad(x) seg(x) Référence

∇E

La segmentation est mauvaise.

17 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats

Résultats

Espace des paramètres : p(x)

Mark(x) Grad(x) seg(x) Référence

∇M

∇∨

Les segmentations se rapprochent de la référence.

18 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats

Résultats

Espace ACP des paramètres : cpβ(x)

Mark(x) Grad(x) seg(x) Référence

∇E

∇∨

∇+

Les segmentations se rapprochent de la référence.19 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueRésultats

Pour résumer

Espaces image

)(ˆ xλf

)(xfcα

)(xp

)(xpcβ

Espace image filtrée

Espace AFC

Espace des paramètres

Espace ACP des paramètres 2 canaux

2 canaux

Mark(x) seg(x)Grad(x)

60 canaux

3 canaux

Segmentation référence

2χ∇

E∇

M∇ ∨∇

E∇ ∨∇ +∇

20 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives

1 Introduction

2 Réduction du nombre de canaux

3 Segmentation par Ligne de Partage des Eaux

4 Résultats

5 Conclusion et Perspectives

21 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives

Conclusion

• Les segmentations obtenues dans les espaces paramètres, p(x), etACP des paramètres, cp

β(x), sont meilleures que celles obtenues dansles autres espaces.

• L’approche modèle est donc meilleure, pour cette étude, quel’approche analyse de données sur l’image de départ.

• L’analyse de donnée est très utile pour le filtrage de l’image.• La méthode présentée combine une approche spectrale pour les

marqueurs avec une approche spatiale pour le gradient.

22 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives

Perspectives

• Faire du filtrage multivarié sur les bandes spectrales.• Tester d’autres classificateurs qui combinent les approches spectrales

et spatiales, pour obtenir les marqueurs.

23 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives

Bibliographie

Noyel G, Angulo J, Jeulin D (2006).Morphological Segmentation of hyperspectral images.Note interne Ecole des Mines de Paris n. N-36/06/MM. Soumis à ImageAnalysis and Stereology, ICS XII St Etienne 30 Août-7 Sept 2007.

Legrand AC, Meriaudeau F, Gorria P (2002).Active infrared non-destructive testing for glue occlusion detection within plastic lids.NDT&E International, 35 :177–187.

Benzécri JP (1973).L’Analyse Des Données. L’Analyse des Correspondances. Vol. 2.Paris. Dunod :1–166.

24 / 25

Segmentation d’images hyperspectrales par Morphologie MathématiqueConclusion et Perspectives

Bibliographie

Angulo J, Serra J (2003).Color segmentation by ordered mergings.In Proc. of the IEEE International Conference on Image Processing(ICIP’2003), Vol. II, 125–128.

Serra J (1982).Image Analysis and Mathematical Morphology. Vol. 1.Academic Press. London.

Beucher S, Meyer F (1992).The Morphological Approach to Segmentation : The WatershedTransformation.In (E. Dougherty Ed.), Mathematical Morphology in Image Processing,Marcel Dekker, 433–481.

25 / 25