Rotation orthogonale en ACP de données mixtes. Le package … · 2014. 10. 4. · Plan Rotation orthogonale en ACP de donn ees mixtes. Le package PCAmixdata et une application en

Plan

Rotation orthogonale en ACP de donnees mixtes.Le package PCAmixdata et une application en

sociologie culturelle.

Marie Chavent 1,2, Vanessa Kuentz-Simonet 3

Zoltan Lakatos 4, Jerome Saracco 1,2

1IMB, Universite de Bordeaux, France2Inria Bordeaux Sud-Ouest, Equipe CQFD, Talence, France

3Irstea, UR ADBX, Cestas, France4Universite Polytechnique et Economique de Budapest, Hongrie

1eres Rencontres R, Bordeaux, 3 Juillet 2012 Rotation orthogonale en ACP de donnees mixtes

Plan

Plan

1 La methode PCAMIX

2 Rotation orthogonale dans PCAMIX

3 Application en sociologie culturelle


La methode PCAMIXRotation orthogonale dans PCAMIX

Application en sociologie culturelle

Plan

1 La methode PCAMIX






Une ACP de donnees mixtes

Analyse en Composantes Principales d’un melange de donneesquantitatives et qualitatives

PCAMIX (Kiers, 1991) et AFDM (Pages, 2004)

Inclut l’ACP et l’ACM comme cas particuliers

Fonction AFDM dans le package R FactoMineR

Rotation dans la methode PCAMIX↪→ Reecriture de PCAMIX sous forme d’une Decompositionen Valeurs Singulieres




Quelques notations

Soit X1 une matrice n × p1 de donnees quantitatives ou nobservations sont decrites par p1 variables quantitatives

Soit X2 une matrice n × p2 de donnees qualitatives ou nobservations sont decrites par p2 variables qualitatives

Soit p = p1 + p2 le nombre total de variables et m le nombretotal de modalites

Soit k le nombre de composantes issues de PCAMIX




Une premiere etape de recodage

La procedure pour PCAMIX se deroule de la facon suivante :

1 Recodage de X1 et X2 :

Z1 est la version standardisee de la matrice quantitative X1

Z2 = JGD−1/2 est la version standardisee du tableau disjonctifcomplet G associe a la matrice qualitative X2, ou D est lamatrice diagonale des frequences des modalites etJ = I− 1′1/n est l’operateur de centrage

↪→ Z = 1√n

(Z1|Z2) est la matrice n × (p1 + m) d’interet




Decomposition en Valeurs Singulieres

2 Decomposition en Valeurs Singulieres de Z :

Z = UΛV′

↪→ F =√nUk est la matrice n × k des scores des

composantes principales, ou Uk est la matrice composee des kpremieres colonnes de U↪→ A = VkΛk est la matrice (p1 + m)× k des “loadings” descomposantes principales, ou Vk est la matrice composee des kpremieres colonnes de V et Λk la matrice diagonale des kpremieres valeurs singulieres




Reecriture de la matrice A des loadings

3 Ecrire A =(A1A2

)avec :

A1 la matrice p1 × k des “loadings” (correlations) des variablesquantitativesDA2 la matrice m × k des coordonnees des modalites desvariables qualitatives sur les composantes principales

↪→ Cercle des correlations pour les variables quantitatives↪→ Graphique des modalites




Calcul de la matrice C des “squared loadings”

4 Calculer la matrice C de dimension (p1 + p2)× k des“squared loadings”:{

cjl = a2jl si la variable j est quantitative

cjl =∑

s∈Ij a2sl si la variable j est qualitative

ou Ij est l’ensemble des indices des lignes de A associes auxmodalites de la variable j↪→ cjl est une correlation au carre si j est quantitative↪→ cjl est un rapport de correlation si j est qualitative↪→ Variables quantitatives et qualitatives sur le memegraphique




Le package R PCAmixdata

> require(PCAmixdata)

> data(wine)

> head(wine[,c(1:4)])Label Soil Odor.Intensity Aroma.quality

2EL Saumur Env1 3.07 3.00

1CHA Saumur Env1 2.96 2.82

1FON Bourgueuil Env1 2.85 2.92

1VAU Chinon Env2 2.80 2.59

1DAM Saumur Reference 3.60 3.42

2BOU Bourgueuil Reference 2.85 3.11

> X.quanti <- wine[,c(3:29)]

> X.quali <- wine[,c(1,2)]

> pca <- PCAmix(X.quanti,X.quali,ndim=10)





●

●

●

●

●

● ●

●

●

●

●●

●●

●

●

●

●

●

●

●

−10 −5 0 5

−8

−6

−4

−2

02

4

Scores

Dim 1 (44.15%)

Dim

2 (

19.1

%)

2EL 1CHA1FON

1VAU

1DAM2BOU1BOI

3EL

DOM11TUR

4EL PER1

2DAM1POY1ING1BEN

2BEA1ROC2ING

T1 T2

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.4

0.8

Squared loadings

Dim 1 (44.15%)

Dim

2 (

19.1

%)

Odor.Intensity.before.shaking

Aroma.quality.before.shakingFruity.before.shakingFlower.before.shaking

Spice.before.shaking

Visual.intensityNuanceSurface.feeling

Odor.Intensity

Quality.of.odourFruity

FlowerSpice Plante

PhenolicAroma.intensityAroma.persistency

Aroma.quality

Attack.intensity

Acidity Astringency

Alcohol

BalanceSmooth

Bitterness

IntensityHarmony

Label

Soil

−0.5 0.0 0.5 1.0

−3

−2

−1

01

2

Categories

Dim 1 (44.15%)

Dim

2 (

19.1

%) Bourgueuil

ChinonSaumur

Env1

Env2

Env4

Reference

−1.0 −0.5 0.0 0.5 1.0

−1.

00.

00.

51.

0

Correlation circle

Dim 1 (44.15%)

Dim

2 (

19.1

%)





Odor.Intensity


Flower

SpicePlante

PhenolicAroma.intensityAroma.persistency

Aroma.quality

Attack.intensity

Acidity AstringencyAlcohol

BalanceSmooth

Bitterness

IntensityHarmony




Plan

1 La methode PCAMIX






Rotation en ACP (1/2)

En conservant k composantes principales :

Z ≈ UkΛkV′k

= FA′

= FTT′A′

= FA′

ou

T est une matrice de rotation orthonormale : TT′ = T′T = Ik

F = FT et A = AT sont les scores et loadings apres rotation




Rotation en ACP (2/2)

↪→ Faciliter l’interpretation : trouver T tel que les loadings au carreaient des valeurs elevees (proche de 1) ou faibles (proche de zero)

↪→ La fonction varimax (Kaiser, 1958) :

f (T) =k∑

l=1

p∑j=1

(a2jl)

2 − 1

p

k∑l=1

p∑j=1

a2jl

2

↪→ Le probleme d’optimisation :

maxT

f (T),

s.c. TT′ = T′T = Ik




Critere de rotation pour PCAMIX

Dans PCAMIX, la fonction varimax s’ecrit :

f (T) =k∑

l=1

p∑j=1

(cjl)2 − 1

p

k∑l=1

p∑j=1

cjl

2

ou cjl =∑

s∈Ij a2sl sont ici les loadings au carre apres rotation

↪→ Les loadings au carre apres rotation cjl sont les correlations aucarre ou les rapports de correlation des variables aux scores apresrotation dans F

↪→ Kiers (1991) donne une formulation matricielle de cettefonction varimax

↪→ Il propose d’utiliser un algorithme de diagonalisation simultaneede matrices symetriques (De Leeuw et Pruzansky, 1978)




Rotation orthogonale pour PCAMIX

Notre proposition :

Ecriture de la solution directe pour l’angle optimal de rotationdans la methode PCAMIX (k = 2)

Proposition d’une procedure iterative pour la rotation varimaxlorsque k > 2

Developpement du package R PCAmixdata avec la fonction“PCArot”




L’angle optimal de rotation (k = 2)

Pour k = 2

T =

[cos θ −sin θsin θ cos θ

]

↪→ le probleme d’optimisation varimax devient non contraint :

maxθ∈R

f (θ)




Rotation planaire dans PCAMIX (1/3)

On demontre que :

f (θ) = f (0) +ρ

4p

(cos(4θ − ψ)− cosψ

)ou ρ et ψ sont definis par :

ρ = (g2 + h2)1/2 , cosψ = g/ρ , sinψ = h/ρ

et ou g et h sont donnes par ...





... ou g et h sont donnes par :

g = 2p

p∑j=1

ujvj − 2

p∑j=1

uj

p∑j=1

vj

h = p

p∑j=1

(uj2 − vj

2)−

p∑j=1

uj

2

+

p∑j=1

vj

2

et ou uj et vj sont definis par :

uj =∑s∈Ij

(a2s1 − a2

s2) et vj = 2∑s∈Ij

as1as2





f (θ) = f (0) +ρ

4p

(cos(4θ − ψ)− cosψ

)est maximum pour

cos(4θ − ψ) = 1⇔ 4θ − ψ = 2kπ

↪→ les angles optimaux sont :

θ =ψ

4+ k

π

2, k ∈ Z




Une procedure iterative de rotation pour k > 2 (1/2)

1 Initialisation :

Calculer F et A avec PCAMIXF = F et A = A

2 Pour chaque pair de dimensions (l , t) :

Calculer θ = ψ/4 avec

ψ =

arcos(

h√g2 + h2

) si g ≥ 0

−arcos(h√

g2 + h2) si g ≤ 0

...




Une procedure iterative de rotation pour k > 2 (2/2)

2 Pour chaque pair de dimensions (l , t) :

...

T =

[cos θ −sin θsin θ cos θ

]Mettre a jour F et A par rotation de leurs colonnes l et t

3 Repeter l’etape precedente jusqu’a obtenir successivementk(k − 1)/2 angles θ egaux a zero





> rot<-PCArot(pca,dim=8)

0.0 0.5 1.0

0.0

0.2

0.4

0.6

0.8

1.0

Squared loadings

Dim 1 (44.15%)

Dim

2 (

19.1

%)


Aroma.quality.before.shakingFruity.before.shaking

Flower.before.shaking



Odor.Intensity


Flower

Spice Plante

Phenolic

Aroma.intensityAroma.persistency

Aroma.quality

Attack.intensity

AcidityAstringency

Alcohol

Balance

Smooth

Bitterness

IntensityHarmony

Label

Soil

0.0 0.5 1.0

0.0

0.2

0.4

0.6

0.8

1.0

Squared loadings after rotation

Dim 1 (33.49%)

Dim

2 (

15.9

7%)





Odor.Intensity


Flower

Spice

Plante

PhenolicAroma.intensity

Aroma.persistencyAroma.qualityAttack.intensity

Acidity

Astringency

Alcohol

BalanceSmooth

Bitterness

Intensity

Harmony

Label

Soil





●

●●

●

●

●●

●

●

●

●

●●

●

●

●

●

●

●

●

●

−10 −5 0 5

−8

−4

02

4

Rotated scores

Dim 1 (33.49%)

Dim

2 (

15.9

7%) 2EL

1CHA 1FON1VAU

1DAM2BOU1BOI3EL

DOM1

1TUR

4EL PER12DAM

1POY

1ING1BEN2BEA1ROC

2ING

T1 T2

0.0 0.5 1.0

0.0

0.4

0.8

Squared loadings after rotation

Dim 1 (33.49%)

Dim

2 (

15.9

7%)





Odor.Intensity

Quality.of.odourFruityFlower

Spice

PlantePhenolicAroma.intensityAroma.persistencyAroma.qualityAttack.intensityAcidity

AstringencyAlcohol

BalanceSmooth

Bitterness

IntensityHarmony

Label

Soil

−0.5 0.0 0.5 1.0

−3

−1

01

2

Categories after rotation

Dim 1 (33.49%)

Dim

2 (

15.9

7%)

BourgueuilChinonSaumur

Env1Env2

Env4

Reference

−1.0 0.0 0.5 1.0

−1.

00.

01.

0

Correlation circle after rotation

Dim 1 (33.49%)

Dim

2 (

15.9

7%)





Odor.Intensity

Quality.of.odourFruityFlower

Spice

PlantePhenolicAroma.intensityAroma.persistency

Aroma.quality

Attack.intensityAcidityAstringencyAlcohol

BalanceSmooth

Bitterness

IntensityHarmony




Comparaison avec l’approche de Kiers

Simulations de jeux de donnees (variables quantitatives etqualitatives)20 replications pour chaque couple (n, p)Comparaison du temps de calcul median (en sec) de l’angleoptimal entre les 2 approches

p=10 p=50 p=100 p=200n=50 Matrix reformulation 0.05 0.12 0.22 0.44n=50 SVD 0.02 0.06 0.12 0.27n=100 Matrix reformulation 0.14 0.33 0.56 1.04n=100 SVD 0.02 0.09 0.17 0.34n=200 Matrix reformulation 0.55 1.12 1.86 3.38n=200 SVD 0.02 0.11 0.26 0.53n=400 Matrix reformulation 2.15 4.32 7.1 12.65n=400 SVD 0.03 0.16 0.37 0.89n=800 Matrix reformulation 10.06 19.27 30.54 errorn=800 SVD 0.05 0.25 0.58 1.79

↪→ Ratio entre les temps de calcul des deux approches : de 2a 214 fois plus rapide !




Plan

1 La methode PCAMIX






Autour de l’evolution des valeurs culturelles

Travail de these de Zoltan Lakatos (2012) :

Evolution des valeurs culturelles dans les societes

Critique empirique de la these sociologique du postmaterialism du politologue americain Ronald Inglehart

World Values Survey (WVS) : enquete globale sur les valeursculturelles, initiee et dirigee par Ronald Inglehart (enquetesindividuelles menees au niveau national dans une centaine depays, par vagues successives depuis 1981)




Les resultats de Inglehart

Graphique de l’espace sociologique selon Inglehart :

Inglehart (1997), Modernization and Postmodernization, p.82, Figure 3.2.

Source : vague 1990-93 de l’enquete World Values Survey, 43“pays”.

Premier plan factoriel d’une ACP realisee sur les donneesagregees au niveau national




Amalgame entre deux notions

Le deuxieme axe “valeurs traditionnelles vs. rationalite-laıcite”amalgame l’attitude libertaire et l’activisme citoyen (en haut) et laforte religiosite et l’autoritarisme (en bas) :




Une approche nouvelle

Approche de Zoltan Lakatos (2012) :

Enquete WVS de 1981 a 2004 dans 86 pays soit 276870 casponderes pour obtenir 1000 cas par pays

86000 cas et 20 valeurs culturelles (donnees manquantes)

ACM avec rotation (et non pas ACP) sur les donneesindividuelles (et non pas agregees)

Package PCAmixdata et CAR de Matlab pour la rotation enAC (van de Velden & Kiers, 2005)

⇒ Identification de deux dimensions distinctes : “religieux vs.laıque ” et “autoritaire vs. libertaire”




Resultats de l’ACM

Modalites et variables avant rotation

respect parents conditional

learn faith not imp.

accepts outgroups

childless woman not OK

single mother not OK

no life after death

God not imp.

no comfort from religion

divorce not OKachievement not

imp.

good pay not imp.

no subversive actionservice: never

learn faith imp.

rejects outgroups

childless woman OK

single mother OKoften thinks about

meaning of life

life after death

God very imp.

comfort from religion

divorce OK

achievement most imp.

good pay most imp.fighting rising prices

most imp.

subversive actionservice: 1+/week

R² = 0.5854

R² = 0.5427

-1.0

-0.5

0.0

0.5

1.0

-1.0 -0.5 0.0 0.5 1.0

(-) C

on

scie

nti

ou

sA

xis

2 [

2=

0.0

60

]C

on

form

ist

(+)

(-) Modern Axis 1 [1=0.257] Traditional (+)




Apport de la rotation (1/2)

Modalites et variables apres rotation (k = 4)

respect parents conditional

LEARN FAITH NOT IMP.

accepts outgroups

childless woman not OK

single mother not OK

NO LIFE AFTER DEATH

GOD NOT IMP.NO COMFORT FROM

RELIGION

divorce not OK

no subversive action

SERVICE: NEVER

always respect parents

LEARN FAITH IMP.

obediencerejects outgroups

childless woman OK

single mother OK

LIFE AFTER DEATH

GOD VERY IMP.

COMFORT FROM

RELIGION

divorce OK

subversive action

SERVICE: 1+/WEEK

-1.2

-0.7

-0.2

0.3

0.8

-1.1 -0.6 -0.1 0.4 0.9

(-) L

ibe

rtar

ian

Axi

s 2

[2=

0.09

0]A

uth

ori

tari

an (+

)

(-) Secular Axis 1 [ 1=0.155] Religious (+)




Apport de la rotation (2/2)

Scores des individus apres rotation (k = 4)

Russia

Jordan

Colombia

Sweden

122 955

104 331

239 119

189 046

-2.5

-1.5

-0.5

0.5

1.5

2.5

-2.5 -1.5 -0.5 0.5 1.5 2.5

(-) L

ibe

rtar

ian

Axi

s 2

[y]

Au

tho

rita

rian

(+)

(-) Secular Axis 1 [x] Religious (+)




Conclusion

Ecriture de la solution analytique pour la rotation planaire enACP de donnees mixtes

Proposition d’une procedure iterative de rotation pour k > 2

Illustration du bon comportement numerique de l’approche

Developpement du package R PCAmixdata

Interet possible de la rotation sur une vraie etude de cas




Quelques references

Chavent, M., Kuentz, V., Liquet B., Saracco, J. (2012), ThePCAmixdata R package, The CRAN R Project.

Chavent, M., Kuentz, V., Saracco, J. (2012), Orthogonal rotation inPCAMIX, ADAC, 6(2), 131-146.

Kiers, H.A.L., (1991), Simple structure in Component AnalysisTechniques for mixtures of qualitative and quantitative variables,Psychometrika, 56, 197-212.

Lakatos, Z. (2012), The Cultural Values-Economic Growth Nexus: A

Critical Reassessment, Doctoral thesis, Faculty of Social Sciences,

Eotvos Lorand University of Sciences (ELTE TaTK), Budapest.


Documents

Rotation orthogonale en ACP de données mixtes. Le package … · 2014. 10. 4. · Plan Rotation orthogonale en ACP de donn ees mixtes. Le package PCAmixdata et une application en