Kinect’s Anatomy David Fofi Le2i UMR CNRS 6306 Le Creusot, Université de Bourgogne 

Qu’est‐ce que la Kinect ? 

Freedman, B., A. Shpunt, et al. (2008). Depth mapping using projected paQerns, US 2010/0118123A1 (Brevet PrimeSense) 

Capteur de vision tridimensionnel proposé par MicrosoR :  

  1 caméra couleur (RGB)   1 capteur de profondeur développé par PrimeSense en 2005   1 kit de développement (SDK)  

J. ShoQon, A. Fitzgibbon, M. Cook, T. Sharp, M. Finocchio, R. Moore, A. Kipman, and A. Blake, “Real‐_me human pose recogni_on in parts from single depth images,” CVPR, vol. 2, p. 7, 2011. 

Qu’est‐ce que la Kinect ? 

Capteur RGB‐D 

Qu’est‐ce que la Kinect ? 

Qu’est‐ce que la Kinect ? 

La  technologie  CMOS,  ou  Complementary  Metal  Oxide Semiconductor,  est  une  technologie  de  fabrica_on  de composants  électroniques  et,  par  extension,  l'ensemble des composants fabriqués selon ceQe technologie. À l'instar de la famille Transistor‐Transistor logic (TTL), ces composants sont en  majeure  par_e  des  portes  logiques  (NAND,  NOR,  etc.) mais peuvent être aussi u_lisés comme résistance variable. 

Résolu_on rela_vement faible de 640x480 pixels. 

Lumière structurée impercep_ble 

Comment rendre une lumière structurée impercep_ble  ? !"#$"#%& $"#& '%#()#*+,&-'&.%-/#+$0-*& %#1+"#2& $"#&!"#$#!%&' (&#!)*"' ("*+,*-!.& 3'%-4&5678&1++-%90*:& $-&!1$2-*& ;<6=>?& $"#&.1$$#%*&1*9&$"#&0*@#%2#&.1$$#%*&1%#&@02)1AA,&0*$#:%1$#9&-@#%&$04#?&2-&$"1$&$"#&%#2)A$&02&$"#&1..#1%1*+#&-'&'A1$&'0#A9&3BC"0$#D&A0:"$>&E&F0:G&HG&&I%0$0+1A&'A0+J#%&'%#()#*+,&02&9#'0*#9&12&$"#&"0:"#2$&'%#()#*+,&1$&C"0+"&1&.#%2-*&+1*&9#$#+$&$"#&'A0+J#%&0*&1&'A0+J#%0*:&A0:"$&2-)%+#G&&&&&&&&&&&&&&&&

!

!

F0:G&KG&&L%0*+0.A#&-'&$"#&MNO&2#*2-%& F0:G&HG&&P#2)A$0*:&1*9&.%-/#+$#9&.1$$#%*2&

"#$!%&'()*)+!,(*-.(-*)+!/&01(!

Q"#&A0:"$&2-)%+#&02&'0A$#%#9&2-&$"1$&-*A,&0*'%1%#9&2$%)+$)%#9&A0:"$&.122#2G&Q"#&A0:"$&.1$$#%*&+1*&R#&.%-/#+$#9&$"%-):"&1&A12#%&2-)%+#&-%&1&@09#-S.%-/#+$-%G&&T*&MP&'0A$#%?&2#$&0*&'%-*$&-'&$"#&A0:"$&2-)%+#?&.#%40$2&$-&B+1*+#AD&A0:"$&R#A-C&56U*4?&VUU*4?&V6U*4?&#$+G&R,&1+$0*:&12&1*&"0:"S.122&'0A$#%G&TA$"-):"?&'0A$#%#9&2$%)+$)%#9&A0:"$&2##42&@#%,&2040A1%&$-&0*'%1%#9&2$%)+$)%#9&A0:"$?&C#&C0AA&$%,?&0*&2#+$0-*&K?&$-&#@1A)1$#&$"#&90''#%#*+#2&R#$C##*&R-$"G&&&

!

!

! !!&

&

F0:G&6G&L%0*+0.A#&-'&'0A$#%#9&2$%)+$)%#9&A0:"$&

&&&&&&

W&X&

O0:"$&2-)%+#&

MP&F0A$#%&3"0:"S.122>& M*'%1%#9&A0:"$&

En  projetant  alterna_vement  un  mo_f  et  son complémentaire au‐delà de  la  fréquence criBque de fusion.  

Lumière structurée impercep_ble 

Comment rendre une lumière structurée impercep_ble  ? 

En exploitant la technologie u_lisée par les vidéo‐projecteurs à micro‐miroirs. 

Lumière structurée impercep_ble 

Comment rendre une lumière structurée impercep_ble  ? 

En  projetant  la  lumière  dans l’infrarouge. 

Lumière structurée IR  de la Kinect 

PrimeSense a déposé 2 brevets différents… 

MoBf pseudo‐aléatoire de lumière structurée IR 

Le 3D par la Kinect Lumière structurée IR 

Depth from focus 

!"#$%&'()*%'(+$,#-&$+%.&#&$%$/012#+'#3$+(0+,#$'1$4#+1*#$%-$#,,(/&#$5"1&#$10(#-'%'(1-$3#/#-3&$1-$3#/'"$

60##3*%-$#'$%,7$80(*#9#-&#$$/%'#-'$%//,(+%'(1-$:9$;<=<><;?<@?A$

La  kinect  u_lise  une  len_lle  par_culière (« as_gmate ») à distance focale différente en x et y. 

Un  cercle  projeté  devient  une  ellipse…  dont l’orienta_on dépend de la profondeur ! 

De la 3D au mouvement 31 zones du corps humain sont iden_fiées… 

!"#$%&'($#%&)$*+&,%-$#%./%#$/"0%.1$+"#%$21*.,$'"+324%#$,#&3(*'1$

4%'(.*52%1$

6("44".$%4$&)-$789:;<=>>?$

!"#$%&'($#%&)$*+&,%-$#%./%#$/"0%.1$+"#%$21*.,$'"+324%#$,#&3(*'1$

4%'(.*52%1$

6("44".$%4$&)-$789:;<=>>?$

De la 3D au mouvement 

Profondeur du pixel x dans l’image I 

De la 3D au mouvement Algorithme de « forêt d’arbres décisionnels » 

Chaque nœud correspond à une mesure 

caractéris_que f 

Le chemin choisi dépend de la comparaison de f avec un seuil prédéfini. 

De la 3D au mouvement 

Image de profondeur 

Segmenta_on des zones 

Posi_on des ar_cula_ons 

Lumière structurée IR  Forêt d’arbre décisionnel  Filtre par décalage de moyenne 

Démonstra_ons 

Perspec_ves et enjeux 

Quelques pistes à explorer   

  Capteur ac_f en mouvement…   Disposi_fs mul_‐capteur…   Augmenta_on de la résolu_on spa_ale…   Augmenta_on de la résolu_on temporelle…