Supervision : Patrick GARDA

Co-supervision : GRANADO Bertrand, ROMAIN Olivier

Contribution à la conception et à la réalisation d'un capteur de vision 3D intégré

La nécessité d'avoir des systèmes capables de percevoir le relief est apparue dès le début de la photographie. Cette nécessité a conduit à la réalisation de dispositifs macroscopiques qui avaient tous comme point commun la perception du relief de l'environnement humain. Ces systèmes utilisent diverses méthodes de reconstruction: stéréoscopie passive ou active, temps de vols, etc... Les avancées technologiques laissent entrevoir la possibilité de réaliser des systèmes intégrés de vision en trois dimensions sur puce. Cela ouvre de nouveaux champs applicatifs, comme la vision précise en trois dimensions in vivo dans le corps humain lors d'examen de type endoscopique. A ce jour peu de travaux tendent à concevoir un capteur intégré polyvalent malgré les avantages évidents pour ces nouvelles applications. Jusque là, la principale restriction était due à la taille, à la vitesse de fonctionnement ou à la consommation des appareils. Pour répondre aux besoins d'applications émergentes telle que l'endoscopie 3D, le projet Cyclope à été lancé. Il s'agit d'une une action de recherche au sein de laquelle est étudiée la conception d’un capteur de vision 3D intégré temps-réel avec des capacités de communication sans fil basé sur la stéréoscopie active. Ce capteur est alors capable de fournir une représentation texturé en trois dimension d'une scène. Cette thèse traite de l'analyse des solutions envisageables pour la réalisation d'une instrumentation d'acquisition et de projection du motif et de sa mise en oeuvre. La principale contrainte de notre application consiste en l'acquisition quasi simultanée de la texture de l'image dans le spectre du visible et du motif projeté. Ayant opté pour un laser pulsé dont sa longueur d'onde est dans le proche infrarouge, pour ne pas dénaturer la scène, plusieurs solution étaient possible. Malheureusement, aucune d'entre elles n'étaient pleinement satisfaisante. Dans ce contexte, j'ai opté pour une approche d'acquisition énergétique et temporelle basée sur l'existence d'un gap énergétique entre la scène et le motif projeté à cette longueur d'onde. Un démonstrateur macroscopique à été réalisé afin de valider notre approche et d'estimer ces performances. L'ensemble est composé d'une caméra CMOS dotée de CAN 8 bits externe, d'un projecteur de motif infrarouge générant une matrice de 49 points, d'une carte FPGA Xilinx Virtex2Pro et d'un module de communication sans fils ZIGBEE. Sur le FPGA est mis en œuvre les architectures de contrôle et de synchronisation, de pré-traitements, de reconstruction et de communication. Les performances du systèmes ont été évalué selon trois axes distincts: les performances de la séparation motif/arrière plan pour différentes condition d'utilisation, l'impact de la méthode sur la précision de la reconstruction et enfin l'estimation de la consommation énergétique globale du système pour plusieurs cible.

2006-2010 Publications

• 2010
  • A. Kolar, O. Romain, J. Ayoub, S. VIATEUR, B. Granado : “Prototype of Video Endoscopic Capsule with 3D imaging capabilities”, IEEE Transactions on Biomedical Circuits and Systems, vol. 4 (4), pp. 239-249, (Institute of Electrical and Electronics Engineers) (2010)
• 2009
  • A. Kolar : “Contribution à la conception et à la réalisation d’un capteur de vision 3D intégré”, thesis, phd defence 11/20/2009, supervision Garda, Patrick, co-supervision : Granado, Bertrand, Romain, Olivier (2009)
  • A. Kolar, O. Romain, B. Granado : “Cyclope:
 Une
 méthode
 de
 discrimination
 spectrale
 innovante
 dans
 le
 cadre
 d’un
 capteur
 de
 vision
 3D
 intégré
 temps
 réel
 sans
 fils”, 22^e
 Colloque
 GRETSI, Dijon, France (2009)
  • A. Kolar, A. Pinna, O. Romain, S. VIATEUR, Th. Ea, E. Belhaire, T. Graba, B. Granado : “A Multishutter Time Sensor for Multispectral Imaging in a 3D reconstruction integrated sensor”, IEEE Sensors Journal, vol. 9, pp. 478-484, (Institute of Electrical and Electronics Engineers) (2009)
  • A. Kolar, O. Romain, J. Ayoub, D. Faura, S. VIATEUR, T. Graba, B. Granado : “A system for an accurate 3D reconstruction in video endoscopy capsule”, EURASIP Journal on Embedded Systems, vol. 2009, pp. 716317, (SpringerOpen) (2009)
• 2008
  • A. Kolar, O. Romain, T. Graba, Th. Ea, B. Granado : “The integrated Active Stereoscopic Vision Theory, Integration and Application”, chapter in Stereo Vision, pp. 131-152, (InTech), (ISBN: 978‐953‐7619‐22‐0) (2008)
• 2007
  • A. Kolar, T. Graba, A. Pinna, O. Romain, B. Granado, Th. Ea : “A digital processing architecture for 3D reconstruction”, IEEE International Conf. on Application-Specific Systems, Architectures and Processors (ASAP), IEEE (Ed.), Montreal, Canada, (ISBN: 978-1-4244-1026-2) (2007)
  • A. Kolar, B. Granado, O. Romain, T. Graba, A. Pinna : “A
 multishutter 
time 
sensor 
for 
multispectral 
imaging
 in 
a 
3D 
Reconstruction 
embedded
 sensor”, IEEE
DCIS,
XXII
Conference
on
Design
of
 Circuits
and
Integrated
Systems, Sevilla, Spain (2007)
  • A. Kolar, T. Graba, A. Pinna, O. Romain, B. Granado, E. Belhaire : “Smart Bi-Spectral Image Sensor for 3D Vision”, IEEE Sensors, 2007, pp. 577-580, (IEEE), (ISBN: 978-1-4244-1262-4) (2007)
• 2006
  • A. Kolar, T. Graba, A. Pinna, O. Romain, B. Granado, Th. Ea : “A Digital Processing Architecture For 3D Reconstruction”, Computer Architecture for Machine Perception and Sensing, 2006. CAMP 2006. International Workshop on, (IEEE), (ISBN: 978-1-4244-0685-2) (2006)