Direction de recherche : Matthieu CORD

Co-encadrement : THOME Nicolas

Apprentissage faiblement supervisé pour la reconnaissance visuelle

Cette thèse propose de s’intéresser au problème de la classification d’images, où l’objectif est de prédire si une catégorie sémantique (e.g. voiture) est présente dans l’image, à partir de son contenu visuel. Aujourd’hui, avec l’utilisation massive des smartphones et des réseaux sociaux, les images sont omniprésentes dans notre vie quotidienne. Pour traiter et exploiter cette masse de donnée, il est important d’avoir des systèmes de reconnaissance, pour analyser et interpréter le contenu visuel des images. Nous proposons plus particulièrement dans ce manuscrit d’apprendre des représentations localisées avec des méthodes d’apprentissage faiblement supervisé. Dans le cadre de la classification d’images, ce problème peut être vu comme un problème de pooling sur des régions. A partir du formalisme du Multiple Instance Learning, nous avons proposé SyMIL, qui est un modèle symétrique pour la classification binaire de sacs. SyMIL utilise une fonction de pooling qui recherche les instances discriminantes pour chacune des classes. Ensuite, nous avons généralisé SyMIL à des problèmes de prédiction structurée, en introduisant MANTRA. Ce modèle recherche des régions discriminatives pour la classe, mais aussi des régions montrant l’absence de la classe (preuve négative). Par la suite, nous avons intégré ce modèle de preuve négative dans une architecture profonde, ainsi qu’une extension du pooling à plusieurs régions. Dans la dernière partie, nous avons proposé une nouvelle architecture qui apprend plusieurs modalités par classe pour avoir de meilleure prédiction. Nous avons aussi proposé un modèle unifié pour le pooling, et une comparaison expérimentale sur 6 ensemble de données

Publications 2013-2019

• 2019
  • Th. Durand, N. Thome, M. Cord : “Exploiting Negative Evidence for Deep Latent Structured Models”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 41 (2), pp. 337-351, (Institute of Electrical and Electronics Engineers) (2019)
• 2018
  • Th. Durand, N. Thome, M. Cord : “SyMIL: MinMax Latent SVM for Weakly Labeled Data”, IEEE Transactions on Neural Networks and Learning Systems, vol. 29 (12), pp. 6099-6112, (IEEE) (2018)
• 2017
  • Th. Durand : “Apprentissage faiblement supervisé pour la reconnaissance visuelle”, soutenance de thèse, soutenance 20/09/2017, direction de recherche Cord, Matthieu, co-encadrement : Thome, Nicolas (2017)
  • Th. Durand, T. Mordan, N. Thome, M. Cord : “WILDCAT: Weakly Supervised Learning of Deep ConvNets for Image Classification, Pointwise Localization and Segmentation”, IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, United States, pp. 5957-5966 (2017)
• 2016
  • Th. Durand, N. Thome, M. Cord : “WELDON: Weakly Supervised Learning of Deep Convolutional Neural Networks”, 29^th IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016), Las Vegas, NV, United States (2016)
• 2015
  • Th. Durand, N. Thome, M. Cord : “MANTRA: Minimum Maximum Latent Structural SVM for Image Classification and Ranking”, IEEE International Conference on Computer Vision (ICCV15), Santiago, Chile (2015)
• 2014
  • Th. Durand, N. Thome, M. Cord, D. Picard : “Incremental learning of latent structural SVM for weakly supervised image classification”, IEEE International Conference on Image Processing, Paris, France, pp. 4246-4250, (IEEE) (2014)
  • Th. Durand, D. Picard, N. Thome, M. Cord : “SEMANTIC POOLING FOR IMAGE CATEGORIZATION USING MULTIPLE KERNEL LEARNING”, IEEE International Conference on Image Processing, Paris, France, (Institute of Electrical and Electronics Engineers) (2014)
• 2013
  • Th. Durand, N. Thome, M. Cord, S. Avila : “Image classification using object detectors”, ICIP 2013 : IEEE International Conference on Image Processing, Melbourne, Australia, pp. 4340-4344 (2013)