Direction de recherche : Hichem SAHBI

Co-encadrement : LŒSCH Angélique, CHABOT Florian

Analyse du Mouvement dans des Vidéos par Apprentissage Profond Auto-Supervisé

Cette thèse explore les méthodes d’apprentissage auto-supervisé basées sur le mouvement dans les vidéos afin de réduire la dépendance à l’égard de coûteux ensembles de données annotées pour les tâches d’estimation du flux optique et de la profondeur monoculaire. En l’absence de vérité terrain, ces deux tâches sont principalement apprises par minimisation d’une erreur de reconstruction d’images en supposant l’hypothèse de constance de la luminosité vérifiée.
Dans la pratique, en raison des variations de luminosité causées par des ombres mobiles ou des surfaces non lambertiennes, cette hypothèse peut ne pas être valide, ce qui empêche certaines reconstructions. D’une part, des solutions peuvent être mises en œuvre pour limiter l’impact de ces changements de luminosité. Ainsi, notre première contribution améliore les performances des méthodes d’estimation auto-supervisée du flux optique grâce à un réseau de neurones auxiliaire conçu pour compenser tout changement de luminosité à l’étape d’apprentissage seulement, de sorte que le temps d’exécution ne soit pas affecté à l’inférence. D’autre part, puisque les reconstructions impossibles rendent certaines situations mal supervisées et donc difficiles à estimer pour un réseau d’estimation de la profondeur, elles constituent une cause d’incertitude aléatoire qui peut être estimée. Dans notre deuxième contribution, nous montrons que notre nouvelle formulation probabiliste du problème de l’apprentissage auto-supervisé de la profondeur monoculaire permet d’obtenir de meilleures prédictions à la fois de la profondeur et de l’incertitude.

Publications 2023-2024

• 2024
  • R. Marsal : “Analyse du Mouvement dans des Vidéos par Apprentissage Profond Auto-Supervisé”, soutenance de thèse, soutenance 29/05/2024, direction de recherche Sahbi, Hichem, co-encadrement : Lœsch, Angélique, Chabot, Florian (2024)
  • R. Marsal, F. Chabot, A. Loesch, W. Grolleau, H. Sahbi : “MonoProb: self-supervised monocular depth estimation with interpretable incertainty”, Online proceedings of the 2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Waikoloa, HI, USA, 2024, Waikoloa, HI, United States, pp. 3625-3634, (IEEE), (ISBN: 979-8-3503-1892-0) (2024)
• 2023
  • R. Marsal, F. Chabot, A. Loesch, H. Sahbi : “BrightFlow: Brightness-Change-Aware Unsupervised Learning of Optical Flow”, 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Waikoloa, United States, pp. 2060-2069, (IEEE), (ISBN: 978-1-6654-9346-8) (2023)