ROMERA Thomas

doctorant à Sorbonne Université
Équipe : ALSOC
https://scholar.google.com/citations?user=3a-ZCD8AAAAJ&hl=en

Direction de recherche : Lionel LACASSAGNE

Co-encadrement : MEUNIER Quentin

Adéquation algorithme architecture pour flot optique sur GPU embarqué

Depuis deux décennies, les caméras commerciales ont connu d'importantes avancées en termes de qualité d'image et de vidéo, principalement grâce à des progrès technologiques dans divers composants tels que l'optique, le stockage numérique, la stabilisation de l'image, les circuits et les capteurs numériques. C'est le capteur numérique de lumière qui a connu les avancées les plus notables. Pour aller plus loin dans l'amélioration de la qualité des images des caméras, des innovations dans le domaine du traitement d'images et de la vision par ordinateur sont nécessaires.
L'un des blocs algorithmiques majeurs dans le domaine de la vision par ordinateur est l'estimation du mouvement des pixels dans un flux vidéo, encore appelé flot optique. Ce bloc permet d'ajouter des informations temporelles entre les images d'une séquence vidéo et peuvent être notamment utilisées pour stabiliser, débruiter, déflouter ou encore augmenter la résolution. La plupart des algorithmiques d'estimation du flot optique sont très performants en termes de qualité mais leur temps de traitement trop élevé limite leur implémentation temps réel sur des plateformes embarquées.
Les travaux menés dans cette thèse portent sur l'optimisation et l'implémentation efficace d'algorithmes d'estimation du flot optique sur des processeurs graphiques embarqués. Deux algorithmes itératifs ont été étudiés : la méthode d'estimation TV-L1 et la méthode d'estimation de Horn-Schunck. L’objectif est d’obtenir un traitement temps réel (moins de 40 ms par image) sur des plateformes embarquées à faible consommation énergétique, tout en gardant une résolution d'image et une qualité d’estimation du flot acceptable pour les applications visées.
Différentes stratégies d'optimisation ont été explorées. Des transformations algorithmiques de haut niveau, telles que la fusion et le pipeline d'opérateurs, ont été mises en œuvre pour maximiser la réutilisation des données et améliorer la localité spatiale et temporelle. De plus, des optimisations de bas niveau spécifiques aux GPU, notamment l'utilisation d'instructions et de nombres vectoriels, ainsi qu'une gestion efficace de l'accès à la mémoire, ont été intégrées. Enfin, l'impact de la représentation des nombres en virgule flottante (simple précision par rapport à demi-précision) a également été étudié.
Les implémentations ont été évaluées en termes de temps d'exécution, de consommation énergétique et de qualité du flot optique. En plus d'une accélération permettant le traitement temps réel d'images proches de la résolution 4K sur des plateformes embarquées, l'utilisation de nombres en demi-précision permet d'obtenir des résultats de meilleure qualité dans le même laps de temps par rapport à des implémentations en simple-précision.
Ces travaux ont souligné l'importance des optimisations spécifiques aux GPU pour les algorithmes de vision par ordinateur, ainsi que l'utilisation de nombres à virgule flottante de précision réduite. À notre connaissance, ces travaux constituent un premier exemple concret démontrant que la réduction de la précision des nombres flottants peut conduire à des résultats de meilleure qualité.

Soutenance : 13/10/2023

Membres du jury :

David DEFOUR, Professeur, LAMPS, Université de Perpignan Via Domitia [Rapporteur]
Claude TADONKI, Chargé de Recherche, CRI, Mines ParisTech [Rapporteur]
Roselyne CHOTIN, Maître de Conférences, LIP6, Sorbonne Université
Olivier SENTIEYS, Professeur, IRISA, INRIA, Université de Rennes
Daniel ETIEMBLE, Professeur Émérite, LRI, Université Paris-Saclay
Patrice MENARD, Directeur Technique, LERITY-Alcen
Lionel LACASSAGNE, Professeur, LIP6, Sorbonne Université
Quentin MEUNIER, Maître de Conférences, LIP6, Sorbonne Université

Date de départ : 31/12/2023

Publications 2018-2023