Direction de recherche : Patrick GALLINARI

Co-encadrement : LAMPRIER Sylvain

Apprentissage de représentations et modèles génératifs profonds dans les systèmes dynamiques

L'essor de l'apprentissage profond trouve notamment sa source dans les avancées scientifiques qu'il a permises en termes d'apprentissage de représentations et de modèles génératifs. Dans leur grande majorité, ces progrès ont cependant été obtenus sur des données textuelles et visuelles statiques, les données temporelles demeurant un défi pour ces méthodes. Compte tenu de leur importance pour l'automatisation croissante de multiples tâches, de plus en plus de travaux en apprentissage automatique s'intéressent aux problématiques d'évolution temporelle. Dans cette thèse, nous étudions ainsi plusieurs aspects de la temporalité et des systèmes dynamiques dans les réseaux de neurones profonds pour l'apprentissage non supervisé de représentations et de modèles génératifs. Premièrement, nous présentons une méthode générale d'apprentissage de représentations non supervisée pour les séries temporelles prenant en compte des besoins pratiques d'efficacité et de flexibilité. Dans un second temps, nous nous intéressons à l'apprentissage pour les séquences structurées de nature spatio-temporelle, couvrant les vidéos et phénomènes physiques. En les modélisant par des équations différentielles paramétrisées par des réseaux de neurones, nous montrons la corrélation entre la découverte de représentations pertinentes d'un côté, et de l'autre la fabrique de modèles prédictifs performants sur ces données. Enfin, nous analysons plus généralement dans une troisième partie les populaires réseaux antagonistes génératifs dont nous décrivons la dynamique d'apprentissage par des équations différentielles, nous permettant d'améliorer la compréhension de leur fonctionnement.

Publications 2019-2022

• 2022
  • J.‑Y. Franceschi : “Apprentissage de représentations et modèles génératifs profonds dans les systèmes dynamiques”, soutenance de thèse, soutenance 14/02/2022, direction de recherche Gallinari, Patrick, co-encadrement : Lamprier, Sylvain (2022)
• 2021
  • J. Donà, J.‑Y. Franceschi, S. Lamprier, P. Gallinari : “PDE-Driven Spatiotemporal Disentanglement”, The Ninth International Conference on Learning Representations, Vienne, Austria (2021)
  • J. Donà, J.‑Y. Franceschi, S. Lamprier, P. Gallinari : “PDE-Driven Spatiotemporal Disentanglement”, The Ninth International Conference on Learning Representations, Vienne (virtual), Austria (2021)
• 2020
  • J.‑Y. Franceschi, E. Delasalles, M. Chen, S. Lamprier, P. Gallinari : “Stochastic Latent Residual Video Prediction”, Proceedings of the 37^th International Conference on Machine Learning, vol. 119, Proceedings of Machine Learning Research, Vienne, Austria, pp. 3233-3246, (PMLR) (2020)
• 2019
  • J.‑Y. Franceschi, A. Dieuleveut, M. Jaggi : “Unsupervised Scalable Representation Learning for Multivariate Time Series”, Thirty-third Conference on Neural Information Processing Systems, vol. 32, Advances in Neural Information Processing Systems, Vancouver, Canada, (Curran Associates, Inc.) (2019)
  • J.‑Y. Franceschi, A. Dieuleveut, M. Jaggi : “Unsupervised Scalable Representation Learning for Multivariate Time Series”, Thirty-third Conference on Neural Information Processing Systems, vol. 32, Advances in Neural Information Processing Systems, Vancouver, Canada, pp. 4650-4661, (Curran Associates, Inc.) (2019)