Direction de recherche : Ludovic DENOYER

Co-encadrement : RANZATO Marc'Aurelio

distributed machine learning

La récente augmentation de la puissance de calcul et de la quantité de données disponibles ont catalysé la montée en popularité des algorithmes d'apprentissage profond (deep learning). Cependant, ces 2 facteurs combinés à l'empreinte mémoire et énergétique de ces algorithmes, leur latence en inférence ainsi que l'expertise nécessaire pour les construire sont autant d'obstacles empêchant leur utilisation dans un plus grand nombre d'applications. Dans cette thèse, nous proposons plusieurs méthodes permettant de construire l'architecture des modèles de deep learning d'une manière plus efficace et plus automatisée.
Tout d'abord, nous nous concentrons sur l'apprentissage d'architectures efficaces pour le traitement d'images. Nous proposons une nouvelle méthode dans laquelle l'utilisateur peut guider la procédure d'apprentissage en spécifiant une fonction de coût ainsi qu'un budget maximal à respecter pendant l'inférence. Ce budget peut prendre des formes diverses, "moins de 200ms par image sur cet appareil mobile" par exemple. Notre méthode apprend ensuite automatiquement un modèle et son architecture en optimisant conjointement les performances prédictives et la fonction de coût spécifié par l'utilisateur. Ensuite, nous considérons le problème de la classification de séquences, dans lequel un modèle peut être rendu encore plus efficace en adaptant dynamiquement sa taille à la complexité du signal à traiter. Nous montrons que les deux approches se traduisent par des économies de budget significatives sur tout une gamme de fonctions de coût et de classes de modèles. Enfin, nous abordons le problème de l'efficacité à travers le prisme de l'apprentissage par transfert. Une procédure d'apprentissage peut être rendue encore plus efficace si, au lieu de démarrer tabula rasa, elle s'appuie sur les connaissances acquises lors d'expériences précédentes. Nous présentons un nouveau protocole d'évaluation permettant une analyse fine des différents types de transfert et montrons que notre approche par apprentissage automatique d'architectures est capable de battre les méthodes existantes sur la plupart de ces dimensions.

Publications 2018-2021

• 2021
  • T. Veniat : “distributed machine learning”, soutenance de thèse, soutenance 01/07/2021, direction de recherche Denoyer, Ludovic, co-encadrement : Ranzato, Marc'Aurelio (2021)
  • T. Véniat, L. Denoyer, M. Ranzato : “Efficient Continual Learning with Modular Networks and Task-Driven Priors”, 9^th International Conference on Learning Representations, ICLR 2021, Vienna, Austria (2021)
• 2019
  • T. Véniat, O. Schwander, L. Denoyer : “STOCHASTIC ADAPTIVE NEURAL ARCHITECTURE SEARCH FOR KEYWORD SPOTTING”, ICASSP 2019 - International Conference on Acoustics, Speech, and Signal Processing, Brighton, United Kingdom (2019)
• 2018
  • T. Véniat, L. Denoyer : “Learning Time/Memory-Efficient Deep Architectures with Budgeted Super Networks”, 2018 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2018, Salt Lake City, United States, pp. 3492-3500, (IEEE) (2018)