Direction de recherche : Patrick GALLINARI

Co-encadrement : BENGIO Samy

Algorithmes Pour Grandes Bases de Données

Nous nous intéressons aux algorithmes d'apprentissage, avec un intérêt tout particulier pour les grandes bases de données. Nous commençons par présenter plusieurs algorithmes d'apprentissage importants, en particulier les Multi Layer Perceptrons, les Mixture d'Experts ainsi que les Support Vector Machines. Pour accélerer l'entraînement de ces modèles nous proposons d’abord une méthode générale basée sur une stratégie de « diviser pour régner », permettant de séparer le problème d'apprentissage en sous-problèmes plus simples, tout en gardant de bonnes performances en généralisation. Malgré de très bonnes performances en pratique, cet algorithme n'en reste pas moins difficile à utiliser, à cause de son nombre important d'hyper-paramètres. Pour cette raison, nous préférons nous intéresser ensuite à l'amélioration de l'entraînement des Multi Layer Perceptrons, bien plus faciles à utiliser, et plus adaptés aux grandes bases de données que les Support Vector Machines. Enfin, nous montrons que l'idée de la marge qui fait la force des Support Vector Machines peut être appliquée à une certaine classe de Multi Layer Perceptrons, ce qui nous mène à un algorithme très rapide et ayant de très bonnes performances en généralisation.

Publications 2004-2010

• 2010
  • A. Bordes, N. Usunier, R. Collobert, J. Weston : “Towards Understanding Situated Natural Language”, 13^th International Conference on Artificial Intelligence and Statistics, vol. 9, JMLR: Workshop and Conference Proceedings, Chia Laguna Resort, Sardinia, Italy, pp. 65-72 (2010)
• 2004
  • R. Collobert : “Algorithmes Pour Grandes Bases de Données”, soutenance de thèse, soutenance 28/06/2004, direction de recherche Gallinari, Patrick, co-encadrement : Bengio, Samy (2004)