Supervision : Patrick GALLINARI

Co-supervision : ARTIÈRES Thierry

Modélisation d'interdépendances et principe de la moyenne Bayésienne des modèles dans le cadre supervisé et non supervisé

Cette thèse porte sur la théorie de l'apprentissage statistique et plus particulièrement sur le moyennage Bayésien de modèles. L'apprentissage par moyennage Bayésien de modèles (ou BMA pour Bayesian Model Averaging) vise à construire automatiquement des modèles ayant de bonnes performances en généralisation par intégration sur une famille de modèles. L'utilisation du principe BMA permet dans certaines conditions un apprentissage optimal, sans sur-apprentissage ni sous-apprentissage. Une seconde problématique a orienté certains de mes travaux et concerne l'utilisation du maximum possible de dépendances entre attributs constituant les formes traitées. Naturellement ces deux problématiques sont liées parce qu'en cherchant à exploiter plus de dépendances dans les données on attaque le problème de l'apprentissage de modèles plus complexes et donc sujets à sur-apprentissage.
Durant ma thèse j'ai exploré ces deux problématiques en m'attaquant à différentes tâches de l'apprentissage automatique et pour différents types de données. J'ai abordé l'utilisation de dépendances entre composantes pour des données en dimension fixe et pour des données séquentielles. En dimension fixe l'idée est de prendre en compte les dépendances entre toutes les composantes à travers les dépendances entre tous les k-uplets de composantes pour des valeurs de k limitées. Pour des données séquentielles, j'ai proposé des modèles permettant de prendre en compte les dépendances entre toutes les paires d'observations. Dans l'un et l'autre cas les modèles que j'ai proposés peuvent être vus comme des extensions de modèles classiques, classifieurs Logistiques pour les données en dimension fixe ou modèles Markoviens pour les séquences. Au-delà de l'exploitation massive de dépendances, je me suis intéressé à identifier des situations et des problèmes particuliers pour lesquels l'approche BMA est d'une part utilisable en pratique, et d'autre part pertinente du point de vue du gain obtenu. Cela m'a conduit à travailler à tout d'abord sur des aspects fondamentaux pour caractériser l'approche BMA dans les cadres supervisé et non supervisé. Également j'ai développé des algorithmes pour le calcul «exact» de solutions de type BMA dans des cas particuliers, l'apprentissage de classifieurs complexes comme combinaison de classifieurs simples, et l'apprentissage d'une loi de probabilité a posteriori par intégration sur la famille des modèles de type histogrammes.

2003-2009 Publications

• 2009
  • R. Sicard, Th. Artières : “Modelling sequences using pairwise relational features”, Pattern Recognition, vol. 42 (9), pp. 1922-1931, (Elsevier) (2009)
• 2008
  • R. Sicard : “Modélisation d’interdépendances et principe de la moyenne Bayésienne des modèles dans le cadre supervisé et non supervisé”, thesis, phd defence 12/02/2008, supervision Gallinari, Patrick, co-supervision : Artières, Thierry (2008)
• 2007
  • R. Sicard, Th. Artières : “An application of bayesian model averaging to histograms”, 9^e Conférence d'Apprentissage, CAp 2007, Grenoble, France (2007)
• 2006
  • R. Sicard, Th. Artières, E. Petit : “Modeling On-line Handwriting Using Pairwise Relational Features”, Tenth International Workshop on Frontiers in Handwriting Recognition, La Baule, France, (Suvisoft) (2006)
  • R. Sicard, Th. Artières, E. Petit : “Modélisation de l’écrit en ligne à l’aide de réseaux bayésiens et de caractéristiques relationnelles”, Colloque International Francophone sur l'Ecrit et le Document (CIFED'06), Fribourg, Switzerland, pp. 181-186 (2006)
  • R. Sicard, Th. Artières : “Patch Learning for Incremental Classifier Design”, European Conference on Artificial Intelligence (ECAI 2006), Riva del Garda, Italy, pp. 807-808, (IOS Press) (2006)
• 2003
  • S. Marukatat, R. Sicard, Th. Artières, P. Gallinari : “A Flexible recognition engine for complex on-line handwritten character recognition”, International Conference on Document Analysis and Recognition, Edinburgh, United Kingdom, pp. 1048-1052, (IEEE) (2003)