MAES Francis

PhD student at Sorbonne University
Team : MALIRE
https://lip6.fr/Francis.Maes

Supervision : Patrick GALLINARI

Apprentissage dans les Processus de Décision Markoviens pour la Prédiction Structurée. Applications à l'étiquetage de séquences, la transformation d'arbres et l'apprentissage dans les problèmes de recherche combinatoire

De nombreux problèmes d'apprentissage supervisé font intervenir des sorties complexes : séquences, arbres ou graphes. La prédiction de sorties structurées pose d'importants défis, liés à la nature combinatoire du problème. Récemment, la prédiction structurée incrémentale, une approche générale et de faible complexité, a été proposée pour attaquer ces problèmes sous l’angle de la prise de décisions séquentielles. Dans cette thèse, je m'inscris dans cette approche et propose une nouvelle formulation basée sur le cadre des processus de décision Markoviens (PDMs). Cela permet d'utiliser des algorithmes d'apprentissage par renforcement pour résoudre les problèmes de prédiction structurée et de traiter des problèmes particulièrement complexes qu'aucun algorithme n'était en mesure de résoudre jusqu'alors. En plus de cette contribution majeure, je propose un nouvel algorithme d’apprentissage de politiques basé sur l'apprentissage d'une fonction d'ordonnancement d'actions. La validation est effectuée sur deux tâches: l'étiquetage de séquences et la transformation d'arbres. Les résultats obtenus sur les séquences sont compétitifs avec l'état de l'art et pour certains significativement meilleurs. La transformation d'arbres est un des problèmes d'apprentissage statistique les plus complexes abordés à ce jour et pour lequel il n'existait aucun modèle applicable. Je démontre l'efficacité de l'apprentissage par renforcement pour ce problème sur cinq jeux de données, dont deux à très large échelle. L'ensemble du code source développé au cours de cette thèse est testé, documenté et publié en code-ouvert dans le Journal of Machine Learning Research.

Defence : 10/15/2009

Jury members :

Rémi Gilleron, Professeur à l’université de Lille 3 [Rapporteur]
Louis Wehenkel, Professeur à l’université de Liège [Rapporteur]
Boris Chidlovskii, Centre de recherche Xerox Europe
Ludovic Denoyer, Maitre de conférence à l’université Pierre et Marie Curie (Paris 6)
Patrick Gallinari, Professeur à l’université Pierre et Marie Curie (Paris 6)
Olivier Sigaud, Professeur à l’université Pierre et Marie Curie (Paris 6)
Jean-Philippe Vert, Mines ParisTech et Institut Curie

Departure date : 09/30/2010

2005-2012 Publications