Direction de recherche : Patrick GALLINARI

Apprentissage dans les Processus de Décision Markoviens pour la Prédiction Structurée. Applications à l'étiquetage de séquences, la transformation d'arbres et l'apprentissage dans les problèmes de recherche combinatoire

De nombreux problèmes d'apprentissage supervisé font intervenir des sorties complexes : séquences, arbres ou graphes. La prédiction de sorties structurées pose d'importants défis, liés à la nature combinatoire du problème. Récemment, la prédiction structurée incrémentale, une approche générale et de faible complexité, a été proposée pour attaquer ces problèmes sous l’angle de la prise de décisions séquentielles. Dans cette thèse, je m'inscris dans cette approche et propose une nouvelle formulation basée sur le cadre des processus de décision Markoviens (PDMs). Cela permet d'utiliser des algorithmes d'apprentissage par renforcement pour résoudre les problèmes de prédiction structurée et de traiter des problèmes particulièrement complexes qu'aucun algorithme n'était en mesure de résoudre jusqu'alors. En plus de cette contribution majeure, je propose un nouvel algorithme d’apprentissage de politiques basé sur l'apprentissage d'une fonction d'ordonnancement d'actions. La validation est effectuée sur deux tâches: l'étiquetage de séquences et la transformation d'arbres. Les résultats obtenus sur les séquences sont compétitifs avec l'état de l'art et pour certains significativement meilleurs. La transformation d'arbres est un des problèmes d'apprentissage statistique les plus complexes abordés à ce jour et pour lequel il n'existait aucun modèle applicable. Je démontre l'efficacité de l'apprentissage par renforcement pour ce problème sur cinq jeux de données, dont deux à très large échelle. L'ensemble du code source développé au cours de cette thèse est testé, documenté et publié en code-ouvert dans le Journal of Machine Learning Research.

Publications 2005-2012

• 2012
  • F. Maes, L. Denoyer, P. Gallinari : “Corpus-Based Structure Mapping of XML Document Corpora: A Reinforcement Learning Based Model”, chapter in Modeling, Learning, and Processing of Text Technological Data Structures, vol. 370, Studies in Computational Intelligence, pp. 249-266, (Springer Berlin/Heidelberg), (ISBN: 978-3-642-22612-0) (2012)
• 2009
  • F. Maes : “Apprentissage dans les Processus de Décision Markoviens pour la Prédiction Structurée. Applications à l’étiquetage de séquences, la transformation d’arbres et l’apprentissage dans les problèmes de recherche combinatoire”, soutenance de thèse, soutenance 15/10/2009, direction de recherche Gallinari, Patrick (2009)
  • F. Maes, L. Denoyer, P. Gallinari : “Structured Prediction with Reinforcement Learning”, Machine Learning, vol. 77 (2-3), pp. 271-301, (Springer Verlag) (2009)
  • F. Maes, S. Peters, L. Denoyer, P. Gallinari : “SICA : Simulated Iterative Classification - A new larning method for graph labelling”, ECML PKDD 2009, vol. 5782, Lecture Notes in Computer Science, Bled, Slovenia, pp. 47-62, (Springer) (2009)
• 2008
  • F. Maes, L. Denoyer, P. Gallinari : “Applications of Reinforcement Learning to Structured Prediction”, European Workshop on Reinforcement Learning, vol. 5323, Lecture Notes in Computer Science, Villeneuve d’Ascq, France, pp. 205-219, (Springer) (2008)
  • F. Maes, L. Denoyer, P. Gallinari : “Apprentissage de conversion de documents semi-structures a partir d’exemples”, CORIA 2008 - Conférence en Recherche d'Informations et Applications, Tregastel, France, pp. 181-196, (ARIA) (2008)
• 2007
  • F. Maes, L. Denoyer, P. Gallinari : “Sequence Labelling with Reinforcement Learning and Ranking Algorithms”, 18^th European Conference on Machine Learning, ECML 2007, vol. 4701, Lecture Notes in Computer Science, Warsaw, Poland, pp. 648-657, (Springer) (2007)
  • G. Wisniewski, F. Maes, L. Denoyer, P. Gallinari : “Probabilistic Model for Structured Document Mapping”, 5^th International Conference on Machine Learning and Data Mining for Pattern Recognition (MLDM'07'), vol. 4571, Lecture Notes in Computer Science, Leizig, Germany, pp. 854-867, (Springer) (2007)
  • G. Wisniewski, F. Maes, L. Denoyer, P. Gallinari : “Modèle probabiliste pour l’extraction de structures dans les documents Web”, Document numérique - Revue des sciences et technologies de l'information. Série Document numérique, vol. 10 (1), pp. 89-107, (Hermès) (2007)
• 2006
  • F. Maes, L. Denoyer, P. Gallinari : “XML Structure Mapping, Application to the PASCAL/INEX 2006 XML Document Mining Track”, Advances in XML Information Retrieval and Evaluation: Fifth Workshop of the INitiative for the Evaluation of XML Retrieval (INEX'06), vol. 4518, Lecture Notes in Computer Science, Dagstuhl, Germany, pp. 540-551, (Springer) (2006)
  • G. Wisniewski, L. Denoyer, F. Maes, P. Gallinari : “Modèle probabiliste pour l’extraction de structures dans les documents semi-structurés: Application aux documents Web”, 3^eme Conference en Recherche d'Information et Applications (CORIA'06), Lyon, France, pp. 169-180 (2006)
• 2005
  • P. Gallinari, G. Wisniewski, F. Maes, L. Denoyer : “Stochastic models for document restructuration”, ECML'05 Workshop on Relationnal Machine Learning, Porto, Portugal (2005)