Direction de recherche : Christophe MARSALA, Marie-Jeanne LESOT
Co-encadrement : DETYNIECKI Marcin

Interprétabilité Locale Post-hoc des modèles de classification «boîtes noires»

Cette thèse porte sur le domaine du XAI (explicabilité de l'IA), et plus particulièrement sur le paradigme de l'interprétabilité locale post-hoc, c'est-à-dire la génération d'explications pour la prédiction pour une donnée par un classifieur entraîné. En particulier, nous étudions un contexte totalement agnostique, c'est-à-dire que l'explication est générée sans utiliser aucune connaissance sur le modèle de classification (traité comme une boîte noire) ni les données utilisées pour l'apprentissage. Dans cette thèse, nous identifions plusieurs problèmes qui peuvent survenir dans ce contexte et qui peuvent être préjudiciables à l'interprétabilité. Nous nous proposons d'étudier chacune de ces questions et proposons des critères et des approches nouvelles pour les détecter et les caractériser. Les trois questions sur lesquelles nous nous concentrons sont : le risque de générer des explications qui sont hors distribution ; le risque de générer des explications qui ne peuvent être associées à aucune instance d'apprentissage ; et le risque de générer des explications qui ne sont pas assez locales. Ces risques sont étudiés à travers deux catégories spécifiques d'approches de l'interprétabilité : les explications contrefactuelles et les modèles de substitution locaux.

Soutenance : 03/07/2020

Membres du jury :

M. Jamal Atif, Dauphine LAMSADE [rapporteur]
M. Marcin Detyniecki, AXA
Mme Fosca Giannotti, Université de Pise KDDLab / ISTI-CNR [rapporteur]
Mme Marie-Jeanne Lesot, Sorbonne Université LIP6
M. Christophe Marsala, Sorbonne Université LIP6
M. Nicolas Maudet, Sorbonne Université LIP6
M. Chris Russell, Alan Turing Institute / University of Surrey

Publications 2018-2023

• 2023
  • A. Jeyasothy, A. Rico, M.‑J. Lesot, Ch. Marsala, Th. Laugel : “Intégration de connaissances en XAI avec les intégrales de Gödel”, LFA 2023 - RENCONTRES FRANCOPHONES SUR LA LOGIQUE FLOUE ET SES APPLICATIONS, Bourges, France, (Cépaduès) (2023)
  • A. Jeyasothy, Th. Laugel, M.‑J. Lesot, Ch. Marsala, M. Detyniecki : “A General Framework for Personalising Post Hoc Explanations through User Knowledge Integration”, International Journal of Approximate Reasoning, vol. 160, pp. 108944, (Elsevier) (2023)
  • A. Jeyasothy, A. Rico, M.‑J. Lesot, Ch. Marsala, Th. Laugel : “Knowledge Integration in XAI with Gödel Integrals”, International Conference on Fuzzy Systems, Incheon, Korea, Republic of (2023)
  • Th. Laugel, A. Jeyasothy, M.‑J. Lesot, Ch. Marsala, M. Detyniecki : “Achieving Diversity in Counterfactual Explanations: a Review and Discussion”, FAccT ’23, vol. 23 (6), Chicago, Il, United States, (ISBN: 979-8-4007-0192-4) (2023)
• 2022
  • A. Jeyasothy, Th. Laugel, M.‑J. Lesot, Ch. Marsala, M. Detyniecki : “Intégration de connaissances dans les méthodes d’explications post-hoc”, Rencontres francophones sur la logique floue et ses applications, Toulouse, France (2022)
  • A. Jeyasothy, Th. Laugel, M.‑J. Lesot, Ch. Marsala, M. Detyniecki : “Integrating Prior Knowledge in Post-hoc Explanations”, Information Processing and Management of Uncertainty in Knowledge-Based Systems (IPMU'2022), vol. 1602, Communications in Computer and Information Science, Milan, Italy, pp. 707–719, (Springer) (2022)
• 2020
  • Th. Laugel : “Interprétabilité Locale Post-hoc des modèles de classification «boîtes noires»”, soutenance de thèse, soutenance 03/07/2020, direction de recherche Marsala, Christophe Lesot, Marie-Jeanne, co-encadrement : Detyniecki, Marcin (2020)
• 2019
  • V. Ballet, †. Xavier, J. Aigrain, Th. Laugel, P. Frossard, M. Detyniecki : “Imperceptible Adversarial Attacks on Tabular Data”, NeurIPS 2019 Workshop on Robust AI in Financial Services: Data, Fairness, Explainability, Trustworthiness and Privacy (Robust AI in FS 2019), Vancouver, Canada (2019)
  • Th. Laugel, M.‑J. Lesot, Ch. Marsala, X. Renard, M. Detyniecki : “Unjustified Classification Regions and Counterfactual Explanations In Machine Learning”, Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2019. Lecture Notes in Computer Science, vol 11907, vol. 11907 (II), Lecture Notes in Computer Science, Würzburg, Germany, pp. 37-54 (2019)
  • Th. Laugel, M.‑J. Lesot, Ch. Marsala, X. Renard, M. Detyniecki : “The Dangers of Post-hoc Interpretability: Unjustified Counterfactual Explanations”, Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence, {IJCAI-19}, Macao, Macao, pp. 2801-2807, (International Joint Conferences on Artificial Intelligence Organization) (2019)
  • Th. Laugel, M.‑J. Lesot, Ch. Marsala, M. Detyniecki : “Issues with post-hoc counterfactual explanations: a discussion”, ICML Workshop on Human in the Loop Learning (HILL 2019), Long Beach, United States (2019)
• 2018
  • X. Renard, Th. Laugel, M.‑J. Lesot, Ch. Marsala, M. Detyniecki : “Detecting Potential Local Adversarial Examples for Human-Interpretable Defense”, Workshop on Recent Advances in Adversarial Learning (Nemesis) of the European Conference on Machine Learning and Principles of Practice of Knowledge Discovery in Databases (ECML-PKDD), Dublin, Ireland (2018)
  • Th. Laugel, X. Renard, M.‑J. Lesot, Ch. Marsala, M. Detyniecki : “Defining Locality for Surrogates in Post-hoc Interpretablity”, Workshop on Human Interpretability for Machine Learning (WHI) - International Conference on Machine Learning (ICML), Stockholm, Sweden (2018)
  • Th. Laugel, M.‑J. Lesot, Ch. Marsala, X. Renard, M. Detyniecki : “Comparison-based Inverse Classification for Interpretability in Machine Learning”, 17^th International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems (IPMU 2018), Information Processing and Management of Uncertainty in Knowledge-Based Systems. Theory and Foundations, Cadix, Spain, pp. 100-111, (Springer Verlag) (2018)