Direction de recherche : Amal EL FALLAH SEGHROUCHNI
Co-encadrement : Vincent CORRUBLE

Apprentissage par renforcement pour la gestion de ressources sur radar multi-fonction

Dans le sillage des avancées récentes dans le champ de l'apprentissage automatique, de nombreux progrès ont été réalisés dans l'un de ses sous-domaines, l'apprentissage par renforcement, dont le but est de résoudre des problèmes de décision séquentielle dans l'incertain. La gestion de ressources radar semble représenter un cadre d'application propice pour ce type de techniques. En effet, un radar émet des signaux, appelés pointages, dont l'écho permet de mesurer l'état des objets alentour ; ces pointages varient selon de nombreux paramètres (durée, largeur de faisceau...) et doivent être exécutés séquentiellement. La stratégie de surveillance d'un radar multi-fonctions revient ainsi à sélectionner en continu les pointages à effectuer dans le but de surveiller l'espace environnant tout en pistant les cibles déjà détectées. Les méthodes utilisées actuellement pour répondre à cette problématique sont en grande partie heuristiques et risquent d'être mises en difficulté dans une gamme de situations complexes impliquant des cibles hyper-véloces ou hyper-manoeuvrantes.

Dans un premier temps, nous proposons des applications de techniques d'apprentissage par renforcement adaptées à l'architecture courante des radars multi-fonction. Ces contributions portent sur deux aspects : l'ordonnancement des pointages sur l'antenne par méthodes model-based et l'optimisation des pointages de poursuite active par méthodes model-free. Dans un second temps, nous mettons en avant les limites des architectures de gestion de ressources actuelles, ce qui nous amène à envisager une architecture alternative pour laquelle nous proposons de nouveaux algorithmes d'apprentissage par renforcement destinés à répondre aux problèmes qu'elle soulève. Ces contributions portent à la fois sur un aspect multi-objectif, utile dans les radars multi-fonctions pour refléter les compromis à réaliser entre les différentes fonctions, et sur l'aspect combinatoire qui est dû au grand nombre de tâches que le radar doit mener à bien en parallèle.

Soutenance : 08/09/2023

Membres du jury :

Tristan CAZENAVE, Professeur des universités, Université Paris-Dauphine [Rapporteur]
Ann NOWÉ, Professeure des universités, Vrije Universiteit Brussel [Rapporteur]
Gauthier PICARD, Directeur de Recherche, ONERA
Olivier SIGAUD, Professeur des universités, Sorbonne Université
Amal EL FALLAH SEGHROUCHNI, Professeure des universités, Sorbonne Université
Vincent CORRUBLE, Maître de conférences, Sorbonne Université
Frédéric BARBARESCO, Segment Leader, Thales LAS France

Publications 2021-2023

• 2023
  • M. Vincent : “Reinforcement Learning for Multi-Function Radar Resource Management”, soutenance de thèse, soutenance 08/09/2023, direction de recherche El fallah seghrouchni, Amal, co-encadrement : Vincent, CORRUBLE (2023)
• 2021
  • A. Dey, B. Costé, É. Totel, A. Bécue, E. Aguas, A. Lambert, G. Blanc, H. Debar, Y. Chevalier, A. Medad, B. Gregorutti, E. Genetay, A. Nguema, G. Menguy, S. Bardin, R. Bonichon, C. De de Souza Lima, R. Charayron, Th. Lefèvre, N. Bartoli, J. Morlier, Z. Chihani, B. Carron, S. Brunessaux, L. Caquot, T. Charrier, B. El Bezzaz Semlali, O. Pasquero, A. Bazin, P.‑E. Flory, K. Kapusta, O. Stan, V. Thouvenot, K. Hynek, R. Ferrari, A. Boudguiga, R. Sirdey, A. Héliou, Th. Cejka, D. La Rocca, M. Zuber, G. Vardoulias, I. Papaioannou, A. Vekinis, G. Papadopoulou, M. Vincent, A. El Fallah‑Seghrouchni, V. Corruble, N. Bernardin, R. Kassab, F. Barbaresco, K. Tit, T. Furon, M. Rousset, L.‑M. Traonouez, P.‑Y. Lagrave, V. Vidal, M.‑C. Corbineau, T. Ceillier, A. IANCHERUK, Ah. Allali, J. Rodriguez, T. Bhor, R. Garcia, J.‑E. Guilhot‑Gaudeffroy, R. Plana : “Actes de la conférence CAID 2021 (Conference on Artificial Intelligence for Defense)”, CAID 2021 (Conference on Artificial Intelligence for Defense), pp. 1-152 (2021)
  • M. Vincent, A. El Fallah‑Seghrouchni, V. Corruble, N. Bernardin, R. Kassab, F. Barbaresco : “Monte Carlo Tree Search for Multi-function Radar Task Scheduling”, Conference on Artificial Intelligence for Defense, Rennes, France (2021)