JANKOVIC Anja
Direction de recherche : Carola DOERR
Vers une sélection en ligne d'algorithmes tenant compte du paysage dans l'optimisation numérique de boîte noire
Les algorithmes d’optimisation de boîte noire (BBOA) sont conçus pour des environnements dans lesquels les formulations exactes de problèmes sont inexistantes ou inaccessibles, ou dans lesquels les problèmes sont trop complexes pour être résolus analytiquement, obligeant ainsi les utilisateurs à les traiter comme une boîte noire. Dans ces scénarios, les BBOA sont essentiellement le seul moyen de trouver une bonne solution à un tel problème. En raison de leur applicabilité générale, les BBOA peuvent présenter des comportements différents lors de l’optimisation de différents types de problèmes. Cela donne un problème de méta-optimisation consistant à choisir l’algorithme le mieux adapté à un problème particulier, appelé problème de sélection d’algorithmes.
En raison du biais inhérent et des connaissances limitées sur la relation complexe entre les algorithmes, les problèmes et les performances, une sélection manuelle des algorithmes n’est pas souhaitable. En conséquence, la vision d’automatiser le processus de sélection a rapidement gagné du terrain dans la communauté. Un moyen important de le faire est ce que l’on appelle la sélection d’algorithmes tenant compte du paysage, où le choix de l’algorithme est basé sur la prédiction de ses performances au moyen de représentations numériques d’instances de problèmes appelées caractéristiques. Il existe un grand nombre de travaux dans ce domaine. Cependant, un défi clé auquel la sélection d’algorithmes tenant compte du paysage est confrontée est le coût de calcul de l’extraction des caractéristiques, une étape qui précède l’optimisation, ce qui réduit le budget pouvant être alloué à l’algorithme d’optimisation.
Dans cette thèse, nous proposons une nouvelle approche de sélection d’algorithmes tenant compte du paysage basée sur la trajectoire qui intègre l’étape d’extraction de caractéristiques dans le processus d’optimisation. Nous montrons que les caractéristiques calculées à l’aide des échantillons de trajectoire de recherche peuvent conduire à des prédictions très robustes et fiables des performances des algorithmes, et par conséquent à de puissants modèles de sélection d’algorithmes construits dessus. Nous présentons également plusieurs analyses préparatoires, y compris une nouvelle perspective de combinaison de deux stratégies de régression complémentaires qui surpasse n’importe lequel des modèles classiques de régression simple, pour amplifier la qualité du sélecteur final.
Soutenance : 17/12/2021
Membres du jury :
Marie-Eléonore Kessaci, Université de Lille – CRIStAL [Rapporteur]
Heike Trautmann, University of Münster – Department of Information Systems [Rapporteur]
Jamal Atif, Université Paris-Dauphine – LAMSADE
Evripidis Bampis, Sorbonne Université – LIP6
Christoph Dürr, CNRS, Sorbonne Université – LIP6
Alberto Tonda, INRAE, AgroParisTech – EKINOCS
Carola Doerr, CNRS, Sorbonne Université - LIP6
Publications 2019-2023
-
2023
- A. Kostovska, A. Janković, D. Vermetten, S. Dzeroski, T. Eftimov, C. Doerr : “Comparing Algorithm Selection Approaches on Black-Box Optimization Problems”, GECCO '23 Companion: Companion Conference on Genetic and Evolutionary Computation, Lisbon, Portugal, pp. 495-498, (ACM) (2023)
- C. Benjamins, E. Raponi, A. Janković, C. Doerr, M. Lindauer : “Towards Self-Adjusting Weighted Expected Improvement for Bayesian Optimization”, GECCO '23 Companion: Companion Conference on Genetic and Evolutionary Computation, Lisbon, Portugal, pp. 483-486, (ACM) (2023)
- A. Kostovska, G. Cenikj, D. Vermetten, A. Janković, A. Nikolikj, U. Skvorc, P. Korosec, C. Doerr, T. Eftimov : “PS-AAS: Portfolio Selection for Automated Algorithm Selection in Black-Box Optimization”, Proceedings of Machine Learning Research (PMLR), Potsdam, Germany (2023)
- C. Benjamins, E. Raponi, A. Janković, C. Doerr, M. Lindauer : “Self-Adjusting Weighted Expected Improvement for Bayesian Optimization”, Proceedings of Machine Learning Research (PMLR), Potsdam, Germany (2023)
-
2022
- C. Benjamins, E. Raponi, A. Janković, K. Van der Blom, M. Santoni, M. Lindauer, C. Doerr : “PI is back! Switching Acquisition Functions in Bayesian Optimization”, 2022 NeurIPS Workshop on Gaussian Processes, Spatiotemporal Modeling, and Decision-making Systems, New Orleans, United States (2022)
- C. Benjamins, A. Janković, E. Raponi, K. Van der Blom, M. Lindauer, C. Doerr : “Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis”, 6th Workshop on Meta-Learning at NeurIPS 2022, New Orleans, United States (2022)
- A. Janković, D. Vermetten, A. Kostovska, J. De Nobel, T. Eftimov, C. Doerr : “Trajectory-based Algorithm Selection with Warm-starting”, 2022 IEEE Congress on Evolutionary Computation (CEC), 2022 IEEE Congress on Evolutionary Computation (CEC), Padua, Italy, pp. 1-8, (IEEE) (2022)
- A. Kostovska, A. Janković, D. Vermetten, J. De Nobel, H. Wang, T. Eftimov, C. Doerr : “Per-run Algorithm Selection with Warm-starting using Trajectory-based Features”, 17th Proceedings of Parallel Problem Solving from Nature - (PPSN) 2022, Dortmund, Germany, pp. 46-60 (2022)
-
2021
- A. Jankovic : “Towards Online Landscape-Aware Algorithm Selection in Numerical Black-Box Optimization”, soutenance de thèse, soutenance 17/12/2021, direction de recherche Doerr, Carola (2021)
- T. Eftimov, A. Janković, G. Popovski, C. Doerr, P. Korosec : “Personalizing Performance Regression Models to Black-Box Optimization Problems”, Genetic and Evolutionary Computation Conference (GECCO 2021), Proc. of Genetic and Evolutionary Computation Conference (GECCO 2021), Lille, France (2021)
- A. Janković, G. Popovski, T. Eftimov, C. Doerr : “The Impact of Hyper-Parameter Tuning for Landscape-Aware Performance Regression and Algorithm Selection”, Genetic and Evolutionary Computation Conference (GECCO 2021), Lille, France, pp. 687-696, (Association for Computing Machinery) (2021)
- A. Janković, T. Eftimov, C. Doerr : “Towards Feature-Based Performance Regression Using Trajectory Data”, Applications of Evolutionary Computation 24th International Conference, EvoApplications 2021, Held as Part of EvoStar 2021, Virtual Event, April 7–9, 2021, Proceedings, vol. 12694, Lecture Notes in Computer Science, Sevilla (on line), Spain, pp. 601-617, (Springer) (2021)
-
2020
- A. Janković, C. Doerr : “Landscape-Aware Fixed-Budget Performance Regression and Algorithm Selection for Modular CMA-ES Variants”, GECCO'20 Proceedings of the ACM Genetic and Evolutionary Computation Conference, GECCO 2020 Proceedings, Cancun, Mexico, (ACM) (2020)
-
2019
- A. Janković, C. Doerr : “Adaptive landscape analysis (student workshop paper)”, Genetic and Evolutionary Computation Conference, Companion Material, Prague, Czechia, pp. 2032-2035, (ACM Press) (2019)