Supervision : Jean-Gabriel GANASCIA

Co-supervision : CORRUBLE Vincent

Agents adaptatifs dans les jeux de stratégie modernes : une approche fondée sur l'apprentissage par renforcement

L'un des principaux intérêts de l'intelligence artificielle pour le domaine des jeux consiste en la conception d'adversaires artificiels proposant un réel défi aux joueurs humains. Dans ce contexte, certaines techniques telles que celles proposées par l'apprentissage automatique ont déjà obtenu d'excellents résultats ces dernières années lorsqu'elles ont été appliquées aux jeux dits "classiques". Cependant, devant des simulations du monde réel telles que les "jeux de stratégie modernes", qui peuvent être vues comme des extensions des jeux classiques, les techniques les plus actuelles de l'intelligence artificielle ne peuvent pas être efficacement appliquées en raison d'une très grande complexité. Ces jeux modernes demandent aux joueurs de contrôler la prise de décisions d'un grand nombre d'unités placées sur un environnement très sophistiqué. Cela les conduit à traiter des problèmes de prise de décisions pour lesquels plusieurs questions sont simultanément posées (la prise de décisions dans l'incertain, la gestion de ressources, le raisonnement spatial et temporel, la modélisation de l'adversaire, la coordination entre les unités, etc.), dont chacune peut représenter un problème de recherche difficile en soi.
Cette thèse étudie les défis posés par l'application de l'apprentissage par renforcement aux jeux de stratégie modernes et propose l'approche STRADA. L'approche STRADA combine de nouvelles idées avec des techniques actuelles de plusieurs domaines de l'apprentissage automatique. Elle propose une nouvelle approche intégrée d'apprentissage pour la conception automatique de stratégies comportementales efficaces dans ce type d'environnement. Elle explore, en particulier, (1) la réduction de la complexité du problème grâce à la décomposition de la prise de décisions et à l'abstraction des espaces d'états et d'actions ; et (2) l'accélération du processus d'apprentissage des agents grâce à la généralisation de la fonction d'évaluation et à l'amorçage du processus d'acquisition de l'expérience. Des solutions pour ces problèmes sont intégrées dans un système d'apprentissage efficace, dont les performances sont démontrées sur la tâche d'apprendre des stratégies comportementales dans le cadre d'un wargame commercial. Le système résultant surpasse le niveau de performances du système de prise de décisions commercial et atteint un niveau proche de celui de l'auteur de cette thèse.

2002-2011 Publications

• 2011
  • Ch. Madeira, V. Corruble : “Combining Reinforcement Learning with a Multi-Level Abstraction Method to Design a Powerful Game AI”, 10^th Brazilian Symposium on Games and Digital Entertainment, Salvador, Brazil, pp. 132-140, (IEEE) (2011)
• 2009
  • Ch. Madeira, V. Corruble : “STRADA : une approche adaptative pour les jeux de stratégie modernes”, Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, vol. 23 (2), pp. 293-326, (Lavoisier) (2009)
• 2008
  • J.‑G. Ganascia, Ch. Madeira, K. Fouladi : “An Adaptive Cartography of DTV Programs”, EuroITV 2008 - 6^th European Conference on Changing Television Environments, vol. 5066, Lecture Notes in Computer Science, Salzburg, Austria, pp. 253-262, (Springer-Verlag) (2008)
• 2007
  • Ch. Madeira : “Agents adaptatifs dans les jeux de stratégie modernes : une approche fondée sur l’apprentissage par renforcement”, thesis, phd defence 04/25/2007, supervision Ganascia, Jean-Gabriel, co-supervision : Corruble, Vincent (2007)
• 2006
  • Ch. Madeira, V. Corruble, G. Ramalho : “Designing a Reinforcement Learning-based Adaptive AI for Large-Scale Strategy Games”, AAAI conference on Artificial Intelligence and Interactive Digital Entertainement, Marina del Rey, California, United States, pp. 121-123, (AAAI) (2006)
• 2005
  • Ch. Madeira, V. Corruble, G. Ramalho : “Generating Adequate Representations for Learning from Interaction in Complex Multiagent Simulations”, International Conference on Intelligent Agent Technology, Compiegne, France, pp. 512-515, (IEEE) (2005)
• 2004
  • Ch. Madeira, V. Corruble, G. Ramalho, B. Ratitch : “Bootstrapping the Learning Process for the Semi-automated Design of a Challenging Game AI”, AAAI-04 Workshop on Challenges in Game AI, San Jose, CA, United States, pp. 72-76 (2004)
• 2002
  • V. Corruble, Ch. Madeira, G. Ramalho : “Steps toward Building a Good AI for Complex Wargame-Type Simulation Games”, GAME-ON 2002 - The Third International Conference on Intelligent Games and Simulation, Londres, United Kingdom, pp. 155-159, (SCS Europe) (2002)