Peut-on considérer une intelligence artificielle comme joueuse ?

Introduction

L’espace vidéoludique met sans cesse en relation un joueur humain et une intelligence artificielle (IA). Cette dernière peut être déclinée en différentes catégories d’autonomie, allant de la plus faible – voire nulle, par exemple celle qui ne sert qu’à calculer un ordre (input) d’un joueur, à la plus forte, c’est-à-dire celle qui cherche à s’approcher, voire surpasser, le joueur humain. Ces différentes IA peuvent cohabiter dans les mêmes espaces. Dans ce travail, nous nous concentrerons sur les récentes déclarations de DeepMind et de Blizzard Entertainment qui disent vouloir créer une intelligence artificielle capable de battre les meilleurs joueurs de StarCraft II, la licence phare de l’entreprise américaine dans la catégorie des jeux de stratégie en temps réel (RTS)¹.

Ce jeu est l’exemple parfait de la possibilité de cohabitation entre les différentes IA. L’intelligence la plus faible est présente lorsqu’il y a un ordre donné, car toute action ordonnée par le joueur implique de la force de calcul de la part de la machine, ce qui est déjà une forme d’intelligence. Celle considéré comme la plus grande serait autonome, mais encore au stade de développement car DeepMind² tente de la mettre au point grâce au Deep Reinforcement Learning ; cette dernière devrait avoir les même possibilités qu’un être humain dans le jeu.

La vidéo publié par DeepMind nous permet de constater la difficulté avec laquelle l’IA appréhende l’espace sur StarCraft II. Pour l’instant, elle a besoin de supervision pour hiérarchiser ses actions.

Dans l’état actuel, cette intelligence sensée mimer le joueur humain manque de performance sur le long terme (Usunier & Synnaeve, 2016, p.1-2). Les meilleurs adversaires développés par les concepteurs de jeux vidéo sont encore scriptés, c’est-à-dire qu’ils reposent principalement sur un ensemble de patterns prédéfinis (Čertický & al., 2017). Nous pouvons prendre pour exemple un boss d’un (MMO)RPG³.

Cette vidéo montre un exemple d’affrontement entre des joueurs et un boss. Nous pouvons constater que ce personnage ne « réfléchit » pas, mais suit uniquement un pattern prédéfini. La difficulté réside à s’adapter à ce pattern et à coordonner les joueurs entre eux. Cette IA ne sera pas celle qui nous intéresse car elle n’est qu’un support à l’amusement des joueurs, elle ne « joue » pas.

Avec l’émergence du big data et l’amélioration technique – qui permet de mettre en place un meilleur machine learning – a été créée une nouvelle façon de faire de la recherche, notamment dans le domaine de l’intelligence artificielle. L’essence-même du jeu vidéo aide à la récolte de données puisque cette pratique sociale est nativement numérique et que le paradigme actuel tend à rendre obligatoire la connexion à Internet pour pouvoir y jouer ; ce qui donne la possibilité aux développeurs et concepteurs d’avoir accès à tout ce que font les joueurs. Dans ces espaces vidéoludiques, l’intelligence artificielle est en constante interaction avec le joueur ; elle peut incarner un(e) allié(e), un(e) antagoniste ou un(e) personnage neutre avec un rôle bien prédéfini. Cependant les concepteurs cherchent à lui donner davantage d’autonomie, d’où ma question : peut-on considérer une IA comme étant une joueuse de jeux vidéo au même titre qu’un joueur humain ? Si la réponse est positive, quel est le niveau de complexité qu’elle doit atteindre pour pouvoir être considérée comme une joueuse ? Quelle que soit la réponse, cette nouvelle intelligence artificielle changera-t-elle les pratiques vidéoludiques en vigueur ? Dans ce travail, nous nous concentrerons sur les recherches autour de l’intelligence artificielle menées par DeepMind et Blizzard Entertainment. ⁴

Un espace où cohabitent humains et machines

L’espace vidéoludique est médiatisé par des règles établies à l’avance. La plupart du temps, le joueur consacre les premières minutes de jeu à la compréhension de ces règles et de la logique du monde qu’il découvre. Pour faciliter l’intégration du joueur dans le monde vidéoludique, les développeurs mettent en place un espace plus « sécurisé » appelé « tutoriel ».⁵ Le joueur y fait la connaissance des mécaniques du jeu ainsi que des lois qui peuplent l’univers avec lequel il interagit. L’ensemble des possibilités offertes par le jeu est ce que l’on nomme le gameplay. Ce terme peut également englober l’interface graphique qui fournit l’information disponible au joueur. Le gameplay, vu dans sa totalité, peut être vu comme un contrat vidéoludique⁶ que passent les développeurs avec les joueurs. De nombreux débats ont lieu autour du lien entre l’IA et le gameplay et des possibilités supplémentaires qu’elle a par rapport aux humains.

Lee isn’t so sure of his chances. He thinks AI bots could defeat a pro because they never tire and can move much faster than humans. Skill in StarCraft hinges, in part, on how quickly players can tap a keyboard and click a mouse, a metric known as APM (“actions per minute”). Top human players can make several hundred of these commands a minute; AI programs can issue tens of thousands. “Machines will overpower humans if the AI consistently levels up its technology to a point that humans can’t follow,” says Lee. (Woyke & Kim, 2017).

Dans cet espace numérique, la machine a la possibilité d’être quasi omnipotente.  Elle peut surpasser le joueur en terme d’APM en respectant le gameplay en vigueur. La fatigue fait partie de la difficulté des parties en tournoi, sachant qu’un joueur, lors d’une rencontre, joue entre deux et neuf parties d’affilée – selon les modalités de la rencontre – , en sachant que la durée d’une seule partie peut varier de dix à trente, voire quarante minutes. L’endurance, tant physique que mentale, fait partie du jeu, voire du gameplay. D’où les questions autour des possibilités données à la machine, doit-elle être bridée dans le nombre de ses actions ou pas, si oui, jusqu’à où ? Pour l’instant, ces questions n’ont pas trouvé de consensus, tout dépendra des règles établies lors du futur affrontement entre l’homme et la machine.

Les espaces vidéoludiques peuvent également offrir un espace d’interaction entre joueurs qui, selon les modalités, jouent ensemble contre des PNJ ou contre d’autres joueurs. L’intelligence artificielle sera toujours présente dans cet espace et médiatise la plupart des interactions entre les entités qui peuplent ces mondes. Cependant, une mode actuelle tend à vouloir rendre la frontière entre personnages joueurs et non-joueurs plus trouble afin de favoriser l’immersion dans l’espace.

L’industrie du Jeu Vidéo est en train de subir une mutation : après avoir rendu les univers de jeux graphiquement plus attractifs, les développeurs cherchent à les peupler de créatures artificielles – nommées personnages non joueurs (PNJ) – de plus en plus ‘intelligentes’. (Girard & al., 2001,  p.57.)

Girard met en avant la volonté de rendre le monde vidéoludique réaliste par étapes successives toujours plus complexes. La première étape a été de rendre les jeux les plus réalistes possibles d’un point de vue graphique. La deuxième est maintenant de rendre la population non joueuse plus « organique », et par conséquent plus proche de notre intelligence, afin d’immerger complètement le joueur.  Nous prendrons les termes « créatures artificielles » au sens le plus large. Girard semble se limiter aux jeux à mondes immersifs : un ours virtuel ne verrait plus sa « vie » scriptée de A à Z, mais pourrait enfin « vivre » comme s’il était un ours biologique présent dans nos espaces territoriaux. Il pourrait également y avoir une simulation d’un joueur numérique qui pourrait « penser » comme un joueur humain et devenir aussi fort, voire plus fort que ce dernier. Parler de mondes réalistes semble limiter la conception d’un jeu vidéo à la création, presque démiurge, d’un monde, alors qu’un jeu peut aussi être une arène virtuelle créée à l’occasion d’un affrontement entre deux joueurs sans qu’il n’y ait de cohérence entre deux matchs à part celle d’être dans un tournoi. Dans cette vision du jeu vidéo orienté e-sport, la création mondaine n’est pas le but recherché. Comme ce milieu est plus orienté pour l’interaction entre humains, les intelligences artificielles sous forme de créatures « vivantes » ne font pas partie des principales préoccupations des développeurs. Paradoxalement, les chercheurs en intelligence artificielle se concentrent sur ce genre de jeux dans le but de créer une IA qui puisse affronter et battre les joueurs humains avec leurs propres armes comme pour les échecs ou le go. Après avoir battu les meilleurs joueurs de go et d’échec, DeepMind cherche à développer une IA capable de battre les meilleurs joueurs du jeu StarCraft II (Knight, 2016).

les changements des pratiques numériques : entre autonomie et usage des traces

Comme dit en amont, le paradigme autour de l’intelligence artificielle en jeux vidéo consiste à la programmer en avance en lui laissant une certaine marge de manœuvre pour s’adapter au(x) joueur(s) qu’elle a en face d’elle. Cette IA ne réfléchit pas, mais suit un script. Ce modèle semble être dépassée car il ne répond plus aux besoins des joueurs ni des développeurs. Lors de la Blizzcon 2017, Blizzard Entertainment a annoncé une nouvelle extension pour sa franchise phare : World of Warcraft : Battle for Azeroth. Lors de sa présentation, les développeurs ont parlé d’un nouveau type de gameplay qui oppose une équipe de trois joueurs humains contre trois autres « joueurs » dans un environnement peuplé de créatures artificielles. Ce nouvel environnement est partagé en quatre difficultés distinctes : normal, héroïque, mythique et JcJ. Les développeurs proposent encore de faire la distinction entre les joueurs et les IA, malgré le développement de cette nouvelle intelligence artificielle plus « intelligente »⁷. Cette annonce fait écho à celle faite lors de la Blizzcon 2016 où l’entreprise annonçait son partenariat avec DeepMind. Blizzard Entertainment propose tout un discours autour du développement en intelligence artificielle et des différentes recherches autour de cette dernière (Woyke & Kim, 2017).

Cependant, c’est le joueur humain et ses actes qui sont au centre de la problématique. En tentant de rendre leur monde plus « intelligent », les développeurs cherchent à créer un monde plus proche de l’espace territorial et qui pourrait imiter nos comportements. L’interaction entre homme et machine semble être le point central de la réflexion autour de l’amélioration de l’intelligence artificielle.

Le développement d’une intelligence artificielle dans l’espace vidéoludique par DeepMind ne date pas de ce partenariat, mais avait déjà commencé sur les jeux de la console Atari, en utilisant déjà le deep reinforcement learning (Silver, 2016.). Cependant, l’entreprise s’est surtout fait connaître avec AlphaGo et AlphaGo Zero, deux algorithmes qui « jouent » au jeu de go. Ces derniers ont un niveau largement supérieur à celui des humains et sont vus comme une victoire de la machine sur l’humain. Après une telle victoire, DeepMind a mis son algorithme face aux meilleurs joueurs et algorithmes du jeu d’échecs dont il a maîtrisé les règles et les stratégies en un temps record⁸ (Bastien L., 2017). Après ces deux victoires sur des jeux où l’information est complète, DeepMind s’attaque à StarCraft II et tente d’adapter Alpha Zero aux particularités de ce jeu. Une grande difficulté réside dans la recherche d’informations et le fait qu’il y ait des espaces dans le jeu qui ne peuvent pas être contrôlés.

His [Byun] confidence stems, in part, from key differences between Go and StarCraft. Go is considered a “perfect information game” because both players can see the whole board. In StarCraft, players can’t view the entire field of play and thus have less information to analyze when planning their moves. That matters because StarCraft is a real-time strategy game that requires players to manage resources, scout and patrol territories, and plan battles. […] “When you play StarCraft, you have to respond very quickly to lots of uncertainties and variables, but I’ve noticed that AI like AlphaGo isn’t that good at reacting to unexpected scenarios,” Byun says. (Woyke & Kim, 2017)

Selon Byun, le champion des WCS 2016, l’imprévisibilité reste le point fort des humains et le point faible des machines. Créer des scénarios encore jamais vus serait la solution pour que l’homme puisse toujours vaincre la machine. Cependant, nous pouvons également considéré chaque potentielle défaite de la machine sur l’homme comme un entraînement, et, à force, elle pourra régir à tous les scénarios imaginables.⁹

Pour aider la recherche de DeepMind et avoir un plus grand potentiel de recherche, ainsi que faire de la publicité pour leur jeu, Blizzard a ouvert l’API de StarCraft II et propose des outils de recherche dans son jeu. Les différents chercheurs joueurs, professionnels ou amateurs, programmeurs ou enthousiastes peuvent utiliser ces outils mis à disposition et ainsi utiliser un nombre considérable de données. Le kit permet d’avoir accès à des parties jouées sur le ladder, mais également de créer des environnements utiles au développement de l’IA. L’ouverture de l’API, les recherches sur les traces et la possibilité d’entrer en contact avec des joueurs intéressés¹⁰ ont changé la pratique scientifique. Les chercheurs n’ont plus besoin de faire des tests en interne, mais peuvent utiliser toutes les traces laissées par les joueurs. Ils ont la possibilité de voir et revoir les parties et par conséquent toutes les données afin de comprendre comment jouer. Nous sommes face à deux nouveaux paradigmes de recherche qui se concentre sur les traces et l’autre sur la nouvelle technologie de deep reinforcement learning.

Un nouveau type d’intelligence artificielle et d’interaction avec les joueurs.

Le développement de cette nouvelle intelligence artificielle s’appuie sur un échantillon très conséquent des parties des joueurs. Selon DeepMind et Blizzard Entertainment, la masse des parties suffit pour que les développeurs comprennent comment elles sont jouées. StarCraft II est un jeu très exigeant qui demande parfois de prendre des décisions audacieuses ou des risques pour réussir à gagner une partie. Le principe de conservation des unités qui est pour l’instant en vigueur empêche l’IA de prendre ce type de décision et, pour l’instant, à se faire battre par les joueurs (Woyke & Kim, 2017). L’utilisation d’une telle masse de données pourrait, par exemple, montrer des patterns où le risque à prendre permettrait de gagner des parties ou encore comment sacrifier une unité ou une partie de ses unités pour atteindre un but. L’intelligence artificielle peine à comprendre comment accomplir plusieurs petites tâches pour voir plus loin (Jutesen & Risi, 2017).

En plus de l’utilisation du big data, DeepMind et Blizzard Entertainment mettent à disposition un kit de parties personnalisées pour entraîner l’ordinateur à faire des micros tâches. Dans les parties d’entraînement, l’IA réussit à atteindre les objectifs demandés. Ces derniers ne sont pas inscrits dans une suite d’événements ou d’objectifs plus globaux et plus abstraits (Vinyals, 2017). Dès que l’ordinateur est mis en situation de partie réelle, il n’arrive plus à hiérarchiser ses objectifs et perd ainsi la capacité de correctement la jouer.

Le deep reinforcement learning permet également d’inclure une plus grande plasticité à l’intelligence artificielle. Le but est qu’elle s’adapte parfaitement à ce que fait le joueur humain en face d’elle, après avoir connu une longue phase d’apprentissage par l’erreur. Pour l’instant, l’IA la plus développée a une liste de choix de stratégies et elle choisit parmi des stratégies prédéterminées. Techniquement, les joueurs professionnels de StarCraft II fonctionnent avec le même principe. Certains sont connus pour avoir des stratégies très agressives, d’autres pour être plus passifs, chacun a un style de jeu personnel. Malgré cette similitude, ils fonctionnent sur le fait qu’ils ont plusieurs stratégies pour la même situation et qu’ils prennent parfois le risque d’en entreprendre une moins optimisée ou moins connue pour surprendre leur adversaire. C’est ce genre de « coup de bluff » que la machine n’a pas encore assimilé, car la seule logique présente lors de ces décisions humaines est l’historique et la psychologie de celui qui est en face. Les joueurs humains peuvent également s’entraîner sur une stratégie précise dans le but de battre un adversaire bien spécifique. Tout le metagame de StarCraft II se construit autour de ce genre de stratégies. Les joueurs recherchent constamment des stratégies, des all in ou s’appuient sur leurs points forts, pour battre leurs adversaires. La scène e-sportive se construit autour de ces évolutions, ainsi qu’auteur d’aspects psychologiques que seuls peuvent ressentir les humains.

Conclusion

Bien que la plupart des développeurs de jeux vidéo affichent la volonté de rendre leur IA plus intelligente, plus humaine et/ou plus imprévisible, ils la configurent dans l’idée qu’elle permettra aux joueurs humains de mieux s’immerger dans l’espace vidéoludique. La recherche sur l’intelligence artificielle peut aussi avoir pour but d’imiter l’humain pour le remplacer en cas de problème, soit de le dépasser et d’améliorer la connaissance scientifique sur ce sujet de manière plus générale. Cet espace particulier permet également d’entraîner l’IA dans un espace protégé pour ensuite transférer ce qu’elle a appris dans des situations réelles.

Nous voyons également que l’industrie vidéoludique veut faire perdurer la distinction entre l’homme et la machine. Blizzard Entertainment sépare les différents opposants en spécifiant bien si le joueur rencontrera d’autres humains ou une machine en face de lui. Du point de vue de l’entreprise, il faut séparer les deux entités et donc la machine n’est pas joueuse de jeux vidéo.

La seconde vision est celle des développeurs spécialisés dans l’intelligence artificielle. Avec Alpha Zero, les développeurs ne cherchent plus à imiter l’humain, mais à démarrer depuis zéro en y ajoutant simplement les règles du jeu. L’IA ne reçoit aucun input humain et joue uniquement contre elle-même. Lorsque cette dernière est suffisamment puissante, ils la font affronter une IA scriptée ou un autre joueur humain afin de voir si elle est capable de les vaincre. En voulant médiatiser ces affrontements et en clamant qu’Alpha Zero est meilleure que les meilleurs joueurs, ses développeurs la considèrent comme une joueuse à part entière.

Nous pouvons également tenter de considérer l’IA comme joueuse selon l’écosystème autour d’un jeu. Chaque jeu – notamment les jeux e-sport – ont différentes scènes avec chacune sa façon de jouer, son histoire et sa communauté. Chaque affrontement fait partie d’un tout où s’inscrivent des rivalités, des amitiés ou des inimitiés. Un joueur, y compris un joueur professionnel, a tous ces paramètres en tête et joue en rapport avec eux. Le joueur A n’affrontera pas le joueur B et C de la même façon, mais jouera d’après ce qu’il sait d’eux. L’intelligence artificielle, en s’entraînant seule, passe à côté de cette partie du jeu. Nous pensons que, à cause de ce cette marginalité, l’IA ne peut pas vraiment être considérée comme une joueuse.

De plus les jeux de stratégie traditionnels, bien que vaincus par Alpha Zero, ne se sont pas effondrés. La discipline sportive reste car elle est intimement liée aux humains. Un sport n’est pas uniquement composé de performance et de victoire, mais aussi d’affect. Cependant, la présence d’un bot tout puissant peut ouvrir de nouvelles stratégies, une nouvelle façon de penser. Finalement, le développement de l’IA dans les jeux vidéo pourrait apporter une nouvelle réflexion et approche du monde grâce à ces apprentissages partis de rien.

Bibliographie

Anshlun, « BlizzCon 2017 Battle for Azeroth Island Expeditions », Wowhead, 04.11.2017, URL : http://www.wowhead.com/news=275474/blizzcon-2017-battle-for-azeroth-island-expeditions, consulté le 27.11.2017.

BEAUDE, Boris, Internet. Changer l’espace, changer la société, Limoges : FYP, 2012.

CARDON, Dominique, À quoi rêvent les algorithmes. Nos vies à l’heure des big data, Paris : Seuil, 2005.

ČERTICKÝ, Michal & CHURCHILL, David, « The Current State of StarCraft AI Competitions and Bots », Proceedings of the AIIDE 2017 Workshop on Artificial Intelligence for Strategy Games, 2017.

CHURCHILL, David, PREUSS, Mike, RICHOUX, Florian, SYNNAEVE, Gabriel, URIARTE, Alberto, ONTAÑÓN Santiago, ČERTICKÝ Michal, « StarCraft Bots and Competitions » in Encyclopedia of Computer Graphics and Gammes (ECGG). Springer International Publishing. ISBN : 978-3-319-08234-9, 2016.

GIRARD, Benoît, ROBERT, Gabriel, GUILLOT, Agnès, « Jeu vidéo et intelligence artificielle située », Cognito, 22, 2001, p.57-72.

JEANNERET, Yves & PATRIN-LECLÈRE, Valérie, « La métaphore du contrat », Hermès, C.N.R.S. Editions, 38, 2004, p.133-140.

JUSTESEN, Niels, & RISI, Sebastian, « Learning Macromanagement in StarCraft from Replays using Deep Learning », arXiv preprint arXiv: 1707.03743, 2017.

L. Bastien, « AlphaGo Zero – L’IA de Google est devenue le meilleur joueur d’échecs du monde en 4 heures » Artificiel.net [en ligne], 19.12.2017, URL : http://www.artificiel.net/alphago-zero-echecs-1612, consulté le 27.12.2017.

KNIGHT, Will, « StarCraft Will Become the Next Big Playground for AI », MIT Technology Review, 04.11.2016.

SILVER, David, « Deep Reinforcement Learning  », DeepMind, 17.06.2017.

TER MINASSIAN, Hovig, & al., « Comment trouver son chemin dans les jeux vidéo ? Pratiques et représentations spatiales des joueurs », L’Espace géographique, 2011/3, 40, p.245-262.

The Economist, « Why AI researchers like video games », URL : http://www.economist.com/news/science-and-technology/21721890-games-help-them-understand-reality-why-ai-researchers-video-games, consulté le 23.11.2017.

ROBERTSON, Glen & WATSON, Ian, « A review of real-time strategy game AI. », AI Magazine, 35(4), 2014, p.75-104.

USUNIER, Nicolas, SYNNAEVE, Gabriel, LIN, Zeming, CHINTALA, Soumith, « Episodic Exploration for Deep Deterministic Policies : An Application to StarCraft Micromanagement Tasks » Facebook AI Research, 2016.

VINYALS, Oriol, CALDERONE, Kevin & al. « StarCraft II: A New Challenge for Reinforcement Learning », arXiv : 1708.04782, 2017.

VINYALS, Oriol, GAFFNEY, Stephen, EWALDS, Timo, « DeepMind and Blizzard open Starcraft II as an AI research environment », mercredi 9 août 2017, URL : https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/, consulté le 24.11.2017.

WOYKE, Elizabeth & KIM Yoochul, « Elite players of the strategy game reveal how they would fight high-level AI bots created by DeepMind, Facebook and other tech companies », MIT Technology Review, 19.05.2017.

1. Un premier état de la recherche est disponible sur https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/, consulté le 27.12.2017.
2. DeepMind n’est pas la seule entreprise qui fait de la recherche, parmi les grands acteurs du numérique, Facebook est également présent sur le champ de bataille numérique qu’est StarCraft.
3. (Massive Multiplayer Online)Role Playing Game
4. Nous avons choisi ces deux entreprises car elles communiquent régulièrement sur le sujet de l’intelligence artificielle.
5. Bien que le tutoriel ne soit pas présent dans tous les jeux, il est présent sur StarCraft II et permet d’en connaître les bases.
6. Nous nous inspirons de la métaphore du contrat explicitée dans Jeanneret & Patrin-Leclère, « La métaphore du contrat », 2004.
7. Les développeurs disent qu’elle pourra cibler les joueurs selon un ordre de priorité, faire des embuscades ou encore fuir en cas de déroute. L’IA aurait acquis la capacité de se repérer dans l’espace ainsi que de calculer les risques lors des affrontements
8. Après une telle victoire, l’algorithme a été renommé Alhpa Zero
9. C’est déjà le cas pour les échecs et le go qui ont vu leurs possibilités stratégiques évoluer.
10. Un serveur Discord est ouvert aux personnes s’intéressant au projet. Il met en contact des enthousiastes avec des développeurs de Blizzard Entertainment, DeepMind et Nvidia. Lors de la Blizzcon, ils ont également ouvert un atelier pour créer un bot sur StarCraft II.