Pour un petit manifeste de la Tool-Assisted Research

J’ai récemment commencé à jouer à la série Mother de de Shigesato Itoi. Ayant beaucoup aimé Undertale, mes ami.e.s me poussaient régulièrement à essayer les jeux dont il s’inspire. J’ai longuement rechigné à la tâche mais la date butoir de la fixation de mon corpus se faisant de plus en plus pressante, il fallait que je me lance afin d’être sûr de l’intégrer, ou pas, dans la liste des jeux qui constituerons le centre névralgique des analyses que je proposerai dans mon manuscrit de thèse.

Tout cela pour dire que j’ai commencé à jouer à Earthbound (1994). Je viens à peine d’arriver à Summers, l’une des villes du monde de Ness, Paula, Jeff et Poo et cela fait maintenant donc un peu plus de deux semaines que je me promène dans cet univers au gré de mes envies et de la musique. Cependant, je ne joue pas au jeu dans son format d’origine. La version que j’utilise permet d’y réaliser des captures d’écrans et des savestates. Je fais un usage massif de ces deux features et pour la seconde, la raison est simple : le jeu est difficile, terriblement difficile.  

Plusieurs raisons rendent ce jeu compliqué à appréhender. La première concerne son système de sauvegarde qui fait usage des téléphones disposés ici et là de par le monde que l’on explore. Dès lors, si dans les villes nous avons des points de sauvegarde réguliers, c’est moins le cas dans les donjons et autres séquences d’exploration. La mort devient alors très punitive. Une autre raison concerne les conditions que peuvent avoir nous personnages lors d’un combat : empoisonnements, champignons qui nous poussent que la tête et j’en passe. Si l’on ne meurt pas pendant un combat, on mourra de ses suites étant donné que la gestion des inventaires oblige une optimisation constante des ressources. Pour toutes ces raisons, le jeu nécessite un effort de la part du joueur ou de la joueuse pour lutter contre son abandon.

Ces quelques propos expliquent pourquoi je fais un usage intensif des savestates. A l’instar d’Outer Wilds (Mobius Digital, 2019) que j’avais fini avec une solution, je me retrouve fondamentalement dans une situation équivoque puisque techniquement je ne joue probablement pas dans les conditions typiques ni celles attendues d’un chercheur qui setrait supposé « vivre l’expérience dans sa plus pure expression ».

Ces quelques constats sont donc l’occasion pour moi d’évoquer ce que j’entends par tool-assisted research. Tout comme mon précédent travail sur la formalisation d’un protocole de captations, j’ai le sentiment d’aborder des pratiques qui sont déjà largement présentes chez les chercheurs. Or, je n’ai pas à ce jour constater de travaux portant sur une réflexion épistémologique à propos des outils qui sont à notre disposition dans le cadre de notre recherche.

Définir la tool-assisted research

Tout premièrement, il semble important de mentionner que toute recherche est fondamentalement associée à des outils qu’elle peut soit créer pour l’occasion, soit détourner d’un usage initial. Depuis cette perspective, la notion de « recherche assistée par outils » ne fait pas fondamentalement sens, sauf si l’on veut ajouter une qualification superfétatoire. Ainsi donc, je définis la tool-assisted research comme une méthodologie de recherches faisant un usage des outils originellement conçus pour la pratique du speedrun et du tool-assisted speedrun. Si la première consiste à terminer un jeu le plus rapidement possible, la seconde quant à elle fait un usage des outils mis à disposition dans le but de proposer une appréhension assistée par ordinateur du jeu. Par exemple, je faisais mention tantôt de mon usage des savestates. Ce sont des outils qui se distinguent de la sauvegarde rapide permise dans certain jeu du fait que dans ce cas, ce sont les émulateurs qui enregistre une sauvegarde et non directement les jeux. De même, la commande est une commande qui a un impact directement sur l’émulateur et non sur ce qui est émulé.

Maintenant que j’ai situé cette notion, il convient d’en exprimer le but. La tool-assisted research a pour objet d’étude les objets vidéoludiques. Les jeux vidéo en sont la grande majorité mais il peut y avoir aussi d’autres objets. L’objectif de la tool-assisted research est de simplifier l’accès aux informations, aux documents et aux assets (tout élément représentatif) d’un jeu et ce, tout en limitant le nombre de biais liés à la démarche. Ou du moins, il s’agit de les rendre visibles. De fait, la tool-assisted research se présente comme une méthodologie d’études des contenus et/ou des discours plutôt que comme une méthodologie dont l’objet serait d’analyser l’expérience socialement construite en relation avec le joueur ou la joueuse. Enfin, dernier point, la tool-assisted research est plus ou moins fonction du déterminisme des jeux vidéo. Cela signifie donc que le joueur ou la joueuse soit en mesure de contrôler les paramètres et la RNG (random number generator, pour simplifier, il s’agit du hasard).

L’une des problématiques liée à cette méthodologie qui se pose est la prise en compte de la rhétorique procédurale (Bogost, 2007) et l’èthos vidéoludique (Genvo, 2013). Pour rappel, Bogost définit la rhétorique procédurale de la façon suivante :

« Following the contemporary model, procedural rhetoric entails expression—to convey ideas effectively. Procedural rhetoric is a subdomain of procedural authorship; its arguments are made not through the construction of words or images, but through the authorship of rules of behavior, the construction of dynamic models. In computation, those rules are authored in code, through the practice of programming. » (Bogost 2007:42)

Genvo, quant à lui, définit l’èthos vidéoludique comme :

« Puisqu’il est envisageable, comme le montre Ian Bogost, de tisser des liens entre rhétorique et jeu vidéo, nous considérerons que ces caractères qui ont pour vocation de persuader leur destinataire de leur identité ludique et de faire œuvre de médiation ludique constituent ce que nous nommons l’èthos ludique de l’œuvre. » (Genvo 2013:46)

En effet, la tool-assisted research peut modifier ces deux paramètres importants de l’étude des discours vidéoludiques. Un exemple simple peut être par exemple l’usage de savestates dans la série Dark Souls (From Software). Dans ce contexte, l’usage des savestates modifie la rhétorique que le jeu peut avoir sur la difficulté. De même, cela peut priver son joueur ou sa joueuses d’une partie de l’expérience. Dans Dark Souls, la mort n’aboutit pas à un retour à un à un état initial. On devient une « carcasse » qui ne bénéficie alors pas d’une santé maximale, etc. Il est donc nécessaire de faire un usage attentif des outils utilisés de sorte à ne pas porter atteinte aux éléments de discours que l’on souhaite étudier, tout en ayant la possibilité d’altérer d’autres paramètres. Il me semble que c’est le cas dans la façon que j’ai de jouer à Earthbound : finalement, en aucun cas les boîtes de dialogues ne sont modifiées peut important le nombre de mes victoires et de mes échecs en combats. Si je souhaite étudier les interactions que l’on peut avoir avec les personnages non-joueurs ayant lieux uniquement dans l’overworld (à savoir la zone connectant tous les niveaux, donjons, lieux à explorer), alors je peux me permettre de mobiliser les savestates.

Ainsi donc pour résumer brièvement, je définis la tool-assisted research comme une méthodologie :

  • dont l’origine se situe dans les pratiques du tool-assisted run et du speedrun ;
  • qui se distingue de la user research dans le sens où l’objet n’est pas l’expérience ;
  • dont le but est l’étude des objets vidéoludiques et des éléments de discours qu’ils contiennent ;
  • dont l’objectif est de simplifier l’accès aux assets, à la rhétorique procédurale, aux éléments de représentations et aux éléments de discours contenus dans un jeu ;
  • permettant d’objectiver le recueil de ces données tout en les rendant réfutables ;
  • qui permet l’étude des discours ;
  • qui ne permet pas l’étude de réceptions ;
  • reposant le caractère déterministe des jeux vidéo.

Dans la suite de cet article, je vais m’attacher à présenter les différents outils à la disposition des chercheurs et des chercheuses souhaitant mobiliser la tool-assisted research. Sous la forme d’un tableau, je vais donc présenter les outils, les objectifs de recherches pour lesquels ils peuvent être mobilisés.

Typologie des outils de la too-assisted research

Outils Objectifs Biais potentiels Exemples
Les outils constructeurs de captures ou les overlays machine Permettent de capturer immédiatement une séquence ou une image… … mais décontextualisent une action d’un contexte de jeu sur une plus longue période. De même, le système d’annotations est d’abord pensé pour des interactions sociales sur des réseaux comme twitter. Bouton Share de la PS4
Les émulateurs Réduisent les coûts de transactions dans le but d’accéder à un objet vidéoludique… … mais ne permettent pas de constater les défauts techniques liés à l’exploitation du code par la machine d’origine. SnesX9
Les overlays plateformes ou logiciel Permettent de capturer immédiatement une séquence ou une image… … mais décontextualisent une action d’un contexte de jeu sur une plus longue période. De même, le système d’annotations est d’abord pensé pour des interactions sociales sur des réseaux comme twitter. L’overlay Steam ou de certains émulateurs
Les savestates Permettent de diminuer la difficulté d’un jeu dans son parcours. Elles autorisent aussi de répéter certaines séquences. Cependant, elles peuvent modifier la rhétorique procédurale liée à certaines mécaniques, ce qui empêche de faire de ces mécaniques un objet d’étude. Les touches « fonction » de certains émulateurs comme SnesX9
Les Free-cameras Permettent une exploration libre des espaces modélisés… … mais peuvent engendrer des phénomènes de surinterprétations liées à la découverte de lieux ou d’artefacts originellement cachés aux joueurs et joueuses mais toujours présent dans le jeu. Ansel de Nvidia. La chaine Boundary Break sur YouTube en présente une foultitude.
Les glitchs Permettent d’exploiter les limites d’un jeu et d’y révéler un sens caché même aux yeux de ses créateurs… … mais peuvent être le point de départs de phénomènes de surinterprétations. Certaines théories complotistes à propos de jeux comme Majora’s Mask.
Les memory hacking software Permettent de voir un grand nombre de données liées au code du jeu en train d’être « lu » par la machine… … mais rationalise la perception que l’on peut avoir du jeu. Cheat Engine
Les outils de streaming Permettent de construire des cadre permettant de capter plusieurs phénomènes (l’écran, le ou la joueuse, le tchat d’un service de streaming)… … mais détourne l’étude des discours pour une étude d’un dispositif médiatique plus large aux discours en jeu. OBS
Les plateformes de streaming Permettent de capter des moments collectifs de jeu avec une communauté… … mais créent un certain sensationnalisme lié à la performance sociale du streamer ou de la streameuse. Le sens d’une interaction ingame peut se voir modifiée du fait de ce contexte pragmatique de jeu. Twitch

La tool-assisted research comme méthodologie scientifique

Ainsi donc, la tool-assisted research est, il me semble, une méthodologie qui est pratiquée aujourd’hui de manière plus ou moins informelle. Le cas de certains outils peut faire débat (typiquement les savestates) et sont donc des points nécessaires de formaliser dans le cadre d’un travail de recherches. L’une des difficultés que l’on peut observer est la difficulté de définir les biais liés à chacun des outils que j’ai brièvement présentés. Il me semble que le plus important – et qui me semble transparaitre dans mon texte – est la nécessité d’assurer un alignement entre l’objectif de la recherche (c’est-à-dire ce que l’on souhaite observer en jeu) et les outils mobilisés. L’intérêt est alors de s’assurer que l’utilisation de l’outil soit pertinente pour la recherche sans pour autant créer de biais supplémentaires à ceux qui pourraient déjà exister. Par exemple, ma façon de jouer à Earthbound est en partie conditionnée par mon expérience d’Undertale, ce qui est problématique puisqu’anachronique. Les savestates que j’utilise par contre ne pose pas de problème à mon objectif de recherches puisque celui-ci est la découverte des échanges que le joueur ou la joueuse peut avoir avec les personnages non-joueurs.

Dans une certaine mesure, le travail que j’avais proposé sur les captations vidéo font partie de ce que je nomme maintenant la tool-assisted research. Plusieurs pistes de réflexions peuvent alors être envisageable. Dans une certaine mesure, il me semble important de formaliser toutes les pratiques qui rentrent dans le cadre que je propose et ce, dans le but de les légitimer scientifiquement. Si l’on peut critiquer les savestates faites sur émulation, car il s’agit d’une pratique en dehors du cadre légitimé (et légal), les constructeurs proposent aujourd’hui de nombreux outils de TAS ou de de TAR nativement. C’est le cas de Nintendo qui permet ces savestates avec les Nes et Snes Mini. De fait, je peux par exemple aisément justifier ma pratique de la savestate dans EarthBound puisque c’est dorénavant une pratique pensée par Nintendo sans besoin qu’il y ait détournement. La notion de tool-assisted research est alors un outil qui propose un cadre méthodologique tout en militant pour la légitimation de ces outils dans une perspective scientifique.

Esteban Grine, 2019.

La réflexivité du doctorant youtuber (I)

Dans le cadre d’un retour d’expériences pour un atelier organisé par l’OMNSH, j’ai évoqué mon parcours de vidéaste, de youtuber, pour les intimes. Je pense qu’il est plus qu’intéressant que je formalise mon propos, en espérant que cela puisse aider autrui. Il faut savoir, avant toute chose, que je n’en suis pas à ma première expérience de thèse. Ma toute première a démarré en 2013 et j’étais à ce moment inscrit en économie. On ne peut pas dire que j’ai été le meilleur des doctorants à ce moment. Aussitôt inscrit, aussitôt parti.

Sans que cela soit une expérience douloureuse, j’ai longuement ressenti ce constat d’échec. A posteriori, il est évident que je n’étais pas « prêt » à m’engager dans un tel travail. Je ne parle pas ici d’un stade de développement que je n’aurais pas atteint, au contraire. Je parle d’un contexte économique, social et culturel qui ne me permettait pas « d’apprendre » et de progresser dans ma thèse. Entre 2013 et 2014, je vivais à Budapest et j’étais à mi-temps sur des missions de coopération et à mi-temps sur des enseignements. Cet abandon de thèse, ce constat d’échec, est je pense fondateur dans mon parcours. En effet, je suis immédiatement reparti dans mes études, à distance et en parallèle de mon travail cette fois. Nous sommes entre 2014 et 2015, toujours à Budapest. J’en avais marre de l’économie, je suis donc parti en « ingénierie pédagogique » à la Sorbonne Nouvelle. Durant ce master, j’ai rendu en vidéo un dossier sur la gamification. Nous sommes en juin 2015, j’ai lancé véritablement ma chaîne Youtube.

Du haut de mes premières vidéos, j’essaie de m’imposer comme LA référence scientifique véritable de Youtube sur les game studies et le jeu vidéo en général. Autrement dit, le degré de vulgarisation que j’effectuais se voulait très proche  de la vulgarisation scientifique. Lorsque je regarde mes premières vidéos, que je ne supporte plus aujourd’hui, c’est exactement cet éthos que j’essaie de transmettre. Depuis, je suis redescendu de mon piédestal. Cependant, j’assume que mon comportement a pu être déplacé à un moment. Après avoir passé les 1 000 premiers abonnés, je décide de me lancer dans une activité de blogging. Nous sommes en janvier 2016 et je prépare la première édition des chroniquesvideoludiques.com, « revue » qui deviendra par la suite mon carnet de recherche.

Avec le lancement de ce blog, j’ai une idée simple : ma première tentative de thèse est due à un contexte difficile et une absence de travail. En 2016, je commence à « ressentir » ce contexte favorable : une communauté de pairs grandissante sur internet, et une volonté de devenir « producteur de contenus ». Aujourd’hui, mon carnet de recherches a dépassé la centaine d’articles de consistance variable. J’y publie autant des textes qui vont me resservir dans mon manuscrit que des pensées plus intimes ou moins construites. Concernant les vidéos que je produis, si au début je voulais être le plus scientifiquement sérieux, cette qualité de ma vulgarisation a diminué avec l’augmentation de mes travaux de recherches. Si au début, cette chaine me permettait de me rapprocher du monde scientifique, aujourd’hui, il s’agit bien plus d’un exutoire avec lequel je continue de vulgariser mais aussi avec lequel j’expérimente de nouvelles formes de médiations. En particuliers, ces derniers mois, j’ai principalement réalisé des vidéos jouant sur le pathos

C’est notamment flagrant avec mes vidéos sur la danse et sur Majora’s Mask, respectivement sans texte pour la première et singeant Jean Rochefort pour la seconde. Progressivement, je vais repartir sur des contenus de vulgarisation. Même si je ne peux plus me permettre d’être constant dans mes productions, autant au niveau temporel qu’au niveau des formats, j’ai l’impression qu’aujourd’hui, ma chaine me ressemble bien plus en tout cas. D’une manière générale, mes vidéos et mes articles sont devenus des formes de journaux intimes mais ouverts. Et ce que je ne peux pas glisser soit dans LCV, soit sur ma chaîne, je l’insère dans d’autres pages comme par exemple « la fabrique pédagogique » qui consiste en une sorte de blog de thèse. Je n’y publie pas régulièrement, mais les productions y sont, je crois intéressantes lorsqu’on les considère comme des « traces » de mes expériences. D’une manière générale, je retiens surtout que si mon travail de thèse nourrit mes productions médiatiques, l’inverse est aussi extrêmement vrai.

Je pense aujourd’hui être dans une forme d’équilibre qui me permet d’avoir deux casquettes, deux personas. Cette dichotomie est une source, parfois de conflit, parfois de créations. Entre savant et politique, c’est véritablement là que je me situe. ■

Esteban Grine, 2018.

Le protocole des Sessions Innocentes

Les Sessions Innocentes sont une série que j’ai démarrée le 19 mars 2017 et qui s’inscrit dans le cadre de mes recherches. Pour mes travaux, j’ai besoin de réunir des données sur des personnes jouant à des jeux vidéo. Je m’intéresse particulièrement aux enjeux pédagogiques des jeux vidéo qui ne sont pas forcément prévus pour cela. Ainsi, j’exclue de mon corpus tous les serious games pour me concentrer principalement sur les jeux expressifs. Les jeux expressifs sont un méta-genre vidéoludique qui se concentre plutôt sur le ou les discours des jeux vidéo. Le concept a débord été développé par Sébastien Genvo (2013, 2016) et inspira d’autres notions comme par exemple les « jeux du réel », concept utilisé par certains développeurs. Si ces jeux n’ont pas pour volonté de convaincre le joueur, mais plutôt de lui faire ressentir une expérience (de vie par exemple), alors, ces jeux rentrent dans la définition que je donne des concepts.

Ainsi, afin de tester les différentes hypothèses que je développe, je mets en place plusieurs terrains de recherches dont un : les sessions innocentes. Celles que vous pouvez voir sur ma chaîne me permettent de travailler ma méthode de recherche qui s’inspire globalement du thinking aloud protocol. Je demande à mes participants de formuler à l’oral tout ce qu’ils voient et ce qu’ils font. L’objectif de cette méthode est de les forcer à adopter une posture réflexive : ils analysent leurs comportements en même temps qu’ils agissent. Aussi, ces vidéos  me permettent de constituer ce que l’on appelle un « corpus exemplatoire ». Cela signifie que de base, j’assume de ne pas réunir un échantillon représentatif de quoi que ce soit mais que les éléments le constituant me permettront d’illustrer mes propos lors d’une réflexion hypothético-déductive (dans ce type de réflexions, j’émets un ensemble d’hypothèses que je solidifie avec des exemples). Cette méthode peut faire émerger certains biais cognitifs, c’est pourquoi je fais très attention lorsque je l’emploie.

Suite à la publication de la première session innocente, j’ai eu de très nombreux retours positifs dont certaines personnes qui proposaient de réaliser elles-mêmes ce type de vidéo, me servant ainsi de matière première pour mes recherches. J’en suis extrêmement heureux, c’est génial de montrer que la communauté (si elle existe) s’intéresse aussi à des personnes qui ne jouent pas, ou très peu à des jeux vidéo. Cependant, il faut aussi que ces vidéos soient réalisées avec une certaines méthodes pour qu’elles soient pertinentes. C’est pourquoi dans cette article je vais développer la méthodologie que j’applique et qu’il faudra reproduire ainsi que des éléments techniques à destinations des futurs réalisateurices.

Méthodologie d’entretien

Les sessions innocentes sont des entretiens semi voire non-directifs menés en observation participante. C’est-à-dire que la personne qui mène l’entretien n’influence pas la direction de l’entretien en fonction d’un thème précis. Il est uniquement là pour observer et relancer la personne qui joue, éventuellement pour approfondir la pensée du ou de la joueuse. Voici un petit guide de la façon dont il faut mener l’entretien

  1. Installer le matériel
    1. s’il s’agit d’un jeu sur smartphone, il faut filmer l’écran du smartphone avec une caméra ou un appareil photo de sorte à aussi voir les gestes effectués, les mains.
    2. Idéalement, une deuxième caméra est installée de sorte à aussi filmer le visage de la personne. Si cette dernière refuse d’être filmée, il ne faut conserver alors que la caméra filmant les mains et les actions du ou de la joueuse.
    3. Pour tout autre jeu, idéalement, il faut une captation de l’écran de jeu. Vous pouvez en faire des simples avec des outils comme OBS ou encore Fraps bien que j’ai clairement une préférence pour OBS.
    4. L’ensemble des captations doivent être au minimum en 720p (soit un cadre de 1280 par 720p).
  2. Démarrer l’enregistrement.
  3. Énoncer clairement les consignes et s’assurer que le ou la joueuse les ait bien comprises. Les consignes sont les suivantes :
    1. « Tu/vous doit/devez énoncer tout ce que tu/vous vois/voyez à l’écran. »
    2. « Tu/vous doit/devez énoncer tout ce que tu/vous fais/faites. »
  4. A aucun moment vous ne devez prendre l’initiative sur la prise de parole.
  5. Vous avez le droit d’aider le ou la joueuse mais uniquement sur sollicitation de ce ou cette dernière.
  6. Vous ne devez jamais influencer l’itinéraire du ou de la joueuse, c’est lui ou elle qui a la manette (ou le clavier), vous ne devez jamais indiquer les objectifs à suivre. Si le ou la joueuse vous questionne sur un élément et son utilité, vous pouvez lui répondre. Cependant, vous devez d’abord lui demander si elle comprend ou pas cet élément. A l’issue de sa réponse, vous pouvez lui demander si elle souhaite que vous lui expliquiez totalement l’élément, si il ou elle répond par l’affirmative, alors, seulement, vous pouvez lui expliquer l’élément concernant (dans tous ses détails).
  7. A la suite de la session, vous pouvez tenir un entretien avec le/la joueuse afin de la questionner sur son/ses comportements. Une bonne façon de procéder, par exemple, est de lui recontextualiser une action qu’elle a faite puis de lui demander pourquoi elle l’a faite.
  8. Une fois que vous avez récupéré l’ensemble des rushs, il faut que vous fassiez le montage de la vidéo finale. Celle-ci doit montrer l’écran du/de la joueuse et sa personne en train de jouer de manière synchronisée. Je vous conseille, au début de l’enregistrement, de faire un clap. Je créerai peut-être un jingle que je mettrais à disposition de la communauté pour que vous puissiez l’utiliser avec la charte graphique des SessionsInnocentes ainsi que vous inclure en tant que créateur dans le cadre du projet élargi 😀

La Charte Graphique

J’utilise la police « Lato » pour les titres, principalement ses variantes, « light » et « black ». Je vous invite à utiliser les intros suivantes pour vos vidéos :

Vous pouvez les télécharger ici : liens des sources

Et après ?

Vous avez une totale liberté sur le titre de votre vidéo bien sûr mais je vous demande d’ajouter le  » – Session Innocente « . Aussi, je vous prie de bien vouloir ajouter un lien vers ma chaine youtube ainsi que vers mon site chroniquesvideoludiques.com car, mine de rien, cela me ferait plaisir et gagner en visibilité (concernant ce projet). Une fois que vous avez publié votre vidéo, contactez moi via Twitter (@EstebanGrine) ou Discord (celui de la revue LCV) pour me signaler son existence et je tâcherai de constituer une base de données de toutes les Sessions Innocentes (sous la forme d’un recueil sur le site) 😀

N’hésitez pas à me poser des questions si il persiste une zone de flou dans les commentaires de cet article. ■

Esteban Grine, 2017.