Fonctions du design sonore interactif, l’exemple du jeu vidéo !

Le sujet mérite qu’on s’y attarde pour plusieurs raisons :

• Sur les plans technique et esthétique, le jeu vidéo possède de loin l’écriture sonore la plus avancée de tous les médias interactifs
• Le son dans les jeux est victime de son passé et des clichés afférents. Même aujourd’hui, se présenter comme designer sonore pour le jeu prête trop souvent à sourire, alors que cet environnement est un des plus exigeants.
• La théorie du son dans les jeux est balbutiante, et à part quelques écrits de grande qualité (comme l’ouvrage « game sound » de Karen Collins), les ouvrages sur le sujet sont souvent superficiels (« game audio development » d’Aaron Marks, quoique bien illustré) ou se concentrent sur les aspects techniques, sans faire l’effort d’abstraction nécessaire à l’évolution de la discipline.

Je propose donc d’apporter humblement ma pierre à l’édifice, en détaillant les fonctions du son dans le jeu vidéo, excluant ici celles qu’il possède en commun avec le cinéma et les autres médias audio-visuels linéaires (réalisme, immersion et empathie).

Toutes les fonctions que je détaille ci-dessous sont donc intrinsèquement liées à la nature non linéaire du jeu :

• Le feedback : faisant suite à une action du joueur, il lui apporte une confirmation sur la prise en compte de celle-ci. Que l’action se site sur le plan diégétique (= dans l’univers fictionnel du jeu) comme le tir d’une arme de son avatar ou extra-diégétique (= hors de l’univers fictionnel) telle une sélection dans un menu de l’interface, le feedback rassure le joueur et améliore sa performance dans l’utilisation du système de jeu. Il s’accompagne le plus souvent d’un feedback visuel qu’il renforce (ex : rechargement de la jauge de santé après avoir ingéré un medicine kit).
• Appréhension de l’espace virtuel. L’expérience des limites et de la configuration d’un espace dans le monde physique passe essentiellement par la vue, le toucher et l’ouïe. Amputé d’un ou plusieurs de ces sens, nous perdons une partie de notre capacité à appréhender l’espace environnant : l’oreille prend le relais de l’œil dans la perception de l’espace situé en-dehors de son champ de vision. Si je fais face à un mur, à une distance de quelques dizaines de centimètres, comment puis-je savoir que je suis dans une cage d’escalier, un parking, une cathédrale ou un centre commercial ? L’oreille récolte une multitude d’indices que les capacités psycho-acoustiques de notre cerveau interprètent afin de nous délivrer des informations d’une relative précision : occlusions (présence d’obstacles sur le chemin des ondes sonores provoquant une atténuation et un filtrage fréquentiel) ; évaluation de la taille d’une pièce (grâce aux réflexions précoces : le temps qu’elles mettent à nous parvenir nous renseigne sur la distance parcourue par les ondes sonores), si elle est nue ou pleine d’objets (durée de la réverbération), le revêtement de ses surfaces (couleur de la réverbération fonction de l’absorption des matériaux), voire sa géométrie (flutter echo si parallélisme de plans) etc. Le designer sonore de jeu vidéo de génération récente dispose d’outils lui permettant de simuler en temps réel des espaces avec finesse, grâce aux réverbérations environnementales.
• Apporter des indices sur les environs et les présences hors-champ. Le son pourra faciliter la recherche d’un item en le dotant d’un artefact sonore caractéristique (ex : minuterie d’une bombe), permettre de repérer par l’audition un lieu à atteindre (ex : une chute d’eau) ou de déceler la présence d’ennemis alentour. Les informations auditives d’ordre spatial sont d’une utilité d’autant plus grande dans le jeu que l’espace visuel est restreint par le point de vue de la caméra et l’espace de l’écran.

👉 Note : Un procédé courant exploite cette relation de dépendance entre l’œil et l’oreille dans les survival horror : les game designers limitent à dessein le champ de vision en plaçant la caméra derrière l’avatar en vue plongeante, masquant ainsi une partie de l’écran et réduisant la portée du « regard » ; entravent ses déplacements avec une caméra désaxée par rapport au joystick de déplacement (quand mon joystick est à midi, mon avatar dérive) ; diffusent des sons (inquiétants le plus souvent) dont il ne peut visuellement déterminer la provenance qu’au prix d’un certain effort, et le plus souvent trop tardivement pour réagir sans dommages. La déficience visuelle associée à une acuité sonore prononcée a un effet puissant sur le degré de stress du joueur.

• Identifier la nature et la qualité des items, au moyen de symboles sonores. La présence de codes symboliques permet au joueur, après apprentissage, d’évaluer le bénéfice ou le maléfice d’un item donné : le bruit distinctif de la pièce qui vient m’enrichir (ex : Mario Bros), celui de l’arme gisant sur le sol que je peux ramasser (ex : Uncharted 2) ou au contraire la peau de banane déposée sur la piste de course qui fait perdre le contrôle du véhicule (ex : Mario Kart). Selon le type de jeu, ce symbolisme sonore peut s’étendre aux différents personnages voire aux décors qui le constituent.
• Recevoir des instructions : celles-ci peuvent être explicites, au moyen d’instructions sonores en voix-off (ex : resident evil) ou implicite, au moyen de symboles sonores permettant d’identifier les items nécessaires à la progression d’une mission.
• Communiquer : le son permet de communiquer vocalement (via un microphone) avec ses co-équipiers, NPC (pour non playing characters) ou non, et d’échanger avec eux des informations utiles à la poursuite d’un objectif au moyen, par exemple, de systèmes radio simulés. Cette fonction est particulièrement développée dans les jeux au gameplay collaboratif comme les First Person Shooter en réseau (Counter Strike) ou des jeux massivement multijoueurs comme World of Warcraft.
• Évaluer la santé et les blessures causées à l’avatar ou aux ennemis. L’avatar peut réagir vocalement à une blessure qui lui a été causée ; son acuité sonore peut être réduite en cas de mort imminente (ex : Mass Effect), contrepartie sur le plan auditif du floutage de l’image ou de l’obscurcissement de l’écran. Dans Call of Duty, le joueur est amené à retenir sa respiration pour améliorer la précision de son tir. Lorsqu’il n’en peut plus, le joueur en est averti par le son.
• Faire état de contraintes temporelles : certains éléments de gameplay communiquent par le son l’urgence d’une réaction (compte à rebours d’une bombe) ou le caractère éphémère d’un processus (invincibilité dans Mario Bros)
• Synchronisation des actions à une métrique musicale dans les rythm games (ex : Donkey Konga), jeux musicaux (ex : guitar hero) ou jeux de danse (ex : Dance dance revolution). Le gameplay dépend ici presque complètement de la musique qui rythme la partie et où la production de son par le joueur en est un aspect central. Des jeux comme Rez, puis plus récemment Child of Eden d’Ubisoft, proposent une expérience à mi-chemin entre jeu de shoot et rythm game, car les différentes actions de l’utilisateur (tir, verrouillage de cible etc…) ont un feedback à caractère musical et viennent enrichir dynamiquement la bande-son du jeu en rythme.
• Interagir à l’aide du microphone : sur les consoles disposant d’un microphone, la production de son par le joueur peut faire partie intégrante du gameplay. Ainsi dans le jeu Phantom Hourglass sur nintendo DS, épisode de la saga Zelda, le joueur est appelé à crier le nom d’un des personnages du jeu pour le faire revenir. Dans Brain Training, le joueur peut souffler sur le microphone afin de désencombrer l’écran. Certains jeux commencent à utiliser la reconnaissance vocale : évaluation d’une performance chantée (ex : jeu de Karaoké) ; interprétation de réponse transmise oralement suite à une question posée par le jeu). Un groupe de mes étudiants a fait une proposition audacieuse : pour progresser dans le jeu qu’ils ont conçu, il est nécessaire de capter des sons déterminés dans la réalité. J’ai trouvé l’idée particulièrement intéressante.

Avez-vous d’autres idées afin de rendre cette liste plus complète ? Ces catégories vous semblent-elles pertinentes ? Vos commentaires sont toujours les bienvenus.