IllumiRoom : le projet Microsoft Research pour augmenter l'immersion des jeux vidéo

En janvier dernier au CES 2013, Microsoft Research a dévoilé un projet sur lequel la branche de recherche de la firme de Redmond travaille : IllumiRoom. Ce projet utilise les outils actuels (Xbox, Kinect, vidéoprojecteur) dans le but d'étendre l'expérience des jeux vidéo, notamment l'immersion.

Microsoft Research est parti du principe qu'un écran, aussi grand soit-il, ne représente qu'un petit espace de la pièce sur lequel le joueur porte toute son attention. L'espace autour du téléviseur est ainsi perdu et devient même un élément de distraction éventuelle. Pourquoi alors ne pas l'utiliser pour étendre l'immersion de l'utilisateur ? C'est le pari un peu fou fait par Microsoft Research. Le matériel utilisé pour réaliser le prototype est le suivant : un vidéoprojecteur épaulé par deux caméras aux angles différents ainsi que Kinect (et probablement une Xbox modifiée).

Plusieurs effets visuels sont envisagés et testés par Microsoft : nous allons de la simple extension du décors de la scène à l'utilisation d'effets divers pour mettre en valeur l'action du joueur. Le système mis en place par l'éditeur est également capable, à l'aide de Kinect pour la reconnaissance des niveaux de profondeur, de projeter un décor sur une partie seulement de la surface de projection comme le démontre la troisième illustration ci-dessous. Les effets d'extensions des décors naturels (comme la neige dans une course automobile) sont également fort intéressants.

De même, des mécanismes existent afin de pouvoir contrôler la luminosité et les couleurs de la surface d'extension de la scène de jeu. Kinect est capable de faire une analyse des éléments constituant l'espace d'affichage et d'en extraire les couleurs des différentes formes géométriques. Ainsi, le système est capable de projeter une image composée dynamiquement de différentes zones colorées afin de produire un effet noir et blanc (par exemple) sur l'ensemble de la surface de projection.

Lors de la conférence CHI 2013 (Computer Human Interaction, prononcez "Kaï" qui se tient à Paris du 27 avril au 2 mai, Microsoft Research a publié une nouvelle vidéo de 5 minutes qui permet d'en savoir plus avec une démonstration de l'état d'avancement du projet. L'éditeur précise que la vidéo a été réalisée en temps réel sans aucun effets post-production. Le résultat est bluffant !

Ce projet à très probablement l'avenir devant lui ! Certaines rumeurs évoquent même une intégration dans la prochaine Xbox qui sera présentée le 21 mai prochain. Toutefois, l'histoire de Microsoft montre que les projets de sa branche Research, même les meilleurs, ne trouvent pas toujours leur place au sein d'un produit et restent souvent à un stade expérimental. Ou alors, leur route se retrouve semée d'embûches internes qui peuvent être fatales avant même la commercialisation du produit (projet Courrier).

Merci Grégory pour la découverte !