Création d’univers virtuels : de la recherche pour jouer ?
L’auteure, chercheuse en informatique graphique depuis la fin des années 80, a vu évoluer les jeux vidéo et leurs univers en parallèle avec les avancées scientifiques de son domaine. Elle revient sur le dialogue et l’enrichissement mutuel entre science et application aux jeux, et partage sa vision de l’avenir.
Née dès la fin des années 70, l’informatique graphique est la sous-discipline de l’informatique qui s’intéresse à la création d’images virtuelles, et plus largement de mondes virtuels 3D, souvent animés, que ces images représentent. Son nom vient de l’anglais computer graphics, c’est-à-dire « illustrations créées par ordinateur ». Elle regroupe trois types de méthodes, correspondant aux trois étapes de toute création 3D : la modélisation géométrique, qui permet de créer les représentations mathématiques et informatiques des éléments d’un monde ; l’animation, qui décrit leur mouvement ou définit des algorithmes capables de le générer ; et enfin le rendu, qui permet de calculer une image, réaliste ou non, de ce monde imaginaire. Créer une animation consiste à afficher successivement au moins vingt-cinq de ces images par seconde, montrant l’évolution du monde et donnant ainsi l’illusion du mouvement.
De l’informatique graphique aux jeux vidéo
Le jeu vidéo permet aux utilisateurs d’aller « jouer » dans un monde virtuel, c’est-à-dire d’y explorer les conséquences de leurs actions. Que l’interaction ait lieu via une souris et un écran ou via des manettes et un casque de réalité virtuelle, l’essentiel est que l’effet de chaque action soit immédiat, car c’est ce qui permettra au joueur de se sentir immergé et d’oublier pour un temps le réel. D’un point de vue technique, cette immédiateté demande de calculer les images à afficher au fil de l’eau et, si possible, que les temps écoulés dans les mondes virtuel et réel coïncident : c’est la contrainte du « temps réel ».
Notons qu’au-delà des univers ludiques cette contrainte – qui constitue souvent un véritable défi – s’applique aux simulateurs de toute nature, aussi appelés « jeux sérieux » (en anglais real games). C’est le cas par exemple des simulateurs de formation dans des environnements à risque, comme les simulateurs de vol utilisés pour la formation des pilotes ou les simulateurs chirurgicaux permettant l’entraînement à un geste spécifique sur un patient virtuel.
S’enrichir des différences !
Passionnée depuis l’enfance par la création manuelle, du dessin aux constructions en fil de fer et en argile, j’ai vu l’informatique graphique comme une manière de marier mes études scientifiques en mathématiques et informatique dans une grande école avec mon désir de créer. À mes débuts dans le domaine, je me souviens que les chercheurs en rendu, à la recherche d’un parfait réalisme, simulaient les rebonds de la lumière dans des boîtes colorées ; la recherche en modélisation se libérait des formes géométriques de la CAO (conception assistée par ordinateur) pour introduire les premières surfaces « de forme libre », comme la fameuse théière de l’université de l’Utah ; et l’animation « par modèles physiques » émergeait. Cela m’a servi d’inspiration pour me lancer dans la modélisation et l’animation 3D de formes molles, organiques et capables d’interagir.
Des prairies agitées par le vent…
Très loin de mes préoccupations de jeune chercheuse, les jeux vidéo, souvent créés par des autodidactes, commençaient à se développer en 3D. Dans mon souvenir de non-joueuse, ils consistaient à parcourir successivement les pièces vides d’un château pour y ramasser des objets. Le joueur ne voyait ni son propre corps, ni l’extérieur : juste cet univers carcéral d’un château infini, avec des coffres à ouvrir, des objets et des armes à ramasser… Ces jeux étaient alors créés par des passionnés, codant dans des langages de bas niveau pour plus d’efficacité. Si quelques ingénieurs travaillaient dans le domaine, les docteurs y étaient souvent vus comme des théoriciens sans compétence utile. Quelle surprise quand, en 1999, l’entreprise française Infogrames a frappé à la porte de notre laboratoire de recherche – le laboratoire GraViR (informatique Graphique, Vision et Robotique) de Grenoble – pour nous demander… la génération de prairies agitées par le vent !
Retour sur terre
Des objets déformables, représentés par surfaces implicites, j’étais alors passée aux liquides visqueux, puis aux premières animations de coulées de lave, un projet passionnant s’attaquant à un matériau capable d’évoluer au cours du temps, tant par son comportement que par son aspect et sa texture. Mais nous restions loin du temps réel, peinant à synthétiser quelques secondes d’animation en plusieurs heures de calcul. La demande d’Infogrames m’a en quelque sorte remis les pieds sur terre, avec leur besoin de simuler un objet aussi simple qu’un brin d’herbe, mais d’en afficher des millions en temps réel, du proche au lointain, et en mouvement. Pour améliorer l’immersion du joueur, il s’agissait non seulement de tenir compte des bourrasques passant sur la prairie, mais aussi de l’herbe écrasée sous ses pieds pour que, malgré son corps invisible, il puisse se retourner et voir ses propres traces !
L’ouverture sur le trompe-l’œil
Ce projet a lancé nos recherches sur les simulations visuelles en trompe-l’œil, dont les niveaux de détail étaient capables de changer dynamiquement en cours d’un mouvement ; il m’a surtout permis de généraliser notre premier multimodèle, mis au point pour la lave, en une méthodologie nous permettant d’aborder efficacement tout nouveau type de phénomène naturel. Ainsi, au cours des années 2000, nous sommes passés d’une solution au problème des prairies à la génération en temps réel d’un océan virtuel infini (l’étudiant de master y travaillant se faisant immédiatement embaucher dans une boîte de jeux vidéo en Angleterre) et à l’animation d’organes déformables pour les simulateurs chirurgicaux, tandis que d’autres collègues de l’équipe « évasion », que je venais de créer en 2003, contribuaient à la synthèse de forêts réalistes temps réel pour les simulateurs de vol.
De l’univers des jeux aux autres sciences
Interagir avec les départements de R & D des studios de développement de jeux peut se faire simplement à l’occasion de visites ou de séminaires, comme l’ont montré mes interactions avec Ubisoft depuis mon arrivée à l’École polytechnique en 2017. Après avoir été invitée à visiter leurs studios tant à Montréal qu’à Paris, j’ai eu l’occasion de donner en 2019 une conférence grand public sur la création des mondes virtuels en binôme avec Benoît Martinez, un créateur d’univers virtuel d’Ubisoft, dans le cadre de l’exposition « Sous la surface, les maths » au musée des Arts et Métiers. Ces échanges se sont poursuivis dans le cadre de la chaire Science et Jeu vidéo de l’École polytechnique (2019-2024).
Embauchant l’un de nos anciens élèves, Ubisoft a finalement repris et adapté nos méthodes d’apprentissage léger de distributions d’éléments, permettant, en quelques gestes de peinture, de peupler les mondes virtuels de détails ou de végétation adaptés au terrain. Réciproquement, c’est en observant des personnages de jeu évoluer en milieu naturel que nous avons eu l’idée de développer, ces dernières années, des modèles d’interaction plus réalistes, permettant non seulement aux personnages de laisser des traces, mais aussi de voir leur mouvement s’adapter aux sols meubles ou à la végétation dans laquelle ils doivent se frayer un chemin.
« La programmation 3D est devenue bien plus facile grâce aux moteurs temps réel.«
Outre ce type d’inspiration, la maturation du secteur du jeu vidéo nous a apporté un bénéfice immédiat : la programmation 3D est devenue bien plus facile grâce aux moteurs temps réel comme Unreal Engine ou Unity. Ces derniers nous permettent de nous concentrer sur les parties les plus innovantes de notre travail, accélérant le cycle de nos recherches. Créer des mondes virtuels m’a également conduit, au fil des années, à monter de nombreuses collaborations avec des scientifiques d’autres disciplines : biologistes, géologues, physiciens des fluides, etc. Discuter avec eux permet de comprendre plus rapidement l’essentiel d’un phénomène, pour trouver comment le traduire via un multimodèle cohérent, efficace et contrôlable. Ces travaux me passionnent toujours, comme le montrent nos collaborations récentes sur l’érosion fluviale ou glaciaire, les écosystèmes, les éjections volcaniques, l’animation de nuages ou de tornades…
Voyage vers la nuit des temps
Nos travaux actuels montrent qu’en retour les avancées sur les mondes virtuels temps réel, y compris la possibilité d’y jouer, peuvent bénéficier aux autres sciences ! Je pense en particulier à ma collaboration avec l’équipe de préhistoriens de l’antenne de Tautavel du laboratoire HNHP : à partir des éléments trouvés dans une grotte, la Caune de l’Arago, nous sommes en train de reconstituer le cadre de vie des Homo erectus, ancêtres des Néandertaliens, qui ont occupé la vallée il y a 500 000 ans. Nous avons travaillé sur l’évolution du terrain à rebours du temps et recréé un écosystème cohérent avec faune et flore.
Nous cherchons maintenant à simuler les activités humaines qui ont permis d’apporter dans la grotte les matériaux lithiques (silex…) et les restes d’animaux qui y ont été retrouvés. Ce projet, développé sous Unity, prend la forme d’un « jeu sérieux » : ce dernier permettra aux préhistoriens d’avancer dans leurs recherches, soit en prenant eux-mêmes le contrôle des Homininés pour tester leurs hypothèses et en vérifier la faisabilité, soit en laissant des agents autonomes entraînés à la marche sur les terrains accidentés, à la chasse et au transport de charges proposer eux-mêmes des scénarios capables d’expliquer les objets trouvés dans la grotte.
La 3D à l’heure de l’intelligence artificielle
Les techniques récentes d’intelligence artificielle, de l’apprentissage profond à l’IA générative, permettent de résoudre de manière très efficace un certain nombre des défis posés par la modélisation 3D, l’animation et le rendu temps réel. Outre l’apprentissage par renforcement profond que nous développons pour contrôler les agents autonomes évoqués ci-dessus, on peut citer la génération de décors 3D complets à partir de simples croquis, l’animation instantanée de liquides réalistes et contrôlables, grâce à un apprentissage à partir de résultats de simulation, ou les Gaussian Splats qui permettent de capturer le champ de radiance d’un environnement réel à partir de photos pour l’explorer ensuite en 3D.
Ces progrès sont en fait un juste retour de l’IA vers la 3D : en effet c’est le développement des processeurs graphiques GPU, conçus au départ pour le rendu graphique temps réel, qui a permis l’entraînement efficace des réseaux de neurones profonds, contribuant à l’essor de l’IA. Pour accompagner ces développements à la frontière de l’IA et des images, j’ai créé en 2018 la filière Artificial Intelligence and advanced Visual Computing (AI-ViC) du Master of Science and Technology (MScT) de l’X. L’originalité de cette formation, renommée Visual & Creative AI depuis 2025, est de proposer une double compétence en intelligence artificielle et création multimédia – de la vision par ordinateur au 3D et à la réalité virtuelle. C’est un cursus clé pour l’innovation dans nos domaines, comme le confirme le cercle des partenaires industriels soutenant cette filière.
Aller plus loin ?
Pourrait-on aller plus loin dans le futur et s’appuyer sur l’IA générative pour générer directement les images successives d’un jeu, sans passer par aucune représentation 3D ? Cette idée pose une série d’autres défis : comment maintenir la cohérence temporelle lorsque la caméra bouge, comment respecter les lois du mouvement pour des objets générés directement en 2D, comment assurer la permanence du monde et des actions qui y sont réalisées ? Par exemple, sans aucune information 3D, un joueur pourra-t-il laisser un objet quelque part et le retrouver plus tard s’il revient à la même place ?
Enfin, comment permettre l’innovation, si tout nouveau jeu était créé par apprentissage à partir de jeux existants ? Tout en trouvant ces problèmes intéressants, je vois de mon côté beaucoup d’avantages à la 3D : les représentations vectorielles utilisées rendent le monde explicable, et les générer ne nécessite pas de phase d’apprentissage coûteuse en énergie ; les mondes 3D permettent de marier données et connaissances, contrôle manuel et simulation ; enfin, ils n’ont d’autre limite que la créativité humaine et permettent de partager à plusieurs une expérience d’immersion, voire d’y collaborer. Comme me le disent certains des jeunes ingénieurs et doctorants qui m’entourent, il est plus intéressant de comprendre et de concevoir des modèles que de passer uniquement son temps à configurer des réseaux de neurones et à attendre qu’ils soient entraînés. Gageons que l’avenir sera à la combinaison des deux !
Les mondes virtuels de demain ?
Si toutes les contraintes techniques disparaissaient, les mondes virtuels pourraient devenir des espaces de création et de communication, permettant à la fois d’inventer à plusieurs et de simuler toute réalisation destinée au monde réel, et de partager nos visions en faisant voyager nos interlocuteurs dans le temps et dans l’espace, et en leur racontant des histoires dans lesquelles ils pourraient eux-mêmes agir.
J’aimerais donner l’exemple de mon dernier projet, « Toucher-Terre » : nous, les humains, jouons actuellement avec notre monde aux ressources limitées et nous ne percevons que trop tard les conséquences de nos actes ; pourrait-on utiliser une terre virtuelle réactive au peuplement et à ses modes de vie, affichée en temps réel sur un écran tactile sphérique, pour faire prendre conscience au public de la fragilité de notre monde en termes de climat, de niveau des océans, d’érosion et d’écosystèmes ? Touchant un point de la Terre, l’utilisateur muni d’un casque de réalité virtuelle pourrait alors s’y rendre virtuellement, pour mieux explorer les effets de ses choix. L’avenir nous dira si une telle réalisation est possible !
Pour aller plus loin :
- Façonner l’imaginaire. De la création 3D aux mondes virtuels animés. Marie-Paule Cani. Fayard. 80 pages, octobre 2015.
- Création des mondes virtuels : Voyage derrière les écrans, conférence de Marie-Paule Cani et de Benoît Martinez (Ubisoft) dans le cadre de l’exposition « Sous la surface, les maths » au musée des Arts et Métiers, 23 mai 2019. https://mediaserver.lecnam.net/permalink/v125f59395a832dt9epe/iframe/#share
- L’informatique graphique au service de la créativité, par Marie-Paule Cani, conférence de la Société française de physique, 27 octobre 2021, https://www.youtube.com/watch?v=RqyYmZXjYdI
