Immersive serious games for learning physics - JeSeiPa
Jeu sérieux immersif pour l’apprentissage de la physique - JeSeiPa
Abstract
From a very early age, the construction of our understanding of physical reality is based in a decisive way on direct and interactive experimentation, a link between perception and cognition. And since experimentation plays a fundamental role in the progressive acquisition of knowledge on scientific topics, including physics, the objective of this doctoral project is to leverage the innovative technologies of Virtual Reality (VR), numerical simulations, and the new interactive techniques associated with them to design, develop, and evaluate new methods, tools, and experiments dedicated to acquiring knowledge in the field of physics. The approach adopted combines serious games, i.e., using game mechanics for a purpose other than the game itself, with the possibilities offered by VR to experience new physical situations in the first person. By combining a didactic framework with a serious game-based approach, the aim is to design, implement and evaluate the use of interactive real-time simulation tools in VR, comparing them with traditional educational approaches. In this dissertation, beyond bibliographic research, we started by designing and implementing a sandbox as a bootstrap for several possible physical games to test whether interactions and general game organisation would prove intuitive and motivating. Then, based on ideas obtained from brainstorming sessions and individual interviews with students, we created a list of possible game features. We also investigated 2 possible visualisation tools within a very frequent task in gaming: aiming and shooting at a long-distance target. Our focus of research then shifted to more practical teaching tasks such as the question of mass perception in VR. This specific work focuses on the pseudo-haptic rendering of objects with weight within a didactic framework of learning physics, particularly when dealing with the property of mass. We sought to verify the hypothesis that pseudo-haptic techniques allow users to discriminate objects of identical aspects but different masses. We compared several conditions by modifying the so called Control-Display ratio in translation, rotation, while keeping an explicit visual metaphor, the Roberval balance, as a baseline. We then investigated how to improve student knowledge acquisition of the concept of density. One of the reasons why the topic is difficult to understand is that most students share deeply rooted delusions and misconceptions about the behaviour of physical objects. We compared the effectiveness of a serious immersive game in teaching the density concept in 2 conditions: a 2D version in an embedded web browser and a 3D immersive game in VR. We also developed a specific questionnaire to assess students' knowledge improvement. Finally, we considered the potential usefulness of using a companion for educational purposes, this time teaching the concept of gravity. We compared three different companion settings - a real teacher, a (live) video of a teacher, and a VR avatar of a teacher. The concept of gravity and free fall were introduced in three exercises: I - dropping objects in different gravity fields; II - experiment with parabolic trajectories; III - experimenting with gravitation "sandwiches". Results showed that immersive and interactive digital simulations in VR offer incomparable advantages over traditional didactic approaches, by deepening and facilitating the learning of new knowledge. Recent advances in immersive interaction technologies, coupled with realistic real-time physical simulation engines, make it possible to create a credible virtual experimental space where the learner can get involved by manipulating actual objects to observe or predict their behaviour.
Dès le plus jeune âge, la construction de notre compréhension de la réalité physique repose de manière décisive sur l'expérimentation directe. Partant du constat que l'expérimentation joue un rôle fondamental dans l'acquisition progressive de connaissances, l'objectif de ce projet doctoral est de tirer parti des technologies innovantes de la réalité virtuelle (RV), des simulations numériques et des nouvelles techniques interactives qui leur sont associées pour concevoir, développer et évaluer de nouvelles méthodes, outils et expériences dédiés à l'acquisition de connaissances dans le domaine de la physique. L'approche adoptée combine les jeux sérieux, c'est-à-dire l'utilisation des mécanismes du jeu dans un but autre que purement ludique, avec les possibilités offertes par la RV pour expérimenter de nouvelles situations physiques à la première personne. En combinant un cadre didactique clair avec une approche basée sur les jeux sérieux, l'objectif est de concevoir, d'implémenter et d'évaluer l'utilisation d'outils de simulation interactive en temps réel dans la RV, en les comparant aux approches pédagogiques traditionnelles. Après une étude bibliographique, nous avons commencé par concevoir et mettre en œuvre un bac à sable comprenant plusieurs jeux physiques possibles afin de tester si les interactions et l'organisation générale du jeu s'avéreraient suffisamment intuitives et motivantes. Puis, sur la base des idées obtenues lors de sessions de brainstorming et d'entretiens individuels avec des étudiants, nous avons créé une liste de caractéristiques de jeu possibles. Nos recherches se sont ensuite orientées vers des tâches d'enseignement plus pratiques, comme la question de la perception de la masse en RV. Ce travail se concentre sur le rendu pseudo-haptique d'objets ayant un poids, dans un cadre didactique d'apprentissage de la physique, notamment concernant la manipulation et la comparaison de masses. Nous avons cherché à vérifier l'hypothèse selon laquelle les techniques pseudo-haptiques permettent aux utilisateurs de discriminer des objets d'aspects identiques mais de masses différentes. Nous avons donc comparé plusieurs conditions en modifiant le rapport Contrôle-Affichage en translation, en rotation, tout en conservant une métaphore visuelle explicite, la balance de Roberval. Nous avons ensuite cherché à améliorer l'acquisition des connaissances des élèves sur le concept de densité. L'une des raisons pour lesquelles ce sujet est difficile à comprendre est que la plupart des étudiants partagent des illusions et des idées fausses, profondément ancrées, concernant le comportement des objets physiques. Nous avons comparé l'efficacité d'un jeu sérieux immersif portant sur l'enseignement du concept de densité dans 2 conditions : une version 2D dans un navigateur web, et un jeu immersif 3D en RV. Enfin, nous avons examiné l'utilité potentielle de l'utilisation d'un compagnon à des fins pédagogiques, cette fois pour enseigner le concept de gravité. Nous avons comparé trois contextes d'accompagnement différents - un enseignant réel, une vidéo (en direct) d'un enseignant, et un avatar VR d'un enseignant. Le concept de gravité et de chute libre a été introduit dans 3 exercices : laisser tomber des objets dans différents champs de gravité ; expérimenter des trajectoires paraboliques ; expérimenter des "sandwichs" de gravitation, alternant des zones de gravité et des zones sans gravité. Les résultats ont montré que les simulations numériques immersives et interactives en RV offrent des avantages incomparables par rapport aux approches didactiques traditionnelles, en facilitant l'apprentissage de nouvelles connaissances et en permettant l'approfondissement des connaissances existantes.
| Origin | Version validated by the jury (STAR) |
|---|