Apprentissage immersif : avec le jumeau numérique JENII, la formation atteint un réalisme et une performance inégalés

Les quatre partenaires de JENII (le CEA, l’ENSAM pour la coordination, le CESI et le CNAM) portent une ambition de rupture : « développer des offres de formation plus proches des contextes de travail réels, ceux de l’Industrie du futur, grâce à des environnements 3D immersifs et collaboratifs construits autour des jumeaux numériques de systèmes industriels réels. »

Ces jumeaux numériques vont donc exploiter à la fois les technologies immersives – réalité virtuelle et étendue – et la simulation physique temps réel – afin d’introduire les lois de comportements réalistes des phénomènes à découvrir et apprendre. Pour certains scénarios pédagogiques, ils seront naturellement connectés aux systèmes physiques associés : un laboratoire de chimie, un atelier de fonderie, de fabrication additive ou encore un centre d’usinage. Au total, une réelle diversité des sujets d’apprentissage sera couverte, avec 19 jumeaux numériques distincts, représentatifs des métiers de l’industrie du futur.

Par les technologies d’immersion à l’échelle 1, et des scénarisations expérientielles, JENII vise à impliquer plus fortement les étudiants, point-clé pour la réussite de l’apprentissage; il ambitionne également un second objectif : le développement de la formation à distance.

En effet, la crise sanitaire a mis en exergue le manque de solutions et d’outils performants pour former les étudiants à distance, surtout sur des domaines liés à l’industrie. Le projet va donc aussi permettre de développer un campus virtuel permanent; dans cet espace pérenne en 3D, les étudiants pourront visiter, jouer, avoir des interactions sociales et accéder à des ressources pédagogiques libres. De fait, un métavers ++, connecté au monde réel grâce aux jumeaux numériques, afin de former les futures générations avec les technologies de demain.

Les défis des jumeaux numériques de JENII sont nombreux : 1) la représentation des environnements et des équipements des différentes formations, 2) la simulation interactive des phénomènes physiques mis en jeu, selon les apprentissages, 3) les interactions entre les intervenants (professeurs et étudiants), pour différentes modalités ou configurations d’usages (à distance, ou en présentiel, et avec la machine réelle, ou son clone virtuel), et 4) le lien et les échanges, en temps réel, entre l’équipement physique étudié et le monde du jumeau numérique.

À l’issue de cette première année, les chercheurs du CEA-List ont déjà quelques avancées à leur actif :

• La représentation des environnements 3D et des équipements ou outillages permet l’exploitation coordonnée de différentes représentations en fonction des modalités d’interactions et des usages (photos panoramiques, vidéos 360°, nuages de points issus de scans 3D, et modèles CAO ou maillés pour la simulation physique ou le rendu photo-réaliste, en interactif).
• Le développement et la mise en œuvre d’approches adaptatives pour la simulation interactive des phénomènes physiques impliqués dans les apprentissages, selon les besoins.

– En se basant sur des modélisations physiques, il est possible de simuler – en temps réel – la cinématique des équipements, des lois de la dynamique et des contacts, ainsi que des interactions avec l’opérateur, grâce à notre environnement XDE.

– D’autres phénomènes ou procédés sont restitués par des simulations basées sur des données et l’intelligence artificielle (la forge avec déformation de la pièce, par exemple, ou bien l’usinage ou la fonderie),

– D’autres encore par des modèles hybrides, physique et IA (méta-modèles ou modèles réduits),

– Enfin, certains phénomènes (étincelles, flammes, fumée, lubrification, etc.) sont avantageusement restitués à l’aide d’animations.

• Les interactions entre l’ensemble des intervenants (un professeur et plusieurs apprenants) en réalité virtuelle (RV), en réalité augmentée (RA) ou étendue, et multimodales, ont été implémentées, afin d’adresser les diverses configurations d’usage (à distance, en présentiel avec ou sans le système physique) :

– Etudiants et professeur sont, par exemple, dans une salle de réalité virtuelle dédiée, équipés de moyens de visualisation et d’interaction (type casque et contrôleurs de RV) ; ils se voient (avatars de chacun) et interagissent autour de/sur l’équipement virtuel,

– L’enseignant peut se positionner à côté de l’équipement réel, muni d’un casque de RA et d’une caméra 360° ; les étudiants sont distants, équipés de casques de RV, dans lesquels ils visualisent en temps réel la vidéo 360° du site ; ils peuvent interagir avec l’enseignant ou le modèle de l’équipement, recalé avec la vidéo.

– Ou encore, enseignant ET étudiants sont en présentiel, et observent tous l’équipement réel, à l’aide de casques de RA ; ils se voient directement (sans avatar) et interagissent avec le système réel, et le jumeau numérique, co-localisé par rapport au système réel.

• Enfin, la connectivité au réel (le lien temps réel entre le jumeau numérique et les systèmes physiques) a également bénéficié d’un travail important. Elle s’appuie sur les standards industriels ouverts pour l’IoT (OPC-UA) ; elle permet notamment plusieurs protocoles de communication, selon les préférences ou besoins (https, udp, wamp …) et intègre la modélisation des données échangées à partir des standards émergents (« Companion Specification »). Cette communication standard entre plateforme physique et jumeau numérique aide notamment à virtualiser les automates, les pupitres de commande et les IHM associées.

Les deux années à venir seront consacrées au développement de l’ensemble des jumeaux numériques, du campus virtuel, de l’interopérabilité et la standardisation, pour répondre aux enjeux de travail collaboratif, de facilité de conception et de mise en œuvre de jumeaux (plateforme de création), permettre l’accessibilité pour tous, et, bien sûr, favoriser leur acceptabilité auprès des enseignants.

Pierre angulaire de la transformation numérique de l’enseignement supérieur, JENII ambitionne de se diffuser de manière croissante (élargissement progressif des publics apprenants visés), de pérenniser les résultats et les usages (par la mise à disposition d’une plateforme d’hébergement et d’opération des jumeaux numériques, et une standardisation des outils), et de développer les concepts, par des communications et des initiatives à l’international.

^[1] Lauréat en 2021 de l’AMI « Démonstrateurs Numériques dans l’Enseignement Supérieur » du PIA 4 (Plan d’Investissement d’Avenir), le projet JENII est soutenu par l’ANR à hauteur de 9.5M€.