JENII, la formation à distance pour l'industrie du futur

Le projet JENII[i] – pour Jumeaux d’Enseignement Numériques Immersifs et Interactifs – vise à développer de nouvelles modalités de formation à distance, fondées sur des environnements immersifs et collaboratifs, autour de jumeaux numériques de systèmes industriels réels. Initié fin 2021, il a déjà donné naissance à de nombreuses avancées : retour sur 18 mois de recherches.

[i] Lauréat de l’Appel à Manifestation d’intérêt DemoES (Démonstrateurs Numériques dans l’Enseignement Supérieur) dans le cadre du PIA4, le projet ANR JENII  (2021-2024) réunit des équipes du CEA-List, des Arts et Métiers, du CESI et du CNAM.

Différents jumeaux numériques métier ont déjà été développés (usinage, forgeage, par ex.) à partir des équipements réels existants en s’appuyant sur quatre piliers :

• la représentation 3D des environnements et des équipements,
• la simulation interactive des phénomènes physiques mis en jeu selon les apprentissages,
• les interactions entre les intervenants,
• et les échanges, en temps réel, entre l’équipement physique étudié et le monde du jumeau numérique.

La représentation en réalité virtuelle d’une salle de classe compte trois familles d’éléments : l’environnement (le fond, servant de contexte), l’objet d’intérêt (la machine sur laquelle l’étudiant se forme) et les personnes (professeur, étudiants).

L’une des innovations récentes permet aux enseignants de diffuser des cours et des TP à des étudiants à distance en réalité virtuelle grâce à une simple caméra 360°. La vidéo 360° seule ne permettant qu’une interaction limitée avec les équipements,  Clément Dluzniewski a développé une technologie innovante pour reconstruire à partir de l’information vidéo 360° les trois éléments de la scène, afin d’améliorer le réalisme, donc la qualité d’apprentissage.

• L’environnement – statique – est reconstruit grâce à un algorithme d’estimation de profondeur mono-caméra, ce qui ajoute du relief à l’image 360° sur les éléments du fond.
• La représentation de l’objet d’intérêt – l’équipement – est obtenue grâce à un jumeau numérique connu a priori. Son modèle 3D est aligné sur la vidéo 360° grâce à un algorithme qui va le détecter une fois dans la vidéo, à l’initialisation, et le recaler. La partie correspondante de la vidéo 360° est alors projetée sur le modèle 3D dans le jumeau, offrant un rendu encore plus réaliste que des textures numériques
• Enfin, les personnes sont représentées grâce à des ’billboards’ c’est à dire des plans correctement positionnés dans l’espace 3D sur lesquels la vidéo est projetée. Avec l’avantage d’être créées facilement en temps réel (contrairement à un avatar 3D) uniquement à partir d’une segmentation des personnes sur la vidéo 360° pour un rendu visuel de bonne qualité.

Dans le projet JENII, l’accès aux différents jumeaux numériques se fera in fine via un campus virtuel, à même d’offrir de nouvelles fonctionnalités pédagogiques aux étudiants. Et il sera accessible à tous, de partout, sur n’importe quel appareil et sans installations spécifiques.

Au-delà de ses objectifs d’enseignement qualitatif à distance, le projet répond ainsi à l’enjeu sociétal de l’accès universel à l’information, à la formation et aux services en ligne. Il permettra ainsi aux personnes en situation de handicap d’utiliser des jumeaux numériques et de lever les obstacles physiques qu’elles peuvent rencontrer dans leur vie quotidienne.

Reste à déployer ces nouveaux jumeaux d’enseignement numériques, donc à mettre à disposition des  outils et infrastructures pour accueillir ces nouvelles méthodes d’apprentissage. Le projet ambitionne également de révolutionner la façon d’enseigner, en menant une réflexion sur l’architecture des futurs bâtiments pour l’enseignement.

Pour Clément, « enrichir le jumeau numérique sur la base d’une vidéo 360° préalablement capturée est une 1^ère étape importante et concluante de nos travaux. Désormais en ligne de mire : construire en temps réel, à partir du flux vidéo 360°, les représentations 3D dans lesquelles les étudiants pourront naviguer et interagir. Cette amélioration permettrait aux étudiants distants de suivre le cours en même temps qu’il est capturé, tout en ayant la possibilité d’interagir avec le professeur sur site ».

Et au-delà de cette première utilisation ciblée sur l’apprentissage, les travaux de Clément permettent d’enrichir tout.e scène virtuelle 3D  ou jumeau numérique, leur ouvrant de nouvelles perspectives dans l’usine du futur.