Partager

Estimation de la configuration articulaire d'un préhenseur pluridigital à partir de nuages de points 3D et d'IA

#3D #IA #L'instrumentation numérique et l'usine du futur #Robotique et interface
Exemples de saisies robotiques avec 3 préhenseurs pluridigitaux : Shadow (5 doigts), Allegro (4 doigts) et Barrett (3 doigts). Crédit : CEA
La préhension robotique exige un contrôle précis du positionnement des effecteurs (bout des doigts ou phalanges) sur l’objet saisi. Pour cela, il est essentiel de connaître la configuration interne des articulations. Nous avons étudié le cas pratique où les seules informations disponibles sont le nuage de points 3D du préhenseur, généré par capteurs visuels, simulations ou réseaux neuronaux génératifs.

Les techniques conventionnelles de cinématique inverse (IK) ont la capacité de fournir des solutions mathématiquement exactes (si elles existent) pour déterminer la configuration des articulations à partir de la seule position de l’effecteur final (bout des doigts). Mais elles requièrent souvent une prise de décision a posteriori en tenant compte des positions de toutes les phalanges intermédiaires des doigts du préhenseur. Pour les cinématiques plus complexes, ces méthodes s’appuient sur des algorithmes d’approximation numérique qui peuvent voir leurs performances diminuer dans des environnements dynamiques.

Figure 1. A partir d’un nuage de point 3D complet ou partiel d’un préhenseur robotique pluridigital, cette méthode retrouve la configuration articulaire correspondante. Crédit : CEA


Notre méthode, propose une approche novatrice par apprentissage automatique (machine learning) grâce à un auto-encodeur variationnel conditionnel (CVAE) qui reconstruit les configurations articulaires à partir du nuage de points du préhenseur robotique.

Figure 2. Données utilisées : Nuages de points complets ou partiels.


Sur le jeu de données MultiDex, cette méthode maintient une erreur articulaire moyenne inférieure à 4% tout en assurant une inférence ultra-rapide (< 0,05 ms). Cette célérité permet de remplacer les coûteuses étapes d’optimisation numérique habituelles, rendant l’algorithme parfaitement compatible avec les contraintes du temps réel. En générant les données d’apprentissage uniquement à partir du modèle URDF, l’approche s’adapte facilement à tout type de préhenseur.

Chiffre clé

4%

de moyenne d’erreur articulaire avec une inférence plus rapide que l’état de l’art (<0.05ms) avec le jeu de données de préhension MultiDex et la main Allegro.

En savoir plus

Publication majeure

  • « Leveraging CVAE for Joint Configuration Estimation of Multifingered Grippers from Point Cloud Data », J. Mérand, B. Meden and M. Grossard, 2025 IEEE 21st International Conference on Automation Science and Engineering (CASE), Los Angeles, CA, USA, 2025, pp. 895-900, https://doi.org/10.48550/arXiv.2511.17276

 

Ont contribué à la rédaction de cet article :

  • Julien Mérand, Doctorant, CEA-List
  • Boris Meden, Ingénieure-chercheur, CEA-List
  • Mathieu Grossard, Directeur de Recherche et expert senior, CEA-List