L’intelligence artificielle (IA) de confiance est l’un des enjeux clés de compétitivité économique et de souveraineté, tant la diffusion de l’IA est rapide dans tous les secteurs industriels. Dans le cadre du programme Confiance.ai du plan France 2030 du gouvernement, le CEA-List a développé un outil, AIMOS – AI Metamorphism Observing Software – permettant de tester la robustesse des systèmes d’IA face à des perturbations. Plus précisément, de s’assurer qu’ils fonctionnent correctement dans toutes les conditions, en donnant des résultats reproductibles et fiables.
L’outil, qui se base sur des techniques de test de propriétés dites métamorphiques, permet de vérifier, par exemple, qu’une symétrie en entrée se traduit bien par une symétrie en sortie pour un système symétrique, ou qu’une image floue ou mal exposée ne faussera pas le résultat. Le fonctionnement et les possibilités d’AIMOS ont été mis en œuvre sur deux des cas d’usage proposés par des partenaires industriels du programme.
Un premier cas d’usage concerne la vérification de la conformité de soudures d’essieux arrières de voitures dans une usine Renault, sur la base de photos. AIMOS a été mis en œuvre pour comparer la fiabilité de différents modèles d’IA avec des images dégradées de ces essieux. En faisant varier automatiquement les images (flou, luminosité…), les chercheurs ont pu vérifier avec AIMOS si le diagnostic de conformité de la soudure restait exact tant que les perturbations restaient dans des limites acceptables définies à l’avance, et ainsi classer les modèles en fonction de leur stabilité.
Dans un second cas d’usage, ACAS Xu, avec Airbus, AIMOS a été mis en œuvre pour tester 45 réseaux de neurones destinés à être embarqués dans des drones. Ces réseaux analysent les vitesses et les positions des drones environnants afin d’éviter les collisions. L’objectif était de s’assurer que les IA prévoyaient bien des manœuvres d’évitement symétriques dans le cas d’angles d’approche symétriques. Les tests menés ont montré que 42 des 45 réseaux étaient stables à plus de 95%, les trois restants présentant une stabilité de 60 à 70%.
Ces premiers résultats montrent que AIMOS est facilement utilisable, avec des résultats reproductibles, et qu’il peut traiter des cas d’usage de natures très différentes. L’industriel automobile envisage d’ailleurs de l’intégrer à son processus qualité. Les développements et tests vont se poursuivre, notamment dans le cadre du programme Confiance.AI sur des cas d’usages d’autres partenaires.
