L’objectif de TDK était d’étendre sa technologie de mémristors à base de spin magnétique aux applications d’intelligence artificielle, notamment à l’apprentissage en périphérie (edge). Le bruit intrinsèque des mémristors rend leur programmation précise difficile. Les techniques d’apprentissage automatique standard conduisent ainsi à un apprentissage sous-optimal, même avec des stratégies coûteuses de réduction de la variabilité.
Au lieu d’essayer d’éliminer le bruit, les ingénieurs-chercheurs du CEA ont choisi d’exploiter la nature intrinsèquement bruyante des mémristors. Depuis 2020, le CEA est pionnier dans le calcul en mémoire bayésien (IMC), utilisant le comportement aléatoire des mémristors pour implémenter des algorithmes probabilistes efficaces. Nous avons ainsi développé une stratégie de programmation associant une méthode probabiliste avancée à la physique des dispositifs mémoire de TDK. Les gains de puissance et de latence obtenus atteignent deux à trois ordres de grandeur par rapport aux matériels numériques actuels. Cette approche permet également d’augmenter la taille des modèles de cinq ordres de grandeur, avec une frugalité énergétique remarquable.
Notre approche en rupture nous a permis de transformer une limitation en une force puissante, révolutionnant la façon de penser l’informatique pour l’IA de demain. La collaboration CEA-TDK a été reconnue internationalement, avec un prix du meilleur article à la conférence NeurIPS, et a conduit au dépôt de deux brevets.
Facteur de gain de consommation énergétique
L’IMC bayésien est un domaine en pleine émergence. Ce partenariat de recherche ouvre de nouvelles perspectives pour développer des solutions plus durables, plus fiables et plus efficaces qui répondront aux exigences croissantes des applications modernes de l’intelligence artificielle.
Cette proposition du CEA élargit les possibilités du spin-memristor, et est une solution pour notre objectif commun de développer des matériels IA à très faible consommation d’énergie pour l’avenir