La soutenance de thèse de Miguel Solinas intitulée "Modèle de mémoire double pour de l’apprentissage incrémental" se tiendra le jeudi 9 décembre 2021 à 14h en ligne.
Résumé :
L’une des principales caractéristiques qui rendent les êtres humains uniques est leur capacité à apprendre continuellement. Cela fait partie du développement de l’individu et c’est vital pour progresser et éviter la stagnation. Pour évoluer, l’être humain a besoin de gagner en expérience et d’acquérir des compétences pour élargir continuellement ses compétences. Les réseaux neuronaux artificiels n’ont pas la capacité de stocker des souvenirs et d’apprendre continuellement. En effet, les réseaux neuronaux artificiels souffrent d’oubli catastrophique des anciennes expériences à mesure que de nouvelles expériences sont acquises.
L’apprentissage profond a donné des résultats remarquables dans de nombreuses applications ; cependant, les réseaux de neurones artificiels continuent d’oublier. Depuis près de trois décennies, les chercheurs s’attaquent au problème de l’oubli catastrophique en étudiant la neurogenèse du cerveau, la consolidation synaptique et le mécanisme de relecture. Premièrement, les approches basées sur la neurogenèse font évoluer l’architecture du réseau neuronal pour l’adapter à différentes expériences de formation en utilisant des ensembles indépendants de paramètres. Deuxièmement, les approches basées sur la consolidation synaptique limitent les changements des paramètres importants des expériences apprises précédemment. Ainsi, les nouvelles expériences utilisent des neurones qui sont moins utiles pour les expériences précédentes. Troisièmement, les approches basées sur la relecture permettent de surmonter l’oubli catastrophique en rejouant une quantité d’expériences précédemment apprises. Il est donc possible de rejouer des informations précédemment apprises de deux manières : avec des échantillons réels (répétition) ou avec des échantillons synthétiques (pseudo-répétition).
Cette thèse rassemble des contributions sur l’apprentissage continu, sur les propriétés des autoencodeurs et sur le transfert de connaissances. Premièrement, nous faisons une distinction entre l’apprentissage continu et l’oubli catastrophique. Deuxièmement, nous introduisons un module de mémoire auto-associative et une méthode d’échantillonnage pour générer des échantillons synthétiques afin de capturer et de transférer les connaissances que les approches basées sur le replay peuvent utiliser dans l’apprentissage continu. Troisièmement, nous proposons un modèle d’apprentissage continu lorsque des problèmes de confidentialité existent. Nous améliorons et étendons ce modèle en combinant les approches de pseudo-répétition et de répétition pour fournir une solution efficace et compétitive qui améliore les résultats de l’état de l’art. Enfin, dans une enquête exhaustive, nous tentons de déterminer quels pseudo-échantillons utiliser dans les approches basées sur la répétition afin d’atténuer l’oubli catastrophique. Nous détaillons les aspects méthodologiques de chaque contribution et nous fournissons des preuves de nos contributions sur des ensembles de données tels que MNIST, SVHN, CIFAR-10 et CIFAR-100.
Pour assister à cette soutenance de thèse (en anglais), rendez-vous ici : https://univ-grenoble-alpes-fr.zoom.us/j/96446529234?pwd=VEQzVERmM1dvcGpodUdUNjlyTUc2QT09
