Partager

Détection de mouvement à faible latence avec des graphes d’événements

#IA distribuée #IA embarquée #Les technologies de l'intelligence artificielle
Le traitement par graphe d’événements permet une réduction de la latence de prédiction par 1000 par rapport à un traitement par image.
Les caméras événementielles permettent une détection de mouvement à très faible latence. La méthode proposée, à base de graphe d’événements asynchrone, tire parti de la haute résolution temporelle de ces caméras afin de détecter des mouvements avec une latence de seulement 50 µs tout en réduisant le nombre d’opérations par 48 par rapport à l’état de l’art.

Les systèmes de vision par ordinateur nécessitent une haute précision temporelle, notamment pour la navigation autonome ou la stabilisation vidéo. Les méthodes traditionnelles, basées sur des images RGB, sont limitées par leur coût calculatoire élevé et la fréquence d’acquisition des images. Les caméras événementielles offrent une alternative prometteuse grâce à leur fonctionnement asynchrone et leur haute résolution temporelle. Cependant, les méthodes actuelles reposant sur des réseaux convolutifs recréent des images à partir des événements, perdant ainsi leur avantage en termes de latence et restant trop coûteuses pour des systèmes embarqués.

 


Figure 1 : Architecture proposée (HUGNet et Agrégateur périodique).


Les graphes d’événements, interprétés par des réseaux de neurones graphes, permettent des prédictions par événement avec une latence minimale. La méthode précédemment développée au laboratoire (HUGNet) a montré que des graphes dirigés mis à jour à-la-volée pouvaient réduire encore cette latence, mais au prix d’une perte de précision, faute d’agrégation de contexte global. Pour dépasser cette limitation, nous proposons une nouvelle architecture de réseaux de neurone, combinant la branche asynchrone avec une branche périodique d’agrégation. Cette branche périodique utilise un réseau convolutif récurrent sur des images d’événements passés, permettant d’extraire un contexte global de la scène, améliorant la qualité de la prédiction sans en augmenter la latence.

Graphe d’événements (HUGNet)
Capteur événementiel EVK4 HD produit par PROPHESEE

Notre approche réduit la latence de détection des changements de vitesse, avec une prédiction par événement en 50 µs sur matériel embarqué, soit 1 000 fois plus rapide que les solutions classiques. De plus, elle nécessite 17 fois moins de paramètres et 48 fois moins d’opérations par seconde, tout en maintenant une précision compétitive.


 

Diminution de la latence de détection d’un changement de vitesse.

 

Notre approche ouvre la voie à des capteurs intelligents très faible latence et économes en énergie pour la vision embarquée.

Rebecca Cabean

Manon Dampfhoffer

Ingénieure-chercheuse — CEA-List

En savoir plus

Cas d’usage, application, transfert

  • L’algorithme sera intégré dans un imageur événementiel intelligent 3 couches très faible consommation (<10 mW) fabriqué en collaboration avec PROPHESEE et STMicroelectronics. En plus de la prédiction de flux optique, l’algorithme peut permettre la reconnaissance automatique de motifs, tels que des gestes ou la lecture labiale.

Brevet

  • DD24590ST – En cours de dépôt.
  • DD22912ST – Déposé.

Projet et/ou partenariat majeur

  • ANR IRT Nanoélec (programme Smart Imager), en partenariat avec PROPHESEE.

Publication majeure

  • « Graph Neural Network Combining Event Stream and Periodic Aggregation for Low-Latency Event-Based Vision ». M. Dampfhoffer, T. Mesquida, D. Joubert, T. Dalgaty, P. Vivet and C. Posch (2025). In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. https://doi.org/10.1109/CVPR52734.2025.00648 Sélectionné “Highlights” de la conference (rang A*).