Streamer, un environnement logiciel pour l’analyse de données en flux

Streamer est un environnement de traitement automatique de flux de données permettant l’expérimentation, de manière réaliste, d’algorithmes de machine learning travaillant en continu. Il effectue toutes les opérations de la chaîne de traitement, de l’ingestion des données jusqu’à la visualisation des résultats des opérations.

Streamer épargne ainsi au data scientist le développement – complexe et chronophage – de la chaîne de traitement. Ce dernier peut se concentrer sur la mise au point de ses algorithmes. L’environnement met à sa disposition des outils de préparation et de post-traitement des données, des algorithmes avancés d’apprentissage en flux et des outils d’évaluation des fonctions. Il présente aussi des API pour l’intégration d’outils et algorithmes tiers écrits dans de nombreux langages de programmation (Python, R, Java, etc.). Il fournit, par ailleurs, une interface graphique facilitant le suivi des processus d’apprentissage et d’analyse des flux de données.

Le code de Streamer est disponible en open source (licence GNU GPL 3) pour permettre aux data scientists de le modifier et d’y ajouter les fonctions qu’ils souhaitent. L’environnement se présente, cependant, également comme une application directement exécutable et utilisable dans un contexte opérationnel.

Streamer a été développé conjointement par des équipes du List et du laboratoire DAVID (Données et algorithmes pour une ville intelligente et durable, Université Paris-Saclay, UVSQ) dans le cadre du projet StreamOps, financé par l’Institut DATAIA.

Les experts en cybersécurité comptent de plus en plus sur les algorithmes d’apprentissage automatique pour les assister dans l’évaluation et la contextualisation des menaces et des alertes. Dans le cadre d’un programme de recherche interne, le CEA-List a montré l’apport de Streamer pour mettre au point et encadrer l’exploitation de ces algorithmes :

• pendant la phase d’entraînement, il offre un environnement réaliste pour l’apprentissage sur des flux en continu ; il permet ainsi d’évaluer de manière précise les performances attendues par les modèles, en contrôlant de manière fine les variations – généralement imprévisibles – de comportement des données d’entrées, qui ne manquent pas de survenir en conditions opérationnelles ;
• pendant le déploiement, il accompagne la mise en production en fournissant des tests unitaires de bonne intégration des algorithmes, i.e. qui valide la conformité des performances fonctionnelles en production par rapport à celle obtenues en environnement de conception ;
• pendant l’exploitation, il fournit des méthodologies et des algorithmes permettant de suivre le comportement des algorithmes et d’identifier les dérives éventuelles à corriger.