Suivis les Tendances en temps réel avec Apache Kafka

Abstract

Ce projet de fin d'études aborde le défi de l'analyse en temps réel des tendances discursives sur Internet, en combinant des techniques de traitement automatique des langues (TAL) et d'architecture des données en flux. L'objectif principal était de concevoir et d'implémenter un système complet capable de collecter, traiter et visualiser en continu des contenus textuels issus de la plateforme Reddit et de flux d'actualités via l'API News. Pour ce faire, une architecture technique robuste a été mise en œuvre. Le pipeline de traitement s'appuie sur Apache Kafka pour l'ingestion et la gestion des flux de données, et sur MongoDB pour un stockage flexible et non structuré. Le cœur de l'analyse repose sur une suite de modèles de TAL, incluant VADER et des modèles de la bibliothèque Transformers pour l'analyse de sentiment, spaCy pour la reconnaissance d'entités nommées. Le résultat tangible de ce projet est un tableau de bord interactif, développé avec Flask et Dash, qui restitue les analyses de manière synthétique et dynamique. Mots-clés: Traitement automatique des langues, Kafka, Analyse de sentiment, Extraction d'entités nommées, Visualisation, Données en temps réel, Dash, Flask, MongoDB.