Plateforme d’ETL pour le traitement de flux de donnée continus en temps réel.

Abstract

Le processus ETL constitue l'usine qui produit l'information pertinente ayant la valeur et la qualité requises exigée par la suite décisionnelle. Toutes les phases qui suivent constituant la chaine décisionnelle consomment l'information livrée par ce processus d'extraction, de transformation et de chargement. Pour comprendre et maîtriser le flux de données ainsi que la séquence des tâches de filtrage, nettoyage, conversions, intégration, agrégation et chargement, nous nous intéressons dans le cadre de ce projet de fin d'études à une solution de business intelligence dédiée pour l'analyse des indicateurs clés de performances KPI de l'infrastructure télécom et d'aide à la décision fonctionnant dans un environnement caractérisé essentiellement par des données qui arrivent de façon continue et en temps quasi-réel. Pour ce faire nous avons choisi de mettre en place une plateforme ELT, cette solution se compose d'une partie d'intégration et de chargement des données bruts avec l'outil PDI et d'une partie transformation faite par SQL server, enfin une application java pour l'analyse des données chargées. Mot clés : ETL (Extract Transform load), ELT (Extract Load Transform), PDI (Pentaho Data Integration), KPI (Key Performance Indicator), SQL server (Structured Query Language).