Distribution/ Parallélisation des fonctionnalités d'ETL pour l'intégration des données massives.

Abstract

Ce travail s'inscrit dans le cadre des Systèmes d'Informations Décisionnels (SID) et plus particulièrement dans la phase d'intégration basée sur un processus d'extraction, de transformation et de chargement (ETL: Extracting-Transforming-Loading) des données dans un entrepôt de données (ED). Notre objectif est de proposer une technique pour que l'ETL peut faire face au gros volumes des données connues sous le nom (Big Data). Dans ce contexte, nous proposons une distribution et une parallélisation de processus ETL à un niveau de granularité fin grâce à un ensemble de ses fonctionnalités de base. Chacune de ces fonctions est implémentée en se basant sur une architecture et un algorithme proposés selon le paradigme de traitement intensif des données massives MapReduce (MR). Pour la mise en oeuvre, nous avons retenu l'environnement Apache Spark sur une infrastructure de type cluster, ce qui permet d'améliorer les performances d'ETL. Mots-clés: Systèmes d'Informations DécisionnelsEntrepôt de Données, ExtractionTransformation-chargement, Big Data, Processus parallèle/distribué, Niveau de granularité, MapReduce, Apache Spark.