Mise en oeuvre d'un processus ETL dans un environnement Hadoop Pig.

Abstract

Extract-Transform-Load (ETL) est un processus de préparation de données qui se manifeste périodiquement pour alimenter les entrepôts de données (DW) avec des données provenant de différents systèmes sources. Le traitement d'énormes volumes de données en un temps raisonnable est l'un des défis majeurs de ce processus. Pour cela, nous nous intéressons dans le cadre de ce PFE au processus ETL et particulièrement à ses performances face aux données massives. Nous proposons une solution de traitement parallèle basée sur le paradigme MapReduce. Ce dernier s'impose comme le standard effectif pour les traitements de données à forte intensité connues aujourd'hui sous le nom ‘Big Data'. Vu la complexité introduite par ce type de données, nous avons opté pour la migration du processus ETL dans un environnement de calcul parallèle et distribué sur une infrastructure de type cluster. Pour la mise en euvre, nous avons retenu l'environnement Apache Hadoop que nous exploitons à travers son outil associé Hadoop Pig. Mots clés: Systèmes décisionnels, ETL, Entrepôt de données, Cubes de données, MapReduce, performance, Hadoop Pig, Big Data.