Mise en quvre d'une plateforme d'intégration (ETL) pour le big data,

Abstract

ETL, acronyme de Extracting-Transforming-Loading (ou parfois datapumping), est un système de chargement de données depuis les différentes sources d'information de l'entreprise (hétérogènes) vers l'entrepôt de données (Base de données multidimensionnelle). Au fait, ce système ne se contente pas de charger les données, il doit les préparer et les normaliser (les filtrer, les nettoyer, les mettre dans un format approprié, les contextualiser, les homogénéiser, les agréger) et enfin les charger dans leur destination finale qu'est l'entrepôt de données. Un des défis majeurs pour le domaine de l’ETL est le traitement de très grandes quantités de données connues aujourd'hui sous le nom de Big Data. Déjà que ce processus est complexe vu la diversité et l'hétérogénéité des sources ainsi que la complexité des tâches ETL, il devra faire face à des données massives caractérisées par une volumétrie importante (PetaBytes, HexaBytes, ZettaBytes, ...), de nouvelles structures et une exigence en termes de temps de traitement. Nous nous proposons de mettre en æuvre une plateforme d'intégration de données (ETL) pour l'entreposage et l'analyse en ligne destinée pour le Big Data dans un environnement basé sur le paradigme MapReduce destiné pour le traitement parallèle à grande échelle de données intensives sur un cluster d'ordinateurs. Le projet Hadoop de la fondation Apache étant une référence pour les frameworks MapReduce open source. Mots clés : Entreposage de données, ETL, Traitement parallèle, Performance, MapReduce, Hadoop, Big Data