L’étude de cas sur l’intégration des données révèle une avancée significative dans l’architecture ETL, répondant aux défis des données massives. Cette approche innovante transforme la gestion des données hétérogènes, promettant des solutions efficaces pour le stockage et l’exploitation dans des environnements complexes.
Chapitre 5
Implémentation et Expérimentation de
l’approche
Introduction
Après avoir terminé l’étape de formalisation de notre approche, dans ce chapitre on va se focaliser sur l’aspect implémentation qui permettra de montrer la faisabilité et l’exploitation concrète de la solution proposée dans un contexte réel.
Le chapitre est structuré comme suit.
Nous commençons par la présentation de l’environnement de travail utilisée pour développer notre application, puis nous exposons les fonctionnalités que l’application permet de réaliser ainsi que l’enchaînement général des fonctionnalités offertes. Après cela, nous illustrons le fonctionnement de l’application par son déploiement et son exploitation sur un jeu d’essai relatif aux données du domaine de la gestion commerciale dont le modèle de données a été déjà élaboré et conçu dans le chapitre précédent.
Présentation de l’environnement de travail
Pour l’implémentation de notre approche et la réalisation de notre prototype dénommé OLE-STL, nous avons utilisé un ensemble d’outils qui nous ont permis de réaliser nos objectifs. Ces outils sont les suivants :
- PyCharm : c’est un environnement de développement intégré utilisé pour programmer en python. Il permet l’analyse de données et il contient un déboguer graphique. Il offre une productivité élevée et permet de gagner en temps de programmation et aussi de bénéficier d’une assistance intelligente comme la vérification des erreurs à la volée et les correctifs rapides.
- DB Browser(Sqlite) : C’est un outil open source visuel de haute qualité pour créer, concevoir et de modifier des fichiers de BDD compatibles avec Sqlite. Il est destiné aux utilisateurs et aux développeurs qui souhaitent créer, rechercher et modifier des BDD [54].
- Python : est un langage de programmation interprété et l’un des langages les plus utilisés actuellement. Il est à la fois simple et puissant, car il permet d’écrire des scripts simples et il a un environnement riche en librairies. Python a été pensé pour créer des codes complexes en peu de lignes [55].
Fonctionnalités de l’application
Le système que nous avons développé offre les fonctionnalités suivantes.
- Présentation de l’entrepôt de données : OLE-STL assure l’affichage du schéma et de la structure générale du modèle des données pour le domaine choisi à des fins de test.
- Extraction des données des sources : trois possibilités sont offertes à l’utilisateur du système OLE-STL pour extraire des données des différentes sources.
- Transformation des données : avant leur chargement dans l’EDD, les données extraites des sources subissent différents types de transformation que l’utilisateur doit spécifier au préalable.
Enchaînement général de l’application
L’exploitation du prototype OLE-STE se fait via un menu principal, tel que illustré dans la figure 5.1.
[17_etude-de-cas-integration-des-donnees-en-entreprise_25]
Source: URL
Figure 5.1 – Le menu principal de notre système ”OLE-STL”
Dans un premier temps l’utilisateur commence par concevoir le schéma de son EDD et sa création dans un environnement dédié (SGBDR).
La figure 5.2, montre le schéma d’EDD du système ”OLE-STL”.
[17_etude-de-cas-integration-des-donnees-en-entreprise_26]
Source: URL
Figure 5.2 – Le schéma de l’EDD du système ”OLE-STL”
- Extraction initiale qui est la première étape fournie par notre système permet d’alimenter l’EDD, suivi par des extractions additives pour ajouter de nouvelles tables ou champs et enfin une extraction incrémentale en cas d’existence de mises à jour.
La figure 5.3, montre le menu d’extraction du système ”OLE-STL”.
[17_etude-de-cas-integration-des-donnees-en-entreprise_27]
Source: URL
Figure 5.3 – Les trois extractions offertes par ”OLE-STL”
- Transformation des données qui est une transformation sélective permet aux utilisateurs d’avoir la possibilité d’appliquer une ou plusieurs règles de transformation. La figure 5.4, montre le menu des transformations du système (OLE-STL).
[17_etude-de-cas-integration-des-donnees-en-entreprise_28]
Source: URL
Figure 5.4 – Les transformations de notre système ”OLE-STL”
- Chargement qui est la dernière étape de notre système. Elle consiste à charger les données extraites et transformées dans l’EDD.
La figure 5.5, montre le menu de chargement du système ”OLE-STL”.
[17_etude-de-cas-integration-des-donnees-en-entreprise_29]
Source: URL
Figure 5.5 – Le menu de chargement du ”OLE-STL”
Scénario illustratif
Considérons le domaine de la gestion commerciale, dans lequel un client achète des produits auprès d’un fournisseur.
- Les différentes tables de faits et de dimension de l’EDD sont les suivantes :
- Les tables magasin, stocker et produit qui sont en format CSV.
- Les tables Client, Commande et facture qui sont en format BDDR.
- Les tables catégorie, fournisseur et livrer qui sont en format Excel.
- Les tables Contient1 et Contient2 qui sont en format XML.
- L’extraction initiale permet de lire toutes ces tables et les stockées dans une zone intermédiaire qui est la base de données relationnelles staging area.
La figure 5.6, montre un exemple d’extraction de la table catégorie qui est au format Excel.
[17_etude-de-cas-integration-des-donnees-en-entreprise_30]
Source: URL
Figure 5.6 – Exemple d’extraction de la table catégorie
2-1. L’extraction additive de la table Type-paiement illustrée dans la figure 5.7.
[17_etude-de-cas-integration-des-donnees-en-entreprise_31]
Source: URL
Figure 5.7 – Exemple d’extraction additive de la table Type-paiement
- Appliquer les transformations suivantes :
– La figure 5.8, montre un exemple de transformation de la date.
[17_etude-de-cas-integration-des-donnees-en-entreprise_32]
Source: URL
Figure 5.8 – Exemple de transformation de la date de la table facture
– La figure 5.9, montre un exemple de transformation en UTF-8.
[17_etude-de-cas-integration-des-donnees-en-entreprise_33]
Source: URL
Figure 5.9 – Exemple de transformation de la table magasin en UTF-8
- Chargement des données dans l’EDD.
– La figure 5.10, montre un exemple de chargement de la table magasin.
[17_etude-de-cas-integration-des-donnees-en-entreprise_34]
Source: URL
Figure 5.10 – Exemple de chargement de la table magasin
Conclusion
Le dernier chapitre de notre projet a été dédié à l’implémentation de l’application
qui mettra en pratique la solution conceptuelle élaborée dans le chapitre précédent. Cette implémentation est en parfaite adéquation avec ce qui a été prévu au début de notre projet et qui n’est autre que la proposition d’une solution pour l’amélioration des techniques d’intégration des données des processus métiers basée sur la technologie ETL.
Ainsi, il apparaît que l’application développée prend en compte les aspects essentiels couvrant le thème abordé, à savoir :
- Une architecture générale du système qui offre des fonctionnalités essentielles à l’extraction, la transformation et l’intégration des données.
- Différentes illustrations, matérialisées par des captures d’écran mettent en évidence les trois principales phases de notre système.
Cependant, malgré les premiers résultats qui sont satisfaisants dans une large mesure, le prototype OLE-STL n’est qu’en sa version initiale qui nécessite des raffinements et des améliorations afin de prendre en charge d’autres formats de données, par exemple des données plates (en format PDF ou texte). Aussi, il demeure clair que l’implémentation actuelle doit par ailleurs être revue. En effet, elle doit être paramétrable au niveau de la partie entrée afin de pouvoir prendre de manière générique les différents types de données de test qui seront relatives à divers domaines.
Conclusion Générale
Les outils ETL permettent d’améliorer considérablement l’efficacité décisionnelle des organisations par l’alimentation des entrepôts de données. Cependant, le volume croissant des données et les besoins évolutifs des utilisateurs imposent des solutions d’intégration de plus en plus efficaces et performantes. Dans ce projet de fin d’études, nous avons abordé un problème d’actualité relatif à l’intégration de données hétérogènes au niveau d’un entrepôt de données. Nous avons commencé par comprendre les techniques d’intégration de données et nous avons cerné le problème qui consiste à des limitations dans le fonctionnement des ETL actuels.
Après analyse de l’état de l’art et les travaux existants, nous avons constaté qu’effectivement les outils ETL existants dans le marché présentent des insuffisances dans la prise en charge de données massives (Big data). Pour surmonter le problème nous avons apporté notre contribution qui consiste en une amélioration significative du mécanisme de fonctionnement de ces outils. Ainsi, nous avons proposé une solution améliorée pour résoudre le problème de l’intégration des données et nous avons revu le principe de ces outils. Les contributions majeures consistent en une amélioration au niveau des deux premières phases ; c’est-à-dire l’extraction et la transformation. La solution proposée a été conçue et implémentée.
Sur le plan pratique, pour implémenter l’approche proposée nous avons utilisé le langage de programmation python sous l’environnement PyCharm. Le prototype réalisé, a été expérimenté sur un cas réel qui est celui du domaine de la gestion commerciale. Les données relatives aux clients, commandes et fournisseurs ont été collectées et testées.
Aux termes de ce travail, nous pouvons affirmer que durant ce projet de fin d’études nous avons capitalisé les acquis suivants :
- Du point de vue théorique : Compréhension et utilisation des PM dans des domaines multiples et leur enrichissement par les données ainsi que la maîtrise des outils permettant leur représentation.
- Du point de vue pratique : La capacité de répondre à des problèmes existants au niveau des entreprises et leur apporter les solutions appropriées au moyen de l’outil PyCharm puis les programmer en python. D’autre part, nous avons maîtrisé l’environnement de composition de textes scientifiques en latex.
- Sur le plan méthodologique : durant ce projet, j’ai appris à comprendre et à aborder de manière scientifique une question de recherche de manière générale. Le processus commence par cerner le problème, analyser l’état de l’art et enfin proposer une solution, la concevoir, l’implémenter puis l’expérimenter.
En ce qui concerne les perspectives futures de ce travail, j’espère et je souhaite que ce modeste travail engagera de futures étudiants pour la compréhension de l’intégration des données avec les outils ETL, et que d’éventuels futurs travaux d’exploration théoriques et pratiques viendront enrichir et améliorer ce qui a été déjà réalisé dans ce mémoire.
Questions Fréquemment Posées
Quelles sont les fonctionnalités de l’application OLE-STL?
Le système OLE-STL offre des fonctionnalités telles que la présentation de l’entrepôt de données, l’extraction des données des sources, et la transformation des données avant leur chargement.
Quel environnement de travail est utilisé pour l’implémentation de l’approche ETL?
Pour l’implémentation de notre approche, nous avons utilisé PyCharm, DB Browser (Sqlite) et le langage de programmation Python.
Comment se déroule l’extraction des données dans le système OLE-STL?
L’extraction des données dans le système OLE-STL se fait en trois étapes : extraction initiale, extractions additives et extraction incrémentale en cas de mises à jour.