Big data (rapport de stage)

Sommaire

Résumé I

Remerciements II

Sommaire III

Liste des abréviations 6

Introduction générale 7

I. Présentation de l'entreprise et du contexte de stage 8

I.1 Présentation de L'entreprise 8

I.1.1 Historique et secteur d'activité 8

I.1.2 Valeurs 9

I.1.3 Mission 10

I.1.4 Métiers et secteurs d'activité 10

I.1.5 Partenariats et concurrence 11

I.1.6 Organisation 11

I.2 Contexte du stage 12

II. Présentation de la mission lors du stage 14

II.1 Collecte et analyse de la documentation 14

II.2 Tests techniques et montée en compétence opérationnel 15

II.3 Réalisation de la plateforme de démonstration 15

III. Les Big Data 16

III.1 Présentation 16

III.2 Caractéristiques des Big Data 16

III.3 Les Big Data en chiffres 16

III.4 Intérêts des Big Data 17

III.5 Enjeux des Big Data 17

III.5.1 Enjeux techniques 17

III.5.2 Enjeux économiques 17

III.5.3 Enjeux juridiques 18

III.6 Limites des Big Data 18

III.7 Paysage technologique des Big Data 19

III.7.1 Intégration 19

III.7.2 Stockage 20

III.7.3 Analyse 20

III.7.4 Restitution 21

III.8 Ecosystème Hadoop 21

III.8.1 Hadoop kernel 22

III.8.2 Composants Apache Hadoop 25

III.9 Solutions Big Data sur le marché 27

IV. Solution mise en place 29

IV.1 Choix de la solution et tests techniques réalisés 29

IV.1.1 Architecture du cluster mise en place 29

IV.1.2 Architectures des composants des machines 30

IV.1.3 Déploiement de la plateforme 32

IV.1.4 Tests techniques réalisés 32

IV.2 Démonstrateur Big Data 38

IV.2.1 Création des jeux de donnée de test 39

IV.2.2 Scénario d'exécution des cas d'utilisation 40

IV.2.3 Création des programmes MapReduce 42

IV.2.4 Restitution des données via Hive 42

IV.2.5 Restitution des données via QlikView 43

IV.3 Outils utilisés 46

V. Futur du Big Data 48

VI. Bilan du stage 49

VI.1 Planning prévisionnel 49

VI.2 Planning de réalisation 50

VI.3 Livrables 52

VI.4 Difficultés rencontrées 52

VI.5 Solutions 53

VI.6 Projet big data 53

VI.7 Apport du stage 53

Conclusion 55

Références bibliographiques 56

Liste des figures 57

Liste des tableaux 58

Liste des abréviations

SOGETI : Société pour la Gestion de l'Entreprise et Traitement de l'Information

ESN : Entreprise de Services du Numérique

SSII : Société de Services en Ingénierie Informatique

BPO : Business Process Outsourcing (externalisation de processus métiers)

ALM : Application Lifecycle Management

CSD : Custom Software Development

PBS : Package Business Solution

ERP : Enterprise Resource Planning (planification des ressources de l'entreprise)

CXP : Centre d'expertise des logiciels

RFID : Radio Frequency Identification (radio identification)

ETL : Extract, Transform and Load

EAI : Enterprise Application Integration (Intégration d'applications d'entreprise)

EII : Enterprise Information Integration

CRM : Customer Relationship Management (gestion des relations avec les clients)

IDC : International Data Conseil 

DSI : Direction des Systèmes d'Information

SQL : Structured Query Language

HDFS : Hadoop Distributed File System

SPOF : Single Point Of Failure

UDF : User Defined Function

UDAF : User Defined Aggregate Function

UDTF : User Defined Table Function

JDBC : Java DataBase Connectivity

ODBC :  Open Database Connectivity

CDH : Cloudera's Distribution including apache Hadoop

SI : Système d'Information

POC : Proof Of Concept

API : Application Programming Interface

R&D : Recherche et Développement