VI.2 Démonstrateur Big Data
Le démonstrateur Big Data est le livrable qui
présente la mise en oeuvre des cas d'utilisation du Big data. C'est un
livrable qui pourra être utilisé à des fin de
présentation à un client. Le démonstrateur déroule
les cas d'utilisation de la création des jeux de données pour les
tests à la restitution des données via QlikView (outil de
visualisation de données), en passant par les traitements et la
structuration des données.
En terme d'architecture réseau et architecture des
composants, j'ai utilisé las architecture présentées plus
haut dans ce document.
Les différents cas d'utilisations traités sont
les suivantes :
§ Cas d'utilisation 1 : Les différents types
d'utilisateurs sur les réseaux sociaux
§ Cas d'utilisation 2 : Les taux d'adolescents et
d'adultes sur quelques réseaux sociaux
§ Cas d'utilisation 3 : Les taux d'utilisation de
certaines activités sur internet via PC et Mobile
La suite présente la création des données
des tests.
VI.2.1
Création des jeux de donnée de test
Pour la mise en oeuvre des cas d'utilisation de test, à
défaut de disposer des données réels, j'ai crée des
scripts xml pour générer des données semblables aux
données qu'on peut avoir dans un contexte de production. Les scripts xml
étaient exécutés via le générateur de
données Benerator.
Les tableaux ci-dessous présentent les fichiers de
données que j'ai générés pour chaque cas
d'utilisation. Ces différents fichiers xml (tous nommés
benerator.xml et stockés dans des répertoires différents)
sont exécutés sur l'invite de commande à partir des
répertoires qui les contiennent.
VI.2.1.1 Cas d'utilisation 1
Benerator utilise le même nom
« benerator.xml » pour tous les fichiers descripteurs,
raisons pour laquelle ils doivent être dans des répertoires
différents.
|
Fichier descripteur
|
Effectif
|
Fichier en sortie
|
|
benerator.xml
|
400
|
TypesUtilisateurs.csv
|
Format d'une ligne du fichier
TypesUtilisateurs.csv
id,nom_profil,nom,prenom,age,sexe,email,ville,pays,numero_de_rue,rue,code_postal,duree_connexion_par_sem,support_acces,nombre_inscription,nombre_amis,communaute_appartenance,interet_utilisation,frequence_utilisation_par_jour,activite_sociale,marque_preferee
Exemple de ligne du fichier TypesUtilisateurs.csv
9,POBHKCRUKAWFUNEHGOJVHQ,Lefebvre,Daniel,44,F,daniellefebvre@tradeshop.com,WALNUT,United
States,26,11th
Street,38683,2,Mobile,3,486,Musulmane,Professionnel,3,the_dansant,Nike
VI.2.1.2 Cas d'utilisation 2
|
Fichier descripteur
|
Réseau social / Tranche
|
Effectif
|
Fichier en sortie
|
|
benerator.xml
|
Facebook /Adolescent
|
164
|
TauxAdoFacebook.csv
|
|
benerator.xml
|
Facebook / Adulte
|
164
|
TauxAdultesFacebook.csv
|
|
benerator.xml
|
Twitter /Adolescent
|
395
|
TauxAdoTwitter.csv
|
|
benerator.xml
|
Twitter / Adulte
|
542
|
TauxAdultesTwitter.csv
|
|
benerator.xml
|
Pinterest /Adolescent
|
319
|
TauxAdoPinterest.csv
|
|
benerator.xml
|
Pinterest / Adulte
|
542
|
TauxAdultesPinterest.csv
|
|
benerator.xml
|
Instagram /Adolescent
|
318
|
TauxAdoPinterest.csv
|
|
benerator.xml
|
Instagram / Adulte
|
532
|
TauxAdultesPinterest.csv
|
|
benerator.xml
|
Tumblr / Adulte
|
318
|
TauxAdoTumblr.csv
|
|
benerator.xml
|
Tumblr / Adulte
|
542
|
TauxAdultesTumblr.csv
|
Format d'une ligne d'un fichier
id,nom_profil,nom,prenom,age,sexe,email,ville,pays,numero_de_rue,rue,code_postal,taux_Ado_facebook
Exemple de ligne d'un fichier
1,TRNSEGBTOUXIWZV,Bernard,Andre,16,F,andre_bernard@gmail.com,GRAND
CHENIER,United States,34,Spring Street,70643,Oui
| 
