WOW !! MUCH LOVE ! SO WORLD PEACE !
Fond bitcoin pour l'amélioration du site: 1memzGeKS7CB3ECNkzSn2qHwxU6NZoJ8o
  Dogecoin (tips/pourboires): DCLoo9Dd4qECqpMLurdgGnaoqbftj16Nvp


Home | Publier un mémoire | Une page au hasard

 > 

Stratégies d'optimisation de requêtes SQL dans un écosystème Hadoop

( Télécharger le fichier original )
par Sébastien Frackowiak
Université de Technologie de COmpiègne - Master 2 2017
  

précédent sommaire suivant

Appel aux couturier(e)s volontaires

5.3 Discussion

Au travers des stratégies d'optimisation que nous venons de voir, il apparaît que la connaissance fine des données à traiterest un prérequis indispensable à l'optimisation du requêtage.Ceci est vrai aussi bien dans le cas d'optimisations par le réglage que d'optimisations par la conception.

Dans le cadre de la conception d'un Use Case Big Data, la géométrie des données devra donc impérativement être prise en compte, dès lors où sont créées de nouvelles données (intermédiaires ou définitives).

Nous proposons les étapes suivantes comme modèle méthodologique à respecter avant le développement d'un Use Case Big Data :

- Analyser statistiquement les données : déterminer la répartition de chaque donnée « clé » impliquée dans la requête, estimer la taille des tables à interroger, ainsi que la taille des tables à construire.

- Déterminer la meilleure stratégie d'optimisation en fonction des éléments recueillis : est-ce que des réglages suffiront ou bien faudra-t-il altérer la conception des tables et/ou des requêtes ?

- Maintenir une veille technologique : à chaque changement de version de Hadoop, il faudra prendre le temps de se documenter sur les nouvelles capacités implémentées. Ce coût sera vite amorti dans la pratique.

Il ne s'agit là que d'une première ébauche méthodologique qui demanderait à être approfondie et complétée. De plus, celle-ci pourrait évidemment être remise en question selon les évolutions futures de Hadoop.

précédent sommaire suivant






Aidez l'hopital de Montfermeil




Moins de 5 interactions sociales par jour