III.5.1.1.1. Vocabulaire de GeoKettle
Le monde de l'ETL GeoKettle exige la manipulation de certains
termes qui lui sont propres qu'il est nécessaire d'expliquer ici.
· Transformations : tout processus ETL
;
· Etapes (steps) : Élément
d'une transformation ;
· Liens (hops) : Lien entre deux
étapes ;
·
Bassirou Mohamet
40
Figure III. 6: Une transformation avec
GeoKettle
Les étapes sont des threads qui
s'exécutent en parallèle.
41
Bassirou Mohamet
Chapitre III : Les EDS et outils de mise en oeuvre
Les steps ont des paramètres de configuration
(double-clic) qui permettent d'indiquer :
· la connexion à la bd source ;
· le nom du fichier à ouvrir ;
· le code source du script (javascript) à
exécuter ;
On distingue plusieurs catégories de steps :
· Entrée/Sortie ;
· Transformation ;
· Scripting ;
· Flux...
Les différents types de liens que l'on peut rencontrer
sont :
Figure III. 7: Différents types de liens
avec GeoKettle
Un job est une série de
tâches séquentielles à exécuter.
Ces tâches peuvent être :
· Des transformations ;
· Des requêtes SQL ;
· Des opérations sur les fichiers (copie,
suppression, téléchargement) ;
· Des tests conditionnels ;
· Des scripts (shell, javascripts) ;
· Envoi/réception des e-mails ;
· D'autres jobs ...
42
Bassirou Mohamet
Chapitre III : Les EDS et outils de mise en oeuvre
Figure III. 8: Exemple d'un job
GeoKettle
III.5.1.1.2. Composants de GeoKettle
GeoKettle est composé des différents outils
suivants : spoon, chef, pan, kitchen
et carte.
· Spoon: environnement graphique pour
l'édition des transformations et des jobs ;
· Pan: lancement (automatisation) en ligne
de commande des transformations ;
· Kitchen: lancement en ligne de commande
des jobs ;
· Chef: gestion automatique des
tâches complexes de transformations ;
· Carte: serveur web pour exécution
à distance des transformations et jobs.
III.5.1.1.3. Fonctionnalités spatiales de
GeoKettle
GeoKettle intègre de manière cohérente des
géométries vectorielles :
· Utilisation de type de données Geometry :
géométrie vectorielle (JTS), point, ligne, polygone.
· Conversions transparentes entre types de données
:
o Geometry <-> String: depuis et vers WKT (Well Known
Text) ;
o Geometry <-> Binary: depuis et vers WKB (Well Known
Text) ;
· Support des SGBD Spatiaux intégrés dans le
noyau d'E/S pour SGBD
43
Bassirou Mohamet
Chapitre III : Les EDS et outils de mise en oeuvre
(utilisation de JDBC). Tous les steps pouvant accéder
au BD supportent les colonnes géométriques de manière
transparente.
GeoKettle gère très correctement la lecture et
l'écriture des géométries. Il supporte les SGBD spatiaux
suivants :
· PostreSQL/PostGIS ;
· MySQL Spatial ;
· Oracle Spatial / Locator.
Il n'y a pas de steps distincts et dédiés
spécifiquement à chaque SGBD puisque tous les steps de BD
existants ont accès aux colonnes géométriques.
Il supporte les formats de fichiers SIG suivants :
· Shapefile ;
· KML ;
· GML.
Avec GeoKettle, on peut effectuer différentes analyses
spatiales :
· Scripting sur objets géométriques en
JavaScript ;
· Utilisation des fonctions d'analyses spatiales :
o Prédicats topologiques: INTERSECTS, TOUCHE, WITHIN...
exploitables à partir de steps de jointure et de filtrage ;
o Fonctions spatiales : UNION, INTERSECTION, LENGHT, BUFFER...
et toutes celles offertes par la librairie JTS accessibles en JavaScript;
GeoKettle assure la gestion des systèmes de
référence spatiaux (SRS) et projection.
· Gestion native des SRS dans les
métadonnées des champs Geometry en utilisant la librairie
GeoTools;
·
Reprojection : changement de SRS :
· Affectation d'un SRS à un flux de
données :
44
Bassirou Mohamet
Chapitre III : Les EDS et outils de mise en oeuvre
· Lecture et écriture des métadonnées
de SRS :
o Lecture des SRS depuis les sources de données : SGBD
et Shapefile (fichier .prj) ;
o Validation du SRS lors de l'insertion de données
dans PostGIS et Oracle ;
o Écriture du fichier .prj lors de la création
d'un Shapefile ;
Cette étude nous aidera au moment de la pratique pour la
mise en place de nos applications.
III.5.1.2. Spatial Data Integrator (SDI)
SDI est un ETL spatial open source basé sur Talend Open
Studio (TOS) et développé par la société
CampToCamp. Cet ETL est de type générateur de code (Java, Perl).
C'est-à-dire que pour chaque tâche réalisée sur
l'interface graphique, un code spécifique est
généré. En plus de la centaine de connecteurs natifs
(Sugar CRM, SalesForce...) disponibles dans TOS, SDI ajoute la
possibilité de lire et/ou écrire des données au format WFS
(Lecture) et GPX (Lecture/Écriture) ainsi que de réaliser des
traitements cartographiques (simplification, changement du sens des lignes...).
De plus, il peut également être couplé à la
bibliothèque Sextante afin de travailler sur
du raster. Enfin, la visualisation des données peut se faire directement
depuis Udig. SDI est proche de GeoKettle et permet un
accès à des sources de données très
diversifiées et l'intégration des fonctions de filtrage,
d'agrégation etc... La gestion des métadonnées est
centralisée. Le traitement des données est quant à lui de
très bonne qualité car bien qu'il existe la possibilité
d'ajouter de nouvelles fonctions, de nombreuses fonctions de transformation des
dates, nombres ou de statistiques avancées sont déjà
incorporées. De plus, il supporte les jointures de flux.
Le niveau de sécurité rivalise presque avec
celui de GeoKettle. Doté des mêmes caractéristiques, SDI se
distingue cependant par l'absence de sécurité sur le lancement
des tâches, d'un système de test et de débuggage en temps
réel ainsi qu'un type de sécurité propriétaire. SDI
est disponible en téléchargement sur son site à travers le
lien:
http://www.spatialdataintegrator.com
45
Bassirou Mohamet
Chapitre III : Les EDS et outils de mise en oeuvre
| 
