- Vous êtes ici: Accéder au Wiki GeoRezo » Accueil : Wiki GeoRezo » Les logiciels en géomatique » Spatial Data Integrator (SDI) » Créer un job
Ceci est une ancienne révision du document !
Strict Standards: Declaration of syntax_plugin_tag_topic::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/tag/syntax/topic.php on line 123
Strict Standards: Declaration of syntax_plugin_tag_topic::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/tag/syntax/topic.php on line 123
Strict Standards: Declaration of syntax_plugin_tag_searchtags::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/tag/syntax/searchtags.php on line 280
Strict Standards: Declaration of syntax_plugin_tag_searchtags::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/tag/syntax/searchtags.php on line 280
Strict Standards: Declaration of syntax_plugin_tag_tag::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/tag/syntax/tag.php on line 118
Strict Standards: Declaration of syntax_plugin_tag_tag::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/tag/syntax/tag.php on line 118
Strict Standards: Declaration of syntax_plugin_tag_count::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/tag/syntax/count.php on line 130
Strict Standards: Declaration of syntax_plugin_tag_count::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/tag/syntax/count.php on line 130
Strict Standards: Declaration of syntax_plugin_tag_tagpage::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/tag/syntax/tagpage.php on line 96
Strict Standards: Declaration of syntax_plugin_tag_tagpage::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/tag/syntax/tagpage.php on line 96
Strict Standards: Declaration of syntax_plugin_clearfloat::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/clearfloat/syntax.php on line 74
Strict Standards: Declaration of syntax_plugin_clearfloat::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/clearfloat/syntax.php on line 74
Strict Standards: Declaration of syntax_plugin_pageindex::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/pageindex/syntax.php on line 187
Strict Standards: Declaration of syntax_plugin_pageindex::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/pageindex/syntax.php on line 187
Strict Standards: Declaration of syntax_plugin_googlemaps_googlemap::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/googlemaps/syntax/googlemap.php on line 169
Strict Standards: Declaration of syntax_plugin_googlemaps_googlemap::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/googlemaps/syntax/googlemap.php on line 169
Strict Standards: Declaration of syntax_plugin_nextpage::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/nextpage/syntax.php on line 69
Strict Standards: Declaration of syntax_plugin_nextpage::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/nextpage/syntax.php on line 69
Strict Standards: Declaration of syntax_plugin_include::handle() should be compatible with DokuWiki_Syntax_Plugin::handle($match, $state, $pos, Doku_Handler $handler) in /var/www/html/web/wiki/lib/plugins/include/syntax.php on line 137
Strict Standards: Declaration of syntax_plugin_include::render() should be compatible with DokuWiki_Syntax_Plugin::render($format, Doku_Renderer $renderer, $data) in /var/www/html/web/wiki/lib/plugins/include/syntax.php on line 137
Table des matières
Créer un job
Dans la même logique, vous trouverez d'autres chapitres qui peuvent vous intéresser :
Introduction
Un job est constitué d'un ensemble de component permettant de réaliser une action ou une étape au sein du processus plus large de réalisation d'une tache particulière. Par exemple, importer des données OSM régulièrement en tenant compte du versionning des données devra prendre en compte l'existance d'une données, la comparer avec la nouvelle, insérer les changements et déclarer l'ancienne données inactive. Cette tache pourrait se présenter sous forme de trois étapes : on importe les données, les découpent dans chaque table temporaire (building, limite régionale, limite départementale, etc.) et les reprojetons dans la bonne projection, puis on compare les données en réalisant une jointure sur l'id de la données enfin on désactive les vielles données, et on insère les données.
Il est souvent possible de faire une tache en un seul flux mais cela est déconseillé car cela peut entraîner des ralentissements, et en cas de problème, il est plus difficile de retrouver l'action qui est incorrecte. La première étape est donc de réfléchir au processus à mettre en place. Il est évident qu'un peu d'expérience dans l'utilisation de SDI vous facilitera une telle démarche car la logique est généralement très différente entre une méthode à base de script SQL et une à base de SDI. Mais l'écrire vous donnera des vue générale, n'hésitez pas à faire deux schémas : un conceptuel sur les différentes étapes à entreprendre, par exemple :
- importer les données ;
- les reprojeter ;
- les placer dans les tables thématique ;
- repérer les données existantes ;
- mettre à jour les données existantes ;
- ajouter les nouvelles données ;
- désactiver les données mises à jour.
et un autre plus précis qui définira les actions pour chacune de ces étapes.
Terminologies :
- action : processus qui modifie le flux entrant en flux sortant. Généralement un ensemble de component (entrant → action → sortant). Il peut être définie dans un schéma conceptuel générale sous forme d'un verbe :
- étape : ensemble d'actions qui modifie d'une manière complexe les données sources. Est représenté sous forme d'un job.
- flux : entrant pour les données qui arrivent et sortant pour celles qui ont été modifiées, ils sont liés à un component qui modifie la données (tMap, etc.)
Job simple
Nous allons créer un job simple qui permettra d'importer un Shapefile dans une table PostGIS.
Récupérez les données au format Shapefile d'OpenStreetMap hébergé sur Geofabrik et décompressez-les dans un répertoire.
Après avoir lancé SDI, créez un nouveau projet Java comme cela :
- choisissez 'créer un nouveau projet' dans la liste déroulante et cliquez sur Go,
- définissez dans la nouvelle fenêtre un nom pour le projet et renseignez éventuellement les autres paramètres optionnels et cochez la case Java,
- cliquez sur Terminer,
- choisissez votre projet dans la liste déroulante en dessous des actions sur les projets :
Après un temps de chargement des bibliothèques Java, l'application se présente à vous. Il se peut que vous voyez une fenêtre de bienvenu avec un bouton “Start now” en bas au centre. Créez un nouveau job comme cela : cliquez droit dans le menu de gauche sur Job design et choisissez Create job. Remplissez le titre, éventuellement une description. Appelons-le importShape.
Après la création d'un job, celui-ci s'ouvre par défaut.
Ouvrez l'arborescence sur la droite jusqu'au répertoire input (Geo → File). Cliquez sur sShapefileInput puis sur l'espace de travail au centre. Le component apparaît.
Pour configurer les components vous devez les sélectionner puis activer l'onglet 'Component'.
Pour le component sShapefileInput vous pouvez définir le chemin vers le fichier (choisissez le fichier roads.shp de l'archive Geofabrik), le schéma de la table et éventuellement forcer le système de projection. Il vous faut ensuite cliquer sur le bouton Éditer le schéma et configurez le schéma. Nous apprendrons plus tard comment éviter cette étape un peu fastidieuse.
Recherchez maintenant les components tMap et sMapinfoOuput et placez les sur l'espace de travail.