banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Rencontres QGIS 2025

L'appel à participation est ouvert jusqu'au 19 janvier 2025!

#1 Fri 03 April 2009 09:59

AlineC
Membre du bureau
Lieu: AVIGNON
Date d'inscription: 5 Sep 2005
Messages: 2143
Site web

[SDI] Problème los de la construction de job simple

Bonjour

j'ai été redirigée sur ce groupe : le sujet d'origine était "ETL pour les nuls", c'est dire que je démarre. Je cherche à utiliser SDI et je bloque assez rapidement. J'ai besoin de conseils de personnes qui l'utilisent couramment pour m'acclimater !

j'ai créé un job en java
j'ai essayé simplement un export de shape en shape et d'édigéo en shape
pour l'instant les 2 ont loupé
et j'aimerais intégrer le viewer udig dans SDI

mes objectifs seraient de :
développer des routines d'export et de conversion de données SIG pour le SIG
et aussi des routines d'import de données statistiques annuelles dans access pour ma partir observatoire

merci donc de toute l'aide que ceux qui utilisent déjà et avec succés SDI pourraient m'apporter !
à bientôt

Dernière modification par AlineC (Tue 28 November 2017 16:18)

Hors ligne

 

#2 Fri 03 April 2009 10:25

Yves
Membre du bureau
Lieu: Aix-les-Bains
Date d'inscription: 22 Mar 2006
Messages: 9869
Site web

Re: [SDI] Problème los de la construction de job simple

Bonjour Aline,

Peux tu faire une capture écran d'un de tes projets ?

Quels sont les messages d'erreur ?

On verra plus tard pour le viewer uDIG wink commençons par le job "shape to shape" si tu veux bien.

Y.


Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !!  - GeoRezo vous aide ? Aidez GeoRezo !

Hors ligne

 

#3 Fri 03 April 2009 12:51

AlineC
Membre du bureau
Lieu: AVIGNON
Date d'inscription: 5 Sep 2005
Messages: 2143
Site web

Re: [SDI] Problème los de la construction de job simple

SDI suite

Entretemps j'ai progressé je suis arrivée à faire un job shape to shape et même à intégrer une simplification !!! les messages d'erreurs semblent liés à quelques problèmes de géométrie il faut que je relance mon ordi pour refaire des essais j'essaierais peut-être un ou deux job cet après-midi

ensuite je voudrais arriver à convertir de l'édigéo en shape en listant tout un répertoire (avec l'édigéo c'est toujours compliqué, c'est rangé dans plein de sous dossiers)

voilà pour mon programme de travail donc tout conseil est le bienvenue pour que je progresse encore déjà ce que j'ai trouvé sur l'historique des questions SDI m'a beaucoup  aidé (des choses toutes bêtes comme le double clic et le clic dans l'espace de
travail alors que j'essayais déséspérément le glissé déposé !)

Merci
Aline

Hors ligne

 

#4 Fri 03 April 2009 13:31

Yves
Membre du bureau
Lieu: Aix-les-Bains
Date d'inscription: 22 Mar 2006
Messages: 9869
Site web

Re: [SDI] Problème los de la construction de job simple

Aline CLOZEL a écrit:

SDI suite

Entretemps j'ai progressé je suis arrivée à faire un job shape to shape et même à intégrer une simplification !!! les messages d'erreurs semblent liés à quelques problèmes de géométrie il faut que je relance mon ordi pour refaire des essais j'essaierais peut-être un ou deux job cet après-midi


Bravo !!

Aline CLOZEL a écrit:

ensuite je voudrais arriver à convertir de l'édigéo en shape en listant tout un répertoire (avec l'édigéo c'est toujours compliqué, c'est rangé dans plein de sous dossiers)


Pour cela tu as un component appelé tFileList qui va lister le contenu d'un répertoire (et éventuellement de ses sous répertoires). Tu peux filtrer l'extension voir le nom des fichiers.

J'ai travaillé cette semaine sur ce genre de conversion et voici les problèmes que j'ai eut :
* un component tFileList envoie les noms des fichiers en mode iteratif. Ce nom du fichier est utilisé par le component tEdigeoInput pour lire le fichier et l'envoie au component en output. Toujours en mode iteratif. Si on utilise le component tPosgisOutput, à chaque iteration, la table est dropé hmm Si on utilise tShapefileOutput, même soucis. Le contournement est de passer par un tPostgresqlOutput (celui dans le répertoire Geo/Base de données/Output/ qui va permet de rajouter les données à la table existante.
* Dans le cas où j'utilise tPostgresqlOuput, je créé ma table avec le component tCreatetable. Malheureusement celui ci ne créé par une véritable spatiale, même s'il gère le type de données Geometry, il manque l'ajout des métadonnées à la tabel geometry_columns et les contraintes doivent être rajouté à la main, après import des données (bien que pour cette dernière info, le problème doit venir de mon job). Cela est possible en utilisant un component tPostgresqlRow.
* J'ai également ajouté une définition de srid pour les géométries après import des données comme suit :

Code:

UPDATE cadastre.batiment_92 SET the_geom=setSrid(the_geom,27561);

Je peux t'envoyer mon projet si tu es intéressée pour voir son fonctionnement. J'utilise donc une base de données postgis, avec la définition de la chaîne de connection dans un context wink

J'ai 5 jobs, un par type d'objet qui m'intéresse (parcelle, batiment, troncon fluivale, ensemble immobilier, charge).

Tu trouveras des informations ici sur la conversion des données EDIGeo : http://www.talendforge.org/wiki/doku.ph … eotutorial
Et ceci m'a aidé pour maîtriser un peu plus ce format : http://georezo.net/wiki/main:geomatique:la_norme_edigeo wink

Aline CLOZEL a écrit:

voilà pour mon programme de travail donc tout conseil est le bienvenue pour que je progresse encore déjà ce que j'ai trouvé sur l'historique des questions SDI m'a beaucoup  aidé (des choses toutes bêtes comme le double clic et le clic dans l'espace de
travail alors que j'essayais déséspérément le glissé déposé !)


Tu as aussi le ctrl+espace comme raccourcit clavier. Tu obtiens la liste des variables et fonction disponible.

Y.


Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !!  - GeoRezo vous aide ? Aidez GeoRezo !

Hors ligne

 

#5 Fri 03 April 2009 14:35

AlineC
Membre du bureau
Lieu: AVIGNON
Date d'inscription: 5 Sep 2005
Messages: 2143
Site web

Re: [SDI] Problème los de la construction de job simple

Donc si je comprend bien il faut que je passe par une base postgre
que je n'ai pas ?
je n'ai pas installé postgre
y a t'il alors une solution ? pour l'instant ? à chercher ?
ça m'intéresserait dévoir les 5 "jobs" mentionnés et m'apprendra à
importer un "job"

je n'ai pas encore compris comment j'intègre tout un répertoire ?

merci
Aline

Hors ligne

 

#6 Fri 03 April 2009 14:42

Robin
GeoRezo forever
Lieu: France
Date d'inscription: 31 Aug 2005
Messages: 13614
Site web

Re: [SDI] Problème los de la construction de job simple

Yves, si tu es OK, je serais aussi intéressé par tes jobs wink
J'aime bien apprendre sur des exemples concrets, ça serait super, au moins 1 pour voir...

Robin.

Hors ligne

 

#7 Fri 03 April 2009 15:14

Yves
Membre du bureau
Lieu: Aix-les-Bains
Date d'inscription: 22 Mar 2006
Messages: 9869
Site web

Re: [SDI] Problème los de la construction de job simple

Aline,

Utiliser postgres est la meilleure solution que j'ai trouvée. J'ai tenté de créer des shapefile en changeant le nom du fichier à la volée (batiment_1.shp) mais il faut après les réunir, ce que peux très bien faire ogr2ogr bien sur, mais cela alourdie le processus.

Le projet t'a été envoyé directement wink

Pour intégrer tout un répertoire, tu utilises le component tFileList, tu lui définie un répertoire de base, tu choisis s'il doit regarder dans les sous-répertoires, tu définie l'extension ("*.thf") tu as d'autres options. Tu relies lecomponent à celui de lecture de l'EDIGEO, tu cliques sur le champ du chemin du fichier thf, et tu tapes sur ctrl+espace de ton clavier, tu cherches tFileList.FILEPATH (ou quelque chose d'approchant) et c'est tout.

Y.


Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !!  - GeoRezo vous aide ? Aidez GeoRezo !

Hors ligne

 

#8 Fri 03 April 2009 15:14

Yves
Membre du bureau
Lieu: Aix-les-Bains
Date d'inscription: 22 Mar 2006
Messages: 9869
Site web

Re: [SDI] Problème los de la construction de job simple

Robin a écrit:

Yves, si tu es OK, je serais aussi intéressé par tes jobs wink
J'aime bien apprendre sur des exemples concrets, ça serait super, au moins 1 pour voir...

Robin.


mon client mail refuse de retrouver ton mail :p

Y.
PS : envoyé wink


Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !!  - GeoRezo vous aide ? Aidez GeoRezo !

Hors ligne

 

Pied de page des forums

Powered by FluxBB