banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Pages: 1

 

#1 Wed 17 August 2011 10:02

sm2R
Participant occasionnel
Date d'inscription: 19 Mar 2008
Messages: 34

Retours d'expérience - Conversion massive de données (géo)

Bonjour,

Je dispose d'une collection de fichiers SIG (plusieurs centaines) essentiellement en .tab, répartis au sein d'une arborescence de dossiers et sur lesquels je souhaite effectuer des opérations de conversion (format / coordonnées).

Avant de me lancer, je suis à la recherche de retours d'expériences (processus / outils utilisés) portant sur la conversion de formats hétéroclites (p.ex: mif/mid, tab -> shp ou éventuellement geodatabase) pouvant être assortie d'une reprojection (-> Lambert 93).

j'ai entre autres à ma disposition :
- Mapinfo
- Arcgis desktop
- Spatial Data Integrator

Je ne dispose en revanche pas de FME.

Existe-t-il des solutions pour automatiser ce genre d'opération en conservant si possible l'organisation de mes dossiers?


J'imagine que la tâche n'est pas forcément aisée, merci donc de vos conseils éclairés.

Hors ligne

 

#2 Wed 17 August 2011 10:21

Yves
Membre du bureau
Lieu: Aix-les-Bains
Date d'inscription: 22 Mar 2006
Messages: 9869
Site web

Re: Retours d'expérience - Conversion massive de données (géo)

Bonjour,

Quelques questions :
* le schéma des données sont toutes différentes à priori ?
* cette conversion est réalisée une fois pour toute ou devra être réalisé régulièrement ?

En fonction des réponses un ETL spatial sera pertinent ou non. Si les réponses au deux questions sont respectivement oui et non je partirai sur un script bash/dos/python avec GDAL-OGR, si les réponses sont "non et non" ou "oui et non" (toujours respectivement), l'ETL est pertinent et la "perte" de temps pour définir éventuellement les schémas (qui sont automatiquement récupéré par SDI) sera largement compensé au final par le gain de temps à long terme.

Y.

Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !!  - GeoRezo vous aide ? Aidez GeoRezo !

Hors ligne

 

#3 Wed 17 August 2011 10:54

sm2R
Participant occasionnel
Date d'inscription: 19 Mar 2008
Messages: 34

Re: Retours d'expérience - Conversion massive de données (géo)

Merci

Les réponses à ces deux questions :
* le schéma des données sont toutes différentes à priori ?
-> OUI
* cette conversion est réalisée une fois pour toute ou devra être réalisée régulièrement ?
-> Une fois pour toute pour les données en banque, bien que de nouveaux lots de données puissent être ponctuellement concernés à l'avenir

Je n'ai pas une maîtrise éprouvée de SDI, et mes essais jusqu'à présent n'ont pas été très concluants (je ne mets pas en cause le logiciel mais plus mon manque de temps pour le dompter). Est-il possible d'estimer le temps nécessaire pour réaliser un projet de ce type avec cet ETL?

Existe-t-il des librairies de scripts qui soient accessibles? Un batch tool peut-il avoir son intérêt dans le cas présent?

Dernière modification par sm2R (Wed 17 August 2011 10:55)

Hors ligne

 

#4 Thu 18 August 2011 09:11

Yves
Membre du bureau
Lieu: Aix-les-Bains
Date d'inscription: 22 Mar 2006
Messages: 9869
Site web

Re: Retours d'expérience - Conversion massive de données (géo)

Bonjour,

sm2R a écrit:

Existe-t-il des librairies de scripts qui soient accessibles? Un batch tool peut-il avoir son intérêt dans le cas présent?


C'est ce que je ferai pour ma part soit en python soit en bash (je suis sous Linux).

Sous Windows je pense qu'il sera plus facile de le faire sous Python mais je ne connais pas tes compétences ni ta motivation wink

Y.

Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !!  - GeoRezo vous aide ? Aidez GeoRezo !

Hors ligne

 

#5 Thu 18 August 2011 11:58

sm2R
Participant occasionnel
Date d'inscription: 19 Mar 2008
Messages: 34

Re: Retours d'expérience - Conversion massive de données (géo)

Il en faudra beaucoup ...  : )

Merci de ces quelques pistes.

Hors ligne

 

#6 Thu 18 August 2011 12:19

MathieuB
Membre du bureau
Lieu: Montpellier
Date d'inscription: 18 Jan 2006
Messages: 1228
Site web

Re: Retours d'expérience - Conversion massive de données (géo)

Bonjour,

j'ai réalisé ce genre de choses avec un script php (on oublie souvent qu'on peut l'utiliser en ligne de commande : http://php.net/manual/fr/features.commandline.php).

http://sig.cenlr.org/outils/ogr2ogr/cas … e_fichiers

A adapter selon vos besoins.

Dernière modification par Mathieu BOSSAERT (Thu 18 August 2011 12:22)

Mathieu BOSSAERT
Association GeoRezo

Hors ligne

 

#7 Fri 19 August 2011 17:04

Nicolas Granier
Participant assidu
Date d'inscription: 19 Apr 2007
Messages: 271

Re: Retours d'expérience - Conversion massive de données (géo)

Bonjour,

Même avis que Yves : Windoxs + Python + OGR

Nicolas GRANIER

Hors ligne

 

#8 Wed 31 August 2011 11:51

MathieuB
Membre du bureau
Lieu: Montpellier
Date d'inscription: 18 Jan 2006
Messages: 1228
Site web

Re: Retours d'expérience - Conversion massive de données (géo)

Bonjour,

une commande dos en remplacement du script php mentionné plus haut :

Code:

for /R %F IN (*.tab) DO ogr2ogr -f "ESRI ShapeFile" -s_srs "EPSG:2154" -t_srs "EPSG:2154" "%~dF%~pF%~nF.shp" "%F"

%~dF est la lettre du lecteur (drive) contenant le fichier,
    %~pF est le chemin (path) du fichier sur ce lecteur,
    %~nF est le nom du fichier sans extension.

http://sig.cenlr.org/outils/ogr2ogr/cas … mmande_dos

Mathieu BOSSAERT
Association GeoRezo

Hors ligne

 

#9 Thu 01 September 2011 13:35

sm2R
Participant occasionnel
Date d'inscription: 19 Mar 2008
Messages: 34

Re: Retours d'expérience - Conversion massive de données (géo)

Bonjour,

En guise de retour suite à mes essais sur les différentes solutions proposées par Mathieu :

1. Script php : j'ai dû légèrement l'adapter pour qu'il tourne avec FWTools Shell sous windows. Notamment, toute insertion d'une instruction du type " -append, -owerwrite ou -update" me retourne un message d'erreur. Je n'ai pas d'explication à ce problème mais il semble que si je ne la mets pas, le résultat reste correct (à confirmer peut-être par d'autres tests).

2. La commande DOS fonctionne également est a le grand mérite de la concision.

Je l'ai légèrement allégée dans une écriture qui semble retourner exactement les mêmes résultats :
for /R %F IN <*.TAB> DO ogr2ogr -f "ESRI Shapefile" -s_srs "EPSG:2154" -t_srs "EPSG:2154" %F.shp %F


Merci pour les apports de chacun et en particulier de Mathieu BOSSAERT.


Cordialement,
PR

Hors ligne

 

#10 Thu 01 September 2011 18:45

MathieuB
Membre du bureau
Lieu: Montpellier
Date d'inscription: 18 Jan 2006
Messages: 1228
Site web

Re: Retours d'expérience - Conversion massive de données (géo)

Bonsoir,

sm2R a écrit:

Bonjour,
Je l'ai légèrement allégée dans une écriture qui semble retourner exactement les mêmes résultats :
for /R %F IN <*.TAB> DO ogr2ogr -f "ESRI Shapefile" -s_srs "EPSG:2154" -t_srs "EPSG:2154" %F.shp %F


le fichier sera dans ce cas renommé xxx.TAB.shp

Dernière modification par Mathieu BOSSAERT (Thu 01 September 2011 18:45)

Mathieu BOSSAERT
Association GeoRezo

Hors ligne

 

 

Pages: 1

Pied de page des forums

Powered by FluxBB