Annonce
L'appel à participation est ouvert jusqu'au 19 janvier 2025!
Pages: 1
- Sujet précédent - Retours d'expérience - Conversion massive de données (géo) - Sujet suivant
#1 Wed 17 August 2011 10:02
- sm2R
- Participant occasionnel
- Date d'inscription: 19 Mar 2008
- Messages: 34
Retours d'expérience - Conversion massive de données (géo)
Bonjour,
Je dispose d'une collection de fichiers SIG (plusieurs centaines) essentiellement en .tab, répartis au sein d'une arborescence de dossiers et sur lesquels je souhaite effectuer des opérations de conversion (format / coordonnées).
Avant de me lancer, je suis à la recherche de retours d'expériences (processus / outils utilisés) portant sur la conversion de formats hétéroclites (p.ex: mif/mid, tab -> shp ou éventuellement geodatabase) pouvant être assortie d'une reprojection (-> Lambert 93).
j'ai entre autres à ma disposition :
- Mapinfo
- Arcgis desktop
- Spatial Data Integrator
Je ne dispose en revanche pas de FME.
Existe-t-il des solutions pour automatiser ce genre d'opération en conservant si possible l'organisation de mes dossiers?
J'imagine que la tâche n'est pas forcément aisée, merci donc de vos conseils éclairés.
Hors ligne
#2 Wed 17 August 2011 10:21
Re: Retours d'expérience - Conversion massive de données (géo)
Bonjour,
Quelques questions :
* le schéma des données sont toutes différentes à priori ?
* cette conversion est réalisée une fois pour toute ou devra être réalisé régulièrement ?
En fonction des réponses un ETL spatial sera pertinent ou non. Si les réponses au deux questions sont respectivement oui et non je partirai sur un script bash/dos/python avec GDAL-OGR, si les réponses sont "non et non" ou "oui et non" (toujours respectivement), l'ETL est pertinent et la "perte" de temps pour définir éventuellement les schémas (qui sont automatiquement récupéré par SDI) sera largement compensé au final par le gain de temps à long terme.
Y.
Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !! - GeoRezo vous aide ? Aidez GeoRezo !
Hors ligne
#3 Wed 17 August 2011 10:54
- sm2R
- Participant occasionnel
- Date d'inscription: 19 Mar 2008
- Messages: 34
Re: Retours d'expérience - Conversion massive de données (géo)
Merci
Les réponses à ces deux questions :
* le schéma des données sont toutes différentes à priori ?
-> OUI
* cette conversion est réalisée une fois pour toute ou devra être réalisée régulièrement ?
-> Une fois pour toute pour les données en banque, bien que de nouveaux lots de données puissent être ponctuellement concernés à l'avenir
Je n'ai pas une maîtrise éprouvée de SDI, et mes essais jusqu'à présent n'ont pas été très concluants (je ne mets pas en cause le logiciel mais plus mon manque de temps pour le dompter). Est-il possible d'estimer le temps nécessaire pour réaliser un projet de ce type avec cet ETL?
Existe-t-il des librairies de scripts qui soient accessibles? Un batch tool peut-il avoir son intérêt dans le cas présent?
Dernière modification par sm2R (Wed 17 August 2011 10:55)
Hors ligne
#4 Thu 18 August 2011 09:11
Re: Retours d'expérience - Conversion massive de données (géo)
Bonjour,
Existe-t-il des librairies de scripts qui soient accessibles? Un batch tool peut-il avoir son intérêt dans le cas présent?
C'est ce que je ferai pour ma part soit en python soit en bash (je suis sous Linux).
Sous Windows je pense qu'il sera plus facile de le faire sous Python mais je ne connais pas tes compétences ni ta motivation 
Y.
Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !! - GeoRezo vous aide ? Aidez GeoRezo !
Hors ligne
#5 Thu 18 August 2011 11:58
- sm2R
- Participant occasionnel
- Date d'inscription: 19 Mar 2008
- Messages: 34
Re: Retours d'expérience - Conversion massive de données (géo)
Il en faudra beaucoup ... : )
Merci de ces quelques pistes.
Hors ligne
#6 Thu 18 August 2011 12:19
Re: Retours d'expérience - Conversion massive de données (géo)
Bonjour,
j'ai réalisé ce genre de choses avec un script php (on oublie souvent qu'on peut l'utiliser en ligne de commande : http://php.net/manual/fr/features.commandline.php).
http://sig.cenlr.org/outils/ogr2ogr/cas … e_fichiers
A adapter selon vos besoins.
Dernière modification par Mathieu BOSSAERT (Thu 18 August 2011 12:22)
Mathieu BOSSAERT
Association GeoRezo
Hors ligne
#7 Fri 19 August 2011 17:04
- Nicolas Granier
- Participant assidu
- Date d'inscription: 19 Apr 2007
- Messages: 271
Re: Retours d'expérience - Conversion massive de données (géo)
Bonjour,
Même avis que Yves : Windoxs + Python + OGR
Nicolas GRANIER
Hors ligne
#8 Wed 31 August 2011 11:51
Re: Retours d'expérience - Conversion massive de données (géo)
Bonjour,
une commande dos en remplacement du script php mentionné plus haut :
Code:
for /R %F IN (*.tab) DO ogr2ogr -f "ESRI ShapeFile" -s_srs "EPSG:2154" -t_srs "EPSG:2154" "%~dF%~pF%~nF.shp" "%F"
%~dF est la lettre du lecteur (drive) contenant le fichier,
%~pF est le chemin (path) du fichier sur ce lecteur,
%~nF est le nom du fichier sans extension.
http://sig.cenlr.org/outils/ogr2ogr/cas … mmande_dos
Mathieu BOSSAERT
Association GeoRezo
Hors ligne
#9 Thu 01 September 2011 13:35
- sm2R
- Participant occasionnel
- Date d'inscription: 19 Mar 2008
- Messages: 34
Re: Retours d'expérience - Conversion massive de données (géo)
Bonjour,
En guise de retour suite à mes essais sur les différentes solutions proposées par Mathieu :
1. Script php : j'ai dû légèrement l'adapter pour qu'il tourne avec FWTools Shell sous windows. Notamment, toute insertion d'une instruction du type " -append, -owerwrite ou -update" me retourne un message d'erreur. Je n'ai pas d'explication à ce problème mais il semble que si je ne la mets pas, le résultat reste correct (à confirmer peut-être par d'autres tests).
2. La commande DOS fonctionne également est a le grand mérite de la concision.
Je l'ai légèrement allégée dans une écriture qui semble retourner exactement les mêmes résultats :
for /R %F IN <*.TAB> DO ogr2ogr -f "ESRI Shapefile" -s_srs "EPSG:2154" -t_srs "EPSG:2154" %F.shp %F
Merci pour les apports de chacun et en particulier de Mathieu BOSSAERT.
Cordialement,
PR
Hors ligne
#10 Thu 01 September 2011 18:45
Re: Retours d'expérience - Conversion massive de données (géo)
Bonsoir,
Bonjour,
Je l'ai légèrement allégée dans une écriture qui semble retourner exactement les mêmes résultats :
for /R %F IN <*.TAB> DO ogr2ogr -f "ESRI Shapefile" -s_srs "EPSG:2154" -t_srs "EPSG:2154" %F.shp %F
le fichier sera dans ce cas renommé xxx.TAB.shp
Dernière modification par Mathieu BOSSAERT (Thu 01 September 2011 18:45)
Mathieu BOSSAERT
Association GeoRezo
Hors ligne
Pages: 1
- Sujet précédent - Retours d'expérience - Conversion massive de données (géo) - Sujet suivant
