Annonce
#1 Mon 23 March 2009 16:35
Fonctionnement incrémental du Batch
Bonjour,
J'ai la problématique suivante : + ou - 10 000 fichiers DGN (même structure) --> conversion d'un Shape par couche (soit 4).
Avec Workbench mes quatre Shapes se remplissent mais au bout d'un certain temps mon PC plante pour un problème de mémoire ...
Je tente donc un 'Batch deploy' en pensant qu'il devrait être moins gourmand en mémoire. Le hic c'est lorsque j'exécute le 'batch' il crée les shapes dans un répertoire distinct pour chaque fichier. Ex Le fichier tagada.dgn --> création d'un répertoire tagada qui lui même va contenir les 4 shapes ...
Cette différence de comportement est il normal ?
Comment peut-on forcer un merge des fichiers en mode batch ?
Version de FME 2009 (build 5660)
Merci
Fred
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#2 Mon 23 March 2009 16:44
- Pierre
- DesCartesPourUnMondeMeilleur
- Date d'inscription: 22 Sep 2005
- Messages: 1643
Re: Fonctionnement incrémental du Batch
Bonjour,
N'y a-t'il pas un paramètre à publier avant de déployer le batch (FANOUT by fme_basename par exemple ?) ?
art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.
Hors ligne
#3 Mon 23 March 2009 17:52
Re: Fonctionnement incrémental du Batch
J'ai cru que c'était bon en faisant un FANOUT par Group mais là il efface les fichiers au fur et à mesure qu'il les écrit 
Bref je vais tenter d'un autre PC mais je reste preneur du truc.
Fred
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#4 Mon 23 March 2009 20:12
- Pierre
- DesCartesPourUnMondeMeilleur
- Date d'inscription: 22 Sep 2005
- Messages: 1643
Re: Fonctionnement incrémental du Batch
Modifier le fme_basename dans un concatenor avec fme_basename+un id ou le fme_geometry. Comme çà le basename est diffèrent pour chaque type de géométrie du fichier. Il devrait écrire maintenant tous les fichiers. Demain je joins un exemple de fmw si besoin.
art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.
Hors ligne
#5 Mon 23 March 2009 23:58
Re: Fonctionnement incrémental du Batch
J'ai bien peur que vous ne soyez "coincé". Le traitement batch est une bonne idée pour diminuer la mémoire utilisée mais dans ce cas vous allez écraser systématiquement le dernier fichier créé et au final vous n'aurez que le 10 000ème fichier dgn dans votre résultat.
La solution propre consiste à faire le chargement dans une base de données type postgis, mysql spatial, oracle locator ou autre puisque dans ce cas le chargement incrémental est possible. Vous pourez ensuite passer au shp sans problème.
Vous pouvez même utiliser un simple ms-access en stockant la géométrie sous forme de chaîne (GeometryExtractor).
Vous pouvez également essayer de regrouper vos 10000 dgn en un dizaine de shp puis regrouper les shp mais le résultat n'est pas garanti.
Sinon, il faut rajouter quelques barrettes de ram dans votre machine...
Hors ligne
#6 Tue 24 March 2009 09:25
Re: Fonctionnement incrémental du Batch
Olivier,
Je ne comprends pas pourquoi le fonctionnement incrémental est possible en direct dans le Workbench et pas via batch ... Un paramètre bien placé ne suffit-il pas ?
Brindavoine, je veux bien ton exemple, ci-joint 3 exemples de fichier DGN si cela peut aider.
Merci en tous cas pour vos réponses.
Fred
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#7 Tue 24 March 2009 13:37
Re: Fonctionnement incrémental du Batch
Le problème est le même avec workbench.
Si tu lances à la suite 2 traitements workbench écrivant dans le même fichier destination le deuxième traitement va écraser le résultat du premier.
Hors ligne
#8 Tue 24 March 2009 13:59
- Pierre
- DesCartesPourUnMondeMeilleur
- Date d'inscription: 22 Sep 2005
- Messages: 1643
Re: Fonctionnement incrémental du Batch
Ci joint le fichier comme je le construirais.
art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.
Hors ligne
#9 Thu 26 March 2009 13:18
Re: Fonctionnement incrémental du Batch
Olivier, Mon traitement en workbench avec 1 000 DWG incrémente bien le fichier Shape en sortie ...
Brindavoine, désolé je n'ai pas vu ta réponse plus tôt, je regarde ça asap.
Fred
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#10 Fri 27 March 2009 15:14
Re: Fonctionnement incrémental du Batch
Oui, mais c'est le même traitement workbench donc avec les mêmes problèmes d'utilisation mémoire.
Hors ligne
