Le portail francophone de la géomatique

Matthieu-VEREMES · Tue 01 July 2008 14:40

Bonjour,

J'ai le plaisir de vous annoncer que depuis la bêta FME 2009 build 5513 (25 mars 2008), les fichiers EDIGEO sont directement lus en tar.bz2. Il n'est plus utile de les décompresser préalablement.

C'est une bonne chose car les feuilles portent maintenant le même nom (EDIGEO01.THF, EDIGEO02.THF, ...) quelles que soient les sections ce qui est source d'erreurs après décompression.

J'ai testé et n'ai pas rencontré de soucis.

Vous pouvez télécharger FME 2009 Bêta à cette adresse :
http://downloads.safe.com/fme/fme_beta.exe

Jérôme TEIXEIRA · Tue 01 July 2008 15:58

Merci pour cette info Matthieu. C'est effectivement assez inestimable. Je teste dans la semaine.
Cordialement.

xav · Fri 22 August 2008 14:38

Salut Jej,

Comment que ça va ?

t'as eu le temps de tester ?

Au niveau perf ça donne quoi par rapport aux fichiers non compressé ?

@ bientôt

Jérôme TEIXEIRA · Fri 22 August 2008 15:06

Salut Kénav.

Top forme en 17. Quand est-ce que l'on se voit. Tu comptes descendre...es-tu toujours en recherche de stage. Le SI17 pourrait t'accueillir si tu le souhaites. Nous pourrions ainsi échanger nos expériences...

Et bien non, je n'ai pas eu le temps de la tester malheureusement. Trop à faire avec tous les projets en 17 et avec certains EDIGéO non conforme malgré le fait que ce soit une norme.

Je pense la tester FME 2009 mi-octobre. Reste à savoir s'il s'agira d'une bêta ou de la version officielle.
C'est vrai que cette MAJ du reader PCI-EDIGEO avec FME 2009 est très attendue ici.
Aujourd'hui, nous sommes obligé de bricoler la décompression avec "pci_toolbox" et avec un script maison + un FDS sur mesure dans le cas d'EDIGéO mal structuré ou mal construit.

N'hésite pas à prendre le téléphone pour en discuter.

@ très bientôt

Jérôme Teixeira
Pôle SIG SI17
j.teixeira@texte-a-enlever.si17.fr

05.46.92.31.61

xav · Tue 26 August 2008 16:44

Bonjour,

j'ai finalement pris un peu de temps pour tester FME 2009 avec des fichier Edigeo compressé.

Cette version fonctionne très bien, la différence de temps de traitement entre des fichiers non compressé et des fichiers compressé est minime.

Je l'ai testé avec un traitement permet de générer des fichiers géoconcept à partir des fichier PCI-Edigeo.
Les temps de traitement

pour une commune comportant 191 946 objets sont les suivants :

- à partir des fichiers non compressés : 25 min et 58 sec
- à partir des fichiers compressés : 26 min et 43 sec

pour une petite commune comportant 31 702 objets sont les suivants :

- à partir des fichiers non compressés : 3 min et 48 sec
- à partir des fichiers compressés : 3 min et 56 sec

Je n'ai effectué chaque test qu'une seule fois donc ces mesures restent approximatives.

Je vais essayer de prendre un peu de temps pour effectuer le test sur la totalité de la communauté d'agglo (environ 750 000 objets).

J'ai le même genre de traitement pour générer du DGN mais j'ai une erreur (à priori sur une formule) lorsque je le lance avec FME 2009.

Matthieu-VEREMES · Tue 26 August 2008 17:07

Merci pour ce retour

Jérôme TEIXEIRA · Tue 26 August 2008 17:18

Salut Kénav.
Merci d'avoir pris sur ton temps pour tester l'intégration du tar-bz2 sous FME 2009. Et merci de le communiquer à la communauté, sympa.

Mais lors de notre discussion téléphonique, nous avons zoomé sur les livraisons CDIF et moins sur l'intégration. Quel est le format de destination de ton côté ?

Jérôme Teixeira
Chargé de mission SIG Pôle SIG Syndicat Informatique 17

xav · Wed 27 August 2008 11:38

Salut Jej

J'ai actuellement 2 traitements, un pour transformer PCI Edigéo au format Géoconcept (que nous remontons ensuite dans la base oracle) et un autre au format Microstation.

Je repars à chaque fois des fichiers PCI Edigéo car les 2 intégration sont légèrement différentes et je trouvais plus simple de faire 2 traitements qui partent des fichiers Edigéo plutôt que de repartir d'une des intégration pour faire l'autre.

Pour le traitement Géoconcept, j'ai 2 fichier en sortie. Un 1er avec le cadastre à intégrer dans la base oracle et un autre avec les objets que nous ne récupérons pas (ex : les ponctuels des n° de voirie, les ensembles bâtis, ...) et ceux qui ne seraient pas traité à cause d'un problème dans les données (ex pas de code sym).

Pour le traitement DGN, j'ai un répertoire par commune et un fichier par section plus un fichier avec toutes les sections de chaque commune et un fichier avec chaque contour de commune (ca doit faire dans les 300/400 fichiers) et je généré aussi un fichier Géoconcept avec les objets non traité (c'était plus simple d'avoir un fichier GC car ça permet de mettre en attribut le nom du fichier source, l'id de l'objet Edigéo, du coup en cas de problème c'est plus simple pour rechercher sa source).

Les tests sur toute la communauté d'agglo sont presque terminé, la différence temps de temps de traitement entre les fichiers compressé et les fichiers non compressé à l'air vraiment minime. Je dirais 2/3 minutes pour un traitement d'environ 1h30 et 700 000 objets.

xav · Wed 27 August 2008 17:16

J'ai terminé l'intégration sur toute l'agglo, ça a mis une minute de plus avec les fichiers décompressés (sur un traitement d'environ 1h30).

On peut donc en déduire que le temps de décompression des fichiers par FME est négligeable.

Jérôme TEIXEIRA · Fri 29 August 2008 11:16

Salut Kénav.

Merci pour les détails. Ils me permettent de mieux appréhender les performances FME liés à tes tests d'intégration et de modélisation.

De notre côté, nous intégrons le PCI sous la cartouche spatiale de Postgis. Nous avons adapté le script d'intégration de Vérémes en éclatant les tables un peu plus exhaustivement.
Lançons une modélisation maison avec :

- un champ "ogc_id" permettant à ArcGis 9.2 de lire la géométrie des objets stockés sous Postgis
- date d'intégration,
- couche d'origine aussi,
- localisation aussi des cellules vides du champ "SYM" sur certaines tables (ex. objets_ponctuels_divres + objets_lineaire_divres,etc).
- création de géodatabases esri
- chaîne de contrôle du PCI livré par les CDIF ou les prestataires de numérisation (assemblage intra et intercopmmunal, conformité à la norme EDIGéO, structure attributaire,...)

Je te tiendrai de la même façon au courant de nos tests d'intégration, modélisation et de contrôle via la béta FME 2009 avec reader PCI-EDIGéO 2009.

Encore merci pour la qualité des échanges.

@+

Jérôme Teixeira
Chargé de mission SIG Pôle SIG SI17
j.teixeira@texte-a-enlever.si17.fr

Stéphane Mével · Fri 29 August 2008 12:18

Bonjour,

Merci pour ses retours de traitement du PCI vecteur.
Peux-tu nous détailler votre chaîne de contrôle ?
Cordialement,
--
Stéphane Mével-Viannay
Chargé de mission géomatique, SIG et cadastre
Tél. 02 99 02 33 45 / Fax 02 99 02 39 13

Conseil Général d'Ille-et-Vilaine
Direction générale des Services Départementaux
Service Evaluation et Prospective
Hôtel du Département
1, avenue de la Préfecture - CS 24218
35042 Rennes cedex

Jérôme TEIXEIRA · Fri 07 November 2008 12:45

Bonjour Kénav.

Ca y est, nos batteries de test sont bien finalisées à ce sujet. C'est effectivement très positif.
Les temps d'intégration sont réellement très bon, les performances d'intégration et de modélisation du moteur FME restent excellentes.
Les Workbenchs créé sous FME 2007, peaufiné sous FME 2008 sont bien compatibles. Que du bonheur.

Nous faisons du 4 en 1 :
Intégration du tar.bz², contrôle qualité suivant la norme de construction du PCI, modélisation, conversion.

Aucun conflit entre les différentes versions 2008, 2009 et 2007.

Aucun souci avec le Gentrans.

As-tu ton hôtel pour la journée Utilisateur FME à Lyon ?

A très bientôt

Jérôme Teixeira
Chargé de mission SIG - Pôle SIG Syndicat Informatique de Charente-Maritime
j.teixeira@texte-a-enlever.si17.fr
05.46.92.31.61

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Annonce

#1 Tue 01 July 2008 14:40

Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#2 Tue 01 July 2008 15:58

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#3 Fri 22 August 2008 14:38

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#4 Fri 22 August 2008 15:06

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#5 Tue 26 August 2008 16:44

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#6 Tue 26 August 2008 17:07

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#7 Tue 26 August 2008 17:18

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#8 Wed 27 August 2008 11:38

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#9 Wed 27 August 2008 17:16

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#10 Fri 29 August 2008 11:16

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#11 Fri 29 August 2008 12:18

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

#12 Fri 07 November 2008 12:45

Re: Information FME 2009 Bêta : Prise en charge du format EDIGEO tar.bz2

Pied de page des forums