banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Rencontres QGIS 2025

L'appel à participation est ouvert jusqu'au 19 janvier 2025!

#1 Thu 21 April 2016 09:42

ccpg_louis
Participant occasionnel
Date d'inscription: 29 Oct 2015
Messages: 28

FME reading feature

Bonjour,

j'ai un fichier (extraction des données osm d'une région) et lorsque je veux lire ces données avec FME (ex inspector sur landuse), Le reading source feature est extrement long (ya des millions d'entités) . est-ce normal? y a t-il possibilité de prendre un échantillon via FME ?

Merci

Hors ligne

 

#2 Thu 21 April 2016 10:27

Loic_GR
Moderateur
Lieu: Besancon
Date d'inscription: 12 May 2011
Messages: 1025
Site web

Re: FME reading feature

Bonjour,

Utilise le transformer sampler que tu paramètres soit pour prendre les x premiers objets ou un échantillon de x objets

Dernière modification par heretik25 (Thu 21 April 2016 10:27)


Freelance traitements ETL FME certifié: www.sitdi-france.fr Twitter : @sitdifrance
Site perso ~ www.partir-en-vtt.com

Hors ligne

 

#3 Thu 21 April 2016 10:54

ccpg_louis
Participant occasionnel
Date d'inscription: 29 Oct 2015
Messages: 28

Re: FME reading feature

Bonjour,

Merci pour la réponse. j'ai essayé, toutefois du reader vers le transformer "sampler" il commence par faire un "reading source feature" en amont et ça qui prend du temps

Hors ligne

 

#4 Thu 21 April 2016 11:11

ogayte
Participant assidu
Lieu: Saint-Estève
Date d'inscription: 6 Mar 2006
Messages: 658
Site web

Re: FME reading feature

Le reader OSM de FME est assez inefficace pour les fichiers volumineux.
La solution que je recommande est de passer par les outils OSM en ligne de commande pour charger le fichier dans postgis puis de passer par FME pour restructurer les données et les exporter en fonction de vos besoins. C'est plus complexe et il faut se plonger dans le modèle de données OSM mais on a ainsi accès à l'intégralité des données.


Olivier Gayte
http://www.veremes.com
+33 (0)4-68-38-65-27

Hors ligne

 

#5 Thu 21 April 2016 11:28

pyjoubert
Participant assidu
Lieu: Lyon
Date d'inscription: 21 Mar 2006
Messages: 347

Re: FME reading feature

Je pense que tu ne peux rien y faire hormis "degraisser" le jeu en entrée.
La 1ere chose que FME fait, c'est lire toutes les entités en entrée

D'ailleurs tu peux essayer de faire un workbench sans transfomer, il lira toutes tes entités en entrée

Hors ligne

 

#6 Thu 21 April 2016 11:33

ccpg_louis
Participant occasionnel
Date d'inscription: 29 Oct 2015
Messages: 28

Re: FME reading feature

ok Merci ! je vais prendre la solution postgis...Merci encore

Hors ligne

 

#7 Thu 21 April 2016 11:56

Loic_GR
Moderateur
Lieu: Besancon
Date d'inscription: 12 May 2011
Messages: 1025
Site web

Re: FME reading feature

Une question liée pour @ogayte :


Est-ce que FME est capable de lire toutes les données une fois avant de tester sa moulinette ?

Je m'explique, l'idée est d'éviter que fme relise toutes les entités pour tester les modifications. On lui dirait "jusqu'ici rien n'a été modifié, pas la peine de relancer la lecture du fichier source et le test de ces fonctions".


Bien-sûr on peut aussi tester sa moulinette sur un plus petit lot de données mais cela nécessite de réécrire un fichier.

Merci pour la réponse.

Dernière modification par heretik25 (Thu 21 April 2016 11:57)


Freelance traitements ETL FME certifié: www.sitdi-france.fr Twitter : @sitdifrance
Site perso ~ www.partir-en-vtt.com

Hors ligne

 

#8 Thu 21 April 2016 12:40

ogayte
Participant assidu
Lieu: Saint-Estève
Date d'inscription: 6 Mar 2006
Messages: 658
Site web

Re: FME reading feature

Mon interprétation personnelle est que FME utilise un parser XML de type DOM qui nécessite une lecture de l'ensemble du jeu de données avant de pouvoir l'exploiter. DOM est intéressant en terme de qualité : si le fichier n'est pas valide aucune entité n'est générée. Par contre c'est quasiment inexploitable pour les gros volumes (cas des fichiers planet d'OSM).
Un parser de type SAX permettrait d'exploiter des jeux de données plus rapidement et avec moins de mémoire mais avec le risque de traiter des documents non valides.
Encore une fois c'est un avis personnel, on pourrait sans doute vérifier en regardant dans le log.


Olivier Gayte
http://www.veremes.com
+33 (0)4-68-38-65-27

Hors ligne

 

#9 Thu 21 April 2016 13:32

LASGOUZES
Participant assidu
Date d'inscription: 6 Mar 2006
Messages: 169

Re: FME reading feature

Bonjour,
Il est  possible avec osmconvert.exe de limiter l'emprise en générant un extrait sur un morceau de territoire, cet extrait devient beaucoup plus facile à traiter par Fme.

Cdt.

Hors ligne

 

Pied de page des forums

Powered by FluxBB