#1 Thu 21 April 2016 09:42
- ccpg_louis
- Participant occasionnel
- Date d'inscription: 29 Oct 2015
- Messages: 28
FME reading feature
Bonjour,
j'ai un fichier (extraction des données osm d'une région) et lorsque je veux lire ces données avec FME (ex inspector sur landuse), Le reading source feature est extrement long (ya des millions d'entités) . est-ce normal? y a t-il possibilité de prendre un échantillon via FME ?
Merci
Hors ligne
#2 Thu 21 April 2016 10:27
Re: FME reading feature
Bonjour,
Utilise le transformer sampler que tu paramètres soit pour prendre les x premiers objets ou un échantillon de x objets
Dernière modification par heretik25 (Thu 21 April 2016 10:27)
Freelance traitements ETL FME certifié: www.sitdi-france.fr Twitter : @sitdifrance
Site perso ~ www.partir-en-vtt.com
Hors ligne
#3 Thu 21 April 2016 10:54
- ccpg_louis
- Participant occasionnel
- Date d'inscription: 29 Oct 2015
- Messages: 28
Re: FME reading feature
Bonjour,
Merci pour la réponse. j'ai essayé, toutefois du reader vers le transformer "sampler" il commence par faire un "reading source feature" en amont et ça qui prend du temps
Hors ligne
#4 Thu 21 April 2016 11:11
Re: FME reading feature
Le reader OSM de FME est assez inefficace pour les fichiers volumineux.
La solution que je recommande est de passer par les outils OSM en ligne de commande pour charger le fichier dans postgis puis de passer par FME pour restructurer les données et les exporter en fonction de vos besoins. C'est plus complexe et il faut se plonger dans le modèle de données OSM mais on a ainsi accès à l'intégralité des données.
Hors ligne
#5 Thu 21 April 2016 11:28
- pyjoubert
- Participant assidu
- Lieu: Lyon
- Date d'inscription: 21 Mar 2006
- Messages: 347
Re: FME reading feature
Je pense que tu ne peux rien y faire hormis "degraisser" le jeu en entrée.
La 1ere chose que FME fait, c'est lire toutes les entités en entrée
D'ailleurs tu peux essayer de faire un workbench sans transfomer, il lira toutes tes entités en entrée
Hors ligne
#6 Thu 21 April 2016 11:33
- ccpg_louis
- Participant occasionnel
- Date d'inscription: 29 Oct 2015
- Messages: 28
Re: FME reading feature
ok Merci ! je vais prendre la solution postgis...Merci encore
Hors ligne
#7 Thu 21 April 2016 11:56
Re: FME reading feature
Une question liée pour @ogayte :
Est-ce que FME est capable de lire toutes les données une fois avant de tester sa moulinette ?
Je m'explique, l'idée est d'éviter que fme relise toutes les entités pour tester les modifications. On lui dirait "jusqu'ici rien n'a été modifié, pas la peine de relancer la lecture du fichier source et le test de ces fonctions".
Bien-sûr on peut aussi tester sa moulinette sur un plus petit lot de données mais cela nécessite de réécrire un fichier.
Merci pour la réponse.
Dernière modification par heretik25 (Thu 21 April 2016 11:57)
Freelance traitements ETL FME certifié: www.sitdi-france.fr Twitter : @sitdifrance
Site perso ~ www.partir-en-vtt.com
Hors ligne
#8 Thu 21 April 2016 12:40
Re: FME reading feature
Mon interprétation personnelle est que FME utilise un parser XML de type DOM qui nécessite une lecture de l'ensemble du jeu de données avant de pouvoir l'exploiter. DOM est intéressant en terme de qualité : si le fichier n'est pas valide aucune entité n'est générée. Par contre c'est quasiment inexploitable pour les gros volumes (cas des fichiers planet d'OSM).
Un parser de type SAX permettrait d'exploiter des jeux de données plus rapidement et avec moins de mémoire mais avec le risque de traiter des documents non valides.
Encore une fois c'est un avis personnel, on pourrait sans doute vérifier en regardant dans le log.
Hors ligne
#9 Thu 21 April 2016 13:32
- LASGOUZES
- Participant assidu
- Date d'inscription: 6 Mar 2006
- Messages: 169
Re: FME reading feature
Bonjour,
Il est possible avec osmconvert.exe de limiter l'emprise en générant un extrait sur un morceau de territoire, cet extrait devient beaucoup plus facile à traiter par Fme.
Cdt.
Hors ligne