#1 Thu 04 April 2024 11:47
- Marie Lamballais
- Juste Inscrit !
- Date d'inscription: 8 Jul 2022
- Messages: 2
Flux WFS Megalis - FME > 200 000 rows
Bonjour,
Sous FME, j'essaie de récupérer le flux https://geobretagne.fr/geoserver/megalis/wfs
qui comporte presque 200 000 rows.
Dans FME le chargement se bloque à 50 000, alors que dans qgis il n'y a pas de souci.
(je pense que Qgis gère par défaut la notion de pagination)
Est ce que qqn saurait comment on peut en place un alias de pagination dans FME pour que le chargement se fasse dans son ensemble ?
Merci à vous, bonne journée.
Hors ligne
#2 Fri 05 April 2024 08:59
Re: Flux WFS Megalis - FME > 200 000 rows
Bonjour,
à la base un service WFS n'est pas vraiement prévu pour récupérer toutes les données mais plutôt pour afficher les données sur une zone restreinte.
Sous FME il faudrait passer par une boucle ou un cloner qui ferait l'appel des données par tranche de 50 k données ou en passant la pagination au flux sur celui-ci le gère.
Freelance traitements ETL FME certifié: www.sitdi-france.fr Twitter : @sitdifrance
Site perso ~ www.partir-en-vtt.com
Hors ligne
#3 Fri 05 April 2024 09:48
- Hydrolithe
- Participant assidu
- Lieu: Lyon
- Date d'inscription: 21 Apr 2010
- Messages: 223
Re: Flux WFS Megalis - FME > 200 000 rows
Bonjour,
Alors je viens de tester avec la table "suivi_adresse" qui contient 924235 objets. Le flux https://geobretagne.fr/geoserver/megalis/wfs est paginé à 50000 objets.
Dans le paramétrage du Reader WFS, il faut indiquer :
"Version WFS" = 2.0.0.
"entités max" = nombre maximal d'objets que tu souhaites récupérer
"Index de départ" = 0
"Nombre d'entités" = 50000
En fait FME va boucler tous les 50000 objets et les télécharger.
Pierre
Hors ligne
#4 Mon 08 April 2024 22:32
- Marie Lamballais
- Juste Inscrit !
- Date d'inscription: 8 Jul 2022
- Messages: 2
Re: Flux WFS Megalis - FME > 200 000 rows
Merci pour vos retours.
Le paramétrage du Reader WFS correspond tout à fait à mes besoins, et par le fait au flux en question.
Je vais par ailleurs essayer de rajouter un filtre xml de type bbox pour limiter le flux et ses appels sur la zone requise.
Merci encore !
Marie
Hors ligne
