#1 Wed 14 December 2016 12:29
- Onésime
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 7 Dec 2007
- Messages: 46
Création tuilage TMS national: conseils?
Bonjour,
Nous devons générer à l’échelle nationale un tuilage en TMS de nos principaux fonds de cartes (Scan25, Ortho, Parcellaire, etc.) pour l’utilisation dans nos applications web et mobile déconnecté.
Par rapport à cela, j’ai plusieurs questions :
- Qu’est ce qui serait le plus simple et le plus rapide à exécuté pour créer ce tuilage ?
- Faire ce travail directement sur le serveur (via Qgis Serveur)
- Faire ce travail sur un ordinateur puis basculer le tuilage sur le serveur ensuite.
- Quelle solution utiliser ? Qgis, Gdal, ArcGis, autre ?
- Enfin, mon autre question est : est-il possible de gérer un niveau de compression des tuiles ? Pour diminuer la taille de stockage sur un espace définit.
Si vous avez des conseils, recommandations, etc. Je suis preneur.
J’ai trouvé quelques infos par rapport à gdal ici : http://georezo.net/forum/viewtopic.php?id=61325
Merci, A+, Onésime.
Hors ligne
#2 Wed 14 December 2016 15:19
Re: Création tuilage TMS national: conseils?
Bonjour,
Pour générer des tuiles, je préconiserai d'utiliser une application pour réaliser ce genre de chose : tilegeneration, mapcache, map_proxy, mapnik (mais cela signifie de l'utiliser comme serveur carto).
À propos de la génération des tuiles sur le poste ou sur un serveur puis une copie, c'est assez difficile. Cela va dépendre du réseau, de la vitesse d'écriture sur les disques, etc. Sur un serveur puissant (cpu et écriture disque) et un bon réseau, on peut penser que la 2eme solution est mieux.
Mapcache gère la compression il me semble et différent format de stockage. Le format de stockage doit jouer aussi (ainsi que pour la question précédente) !
Y.
Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !! - GeoRezo vous aide ? Aidez GeoRezo !
Hors ligne
#3 Wed 14 December 2016 15:57
- jeromehaas
- Participant occasionnel
- Lieu: Besançon
- Date d'inscription: 22 Feb 2012
- Messages: 33
Re: Création tuilage TMS national: conseils?
Bonjour,
Je ne sais pas si mes dires sont optimums, d'autres auront sans doute de meilleurs techniques que moi. Pour être plus exact, ce n’est qu’un retour d’expérience. J'ai réalisés de gros TMS (échelle de la France métropolitaine) et selon moi, le nerf de la guerre, c’est l’optimisation. Il est indispensable d'optimiser au maximum les données en amont. Cela signifie donc afficher la bonne donnée à la bonne résolution. Il ne faut pas faire une tuile de 256 pixels de côté représentant toute la France avec une ortho à 50cm, cela représente une puissance de calcul considérable pour un résultat similaire à l’usage d’une image avec un pixel à 1km. Cela fait quand même 4 000 000 de fois moins de pixel pour calculer la même image. Il faut donc segmenter les données en fonction des échelles, il existe assez de données gratuites pour faire cela (IGN, NASA…).
L’optimisation passe également par un travail préliminaire sur les données à grande. L’ortho en ecw va en règle général, le format et résolution sont directement utilisable avec des performances correctes. Pour le scan25, j’ai sans doute calculer les pyramides avant de faire les tuiles. La BD Parcellaire c’est une autre histoire. Avec un pixel à 10cm, ça fait beaucoup, beaucoup de pixels sur la France. La création de tuiles nécessite de multiples accès aux mêmes données selon les échelles. Il vaut donc mieux calculer une bonne fois pour toute ce qui est lourd et de ne plus que « lire » les données pour faire les tuiles. Pour cela j’avais créé un vrt de toutes les dalles puis un export de gros tifs (25 pour toute la BD parcellaire française avec la pleine résolution de 10cm) avec gdal. Il faut faire attention aux méthode de compression du tif, de mémoire j’avais utilisé du CCITTFAX4. J’ai en même temps calculer les pyramides (.ovr) pour avoir de bonnes performances d’affichage. C’est long, très long, mais les outils peuvent après calculer rapidement les tuiles.
Pour le calcul des tuiles en elles-mêmes j’avais utilisé Aigle pour les générer. D’autres sauront mieux que moi quoi utiliser
Malgré tout, je n’étais pas arrivé à précalculer les tuiles pour une échelle du 1000éme, nécessaire pour pouvoir lire le cadastre dans certaines sections. Le problème n’était pas véritablement technique mais le temps de calcul était vraiment trop long (des mois). J’avais opté pour un calcul jusqu’au 2500éme et une génération à la volé pour le 1000éme.
De toute manière, la création de ces différents TMS va prendre un temps considérable et va prendre une place considérable (de mémoire, j’étais à environ 3 mois de calcul pour 1To de tuiles). A titre d’info, j’avais effectué ces opérations sur une grosse infrastructure virtualisée, ce qui limite les problèmes de puissance et d’IO sur les disques. Il ne faut pas que les données transitent par le réseau pour calculer les tuiles, ça fait trop de latence. J’avais passé pas mal de temps à benchmarquer sur de petites zones pour voir quelle était la méthode la plus efficace.
Pour terminer quelques conseils sur les formats de tuiles :
-Tout ce qui a beaucoup de couleurs (scan25, ortho), en jpg
-Ce qui a peu de couleur, comme la bdparcellaire en png8
-De la transparence, pgn32
Bon courage
Jérôme
Dernière modification par jeromehaas (Wed 14 December 2016 15:58)
Hors ligne
#4 Wed 14 December 2016 17:34
- n314
- Participant assidu
- Date d'inscription: 6 Sep 2005
- Messages: 697
Re: Création tuilage TMS national: conseils?
Bonjour,
Je poserais naïvement la question: pourquoi ne pas utiliser un fournisseur de données tuilées (du genre http://professionnels.ign.fr/services-d … -selection par exemple) ? Cela dispense alors de construire/gérer l'infrastructure et la mise à jour des données.
Plus 'sérieusement', quoique dans un contexte ESRI, les pages ArcGIS Server autour de ses caches apportent des informations http://server.arcgis.com/fr/server/late … -cache.htm dont une grande partie est transposable/généralisable.
Et non cité car on en parle peu mais pourtant utilisé en production pour le geoportail, étudier l'usage de http://www.rok4.org/
Hors ligne
#5 Wed 14 December 2016 19:04
- jeromehaas
- Participant occasionnel
- Lieu: Besançon
- Date d'inscription: 22 Feb 2012
- Messages: 33
Re: Création tuilage TMS national: conseils?
Un fournisseur externe est à mon avis effectivement une bonne idée pour un usage purement connecter, mais il me semble que ce n'est pas forcément pertinent pour du mobile déconnecté. Pour les performances, c'est pas forcément terrible, en fonction de la surface à mettre en mémoire (combien de temps pour mettre une grande surface en cache ?). De plus, la dernière fois que j'ai lu les conditions d'utilisations de l'IGN, il était interdit d’extraites les données des webservices, donc de faire du déconnecté.
Hors ligne
#6 Thu 15 December 2016 10:11
- n314
- Participant assidu
- Date d'inscription: 6 Sep 2005
- Messages: 697
Re: Création tuilage TMS national: conseils?
De http://espaceloisirs.ign.fr/boutique/te … biles.html, des applis 'vitrine' mettent en cache sur mobiles, donc ça doit être possible !
Sinon, les données scan, ortho et parcellaire de l'IGN sont aussi sur http://www.esrifrance.fr/contenus-servi … rtail.aspx
Hors ligne
#7 Thu 15 December 2016 10:42
- Onésime
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 7 Dec 2007
- Messages: 46
Re: Création tuilage TMS national: conseils?
Bonjour,
Merci à vous pour les réponses et précisions.
En effet, travailler avec des flux peut paraitre plus simple, mais dans tous les cas, nous devrons faire le tuilage pour l'utilisation en mobile déconnecté... notre solution (Aigle / Geo) peut faire ce tuilage (mais est-ce le plus performant?), donc autant le faire en interne.
Je vais continuer à explorer et j'essaierais de mettre un retour quand on aura fait l'opération, ça peut être dans plusieurs mois...
Bonne journée, Onésime.
Hors ligne
#8 Fri 16 December 2016 09:27
Re: Création tuilage TMS national: conseils?
Bonjour,
Sujet intéressant, effectivement.
Il nous manque (sur GeoRezo), un petit comparatif des deux principaux fournisseurs de données IGN tuilées (le GPP de l'IGN, et les services d'ESRI France).
Pourquoi deux plateformes de services et comment ces acteurs se répartissent le gâteau?
Par exemple, quand je travaille avec des solutions ESRI, puis-je accéder directement aux données du GPP, ou bien suis-je dépendant des services d'ESRI?
La production de données tuilées implique des coûts qui imposent de bien connaitre les services existants avant d'investir quelques euros (logiciels, machines, expertise).
Les acteurs qui portent les IDS connaissent bien ces sujets, ainsi que les administrateurs techniques d'OSM (certainement).
Bonnes recherches!
Bruno
Hors ligne
#9 Wed 15 November 2017 12:19
- Onésime
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 7 Dec 2007
- Messages: 46
Re: Création tuilage TMS national: conseils?
Bonjour,
pour répondre aux questions, en fait, d'un point de vue tarifaire avec les transactions, l'offre IGN représente un certain budget dans un contexte de réduction de budget.
Nous nous penchons de plus en plus sur l'option de tuiler nous-même; auriez vous des conseils à donner sur un profil de formation qui correspondrait pour ce genre de travail?
Idem, quelle durée faut-il envisager, jeromehaas parlait de 3 mois, j'imagine qu'il faut prévoir au moins 5-6 mois (pour à minima le Scan25, l'ortho et le cadastre)?
Bonne journée, A+
Hors ligne
#10 Wed 15 November 2017 13:49
- n314
- Participant assidu
- Date d'inscription: 6 Sep 2005
- Messages: 697
Re: Création tuilage TMS national: conseils?
pour répondre aux questions, en fait, d'un point de vue tarifaire avec les transactions, l'offre IGN représente un certain budget dans un contexte de réduction de budget.
Cela s'entend, mais créer/maintenir sa propre infrastructure de flux tuilés (performante si possible) a également un coût, qu'il convient nécessairement de mettre en balance.
Hors ligne
#11 Wed 22 November 2017 12:40
- Onésime
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 7 Dec 2007
- Messages: 46
Re: Création tuilage TMS national: conseils?
De http://espaceloisirs.ign.fr/boutique/te … biles.html, des applis 'vitrine' mettent en cache sur mobiles, donc ça doit être possible !
Sinon, les données scan, ortho et parcellaire de l'IGN sont aussi sur http://www.esrifrance.fr/contenus-servi … rtail.aspx
En fait, le cache est permis... mais est payant à 6€ par utilisateurs. Quand on travaille avec des partenaires, on ne va pas leur demander de payer nos applis métiers, et on ne vas pas payer pour eux.
Sur le lien d'ESRI https://www.esrifrance.fr/contenus-geoservices.aspx ce sont les mêmes seuils et calculs de transactions que l'IGN (Tuiles image → 1 transaction = 16 tuiles; Tuiles vectorielles → 1 transaction = 1 tuile de 1 000 objets; Géocodage → 1 transaction = 4 géocodes
… et C’est « GRATUIT » en mode découverte; L’accès à ces services est gratuit jusqu’à un certain niveau de consommation lui-même fonction du statut de votre organisation (100 000 transactions par an pour les organismes ayant une mission de service public et 10 000 transactions par an pour les autres).), ce n'est donc qu'un autre interlocuteur.
Hors ligne
#12 Mon 27 November 2017 13:35
Re: Création tuilage TMS national: conseils?
Bonjour,
Onésime a écrit:pour répondre aux questions, en fait, d'un point de vue tarifaire avec les transactions, l'offre IGN représente un certain budget dans un contexte de réduction de budget.
Cela s'entend, mais créer/maintenir sa propre infrastructure de flux tuilés (performante si possible) a également un coût, qu'il convient nécessairement de mettre en balance.
J'ai cru entendre dire par un de mes clients que la logique de tarif avait "légèrement" augmenter cet été. On peut se trouver avec des tarifs à 150 k€ par an à comparer avec une mise en place de 20-30 k€ la première année plus le temps de gestion / maj (quelques jours par mois). Bien entendu le risque est de libérer certains besoins bloquaient auparavant dû au coût des services IGN et de se retrouver à gérer une quantité de couche supplémentaire.
L'optimisation comme indiqué plus haut se situe côté données mais il y a aussi des stratégies à mettre en œuvre : doit on pré-générer le cache ? Doit on pré-générer le cache partout ? Comment filtrer les zones ? comment gérer les mises à jour sans que cela impacte le cache existant ? Quel format de stockage ? Durée de vie des tuiles (en cache côté navigateur et/ou côté serveur).
Y.
Yves Jacolin, bénévole de l'association GeoRezo.net, agit au nom et pour le compte de l'association - Partageons ce qui nous départage !! - GeoRezo vous aide ? Aidez GeoRezo !
Hors ligne
#13 Mon 27 November 2017 14:04
- Onésime
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 7 Dec 2007
- Messages: 46
Re: Création tuilage TMS national: conseils?
Par rapport aux éléments pointés, voici notre problématique:
Nous souhaitons que nos agents aient l'accès aux fonds (Ortho, Scan et cadastre) en mode déconnectés sur leurs terminaux mobiles. Pour cela, on fera une copie des tuiles sur la carte micro-sd de tout un département, voir une région. Les agents n'auraient ensuite que les données récoltées et mises à jour d'appli à synchroniser.
Là où l'offre IGN ne va pas, c'est que dans ce cas, si on prépare les tuiles pour chaque département aux différents niveaux (pour scan, ortho et cadastre), ça représente un nombre de transaction énorme (notamment pour le cadastre où l'on va à des niveaux de zoom élevés) et des coûts supérieurs à ce qu'on avait avant... pour une donnée "gratuite"!
Nous n'avons pas forcément besoin d'une mise à jour régulière, d'où l'idée de faire le tuilage.
Un autre point qu'on pourrait surligné est comment se fait-il qu'une structure qui a une échelle nationale a les mêmes barèmes qu'une structure qui travaille sur un petit territoire (et n'atteindra que rarement les seuils limites de gratuité...)
Hors ligne
#14 Mon 27 November 2017 16:34
- Le Masson
- Participant assidu
- Date d'inscription: 5 Sep 2005
- Messages: 179
Re: Création tuilage TMS national: conseils?
Bonjour,
d'abord, et comme souvent, je vous invite à contacter l'IGN. En discutant avec des gens, et ça reste une des valeurs ajoutées de l'IGN, on se comprend mieux qu'en échangeant avec une machine.
Sur la question "comment se fait-il qu'une structure qui a une échelle nationale a les mêmes barèmes qu'une structure qui travaille sur un petit territoire?", la réponse repose sur le fait que le barème ne répond pas à une logique d'emprise (ni en surface, ni en nombre d'habitants), mais à une logique de consommation, en nombre de requêtes...
Cordialement,
Matthieu (IGN)
Hors ligne
#15 Mon 27 November 2017 17:09
- Onésime
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 7 Dec 2007
- Messages: 46
Re: Création tuilage TMS national: conseils?
Bonjour,
d'abord, et comme souvent, je vous invite à contacter l'IGN. En discutant avec des gens, et ça reste une des valeurs ajoutées de l'IGN, on se comprend mieux qu'en échangeant avec une machine.
Nous avons pas mal échangé avec l'IGN cette année à ce sujet...
Hors ligne
#16 Wed 21 February 2018 07:55
- PedroEtoile
- Juste Inscrit !
- Date d'inscription: 20 Feb 2018
- Messages: 1
Re: Création tuilage TMS national: conseils?
C'est certainement de vous l'annonce Onésime? https://georezo.net/forum/viewtopic.php?id=109322
Hors ligne
#17 Thu 22 February 2018 08:40
Re: Création tuilage TMS national: conseils?
Cette situation est ubuesque!
Qui va siffler la fin de la récré?
Hors ligne