Le portail francophone de la géomatique

Bonjour,

Je ne sais pas si mes dires sont optimums, d'autres auront sans doute de meilleurs techniques que moi. Pour être plus exact, ce n’est qu’un retour d’expérience. J'ai réalisés de gros TMS (échelle de la France métropolitaine) et selon moi, le nerf de la guerre, c’est l’optimisation. Il est indispensable d'optimiser au maximum les données en amont. Cela signifie donc afficher la bonne donnée à la bonne résolution. Il ne faut pas faire une tuile de 256 pixels de côté représentant toute la France avec une ortho à 50cm, cela représente une puissance de calcul considérable pour un résultat similaire à l’usage d’une image avec un pixel à 1km. Cela fait quand même 4 000 000 de fois moins de pixel pour calculer la même image. Il faut donc segmenter les données en fonction des échelles, il existe assez de données gratuites pour faire cela (IGN, NASA…).
L’optimisation passe également par un travail préliminaire sur les données à grande. L’ortho en ecw va en règle général, le format et résolution sont directement utilisable avec des performances correctes. Pour le scan25, j’ai sans doute calculer les pyramides avant de faire les tuiles. La BD Parcellaire c’est une autre histoire. Avec un pixel à 10cm, ça fait beaucoup, beaucoup de pixels sur la France. La création de tuiles nécessite de multiples accès aux mêmes données selon les échelles. Il vaut donc mieux calculer une bonne fois pour toute ce qui est lourd et de ne plus que « lire » les données pour faire les tuiles. Pour cela j’avais créé un vrt de toutes les dalles puis un export de gros tifs (25 pour toute la BD parcellaire française avec la pleine résolution de 10cm) avec gdal. Il faut faire attention aux méthode de compression du tif, de mémoire j’avais utilisé du CCITTFAX4. J’ai en même temps calculer les pyramides (.ovr) pour avoir de bonnes performances d’affichage. C’est long, très long, mais les outils peuvent après calculer rapidement les tuiles.
Pour le calcul des tuiles en elles-mêmes j’avais utilisé Aigle pour les générer. D’autres sauront mieux que moi quoi utiliser
Malgré tout, je n’étais pas arrivé à précalculer les tuiles pour une échelle du 1000éme, nécessaire pour pouvoir lire le cadastre dans certaines sections. Le problème n’était pas véritablement technique mais le temps de calcul était vraiment trop long (des mois). J’avais opté pour un calcul jusqu’au 2500éme et une génération à la volé pour le 1000éme.
De toute manière, la création de ces différents TMS va prendre un temps considérable et va prendre une place considérable (de mémoire, j’étais à environ 3 mois de calcul pour 1To de tuiles). A titre d’info, j’avais effectué ces opérations sur une grosse infrastructure virtualisée, ce qui limite les problèmes de puissance et d’IO sur les disques. Il ne faut pas que les données transitent par le réseau pour calculer les tuiles, ça fait trop de latence. J’avais passé pas mal de temps à benchmarquer sur de petites zones pour voir quelle était la méthode la plus efficace.

Pour terminer quelques conseils sur les formats de tuiles :
-Tout ce qui a beaucoup de couleurs (scan25, ortho), en jpg
-Ce qui a peu de couleur, comme la bdparcellaire en png8
-De la transparence, pgn32

Bon courage

Jérôme

Dernière modification par jeromehaas (Wed 14 December 2016 15:58)

Un fournisseur externe est à mon avis effectivement une bonne idée pour un usage purement connecter, mais il me semble que ce n'est pas forcément pertinent pour du mobile déconnecté. Pour les performances, c'est pas forcément terrible, en fonction de la surface à mettre en mémoire (combien de temps pour mettre une grande surface en cache ?). De plus, la dernière fois que j'ai lu les conditions d'utilisations de l'IGN, il était interdit d’extraites les données des webservices, donc de faire du déconnecté.

Bonjour,

Merci à vous pour les réponses et précisions.
En effet, travailler avec des flux peut paraitre plus simple, mais dans tous les cas, nous devrons faire le tuilage pour l'utilisation en mobile déconnecté... notre solution (Aigle / Geo) peut faire ce tuilage (mais est-ce le plus performant?), donc autant le faire en interne.
Je vais continuer à explorer et j'essaierais de mettre un retour quand on aura fait l'opération, ça peut être dans plusieurs mois...

Bonne journée, Onésime.

Bonjour,

pour répondre aux questions, en fait, d'un point de vue tarifaire avec les transactions, l'offre IGN représente un certain budget dans un contexte de réduction de budget.

Nous nous penchons de plus en plus sur l'option de tuiler nous-même; auriez vous des conseils à donner sur un profil de formation qui correspondrait pour ce genre de travail?
Idem, quelle durée faut-il envisager, jeromehaas parlait de 3 mois, j'imagine qu'il faut prévoir au moins 5-6 mois (pour à minima le Scan25, l'ortho et le cadastre)?

Bonne journée, A+

En fait, le cache est permis... mais est payant à 6€ par utilisateurs. Quand on travaille avec des partenaires, on ne va pas leur demander de payer nos applis métiers, et on ne vas pas payer pour eux.
Sur le lien d'ESRI https://www.esrifrance.fr/contenus-geoservices.aspx ce sont les mêmes seuils et calculs de transactions que l'IGN (Tuiles image → 1 transaction = 16 tuiles; Tuiles vectorielles → 1 transaction = 1 tuile de 1 000 objets; Géocodage → 1 transaction = 4 géocodes
… et C’est « GRATUIT » en mode découverte; L’accès à ces services est gratuit jusqu’à un certain niveau de consommation lui-même fonction du statut de votre organisation (100 000 transactions par an pour les organismes ayant une mission de service public et 10 000 transactions par an pour les autres).), ce n'est donc qu'un autre interlocuteur.

Par rapport aux éléments pointés, voici notre problématique:
Nous souhaitons que nos agents aient l'accès aux fonds (Ortho, Scan et cadastre) en mode déconnectés sur leurs terminaux mobiles. Pour cela, on fera une copie des tuiles sur la carte micro-sd de tout un département, voir une région. Les agents n'auraient ensuite que les données récoltées et mises à jour d'appli à synchroniser.
Là où l'offre IGN ne va pas, c'est que dans ce cas, si on prépare les tuiles pour chaque département aux différents niveaux (pour scan, ortho et cadastre), ça représente un nombre de transaction énorme (notamment pour le cadastre où l'on va à des niveaux de zoom élevés) et des coûts supérieurs à ce qu'on avait avant... pour une donnée "gratuite"!
Nous n'avons pas forcément besoin d'une mise à jour régulière, d'où l'idée de faire le tuilage.

Un autre point qu'on pourrait surligné est comment se fait-il qu'une structure qui a une échelle nationale a les mêmes barèmes qu'une structure qui travaille sur un petit territoire (et n'atteindra que rarement les seuils limites de gratuité...)

Nous avons pas mal échangé avec l'IGN cette année à ce sujet...

Cette situation est ubuesque!
Qui va siffler la fin de la récré?