#1 Thu 09 September 2021 10:50
- remyK
- Participant occasionnel
- Date d'inscription: 19 Mar 2015
- Messages: 44
QGIS: Utilisation et performance
Bonjour,
Je ne sais pas si le sujet à déjà été traité, mais j'ai une question d'ordre assez générale sur QGIS.
Voilà plus de 10 ans que je fais du SIG (aujourd'hui 100% sur QGIS) et j''ai l'habitude de faire de nombreuses manipulations en vecteur en SHP (c'est comme ça que j'ai été formé). Les différents calculs sont de plus en plus complexes et nombreux, avec des couches de plus en plus volumineuses. Par exemple, je fais des matrices de distance entre un nombre de points très conséquent (30 000 - 60 000 points avec la grille). J'enchaîne ensuite des calculs sur les champs, des manipulation statistiques/SQL et des conversions rasters pour des résultats visuels les plus pertinents... Ce qui amène des temps de calculs de plusieurs heures pour de simples manip.
Pour gagner du temps de calcul, je limite pas mal les différentes sorties (par exemple je bride la matrice des distances avec un nombre limité de points recherchés) ou je réduis la qualité du rendu avec des pixels plus grands, etc.
J'ai uniquement cette vision de travail en vecteur/shp/dossier sur mon bureau, etc... Je suis très formaté encore à cette méthode classique mais j'aimerai changé ma vision sur les possibilités d'appréhender ces manipulations et je suis prêt à me former si besoin sur d'autres approches...
Je pense par exemple à monter en compétences sur les rasters que je maîtrise très mal, ou une approche database, d'autre format de données que SHP... mais je n'y connaît pas grand chose. Mais sans forcément (pour l'instant) changer de logiciel. (j'imagine que des logiciels comme R peuvent être plus performants sur certaines manip mais le coût d'entrée me paraît énorme)
D'où l'ouverture de cette discussion.
Sans forcément parler de types d'analyses, de manière globale quel est le moyen le plus pertinent pour travailler sur des vecteurs/des rasters/ faire de nombreuses manipulations/des analyses lourdes, avec des données toujours plus nombreuses tout en maximisant les temps de calculs ?
Hors ligne
#2 Thu 09 September 2021 11:42
- Renaud
- Membre
- Lieu: Ploemeur (56)
- Date d'inscription: 9 Mar 2006
- Messages: 2315
Re: QGIS: Utilisation et performance
Bonjour,
Une voie d'amélioration simple consiste à passer les données dans une geodatabase type PostgreSQL/POSTGIS/pgAdmin, et à basculer progressivement des traitements en SQL.
Ca ne change pas forcément l'habitude de travail en monoposte.
La syntaxe de QGIS, qui est très proche du SQL et de POSTGIS, rend la conversion presqu'indolore.
https://www.veremes.com/installation-postgresql-windows
Si tu travailles sur des grilles régulières, le calcul raster et Saga GIS sont tes amis.
Privilégie l'interface native de Saga à son intégration dans QGIS. Les 'grid systems' / 'snap rasters' y sont mal gérés. C'est pourtant un concept incontournable quel que soit le logiciel.
Le ticket d'entrée est conséquent si tu n'es pas habitué au calcul raster
J'utilise R, mais plus pour les fonctions statistiques, la manipulation des chroniques et certains formatages de données.
Pour les géotraitements classiques, je ne suis pas convaincu qu'il y ai un gain réel quand on maitrise déjà QGIS.
Au delà des outils, la parallélisation des calculs est une piste essentielle si on a une machine adaptée (suffisamment de cœurs, beaucoup de RAM et disque SSD).
Certains outils le font en implicite (FME), pour d'autres, dont QGIS/Saga, il faut faire de la parallélisation explicite, donc scripter.
Renaud Mouche
Hors ligne
#3 Fri 10 September 2021 12:29
- Nicolas Audibert
- Participant occasionnel
- Lieu: Montpellier
- Date d'inscription: 3 Dec 2012
- Messages: 39
Re: QGIS: Utilisation et performance
Bonjour,
Je rejoins Renaud sur l'utilisation de PostGreSQL/PostGIS qui te permet une utilisation beaucoup plus rapide des mêmes opérations que tu peux faire sur QGIS.
Et aussi, une question peut-être idiote mais penses-tu bien à mettre un index spatial sur chacune de tes couches ? Les gains en rapidité de traitements sont très importants !
Hors ligne