Pages: 1
- Sujet précédent - QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2 - Sujet suivant
#1 Tue 01 May 2018 07:55
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
je travaille dans une collectivité dans laquelle j'utilise QGIS quasi quotidiennement.
Nous avons une architecture avec un serveur sur lequel une instance PostgreSQL (v 9.6) et PostGIS (v 2.3) sous Débian sont déployés sur un serveur externalisé.
J'ai récemment installé la version 3 de QGIS pour tester les nouveautés et les outils que j'utilise habituellement. L’intérêt étant 'évaluer si je peux passer à court terme la majeure partie du temps dessus et il y a un premier problème qui en ce qui me concerne est un problème majeur c'est le temps de chargement des couches PostGIS.
Lorsque j'ouvre la couche parcelle par exemple dans la version 2 et après dans la version 3 c'est beaucoup plus lent (vraiment beaucoup) dans la nouvelle version, et j'ai testé avec la version 3.0.2 sans amélioration notable.
Beaucoup de choses ont été refait dans cette version d'après ce que j'ai lu mais d'autres utilisateurs rencontrent-ils le même problème que moi ?
Merci.
Hors ligne
#2 Tue 01 May 2018 11:07
- Pierre
- DesCartesPourUnMondeMeilleur
- Date d'inscription: 22 Sep 2005
- Messages: 1643
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Aloha,
Beaucoup ? Pourriez-vous être précis ? En effet, s'il y a bien une chose de totalement subjectif, c'est la notion de lenteur, de rapidité ou d'écoulement du temps.
Par la suite il pourrait être intéressant de voir sur le tracker qgis (https://issues.qgis.org/projects/qgis/issues) si d'autres ont enregistré des baisses de performance (à ma connaissance, non, exception faite du composeur pdf).
art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.
Hors ligne
#3 Tue 01 May 2018 11:34
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Oui c'est vrai. En écrivant sans ajouter des chiffres c'est pas terrible d'autant plus que j'ai l'habitude en mode Web d'utiliser la console réseau du navigateur internet pour évaluer les temps ... honte à moi !
Je chronométrerai le temps d'ouverture de la couche parcelle cette semaine avec QGIS 2.18.19 et 3.0.2 pour apporter des chiffres.
Après, je sais bien qu'afficher la couche parcelle au 150 000 est inutile, mais cela permettra au chronomètre d'avoir une idée concernant l'écart des temps de chargement des entités au même endroit (même connexion internet je veux dire) sur la même couche.
Mais souvent je me connecte à PostgreSQL (base de diffusion) qui est le serveur externalisé pour récupérer en local les couches quand je construis un projet QGIS car en étant dépendant du débit internet c'est pas terrible pour la navigation dans la carte et pire pour les géotraitements (même les intersections spatiales simples).
Mais là, en version de QGIS 3.0.2, l'autre jour j'ai abandonné car je sentais une différence importante ne serait-ce que pour ouvrir les mêmes couches. je sais pas ça me donnais l'impression que pour ouvrir une couche QGIS 3 déclenchait soit plus de requêtes soit qu'il téléchargeait d'une manière inadéquate par rapport au 2 ou ça donne l’impression de recevoir les entités par paquet (ceci me rappelle un peu les temps de latence que l'on observe lors de l'ouverture de classes d'entités de géodatabase d'entreprise quand on est pas sur du réseau intranet 100 Méga mais sur de l'internet à environ 10-15 Méga).
Après, loin de moi l'idée de critiquer cette dernière solution elle est très bien, c'est pas l'objectif.
D'où mon message pour savoir s'il y a d'autres personnes qui avec cette version 3, qui est une version majeure, ont déjà rencontré ce souci ou c'est moi qui me fais des idées.
C’est sur que pour des architectures intranet dans tous les cas sur du 100 méga ont le sentira pas, mais je pense qu'aujourd'hui pas mal d’endroits externalisent l’hébergement des serveurs, sur des serveurs dédiés, ce sont plus ces personnes là qui sont susceptibles de rencontrer ce que je décris.
Dans tous les cas je vais regarder les temps de plus près dans le courant de la semaine.
Merci en tout cas pour votre réponse
Hors ligne
#4 Wed 02 May 2018 20:44
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
je reviens avec des tests et surtout des temps.
Comme prévu dans mon précédent message, ce matin aux alentours de 08h j'ai testé l'ouverture de la couche parcelle (table postgis, pas une vue ni une vue matérialisée) dans QGIS 2.18.19 et dans QGIS 3.0.2
J'ai fais un test de débit internet en même temps :
- débit descendant : 27 méga
- latence : 77 ms
La couche parcelle contient 169095 entités qui se chargent au démarrage à une échelle approximativement 180 000 ème.
En ce qui concerne les temps :
- Sous QGIS 2.18.19 : chargement de la couche dans l'interface QGIS en 50 secondes (à 1 ou 2 secondes près).
- Sous QGIS 3.0.2 : je ne suis jamais arrivé à charger la couche en entier j'ai arrêté après 30 minutes ! A ce moment là cela avait chargé approximativement 1/3 des entités.
J'ai regardé la différence dans les paramètres réseau de QGIS, je n'en ai pas trouvé.
Personne n'a-t-il rencontré ce comportement avant moi ?
Toute information est la bienvenue. Je sais bien qu'afficher les parcelles à cette échelle n'est pas du tout pertinent mais la différence est très élevée et même si je place une plage de visibilité au 1/10001, je veux bien le faire mais ça restera toujours très lent. Et je ne parle que d'une couche dans cet exemple.
Hors ligne
#5 Thu 03 May 2018 10:04
- Hydrolithe
- Participant assidu
- Lieu: Lyon
- Date d'inscription: 21 Apr 2010
- Messages: 223
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
Je viens de tester de mon côté et j'observe le même comportement avec une couche "bâtiments" (env. 407 000 objets) stockée en base de données PostgreSQL / Postgis.
- QGIS 2.18.19 : temps de chargement 7s
- QGIS 3.0.2 : temps de chargement 24 s
Même configuration au niveau des options entre les deux versions de QGIS.
Pierre
Dernière modification par Hydrolithe (Thu 03 May 2018 10:38)
Hors ligne
#6 Fri 04 May 2018 13:53
- JRM
- Participant assidu
- Lieu: Arras
- Date d'inscription: 15 Apr 2009
- Messages: 521
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
bonjour, dans Options > Rendu, est-ce que la case "Activer la simplification des entités [...]" a le même statut sur les deux versions ?
Hors ligne
#7 Fri 04 May 2018 15:17
- Hydrolithe
- Participant assidu
- Lieu: Lyon
- Date d'inscription: 21 Apr 2010
- Messages: 223
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour JRM,
Il y avait une case "réaliser la simplification par le fournisseur de données lorsque c'est possible" qui n'était pas cochée dans QGIS 3.0.2 et en refaisant le test d'ajout de couche, j'obtiens les mêmes temps de chargement entre les deux versions. J'avais comparé les paramétrages entre les deux versions un peu trop rapidement ;-)
Merci, Pierre
Hors ligne
#8 Fri 04 May 2018 18:22
- Patrice
- JeSuisCharlie
- Date d'inscription: 16 Sep 2005
- Messages: 4779
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Hello
<Humour ON>
Hydrolite et Francis_31 payent la tournee generale au GeoBar !
<Humour OFF>
Bon WE et/ou Bonnes Vacances, GeoBye, Pat
(Autodesk Expert Elite Team)
En ligne
#9 Fri 04 May 2018 20:51
- SANTANNA
- Moderateur
- Lieu: Angers
- Date d'inscription: 18 Jan 2008
- Messages: 3885
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Hello
<Humour ON>
Hydrolite et Francis_31 payent la tournee generale au GeoBar !
<Humour OFF>
Pourquoi, humour? Ils paient la tournée, point et pour info j'ai très soif...
Allez, bon w-e
Hors ligne
#10 Mon 07 May 2018 22:18
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonsoir,
je n'avais pas reçu d'alerte, je n'avais pas vu qu'il y a avait eu des réponses.
Merci pour l'attention portée à mon post
Je vais regarder ces options Mercredi en début de matinée pour confirmer tout ça en testant avec notre architecture.
Je viendrais apporter mes conclusions pour clore le sujet.
La tournée générale va me coûter cher !
Bonne soirée !
Hors ligne
#11 Wed 09 May 2018 22:06
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
je reviens donc vous apporter les résultats des tests que j'ai réalisé ce matin à 08h.
J'ai tout d'abord vérifié les options de rendu et il s'avère que pour mon cas la case à cocher "Activer la simplification des entités par défaut lors de l'ajout de nouvelles couches" était déjà activée dans les deux versions.
Concernant l'option "Réaliser la simplification par le fournisseur de données lorsque c'est possible" elle n'était activée sur aucune des deux versions.
Pour le test d'aujourd'hui j'ai donc choisis de l'activer uniquement dans le version 3.0.2.
Ensuite, j'ai réalisé un test de débit une nouvelle fois, et j'ai bien fais ... :
7.7 Mb/s descendant
0.992 Mb/s montant
163.8 ms latence
On est donc dans des conditions moins favorables que la dernière fois, mais peu importe je refais le même test.
Ouverture de la couche parcelle :
QGIS 2.18.19 : 2mn 10 s -> Logique à mon sens vu l'écart du débit descendant.
QGIS 3.0.2 -> au bout d'un quart d'heure même pas 1/25 ème de chargé (il y a 25 communes dans ce que je charge).
Et franchement, il n'y a même pas besoin de chronométré quand on est devant l'écran, la différence est élevée et sans ambiguïté.
Pourtant ça devrait aller plus vite dans la version 3.0.2 maintenant étant donné que la deuxième option cochée, que je ne souhaite pas garder quoiqu'il en soit car je crains des approximations fortes liées à la simplification des géométries dans le calcul des surfaces notamment et autres algorithmes s'appuyant sur ce type opération, mais ça c'est une autre question.
Hydrolithe, pouvez-vous m'indiquer plus de précisions sur le type d'architecture déployée pour vos tests :
- Vous testez depuis QGIS installé sur votre poste ou sur le serveur de base de données ?
- Le serveur de base de données ou est hébergée la base de données PostgreSQL/PostGIS faisant l'objet de votre test est sur un réseau interne ou vous passez par internet pour vous connecter ?
Merci.
Hors ligne
#12 Fri 11 May 2018 16:46
- Hydrolithe
- Participant assidu
- Lieu: Lyon
- Date d'inscription: 21 Apr 2010
- Messages: 223
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour francis_31,
Je fais les tests depuis Qgis installé sur mon poste.
Le serveur de base de données m'est accessible via le réseau interne ou via internet. Via le réseau interne, j'ai les mêmes temps de chargement entre les deux versions de Qgis et via internet j'obtiens une trentaine de secondes de plus avec Qgis 3.0.2 (38s contre 1min 7s avec Qgis 3.0.2). Mais je n'observe pas de soucis de chargement avec Qgis 3.0.2 comme vous (couche qui ne se charge pas au bout d'1/4h).
Hors ligne
#13 Sat 12 May 2018 20:19
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonsoir,
ok.
Merci Hydrolithe pour votre réactivité et pour ces précisions.
Une dernière question, est-ce que vous pouvez m'envoyer comme je l'ai fais dans mes derniers messages un résultat de test de débit (surtout débit descendant et latence) ?
J'ai besoin de procéder par élimination et pour cela je voudrais commencer par comparer nos deux connexions.
Ensuite, je vais creuser la semaine prochaine pour voir d'ou cela peut provenir.
Si ce type de problème n’apparaît que pour moi, c'est de mon côté le souci pas du logiciel
Dans l'attente de votre retour.
Hors ligne
#14 Mon 14 May 2018 10:15
- Hydrolithe
- Participant assidu
- Lieu: Lyon
- Date d'inscription: 21 Apr 2010
- Messages: 223
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Voici les chiffres pour le réseau internet :
15.39 Mbps descendant
0.68 Mbps ascendant
29 ms ping
Hors ligne
#15 Mon 14 May 2018 20:39
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonsoir,
merci pour votre retour.
La principale différence c'est que vous avez une latence bien meilleure.
Si le serveur vous est accessible via le réseau interne, je suppose qu'il est hébergé chez vous, dans le réseau local ?
Pour ma part, ce matin j'ai réessayé et testé plusieurs possibilités mais j'ai toujours les mêmes différences très élevées entre les deux versions de QGIS.
Après, je vous confirme que si je charge la même couche sur une instance PostGIS en local sur mon poste ce que j'ai fais, l'ouverture est très rapide dans la version 3.
Mais la même couche entre QGIS 2 et QGIS 3 dans mes conditions réelles (hébergement externalisé), la différence est très importante (en fait je m'arrête avant la fin du chargement, il y en aurait vraiment pour longtemps si je devais rester devant au chrono). Et même quand je zoome autour du 1/10000 ou 8000 dans QGIS 3 ça se charge mais il y a une différence importante avec la version 2 en ce qui me concerne.
Ce serait intéressant si un autre utilisateur pouvait faire le test dans des conditions similaires aux miennes (hébergement externalisé).
Mais au vu de la différence entre les deux versions je me dis qu'il y a forcément quelque chose de différent dans la méthode utilisée pour charger les entités dans le canevas de carte, mais je suis bien incapable de dire laquelle.
Après je m'en sors en faisant autrement : j'ai paramétré QGIS pour ne pas afficher les couches à l'ajout puis j'en fais une copie en local.
J'aurais bien aimé quand même trouvé la solution.
Merci en tout cas pour vos réponses.
On ne sait jamais, si d'autres membres ont des idées je suis preneur.
Bonne soirée.
Hors ligne
#16 Mon 02 July 2018 21:32
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
je reviens concernant mon message.
J'ai téléchargé la nouvelle version 3.2 de QGIS.
En version 2.18.21 : 1 minute 09
En version 3.2.0 : 1 minute 03
A priori le problème est résolu car je n'ai rien changé depuis la dernière fois à-dessus, ni paramétrage logiciel lié à l'affichage, ni les données.
Bonne soirée.
Hors ligne
#17 Tue 31 July 2018 13:37
- maria1000
- Participant actif
- Date d'inscription: 11 Feb 2009
- Messages: 54
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour, je me permets d'aborder un sujet de lenteur de chargement des couches avec QGIS 2.14.13 à partir de deux versions différentes PostgreSQL+Potgis. Je travaille également dans une collectivité dans laquelle plusieurs personnes utilisent QGIS 2.14.13 quasi quotidiennement. Nous utilisons PostgreSQL et Postgis pour les données. Actuellement nous avons une ancienne instance PostgreSQL v8.4 + Postgis 1.5 et nous avons récemment installé une nouvelle instance PostgreSQL v 9.6 + PostGIS v 2.3 avec les mêmes données.
Je commence à tester l'accès aux données sur la nouvelle instance avec QGIS 2.14.13 et je rencontre également un problème de lenteur énorme de chargement initial des couches (lorsque je fais clic sur le petit éléphant).
Le temps d'attente pour le chargement des données à partir de l'ancienne version PostgreSQL+Postgis est 2 minute environ, alors que à partir de la nouvelle version le temps d'attente est plus de 3 heures! Cela est très inquiétant, car pour nous QGIS était un outil de travail important utilisé par 40 personnes environ dans la collectivité.
Est-ce que quelqu’un peut expliquer ce problème de lenteur?
L'étape suivante pour moi est de faire des tests avec QGIS 3.2.
Hors ligne
#18 Tue 31 July 2018 21:36
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
pouvez-vous être un peu plus précise sur ce point : les 2 minutes/3heures c'est lorsque vous cliquez sur le bouton "Connecter" pour obtenir la liste des schémas de la base de données ou c'est après lorsque vous ajoutez la couche "parcelle" (si c'est celle-ci) ?
Nous travaillons avec la même version que vous en base de données.
A votre place plutôt que de passer en version 3.2 direct je passerai en version LTR autrement dit : QGIS 2.18.22
Refaites le test pour voir si ça change quelque chose.
Si cela ne change rien, comme vous indiquez que vous avez migré Postgresql et postgis récemment, essayez de récupérer votre couche parcelle au format shape puis de la charger dans une nouvelle table dans votre base de données sous un autre nom en faisant bien attention que l'index spatial est bien créé.
Puis refaites le test. On sait jamais peut-être qu'il y a un problème d'indexation dans la couche même si trois heures c'est un peu long ça c'est sur.
Bon courage, bonne soirée.
Hors ligne
#19 Wed 01 August 2018 18:00
- maria1000
- Participant actif
- Date d'inscription: 11 Feb 2009
- Messages: 54
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
Pour répondre à votre première question, je précise que les 2 minutes/3heures c'est lorsque je clique sur le bouton "Connecter" pour obtenir la liste des schémas de la base de données.
Je suis passée en version QGIS 2.18.22 (LTR) et la lenteur persiste.
Ma base contient des centaines de tables et des vues. Toutes les tables ont des indexes spatiaux.
Pourquoi cette différence ? Il me semble que cette lenteur vient du fait que la table geometry_columns a été remplacé dans la nouvelle version de Posgis par une vue, dans laquelle se trouvent automatiquement 2 fois plus d'objets - il y a des centaines des vues...
Hors ligne
#20 Wed 01 August 2018 18:30
- francis_31
- Participant actif
- Date d'inscription: 24 Nov 2010
- Messages: 88
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
d'accord.
Je n'ai pas plus que ça essayé mais j'avais remarqué cela aussi (après je ne sais plus dire combien de temps ça avait pris).
Par contre, ce que vous pouvez faire : afficher le menu "Explorateur". Pour cela allez dans le menue "Vue" (à côté de Fichier) , puis Panneaux et enfin cliquer sur Explorateur si ce n'est pas déjà coché devant.
Normalement vous devriez voir le panneau s'afficher dans l’interface.
Dans la fenêtre, descendez à "PostGIS", choisissez votre connexion et dépliez la liste des schémas
Est-ce que cela fonctionne correctement ou en tout cas de manière raisonnable ?
Cordialement.
Hors ligne
#21 Fri 03 August 2018 15:30
- maria1000
- Participant actif
- Date d'inscription: 11 Feb 2009
- Messages: 54
Re: QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2
Bonjour,
Je confirme que ça va plus vite avec la méthode que vous proposez!
Merci beaucoup!
Hors ligne
Pages: 1
- Sujet précédent - QGIS 3: chargement des couches PostGIS bien plus lent qu'en version 2 - Sujet suivant