Le portail francophone de la géomatique

Tititatatoto · Wed 13 September 2017 15:28

Bonjour,

Sous pgAdmin 4, j'ai certaines opérations qui fonctionnent dans un temps limité avec un nombre limité d'enregistrement, mais ne terminent jamais avec un plus grand nombre d'enregistrements.

Exemple avec une table contenant 300 000 multipolygones.
ST_SnapToGrid fonctionne en 3 secondes, sur 50000 enregistrements (quelle que soit la tranche de 50000), mais ne termine pas sur les 300 000 enregistrements (alors qu'on pourrait imaginer que le temps de calcul total est juste la somme des temps unitaires).

Y a t-il quelque chose à faire au niveau de la configuration ? Ou une autre astuce ?

Merci par avance

Loic_GR · Wed 13 September 2017 22:43

Bonsoir,

Tout est bien indexé spatialement ?

Les géométries sont valides ?

Dernière modification par Loic_GR (Wed 13 September 2017 22:50)

Tititatatoto · Thu 14 September 2017 10:41

La table est trop grande, ST_MakeValid finit par échouer.
Et du coup j'essaye de simplifier les géométries pour ensuite appliquer ST_MakeValid.

Mais je devrais peut-être effectivement d'abord traiter les géométries invalides.

L''invalidité est quasi exclusivement de type "Ring Self-intersection".
Il y a peut-être un autre moyen de traiter des grandes tables (ici 300 000 multipolygones dont 5000 invalides) ?

Loic_GR · Thu 14 September 2017 11:12

Hello tu as tenté de faire un update des géom non valides ?

Code:

UPDATE ta_table
SET the_geom = ST_MakeValid(the_geomy)
WHERE NOT ST_IsValid(the_geom)

Tititatatoto · Thu 14 September 2017 11:51

Oui j'utilise :

Code:

UPDATE table
SET geom = St_CollectionExtract(St_ForceCollection(St_MakeValid(geom)),3)
WHERE NOT St_IsValid(geom);

Mais le traitement ne termine jamais.
Dans ce document, il est conseillé de passer sur Openjump ?

Loic_GR · Thu 14 September 2017 12:29

Merci pour le partage du document. Et si tu extraits sur une table les données en erreur et que tu lances le traitement sur cette table réduite ?

tumasgiu · Thu 14 September 2017 14:08

Salut,

la version de postgres/postgis que vous utilisez serait la bienvenue.

Tititatatoto · Thu 14 September 2017 14:37

Versions :
PostgreSQL : 9.6
Postgis : 2.3.3

Finalement j'ai un succès après plusieurs essais. Avec la table entière, j'ai pu reprendre la main après 3h, alors qu'il affiche que le traitement a duré 40 min. C'est bizarre non ?

J'ai lancé le traitement avec la table réduite pour voir si c'est mieux.

Nicolas Ribot · Thu 14 September 2017 17:02

Bonjour,

Je serais vous, je n'utiliserais plus PgAdmin 4: trop buggé:
soit PgAdmin III LTS de BigSQL, qui supporte PG <= 10.0, soit datagrip ou autre editeur puissant.

Nicolas

ChristopheV · Mon 18 September 2017 09:01

Bonjour

Je serais vous, je n'utiliserais plus PgAdmin 4: trop buggé:

+ 1000

Et sous windows 64 c'est plus de buggs c'est une horreur !

Sylvain M. · Mon 18 September 2017 11:37

Intéressants vos retours sur PgAdmin 4 : j'en avais le sentiment, mais je me demandais si ça ne venait pas de moi
Du coup, j'ai voulu installer PgAdmin III LTS de BigSQL, mais je ne trouve que le téléchargement de PostGreSQL complet : https://www.openscg.com/bigsql/postgresql/
Est-on obligé de mettre à jour l'ensemble de PostGreSQL pour utiliser cette version de PgAdmin ? (je suis sur PgAdmin III v1.22.1 de février 2016, avec un serveur PostGreSQL 9.3 en local) Et si oui, est-ce une procédure de routine (simple) sur Windows 7 64bit ?

Tititatatoto · Mon 18 September 2017 11:55

J'ai fait le test sur la table réduite aux lignes invalides : même problème, le traitement dure environ 30 min mais je reprends la main au bout de plusieurs heures.

J'ai installé PgAdmin III LTS de BigSQL.
Avec le package complet, j'ai juste installé PgAdminIII et administré la même base que celle que j'utilisais auparavant (cela ne pose pas de problème ?).
Le problème semble persistant (2h que ça tourne, et je n'ai pas repris la main).

Tititatatoto · Tue 19 September 2017 12:38

Finalement le calcul a duré 8 heures sous PgAdminIII...

Loic_GR · Tue 19 September 2017 14:31

Salut,

Il faut parfois être un peu (beaucoup) patient !

Nicolas Ribot · Wed 20 September 2017 18:25

Bonsoir,

Une petite précision concernant ces pb de perf:
Ni pgAdmin III ni le 4 ne realisent le moindre calcul: ils envoient (en tant que client), une requete SQL au serveur qui retourne le résultat au client.

Pour savoir ce qui se passe dans une requete, il faut les infos suivantes:
versions de PG, postgis, os et disques.
Structure de la ou les tables
et surtout, analyser le plan de la requete, la seule information qui dit pkoi une requete est lente.
EXPLAIN <requete> montre le plan sans executer la requete
EXPLAIN ANALYZE <requete> montre le plan ET execute la requete, indiquant le timing et les blocs de données accédés.

Donc, ici, on aimerait connaitre le plan de la requete pour voir ce qu'a compris PG.

Nicolas

Tititatatoto · Fri 22 September 2017 17:24

Bonjour,

Finalement la requête semble fonctionner en 30 min (mais toujours un peu plus de temps pour reprendre la main).
Ce que donne EXPLAIN :

'Update on A (cost=0.00..417025.07 rows=107683 width=45)'
' -> Seq Scan on A (cost=0.00..417025.07 rows=107683 width=45)'
' Filter: (NOT st_isvalid(geom))'

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Annonce

#1 Wed 13 September 2017 15:28

Opération qui n'en finit pas

#2 Wed 13 September 2017 22:43

Re: Opération qui n'en finit pas

#3 Thu 14 September 2017 10:41

Re: Opération qui n'en finit pas

#4 Thu 14 September 2017 11:12

Re: Opération qui n'en finit pas

Code:

#5 Thu 14 September 2017 11:51

Re: Opération qui n'en finit pas

Code:

#6 Thu 14 September 2017 12:29

Re: Opération qui n'en finit pas

#7 Thu 14 September 2017 14:08

Re: Opération qui n'en finit pas

#8 Thu 14 September 2017 14:37

Re: Opération qui n'en finit pas

#9 Thu 14 September 2017 17:02

Re: Opération qui n'en finit pas

#10 Mon 18 September 2017 09:01

Re: Opération qui n'en finit pas

#11 Mon 18 September 2017 11:37

Re: Opération qui n'en finit pas

#12 Mon 18 September 2017 11:55

Re: Opération qui n'en finit pas

#13 Tue 19 September 2017 12:38

Re: Opération qui n'en finit pas

#14 Tue 19 September 2017 14:31

Re: Opération qui n'en finit pas

#15 Wed 20 September 2017 18:25

Re: Opération qui n'en finit pas

#16 Fri 22 September 2017 17:24

Re: Opération qui n'en finit pas

Pied de page des forums