Le portail francophone de la géomatique

ppluvinet · Fri 15 November 2013 10:04

Bonjour,

Je souhaite découper des polylignes (plusieurs centaines de milliers , de petite taille, avec une géométrie très simple) par des polygones (quelques centaines, de grande taille, avec une géométrie très compliquée, énormément de vertex).

J'ai testé cette requête sous PostGIS2 qui a mis environ 10h :

Code:

create table lignes_coupe as
select a.id,  ( st_dump(st_intersection(a.geom,b.geom))).geom as geom
from mes_lignes a,  mes_polygones b
where st_intersects(a.geom,b.geom)

Je précise que les polylignes et les polygones sont indexés avec la méthode gist.

J'ai fait la même découpe sous ArcGIS , j'obtiens le même résultat en 5minutes !!!!

Voici quelques éléments de ma configuration de Postgresql :

Code:

shared_buffers = 960MB            # min 128kB
work_mem = 700MB                # min 64kB
maintenance_work_mem = 300MB        # min 1MB
effective_cache_size = 990MB

Auriez-vous quelques suggestions ? Je remercie la communauté d'avance !

Nicolas Ribot · Fri 15 November 2013 10:57

Bonjour,

Il y a quelques messages qui parlent de ceci, avec des pistes possibles (enfin, plus qu'une piste, puisque la requete de Paul Ramsey fait tomber le temps de requete de 56 min a 3 min ! ), par exemple:

http://gis.stackexchange.com/questions/ … n-postgis.

Sur quelle version de PG/Pgis faites-vous ces requetes ?

Nicolas

ppluvinet · Fri 15 November 2013 11:20

Sous Windows 7,

Code:

select version();
                           version
-------------------------------------------------------------
 PostgreSQL 9.1.3, compiled by Visual C++ build 1500, 32-bit
(1 ligne)

select postgis_version();
            postgis_version
---------------------------------------
 2.0 USE_GEOS=1 USE_PROJ=1 USE_STATS=1
(1 ligne)

ChristopheV · Fri 15 November 2013 14:32

Bonjour,

En lisant la réponse de P. Ramsey une idée que je n'ai pas le temps de tester donc peut-être une bêtise ...

Si une polyligne traverse plusieurs polygone elle va être analysée n fois.
En créant une table temporaire qui contiendrait la polyligne résultat de l'intersection de la polyligne originelle et de la BBox du polygone complétée avec un not st_within on obtient des polyligne qui intersectent au maximum trois polygones, le tratement final portant sur ces nouvelles entitées ne gagne t on pas du temps ?

ppluvinet · Fri 15 November 2013 15:27

Bonjour Christophe,
Les polylignes sont de très petite taille et les polygones de très grandes tailles et les polygones sont tous disjoints entre eux.
Par conséquent, il est très très rares qu'une polylignes intersecte plusieurs polygones.
J'ai pas eu le temps de tester ce que suggère Paul Ramsey (Peut-être que je testerai ce soir en partant...).
Ce que j'ai ommis de préciser c'est que les polygones sont très complexes et la plupart des polylignes sont à cheval sur un polygone.
Ci joint un exemple.

Fichier(s) joint(s) :
Pour accéder aux fichiers vous devez vous inscrire.

Nicolas Ribot · Fri 15 November 2013 16:09

Il peut etre avantageux de decouper ces gros polygones par une grille d'un pas fixé (st_makeGrid() disponible sur les forums Postgis pour créer facilement une grille).

Ca booste bien les requetes.

Nicolas

Fritsch · Fri 15 November 2013 16:53

ppluvinet a écrit:

J'ai pas eu le temps de tester ce que suggère Paul Ramsey (Peut-être que je testerai ce soir en partant...).
Ce que j'ai omis de préciser c'est que les polygones sont très complexes et la plupart des polylignes sont à cheval sur un polygone.
Ci joint un exemple.

D'après l'exemple, presque toutes les polylines intersectent au moins un polygone. Dans ces conditions, la méthode suggérée n'apportera rien.

Le MakeGrid proposé par Nicolas Ribot me semble la meilleure solution.

Elle présente néanmoins un artefact : si l'intersection avec un polygone se trouve à cheval sur deux pavés du Grid, elle va générer deux segments différents, contigus, là où le résultat attendu est l'union de ces deux segments.

Il faudra donc procéder à la réunion des morceaux de segments contigus.

ppluvinet · Fri 15 November 2013 17:21

J'ai un peu mieux regardé la solution de P. Ramsey mais effectivement je pense que ca ne servira quasi à rien.

Egalement, j'avais déjà pensé à la création d'une grille, puis à faire un st_union pour agréger les segments contigus.
Or, pas évident de choisir la bonne taille de maille.
L'intersection entre les polygones et la grille peut être assez long aussi.

J'ai quand même du mal à comprendre l'écart de durée de calcul entre Postgis et ArcGIS !

Merci pour vos réactions.

Fritsch · Mon 18 November 2013 16:28

ppluvinet a écrit:

Code:

create table lignes_coupe as
select a.id,  ( st_dump(st_intersection(a.geom,b.geom))).geom as geom
from mes_lignes a,  mes_polygones b
where st_intersects(a.geom,b.geom)

- peux-tu nous donner le rendu du EXPLAIN de cette requête ? Peux-tu y joindre les EXPLAIN obtenus en supprimant un des deux gist, puis en le rétablissant et en supprimant l'autre ?

Ce que j'essaierais aussi :
- décomposer le processus pour mettre le dump à part. Dans un premier temps, je stockerais l'intersection sous une forme rugueuse, dans une colonne temporaire de "mes_lignes". Ensuite seulement, je la dump dans une nouvelle table.

- ensuite seulement, je passerais par le make_grid

ppluvinet a écrit:

Or, pas évident de choisir la bonne taille de maille.
L'intersection entre les polygones et la grille peut être assez long aussi.

Intersection longue, mais faite une seule fois pour chaque polygone. Je choisirais le pas de la grille :
P = racine ( surface totale des polygones / racine ( nombre total de vertex des polygones ) )
Ensuite, je testerais P/2, puis P/4.

ppluvinet · Wed 20 November 2013 17:39

Merci pour ces suggestions.

Malheureusement, j'ai dû passer à autre chose (d'autant + que j'ai mon résultat sous ArcGIS).

Peut-être pas dans ce cas précis, mais sur d'autres cas similaires, je testerai les formules proposées pour la taille des pas de la grilles.

P = racine ( surface totale des polygones / racine ( nombre total de vertex des polygones ) )

Je me demandais d'ailleurs quel était le raisonnement de Fritsch pour proposer une telle formule !?!?

Encore Merci et à très bientôt,

Nicolas Granier · Wed 20 November 2013 21:18

Bonsoir,
pourquoi ne pas utiliser l'astuce citée içi http://georezo.net/forum/viewtopic.php?id=84911
par Nicolas Ribot en utilisant le With, moi je divise le temps par 10 sur mes traitements.

En résumé, on associe dans une table temporaire chaque ligne avec la géométrie des polygones à proximité (par un st_dwithin par exemple) et on n'applique l'opération st_intersection uniquement sur cette pré-sélection.
A+

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Annonce

#1 Fri 15 November 2013 10:04

PostGIS : Intersection très longue

Code:

Code:

#2 Fri 15 November 2013 10:57

Re: PostGIS : Intersection très longue

#3 Fri 15 November 2013 11:20

Re: PostGIS : Intersection très longue

Code:

#4 Fri 15 November 2013 14:32

Re: PostGIS : Intersection très longue

#5 Fri 15 November 2013 15:27

Re: PostGIS : Intersection très longue

#6 Fri 15 November 2013 16:09

Re: PostGIS : Intersection très longue

#7 Fri 15 November 2013 16:53

Re: PostGIS : Intersection très longue

#8 Fri 15 November 2013 17:21

Re: PostGIS : Intersection très longue

#9 Mon 18 November 2013 16:28

Re: PostGIS : Intersection très longue

Code:

#10 Wed 20 November 2013 17:39

Re: PostGIS : Intersection très longue

#11 Wed 20 November 2013 21:18

Re: PostGIS : Intersection très longue

Pied de page des forums