Le portail francophone de la géomatique

preliator · Sun 12 April 2020 15:56

Bonjour à tous, j'essaie d'obtenir les centroides du regroupement des polygones d'une même couche qui se touchent, sur une BDD très conséquente (plusieurs dizaines de millions d'entités).

Pour cela, j'utilise la formule suivante:

Code:

drop table if exists couche_regroup;
create table couche_regroup as(

    select st_centroid(st_unaryunion(unnest(st_clusterintersecting(geom)))) as geom
    from bati_test
)

Cela fonctionne parfaitement lorsque j'ai moins de 6 000 000 d'articles. exemple: j'ai ce message normal qui apparaît, avec le nombre d'entités créées. https://zupimages.net/viewer.php?id=20/15/ielc.png

Mais si je dépasse 6 000 000 d'entités, la requête se termine mais aucun élément n'est créé dans la table. J'ai ce message qui s'affiche, mais ne me renvoie rien.
https://zupimages.net/viewer.php?id=20/15/o41z.png

Je ne comprends pas.

Je vous remercie.

Nicolas Ribot · Sun 12 April 2020 20:18

Bonsoir,

st_clusterIntersecting utilise un tableau en mémoire pour stocker les résultats.
La taille de ce tableau a une limite max, facilement dépassable avec de grosses tables.

Vérifiez la version 12, il se peut qu'elle règle ce pb.

Sinon, il faut diviser votre dataset et procéder par morceaux.

Nicolas

Nicolas Ribot · Sun 12 April 2020 20:22

Vous pouvez aussi tenter "à l'ancienne", en faisant l'union de la couche et le dump du résultat (regardez dans la doc quelle fonction st_union ou st_memUnion est la plus adaptée).

preliator · Tue 14 April 2020 20:00

Merci pour votre réponse

J'ai résolu ce problème travaillant sur un nombre de données plus petit (travailler par département, au lieu du territoire français pas exemple).

preliator · Wed 29 April 2020 10:57

Bonjour,

Je me permet de poser une petite question sur une syntaxe de formule : Qu'entendez vous par faire "l'union de la couche et le dump du résultat" ?

En minimisant au maximum mon échelle de travail, je dois travailler sur 2 millions de polygones. Le fameux message m'informant que je dépasse la taille maximale autorisée pour un tableau s'affiche.

J'ai effectivement pensé à "couper" ma table de polygones en deux.

Je crée une nouvelle colonne, dans ma table de polygones, qui indique si les polygones se touchent ou pas :

Code:

update polygones t1 set est_colle = '0';

update polygones t1 set est_colle = '1' from polygones t2 where st_intersects(t1.geom, t2.geom) and t1.id <> t2.id

Je regroupe les polygones seulement lorsque "est_colle" = '1' :

Code:

create table polyg_regroup as
(select st_unaryunion(unnest(st_clusterintersecting(geom))) as geom
from polygones
where est_colle = '1');

Je me demandais s'il existait une méthode peut être plus directe ?

Merci.

Dernière modification par preliator (Wed 29 April 2020 10:58)

Nicolas Ribot · Wed 29 April 2020 13:40

Bonjour,

Il y a plusieurs façons de faire l'union de pg qui s'intersectent. clusterIntersecting marche bien et vite, mais est limitée par la taille des tableaux dans PG.

On peut aussi faire l'union des polygones de la couche et dumper ensuite cette union: on a alors autant de polygones qu'il y a de parties qui se touchent dans le dataset d'entrée.
Ca prend souvent des plombes pour les grosses couches, mieux avoir de la mémoire disponible, mais il y a plusieurs variantes de st_union (cf doc), dont une qui est plus memory-friendly.

Donc avant de procéder en découpant le dataset, je tenterais:

Code:

select st_dump(st_union(geom)) as dmp 
from matable;

Nico

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Annonce

#1 Sun 12 April 2020 15:56

Regrouper polygones qui s'intersectent - Problème sur grosse BDD

Code:

#2 Sun 12 April 2020 20:18

Re: Regrouper polygones qui s'intersectent - Problème sur grosse BDD

#3 Sun 12 April 2020 20:22

Re: Regrouper polygones qui s'intersectent - Problème sur grosse BDD

#4 Tue 14 April 2020 20:00

Re: Regrouper polygones qui s'intersectent - Problème sur grosse BDD

#5 Wed 29 April 2020 10:57

Re: Regrouper polygones qui s'intersectent - Problème sur grosse BDD

Code:

Code:

#6 Wed 29 April 2020 13:40

Re: Regrouper polygones qui s'intersectent - Problème sur grosse BDD

Code:

Pied de page des forums