banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Rencontres QGIS 2025

L'appel à participation est ouvert jusqu'au 19 janvier 2025!

#1 Tue 06 February 2024 20:03

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3197
Site web

PDAL et PostGis

Bonjour à tous,

Il y a t-il ici des gens qui jouent avec PDAL-PostgreSQL-PostGIS ?

A Bientôt


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#2 Wed 07 February 2024 10:56

Nicolas Ribot
Membre
Lieu: Toulouse
Date d'inscription: 9 Sep 2005
Messages: 1554

Re: PDAL et PostGis

Hello,
J'avais fait quelques tests à l'epoque avec pg_pointcloud, qui utilise pdal pour les formats pointcloud

Nicolas

Hors ligne

 

#3 Wed 07 February 2024 13:14

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3197
Site web

Re: PDAL et PostGis

Merci

J'utilise aussi pg pointcloud.

Quand je serai coincé je sais que je peux venir ici smile
J'ajoute que visiblement la manipulation de ces données reste du domaine des spécialistes.


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#4 Wed 07 February 2024 14:59

JRM
Participant assidu
Lieu: Arras
Date d'inscription: 15 Apr 2009
Messages: 521

Re: PDAL et PostGis

nicolas > pg_pointcloud n'utilise rien de PDAL, par contre PDAL peut lire et écrire dans pg_pointcloud.

Sur les volumes un tant soit peu conséquent, l'ingestion de données lidar dans PG n'est pas la solution la plus efficace : le stockage sous la forme PCPatch et Pcpoint a un coût prohibitif par rapport à des formats fichiers taillés pour (copc, tiledb, etc.).

Dans un monde idéal, pour exploiter ce type de données dans Postgres il faudrait une solution similaire à pgraster ou ogr_fdw qui permettent d'appeler en SQL des sources stockées en-dehors de la base.

Dans l'attente, il est plus simple d'utiliser PDAL et ses pipelines (p. ex filters.overlay gère le dialecte OGR SQL) pour croiser des données lidar et PG ou bien produire des dérivés raster ou vecteurs mobilisables dans PG.

Dernière modification par JRM (Wed 07 February 2024 15:02)

Hors ligne

 

#5 Wed 07 February 2024 17:19

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3197
Site web

Re: PDAL et PostGis

Bonjour,

Merci JRM,
Tu as des liens sur pdal autres que la doc PDAL.IO ?
Un truc qui décrive un peu mieux les différentes possibilités de writer, filter etc ...

Effectivement il faut utiliser un fichier JSON avec PDAL pour injecter dans PG via pg_pointcloud.


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#6 Wed 07 February 2024 17:29

Nicolas Ribot
Membre
Lieu: Toulouse
Date d'inscription: 9 Sep 2005
Messages: 1554

Re: PDAL et PostGis

JRM a écrit:

nicolas > pg_pointcloud n'utilise rien de PDAL, par contre PDAL peut lire et écrire dans pg_pointcloud.

Sur les volumes un tant soit peu conséquent, l'ingestion de données lidar dans PG n'est pas la solution la plus efficace : le stockage sous la forme PCPatch et Pcpoint a un coût prohibitif par rapport à des formats fichiers taillés pour (copc, tiledb, etc.).

Dans un monde idéal, pour exploiter ce type de données dans Postgres il faudrait une solution similaire à pgraster ou ogr_fdw qui permettent d'appeler en SQL des sources stockées en-dehors de la base.

Dans l'attente, il est plus simple d'utiliser PDAL et ses pipelines (p. ex filters.overlay gère le dialecte OGR SQL) pour croiser des données lidar et PG ou bien produire des dérivés raster ou vecteurs mobilisables dans PG.


Oui pardon pour mon abus de langage: j'avais donc utilisé le writer pdal pointcloud, as per the doc (https://pgpointcloud.github.io/pointclo … start.html)

Merci pour ces explications

Nicolas

Dernière modification par Nicolas Ribot (Wed 07 February 2024 17:30)

Hors ligne

 

#7 Thu 08 February 2024 06:23

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3197
Site web

Re: PDAL et PostGis

Bonjour

"Oui pardon pour mon abus de langage"

Toute la différence de précision entre un débat GéoBD et un débat BFMTV. smile


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#8 Thu 08 February 2024 09:47

JRM
Participant assidu
Lieu: Arras
Date d'inscription: 15 Apr 2009
Messages: 521

Re: PDAL et PostGis

Christophe, je te conseillerais de débuter par les tutoriels présents sur pdal.io pour prendre en main le concept des pipelines PDAL (similaires aux pipes unix) et découvrir quelques filtres.

Il ne faut pas négliger le travail initial de préparation de la donnée, si tu utilises les dalles lidarhd ign ça limite les efforts, si tu récupères celles d'un presta c'est une autre paire de manche. Et si ensuite tu veux t'attaquer à l'ensemble du GR20 c'est la gestion du calcul qui prend la relève (tuilage, buffers, parallelisation, etc.).

QGIS a intégré une grande partie des commandes PDAL, ça peut être une première approche plus sympa

Hors ligne

 

#9 Thu 08 February 2024 13:30

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3197
Site web

Re: PDAL et PostGis

Bonjour,
Merci.

Le plus simple pour moi (et pour l'instant) c'est PDAL en ligne de commande avec un pipeline.

J'utilise les dalles LIDAR IGN. (pour ma part)


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#10 Fri 09 February 2024 16:43

ron22
Participant occasionnel
Lieu: Brest
Date d'inscription: 22 May 2008
Messages: 33

Re: PDAL et PostGis

Bonjour,

nous stockons des données bathymétriques en PGPOINTCLOUDS. Nous utilisons PDAL comme PIPE pour envoyer des données d'une instance Postgres à une autre et réorganiser les patch. Nous créons un fichier json via un ETL puis nous l'exécutons en gros. Voici la forme de notre JSON, je ne sais pas si cela peut aider? :
L'inconvénient de ce pipe (via les options filters.chipper est qu'il est très consommateur en RAM (les données sont stockées dans la RAM pour calcul des patch)

{
        "type":"readers.pgpointcloud",
        "connection":"host='hote' dbname='db_source' user='user' password='mdp' port='5432'",
        "table":"table_source",
        "schema":"sonde_pc",
        "column":"patch",
        "spatialreference":"EPSG:4326"
    },
    {
        "type":"filters.chipper",
        "capacity":"400"
    },
    {
        "type":"writers.pgpointcloud",
        "connection":"host='nom_hote' dbname='gb_name' user='user' password='mdp' port='5432'",
        "compression":"dimensional",
        "srid":"4326",
        "schema": "nom_schema",
        "table": "nom_table",
        "column":"patch",
        "pcid": "1",
        "post_sql": "create index if not exists patch_geom_maj_idx on schela.table gist((patch::geometry))",
        "scale_x": 0.0000001,
        "scale_y": 0.0000001,
        "scale_z": 0.001


Ronan Jarno
Shom - Brest

Hors ligne

 

#11 Tue 13 February 2024 08:49

JRM
Participant assidu
Lieu: Arras
Date d'inscription: 15 Apr 2009
Messages: 521

Re: PDAL et PostGis

L'usage de la RAM est une bonne chose si le module PDAL est bien utilisable en mode "stream", il n'a pas besoin de charger l'intégralité de la donnée à cet étape pour pouvoir traiter et faire suivre au module suivant. Dans votre exemple, les principaux coûts seront dus à la présence ou l'absence d'un index spatial puis aux opérations de lecture/écriture.


Je suis assez surpris de vos échelles (scale_*), cette précision de stockage impliquerait un travail à l'échelle sub-grain de sable, est-ce que c'est bien la résolution utile de votre campagne bathy et surtout de l'exploitation ?

Hors ligne

 

Pied de page des forums

Powered by FluxBB