#1 Tue 06 February 2024 20:03
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3185
- Site web
PDAL et PostGis
Bonjour à tous,
Il y a t-il ici des gens qui jouent avec PDAL-PostgreSQL-PostGIS ?
A Bientôt
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#2 Wed 07 February 2024 10:56
- Nicolas Ribot
- Membre
- Lieu: Toulouse
- Date d'inscription: 9 Sep 2005
- Messages: 1542
Re: PDAL et PostGis
Hello,
J'avais fait quelques tests à l'epoque avec pg_pointcloud, qui utilise pdal pour les formats pointcloud
Nicolas
Hors ligne
#3 Wed 07 February 2024 13:14
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3185
- Site web
Re: PDAL et PostGis
Merci
J'utilise aussi pg pointcloud.
Quand je serai coincé je sais que je peux venir ici
J'ajoute que visiblement la manipulation de ces données reste du domaine des spécialistes.
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#4 Wed 07 February 2024 14:59
- JRM
- Participant assidu
- Lieu: Arras
- Date d'inscription: 15 Apr 2009
- Messages: 521
Re: PDAL et PostGis
nicolas > pg_pointcloud n'utilise rien de PDAL, par contre PDAL peut lire et écrire dans pg_pointcloud.
Sur les volumes un tant soit peu conséquent, l'ingestion de données lidar dans PG n'est pas la solution la plus efficace : le stockage sous la forme PCPatch et Pcpoint a un coût prohibitif par rapport à des formats fichiers taillés pour (copc, tiledb, etc.).
Dans un monde idéal, pour exploiter ce type de données dans Postgres il faudrait une solution similaire à pgraster ou ogr_fdw qui permettent d'appeler en SQL des sources stockées en-dehors de la base.
Dans l'attente, il est plus simple d'utiliser PDAL et ses pipelines (p. ex filters.overlay gère le dialecte OGR SQL) pour croiser des données lidar et PG ou bien produire des dérivés raster ou vecteurs mobilisables dans PG.
Dernière modification par JRM (Wed 07 February 2024 15:02)
Hors ligne
#5 Wed 07 February 2024 17:19
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3185
- Site web
Re: PDAL et PostGis
Bonjour,
Merci JRM,
Tu as des liens sur pdal autres que la doc PDAL.IO ?
Un truc qui décrive un peu mieux les différentes possibilités de writer, filter etc ...
Effectivement il faut utiliser un fichier JSON avec PDAL pour injecter dans PG via pg_pointcloud.
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#6 Wed 07 February 2024 17:29
- Nicolas Ribot
- Membre
- Lieu: Toulouse
- Date d'inscription: 9 Sep 2005
- Messages: 1542
Re: PDAL et PostGis
nicolas > pg_pointcloud n'utilise rien de PDAL, par contre PDAL peut lire et écrire dans pg_pointcloud.
Sur les volumes un tant soit peu conséquent, l'ingestion de données lidar dans PG n'est pas la solution la plus efficace : le stockage sous la forme PCPatch et Pcpoint a un coût prohibitif par rapport à des formats fichiers taillés pour (copc, tiledb, etc.).
Dans un monde idéal, pour exploiter ce type de données dans Postgres il faudrait une solution similaire à pgraster ou ogr_fdw qui permettent d'appeler en SQL des sources stockées en-dehors de la base.
Dans l'attente, il est plus simple d'utiliser PDAL et ses pipelines (p. ex filters.overlay gère le dialecte OGR SQL) pour croiser des données lidar et PG ou bien produire des dérivés raster ou vecteurs mobilisables dans PG.
Oui pardon pour mon abus de langage: j'avais donc utilisé le writer pdal pointcloud, as per the doc (https://pgpointcloud.github.io/pointclo … start.html)
Merci pour ces explications
Nicolas
Dernière modification par Nicolas Ribot (Wed 07 February 2024 17:30)
Hors ligne
#7 Thu 08 February 2024 06:23
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3185
- Site web
Re: PDAL et PostGis
Bonjour
"Oui pardon pour mon abus de langage"
Toute la différence de précision entre un débat GéoBD et un débat BFMTV.
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#8 Thu 08 February 2024 09:47
- JRM
- Participant assidu
- Lieu: Arras
- Date d'inscription: 15 Apr 2009
- Messages: 521
Re: PDAL et PostGis
Christophe, je te conseillerais de débuter par les tutoriels présents sur pdal.io pour prendre en main le concept des pipelines PDAL (similaires aux pipes unix) et découvrir quelques filtres.
Il ne faut pas négliger le travail initial de préparation de la donnée, si tu utilises les dalles lidarhd ign ça limite les efforts, si tu récupères celles d'un presta c'est une autre paire de manche. Et si ensuite tu veux t'attaquer à l'ensemble du GR20 c'est la gestion du calcul qui prend la relève (tuilage, buffers, parallelisation, etc.).
QGIS a intégré une grande partie des commandes PDAL, ça peut être une première approche plus sympa
Hors ligne
#9 Thu 08 February 2024 13:30
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3185
- Site web
Re: PDAL et PostGis
Bonjour,
Merci.
Le plus simple pour moi (et pour l'instant) c'est PDAL en ligne de commande avec un pipeline.
J'utilise les dalles LIDAR IGN. (pour ma part)
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#10 Fri 09 February 2024 16:43
- ron22
- Participant occasionnel
- Lieu: Brest
- Date d'inscription: 22 May 2008
- Messages: 33
Re: PDAL et PostGis
Bonjour,
nous stockons des données bathymétriques en PGPOINTCLOUDS. Nous utilisons PDAL comme PIPE pour envoyer des données d'une instance Postgres à une autre et réorganiser les patch. Nous créons un fichier json via un ETL puis nous l'exécutons en gros. Voici la forme de notre JSON, je ne sais pas si cela peut aider? :
L'inconvénient de ce pipe (via les options filters.chipper est qu'il est très consommateur en RAM (les données sont stockées dans la RAM pour calcul des patch)
{
"type":"readers.pgpointcloud",
"connection":"host='hote' dbname='db_source' user='user' password='mdp' port='5432'",
"table":"table_source",
"schema":"sonde_pc",
"column":"patch",
"spatialreference":"EPSG:4326"
},
{
"type":"filters.chipper",
"capacity":"400"
},
{
"type":"writers.pgpointcloud",
"connection":"host='nom_hote' dbname='gb_name' user='user' password='mdp' port='5432'",
"compression":"dimensional",
"srid":"4326",
"schema": "nom_schema",
"table": "nom_table",
"column":"patch",
"pcid": "1",
"post_sql": "create index if not exists patch_geom_maj_idx on schela.table gist((patch::geometry))",
"scale_x": 0.0000001,
"scale_y": 0.0000001,
"scale_z": 0.001
Ronan Jarno
Shom - Brest
Hors ligne
#11 Tue 13 February 2024 08:49
- JRM
- Participant assidu
- Lieu: Arras
- Date d'inscription: 15 Apr 2009
- Messages: 521
Re: PDAL et PostGis
L'usage de la RAM est une bonne chose si le module PDAL est bien utilisable en mode "stream", il n'a pas besoin de charger l'intégralité de la donnée à cet étape pour pouvoir traiter et faire suivre au module suivant. Dans votre exemple, les principaux coûts seront dus à la présence ou l'absence d'un index spatial puis aux opérations de lecture/écriture.
Je suis assez surpris de vos échelles (scale_*), cette précision de stockage impliquerait un travail à l'échelle sub-grain de sable, est-ce que c'est bien la résolution utile de votre campagne bathy et surtout de l'exploitation ?
Hors ligne