Annonce
#1 Tue 23 June 2020 12:27
- ron22
- Participant occasionnel
- Lieu: Brest
- Date d'inscription: 22 May 2008
- Messages: 32
Estimation volumétrie BDD Postgis - 15mds points
Bonjour,
nous travaillons à l'élaboration d'une BDD des sondes fiabilisées à l'échelle des zones sous direction françaises. La problématique est que les données sont actuellement stockées dans "une boite noire". Nous pouvons les extraire en utilisant une API de la solution (logiciel + BDD), mais nous n'avons aucune information sur la structuration de la base source ni sur sa volumétrie. Nous utilisons ensuite des script FME / Python pour fiabiliser et ségréguer la donnée. Ces traitements sont en cours de construction. Parallèlement, nous souhaitons estimer le serveur nécessaire pour stocker et exploiter ces informations output. Actuellement, la BDD contient 15milliards de sondes, avec pour chacune d'entre elle un x,y,z. D'après les informations "incomplètes et non vérifiables" à ma disposition, la base de données en Input ferait 300go pour stocker l'ensemble de ces informations. Cela me parait peu. Nous sommes au tout début de la réflexion sur la structuration et le stockage de la BDD Output, mais si quelqu'un à une idée de l'ordre de grandeur du volume à prévoir, je suis intéressé.
Merci D'avance
Ronan Jarno
Dernière modification par ron22 (Tue 23 June 2020 14:23)
Ronan Jarno
Shom - Brest
Hors ligne
#2 Wed 24 June 2020 10:49
- tumasgiu
- Membre
- Lieu: Ajaccio
- Date d'inscription: 5 Jul 2010
- Messages: 1132
Re: Estimation volumétrie BDD Postgis - 15mds points
Bonjour,
300 GO, je dirais que çà dépends de la distribution des coordonnées des points et
la technique employée pour stocker/compresser celles-ci, cela est peut être jouable.
Mais pour ma part la question du stockage est secondaire pour 15G de points,
ce qui me préoccuperait plus serait la recherche et le traitement de ces données.
Pour ce qui est de Postgres, il y a plusieurs approches possibles.
Ce sujet sur Gis.stackExchange a l'air intéressant :
https://gis.stackexchange.com/questions … cessing-it
Il y est question d'une approche de stockage en grille : au lieu de stocker un Point3D par enregistrement,
on découpe l'espace occupé en une grille, chaque cellule est un enregistrement, et les points contenus dans ces cellules
sont stockés dans des MultiPoint3D.
Pour optimiser la compression des données effectuée par Postgres, si vos données vous le permette,
vous pouvez vous servir de st_quantizecoordinates afin d'obtenir une représentation optimale des coordonnées
de vos géométries :
https://postgis.net/docs/ST_QuantizeCoordinates.html
Il y est aussi mentionné une extension à part appelée PointCloud, développée par P. Ramsey, qui travaille aussi sur Postgis.
C'est une extension spécialement dédiée à la gestion de nuage de points, j'imagine que les choses doivent être optimisées.
Il y a même une façon d’interfacer cette extension avec postgis. Je ne l'ai jamais utilisé.
Un moyen d'avoir une idée rapidement serait d'écrire un petit script qui générerait assez de points aléatoirement pour que
vous puissiez vous faire une idée.
Dernière modification par tumasgiu (Wed 24 June 2020 10:50)
Hors ligne
#3 Wed 24 June 2020 11:31
- Nicolas Ribot
- Membre
- Lieu: Toulouse
- Date d'inscription: 9 Sep 2005
- Messages: 1536
Re: Estimation volumétrie BDD Postgis - 15mds points
Bonjour,
Postgis dipose de la fonction st_memSize pour determiner la taille d'une geom. Un point 3D fait 40 bytes, et 15Md de points 3D, environ 560 GB, auxquels il faut rajouter les autres colonnes et les index éventuels sur la table (compter plusieurs centaines de GB pour l'index)
Comme le dit tumasgiu, a partir de cette volumétrie, PointCloud peut etre une solution interessante, qui optimise le stockage et fournit des index spatiaux et non spatiaux pour accéder à ces grilles de data.
Si la volumétrie peut devenir beaucoup plus grosse, peut etre que la BD n'est pas la meilleure solution ?
Je remets ici un lien vers une discussion parlant de Entwine, un outil LIDAR (https://github.com/PDAL/PDAL/issues/2218)
(les démos sont très belles ! : https://potree.entwine.io/ )
Nicolas
Hors ligne
#4 Wed 24 June 2020 14:34
- ron22
- Participant occasionnel
- Lieu: Brest
- Date d'inscription: 22 May 2008
- Messages: 32
Re: Estimation volumétrie BDD Postgis - 15mds points
Bonjour,
merci pour toutes ces informations. Nous avons dans un premier temps travaillé aux traitements de fiabilisation et d'extraction des informations. Nous entamons juste la réflexion au sujet du stockage, structuration et de l'optimisation des données pour utilisations. Vos réflexions tombent à pic et représentent des bonnes pistes, merci. Et je suis rassuré quand à la volumétrie à prévoir.
Bonne journée
Ronan Jarno
Shom - Brest
Hors ligne
