Le portail francophone de la géomatique

Bonjour,

Qq points rapides:
50 000 records, c'est un TOUT petit volume de données pour une BD: soyez donc rassuré: vous pourrez faire tous les traitements que vous voulez avec PG.
(par ex, quand on travaille avec les parcelles de France, c'est 97 millions de PG pour 1.3 millards de coordonnées. Un de mes clients les affiche en Web, en 3D avec MNT métrique, 47M de batiments et pas loin de 200 millions d'arbres).

Plus que des limites techno, c'est la syntaxe SQL qui vous gène. Effectivement, avg(sum(... ne marche pas, mais avg(select sum(st_area...) marche.
Attention: SQL n'est pas un langage de programmation: Vous indiquez juste au systeme ce que vous voulez faire, et lui se charge de comment le faire.

Si vous etes habitué a un autre langage de stats, il faudra effectivement apprendre le SQL, mais avec les Windows functions, et les GROUPING SETS, vous pouvez faire des stats tres puissantes.

PG se couple très bien avec d'autres langages, comme pl/R, python, etc => grosses capacités de calcul directement dans la BD, sans sortir dans d'autres softs.

Concernant les tables intermédiares, c'est avant tout le temps que vous jugez acceptable pour une requete qui va vous guider: st_area(geom) est tres rapide, st_union(geom) group by machin sera beaucoup plus long.

Une moyen simple: régler PG pour logger les requetes qui prennent plus de x ms, jouer avec l'application et analyser les requetes qui vous paraissent trop longues (explain, explain analyse). Vous pouvez alors optimiser ces requêtes, passer par des tables, etc.

Pour les données spatiales, le pb avec trop requetes imbriquées c'est qu'on peut générer des géométries dans les étapes intermédiaires qui ne seront du coup pas indexées lors de croisements avec d'autres données. Pour aller plus vite, découper en tables intermédiaires, indexer ces tables et travailler avec permet souvent de gagner du temps.

Perso, plus je travaille avec PG, plus je ne travaille QU'avec PG: Foreign Data Wrapper pour acceder aux données externes par exemple: c'est facile de faire une fonction ou une table qui est branchée, par ex, sur un Webservice renvoyant du XML ou du JSON (je pense par ex au géocodeur en ligne https://adresse.data.gouv.fr/csv pour fabriquer direct des geométries POINT à partir d'adresses dans une table)

Nicolas

Bonjour,

Merci pour vos réponses. Je vois à vos posts que mes questionnements sur la finalité de PostgreSQL ne sont pas fondés, c’est juste moi qui ne suis pas assez bon en SQL ! Je vais persévérer !

J’ai bien essayé d’installer pl/R mais ça n’est pas possible sur ma version, le chemin d’appel aux extensions(C :/usr/share/postgresql/10/extension/plr.control) n’est pas paramétrable (en tout cas j’ai bien cherché) et mon arborescence (C:\Program Files\PostgreSQL\10\share\extension) diffère de celle par défaut. (le tuto pour l’install de pl/R : http://www.bostongis.com/PrinterFriendl … plr_tut01)

Pour ce qui est des tables intermédiaires, ce n’est pas directement lié aux temps de calculs (qui sont limités sur une taille d’échantillons comme la mienne, surtout avec les bons index comme vous dites), mais plutôt aux requêtes en elles-mêmes qui nécessitent des tables intermédiaires pour y stocker des données nécessaires à d’autres calculs.
Mais grâce à ChristopheV, je vais me mettre aux CTE (Commun Table Expression – tables intermédiaires générée justes pour le calcul) avec WITH, qui permet de construire des requêtes imbriquées beaucoup plus facilement qu’avec la syntaxe en cascade (cf. ex. ci-après). Je ne connaissais pas et qui me parait extrêmement prometteuse pour résoudre une bonne partie de mes problèmes. Merci !

Ex requête en cascade :

SELECT * FROM ma_table, (SELECT ..... FROM ......) AS sous_requete1, (SELECT ..... FROM ......) AS sous_requete2 ......

Ex requête avec WITH :

WITH
   sous_requete1 AS (SELECT ..... FROM .....),
   sous_requete2 AS (SELECT .... FROM .....)
SELECT * FROM ma_table, sous_requete1, sous_requete2 ...

(exemples tirés de http://www.portailsig.org/content/postg … ecursives)

@ Nicolas : « c'est facile de faire une fonction ou une table qui est branchée, par ex, sur un Webservice renvoyant du XML ou du JSON »
Vous auriez de la documentation là-dessus ? Pour un webmapping avec RShiny, il est nécessaire de passer par du JSON (ça ne marche pas avec du shapefile), aussi une fonction de conversion en JSON m’intéresserai particulièrement.

Encore merci pour vos conseils, ça m'a permis d'avancer!

Robinson LUCAS