Le portail francophone de la géomatique

Bonjour,

Je vais dans le sens d'Yves pour confirmer que des bases avec des centaines de millions d'enregistrements tournent sans problemes (plusieurs tera octets de données au total).

Quand vous dites: "constat : table trop volumineuse, il faut faire autrement", quelle limite avez-vous rencontré ? insertion impossible, ou requetes longues sur la table créée ?

Il faut egalement savoir qu'une installation classique de Postgresql ne convient pas trop pour des bases volumineuses: en effet, la configuration par defaut est pour le moins minimaliste. Il faut donc régler la base pour l'utilisation qu'on souhaite en faire (memoire, espaces temporaires, nombre de connexion, partitionnement des tables sur des disques rapides, etc.)

Nicolas

As-tu essayé la fonction COPY pour integrer les fichiers texte?
C'est un fonction qui marche bien. Mais il faut créer la table vide avant et définir les types des champs.

Parfois, quand j'ai un gros fichier texte avec beaucoup de champs, je passe par le logiciels R et le package RODBC.

Je n'ai jamais eu de problème que ce soit avec la fonction COPY pour integrer des très gros fichiers txt (de quelques Go).
Avec R et le lien ODBC, j'ai parfois quelques soucis si la base est très lourde.

Il m'arrivait aussi de passer par MS ACCESS (et lien ODBC) mais c'est un peu plus lent et le nombre de champs est limité.

Pour les requêtes via php(pg_connect, pg_query...), elles sont quasi aussi rapides que directement sous postgis.
Je ne connais pas les caractéristuqes de notre serveur (où est apache et postgis) mais c'est je pense que c'est une bonne bête!


pour certaines requetes spatiales, il faut effectivement faire un index et des conditions de superposition des box avec &&.

A bientot,

merci encore,
effectivement hier soir j'ai pu testé la commande copy, voici les resultats (sur mon portable, j'espere mieux sur serveur)

tuto url : http://www.bostongis.com/?content_name=postgis_tut03

Importing the Data into PostGreSQL :

Create the table to import to :

CREATE TABLE pluvio2
(
  mois integer,
  x double precision,
  y double precision,
  pr double precision
)
WITH (OIDS=FALSE);


The COPY command :

COPY pluvio2 FROM 'C:/Users/naima/Documents/STAGE/AURELHY/RR.txt'  USING DELIMITERS ';' ;

RR.txt looks like that :
month;x,y,Pluviometry
1;670;23960;81.9
1;680;23970;82.7
....

La requête a été exécutée avec succés : 7172308 lignes modifiées. La requête a été exécutée en 156247 ms.

Creating and Populating the Geometry Field :

Create the Geometry Field :

SELECT AddGeometryColumn( 'public', 'pluvio2', 'pluvio_geom', 27582, 'POINT', 2 );

temps d'execution : 19633 ms.

Populate the Geometry Field using the Longitude and Latitude fields :

UPDATE pluvio2 SET pluvio_geom = setsrid(makepoint(x, y),27582);

La requête a été exécutée avec succés : 7172308 lignes modifiées. La requête a été exécutée en 156950 ms.

Index your spatial fields :

CREATE INDEX idx_pluvio2_geom ON pluvio2 USING GIST (pluvio_geom);

La requête a été exécutée avec succès en 405315 ms, mais ne renvoie aucun résultat.

une autre question : modelisation bdd
-------------------------------------------------------

la structure du fichier (pluvio) importé est la suivante :
mois;x;y;pluvio;

pour chaque mois 550 000 lignes env.

on se trouve avec une redondance au niveau des points (on a le même point pour les 12 mois de l'année)

j'aimerai optimisé cela :

1- soit je crée 12 tables pour les 12 mois
2- soit je crée 1 table avec 12 colonnes pour les 12 mois dans lesquelles je stocke la pluvio
3- y'a t'il une autre possibilité ?

en tenant compte de plusieurs paramètres :

1- en entree sera soumis le fichier de l'utilisateur final, celui ci comporte des coordonnées x et y
    ces coordonnées pourront correspondre à des points concentrés dans la même région ou éparpillés dans toute la France.
2- dans un second temps, je devrais remonter le point le plus proche (j'imagine que le calcul est un petit peu plus complexe et gourment en cpu et qu'il faut prévoir/optimiser la table dans cette perspective)

je fais les tests pour ces 2 solutions, je vous donneria le temps d'execution plus tard.

Croisement des donnees utilisateurs et la bdd :
---------------------------------------------------------

pour croiser les données utilisateurs , je stocke le fichier dnsa une table temporaire et fais une requete comme ceci :

select t1.pr, t2.x, t2.y, s.mois from pluvio2 t2, user_data t2 where t1.x = t2.x and t1.x = t2.y

(pluvio2 etnat la table possedant tous les mois :  soit au total env 7 million de lignes)

(user_data possede une quarantaine de lignes)

temps d'execution = 26016 ms

merci d'avance pour tous les conseils,

n

Bonjour,

Regarde du côté de spatialDataIntegrator dont j'ai déjà parlé plus haut. Il te permettra soit d'utiliser le projet sous forme de webservice soit avec une pseudo interface graphique qui demande le chemin du fichier pour traitement. Il est capable d'envoyer des mails lorsqu'il y a un problème ou non, de restructurer les données, etc.

Outils un peu complexe à prendre en main, mais quand on a compris comment il fonctionne, cela permet d'industrialiser des tâches qui sont aussi complexe à mettre en place sous forme de script php, python ou autre.

Y.

Bonjour,

Effectivement, le mode web pour des gros traitements, ce n'est pas le plus simple a mettre en oeuvre, sachant que http attend une reponse correspondant a une requete, dans un temps limité.

Le principe que tu évoques peut etre mis en place en lacant une commande  (shell ou autrre) qui effectue le traitement Postgis et "ecrit" qqpart si le traitement est en cours ou terminé (par exemple en créant un fichier au debut du traitement et en supprimant ce fichier a la fin.)

L'interface Web permet de declencher ce traitement et permet egalement de suivre l'avancement du traitement (temps entre la creation du fichier et l'heure actuelle). Elle peut dire si le traitement est terminé (plus de fichier présent).

Un autre mode operatoire pourrait etre de deposer les fichiers en question dans un repertoire, régulierement scanné (cron ou tache windows) par le programme de traitement, qui traite les fichiers présent et les deplace dans un autre repertoire une fois le traitement effectué. Effectivement, un mail peut etre envoyé en fin de traitement.

Nicolas

Bonjour,

je reviens vers vous après avoir passe un certain temps sur cette appli. ça avance!

j'ai finalement opté pour la solution de Nicolas (Merci!) :
en php j'exécute un script shell chargé de lancer la procédure stockée, en tache de fond.

et ça marche plutôt bien.

mais j'ai un autre soucis et j'avoue que j'avais reussi a biaiser jusqu'a present : le calcul des distances!

soit en entrée un fichier avec des coordonnes x,y. que je stocke temporairement dans la base de donnees :

--creation de la table temporaire 
CREATE TABLE tmp_user_data
(
  x double precision,
  y double precision
);


--integration du fichier dans la table temporaire
cp := 'COPY tmp_user_data FROM ' || QUOTE_LITERAL(file) || ' USING DELIMITERS ' || QUOTE_LITERAL(delim);
EXECUTE cp;

RAISE NOTICE 'cp=%', cp;

CREATE TABLE tmp_user (
  id serial,
  x_ori double precision,
  y_ori double precision,
  x_cal double precision,
  y_cal double precision  
);

--calcul du point le plus proche
INSERT INTO tmp_user (x_ori,y_ori,x_cal,y_cal) SELECT x,y, round(x/10)*10 , round(y/10)*10 from tmp_user_data;

je croise ces x,y avec les couches stockées dans la base. (les couches sont stockes  en : mois, x,y,val_jan, val_fevr,..val_dec)
OK

ce que je souhaiterai faire maintenant concerne les poitns qui ne tombe pas dans la maille :
comment calculer la distance de ces points vers le point le plus proche de la maille ?

merci d'avance

en fait je n'ai pas de geom...que des x et y en metre.
(je connais le srid et il est stocke dans une table metadata pour l'instant.)

d'un cote j'ai mes couches : pluvio, t min, ...
d'un autre les x et y (en metre) que soumet l'utilisateur pour avoir des donnees meteo.

le calcul cité correspond en fait au calcul de la maille la plus proche (puisque on connait le pas =  1point tous les 1km)
pour les 550 000 points que represente la France, c plus rapide de faire ce calcul que d'utiliser les fonctions spatails de pgis.
(que je ne matrise pas bien)

pour remonter les donnees je fais une requete basique : jointure de mes 2 tables where a.x=b.x ....

le probleme concerne les points non remontes : je souhaiterai connaitre la distance de chacun d'eux vers la maille la plus proche.

je ne sais pas si c plus clair ?

a+

oui c ce que je pensais faire mais...ca risque d'etre un peu long en effet
je pensais faire un truc comme :

a partir de ma collection de points (ie mes couches)
transformation en geom point
ou
definir un contour, une peripherie (polygone?) a partir de point

et ensuite pouvoir definir la distance la plus proche entre le point demandé et le polygone tracé

mais je ne sais pas si c'est faisable ?

merci d'avance,

n

ok je regarde si ça fonctionne, encore merci

a+

N

Bonjour,

Pas sur d'avoir tout compris!

Si le problème est :
J'ai une grille avec des points tous les Km. J'ai un point aléatoire P(x,y) et je souhaite connaître le point de la grille le plus proche:

Je défini un carré de 1km*1km de centre P . J'obtiens par requête l'ensemble des points appartenant au carré (maximum 4) et j'applique Pythagore sur le résultat de la requête.

A+

Bonjour,

Soit un nuage de point, MaxX, MinX, MaxY et MinY définissent un rectangle englobant le nuage.

1) Si mon Carré de 1km^2 et ce rectangle n'ont pas d'intersection :
- je considère les points comme abbérants: éliminés.

Si il existe une intersection et que l'intersection avec la grille est nulle:

Je lance une [Ediot] "fonction" [/Edit] function récursive qui augmente la taille de mon carré de n kilomètre, qui effectue la requête , le point d'arrêt étant intersection non vide.

A+

Christophe,

L'anglais n'est pas accepté sur nos forums

Y.

Yves,

Je suis toute la journée en bataille avec Visual Studio 2008, alors des "function" j'en écris ...

Bonjour,

Box2D(geometry) ou extent(geometry set)  devraient convenir pour le rectangle, cela dépend de ce que tu lui envoies.

MakexBox2D(ll,ur) pour créer un rectangle (point en bas à gauche : lower left et point en haut à droite : upper right)

xmin(), ymin(), zmin(), xmax(), ymax() et zmax() pour les min des x, y et z et les max des x, y et z.

Y.