Le portail francophone de la géomatique

Salut,
j'y connais rien à pg_routing, d'ailleurs vous devriez mentionner
que cela concerne cette techno dans le titre de votre sujet.

Ca me parait être un problème de complexité, c'est quoi la taille de vos données d'entrée ?
Peut être qu'il faudrait les découper en tranche et les intégrer une par une ?

Optimiser votre serveur postgresql en changeant certaines options pourrait aussi améliorer les choses.
Pour voir ce qu'il se passe dans votre serveur, vous pouvez également augmenter le niveau de logging.
Tout ca se passe dans postgresql.conf.

Oui j'ai bien un index géométrique mais la colonne s'appel "ways"
Pour la taille de ma table, elle englobe la région Loire Atlantique mais ça me fait peur car à long terme j'aimerais faire l'opération avec toute la France
Que fait concrètement le rows_where ? car je ne veux pas trop découper l'information je veux toutes les données possibles.

Merci beaucoup je vais essayer cela je reviens pour dire si ça fonctionne ou pas. Merci beaucoup beaucoup !

Pour les ids rien de grave, vous pouvez pourquoi pas
créer une colonne supplémentaire dans votre table osm
qui elle sera séquentielle.

Le code que je vous ai donné était à titre d'exemple,
vous pouvez également essayer de filtrer avec un autre critère,
je ne connais pas les données osm, mais peut être si vous
avez un moyen d'isoler de petites zones géographiques avec une colonne....

je vous conseille également d'écrire un peu de code pour automatiser
la tâche, une fonction pl/pgsql ou python.

Dernière modification par tumasgiu (Tue 21 May 2019 15:02)

Je suis parti sur une autre solution en attendant mais je ne désespère pas, je vais tenter ce que vous me recommandez dès que je peux .

Par rapport a votre autre post https://georezo.net/forum/viewtopic.php?id=115941
(merci de ne pas poser la même question sur plusieurs fils differents):

Premierement,
on ajoute une colonne à notre donnée d'entrée,
qui sera une séquence continue qui nous permettra de découper
notre jeu de donnée en morceaux.

ALTER TABLE matable ADD id SERIAL;

On lui ajoute un index, ca peut aider si il y a beaucoup de données.

CREATE INDEX idx_matable_id ON matable(id);

Maintenant, on execute node_network morceau par morceau.
Ici, j'utilise un bloc anonyme pl/pgsql mais on peut en faire une fonction,
ou utiliser un autre langage.

DO $PROC$
DECLARE
    nb integer:= 500; --TODO: choisir la valeur adaptée
    max integer:= 0
    actu integer:= 1;
BEGIN
    SELECT max(id) INTO max;
    WHILE actu  + nb < max LOOP
        EXECUTE
            $$
                SELECT pgr_nodeNetwork('matable'
                                     0.1, 
                                     'osm_id',
                                     'way', 
                                     'noded', 
                                     rows_where:='id BETWEEN $1 AND $2')
            $$
            USING actu, actu + nb;
        actu:=actu+nb;
    END LOOP;
END;
$PROC$
LANGUAGE plpgsql;

Dernière modification par tumasgiu (Mon 27 May 2019 13:51)

J'ai une question, si je comprend bien je dois quand même laisser osm_id, c'est vraiment essentiel ?

C'était à la base une typo, mais après reflexion, vous pouvez laisser ainsi.
Ce paramètre designe la colonne servant d'identifiant unique à la table, et osm_id et id le sont toutes les deux.
Mais id est complétement factice et n'aura plus d’intérêt une fois que vous aurez exécuté NodeNetwork,
et sera redondante avec osm_id, qui elle possède une signification dans le modèle de données OSM.
Donc vous pourriez supprimer la colonne par la suite, si vous indiquez à pg_routing que la colonne d'identifiant
unique est osm_id.

Deux choses :

BETWEEN est un opérateur SQL qui renvoie vrai si
une valeur se trouve dans une intervalle.
Quelques exemples :

SELECT 2 BETWEEN 1 AND 3; --renvoie vrai
SELECT 1 BETWEEN 1 AND 3; --renvoie vrai
SELECT 3 BETWEEN 1 AND 3; --renvoie vrai
SELECT 0 BETWEEN 1 AND 3; --renvoie faux
SELECT 4 BETWEEN 1 AND 3; --renvoie faux

$1 et $2 sont des paramètres de subsitution utilisée par
la commande pl/pgsql EXECUTE grâce à la clause USING.
La commande

EXECUTE 'SELECT $1 = $2' USING 'toto', 'tata'

execute la requete en substituant $1 par 'toto' et
$2 par 'tata', ce qui donnera :

SELECT 'toto' = 'tata';

On parle de paramètre de substitution positionnels
(en anglais on utilise le terme variable ou placeholder).

Dernière modification par tumasgiu (Tue 28 May 2019 11:52)

D'ailleurs en parlant d'osm_id, j'ai du créer un id et l'incrementer moi même car osm_id n'a aucune valeur qui se suit quasiment. D'ou le fait que j'utilise id à la place d'osm_id. J'éspère que cela ne va pas me causer d'erreurs.

Je viens de regarder je suis en 2.1 bien vu je vais arranger ça

C'est bon j'ai trouvé, j'ai du réinstaller ubuntu avec un postgres d'une version au dessus (sic) plus qu'a tester toutes mes manips et je pourrais commencer mon projet.

C'est ma faute : La commande EXECUTE ne remplace pas les paramètres
positionnels situés dans des chaines de caractères littérales imbriquées
(dans notre cas la chaine 'id BETWEEN $1 AND $2').

Du coup la fonction devient :

DO $PROC$
DECLARE
    nb integer:= 500; --TODO: choisir la valeur adaptée
    max integer:= 0;
    actu integer:= 1;
BEGIN
    SELECT max(planet_osm_line.id) FROM planet_osm_line INTO max;
    WHILE actu  + nb < max LOOP
        EXECUTE
            $$
                SELECT pgr_nodeNetwork('planet_osm_line',
                                     0.1, 
                                     'id',
                                     'way', 
                                     'noded', 
                                      rows_where:=$1);
            $$
            USING format('id BETWEEN %s AND %s', actu, actu + nb);
        actu:=actu+nb;
    END LOOP;
END;
$PROC$
LANGUAGE plpgsql;

La fonction format fonctionne de la même manière
que la clause USING de EXECUTE,
elle remplace des paramètres positionnels signalés par le
symbole % dans une chaine de caractère par des valeurs.

Dernière modification par tumasgiu (Wed 29 May 2019 14:45)

Merci beaucoup tumasgiu, grâce à toi je vais passer à la partie intéressante de mon projet <3

Bon ça marchait pour pg_createTopology mais quand il s'agit de pgr_nodeNetwork cela me donne

NOTICE: pgr_nodeNetwork('planet_osm_line', 0.1, 'osm_id', 'way', 'noded', '<NULL>', f)

J'ai essayé plusieurs variante et ça me sort toujours cette forme j'ai essayé de "truander" un peu avec cette requête :

DO $PROC$
DECLARE
    nb integer:= 50; --TODO: choisir la valeur adaptée
    max integer:= 0;
    actu integer:= 1;
    limite integer:= actu + nb;
BEGIN
    SELECT max(id) FROM planet_osm_line INTO max;
    WHILE actu  + nb < max LOOP
        
            SELECT pgr_nodeNetwork('planet_osm_line',
                                     0.1, 
                                     'osm_id',
                                     'way', 
                                     'noded',
                                     rows_where:='id BETWEEN actu AND limite');
            
        actu:=actu+nb;
    END LOOP;
END;
$PROC$
LANGUAGE plpgsql;

Mais rien à faire