Le portail francophone de la géomatique

Bonjour

Merci, c'est effectivement la bonne méthode pour importer les données.
Merci aussi de nous alerter que ce format n'est pas bien documenté ... une doc (ou un tuto) sera rédigée dès que possible.

Cordialement

Bonjour,

Une version beta pour un grand bêta comme moi permettrait effectivement d'apprécier l'efficience du tutoriel ;-)

Bonjour,

Oui et public **doit** être présent dans le search_path sinon pgsql ne trouvera pas les fonctions postgis (conf. ton message d'erreur).

search_path liste les schémas dans lequel pgsql cherchera les donnés (tables, séquences, vues, fonctions) quand on lancera des requêtes. Par défaut, si aucun schéma n'est définie lors de l'import ou création de données, il utilisera la première de la liste.

Y.

Tu as un lien vers les fichiers SQL ou mieux les premières lignes : Création de la table et première ligne de l'insertion des données ?

Y.

Bonjour,

L'intégration de données est parfois plus complexe qu'il n'y paraît, et il est beaucoup plus facile de travailler avec SQL et des tables qu'avec des fichiers texte.

Processus d'intégration de donnée à partir d'un fichier texte:

Intégration du fichier dans une table temporaire BD postgres/postgis. Exemple : intégration du département 22 dans la table monschema.temp_bdtopo22.
On résout alors les problématiques suivantes : Encoding, caractères spéciaux, espaces ...géométries foireuses

Ensuite on travaille directement en SQL pour intégrer les différentes tables temporaires dans une table définitive.


Comme cela on sépare bien les choses, les étapes et quand une partie foire on peut l'examiner sans effet papillon (modifier une partie du code avec des effets sur des autres parties du prg).

Donc votre script vous l’exécutez pour chaque département, puis vous assemblez le tout avec une requête sql.

Bonjour

Comme promis, un tutoriel vient d'être mis en ligne pour l'import des données dans PostgreSQL :
professionnels.ign.fr/doc/Tutoriel_impo … sql_v1.pdf

Un grand merci à Jérémie, qui nous a :
1. alerté sur le manque de documentation,
2. donné une bonne base pour rédiger le tutoriel
3. relu, corrigé et commenté le tutoriel avant publication

Cordialement

Merci beaucoup pour tous vos conseils !

Grâce à vous j'ai pu importer mes données sans difficultés.

Il faut soit
1- indiquer le chemin complet des fichiers à importer via la commande \i (chemin de ton dossier ign)
2- lancer la commande psql depuis ton dossier ign, avec tous les fichiers à importer au même niveau que ton fichier import.sql

Pour la solution 2, tu peux soit :
a- entrer le chemin complet de la commande psql (exemple : C:\"Program Files"\PostgreSQL\10\bin\psql.exe)
b- ajouter le chemin où se trouve la commande psql dans ton PATH (variable d'environnement système), comme indiqué dans les remarques du paragraphe 2.2 page 6 du document tutoriel d'import postgres dispo sur le site de l'IGN :

En fait le .exe est optionnel, Windows reconnaissant qu'il s'agit d'un exécutable même si .exe n'est pas précisé.

Bonjour,

Après de multiples tentatives et ayant suivi les remarques de p.jeremie je n'arrive pas a intégrer mes données (permission refusée). Est ce que cela est possible de m'envoyer quelques capture d'écran en MP, afin d'avoir une idée plus claire de la structure du fichier d'import.sql et de la commande a appelle du bin.

Merci

Cela fonctionne par ce biais et effectivement ça va dans le public mais j'imagine qu'il y a une commande pour spécifier un schéma particulier. Après au regard du nombre de fichiers c'est la commande par lot qui est vraiment intéressante.

Dernière modification par Theos2000 (Thu 08 March 2018 03:57)

Je te conseille d'y aller petit à petit pour voir à quel moment ça ne fonctionne pas. En deux temps :
1 - Essayer l'import de plusieurs fichiers sans préciser le schéma, avec un fichier import.sql avec le contenu suivant :

\i BATI_REMARQUABLE.sql
\i BATI_INDUSTRIEL.sql
\i BATI_INDIFFERENCIE.sql

Et lancer la commande suivante :

psql -h nom_serveur -p port -U utilisateur -d base_de_donnees -f import.sql

2- Essayer en précisant le schéma dans le fichier import.sql :

set search_path to bdtopo, public ;

\i BATI_REMARQUABLE.sql
\i BATI_INDUSTRIEL.sql
\i BATI_INDIFFERENCIE.sql

Puis la commande à lancer est la même (pour être sûr de bien suivre ce que tu fais, je te conseille de supprimer toutes les tables importées au point 1).


Une fois ces tests faits, dis-nous si ça fonctionne ou pas.
Si ce n'est pas le cas, à quel moment ça ne fonctionne pas et quel est le message d'erreur et la commande ?

Bonjour Bianca,

Tu lances ta commandes en précisant à la fois le chemin complet de psql.exe et celui de import.sql, j'en déduis donc qu'au moment où tu lances ta commande tu n'es pas dans le répertoire contenant import.sql (BDT_2-2_SQL_LAMB93_D022-ED172\H_ADMINISTRATIF).
Hors le \i CHEF_LIEU.sql présent dans ce fichier va chercher CHEF_LIEU.sql dans le répertoire courant.

Il faut donc que tu lances ta commande depuis le répertoire X:\DONNEES\REFERENTIEL\ign\BDTOPO\BDTOPO_2-2_TOUSTHEMES_SQL_LAMB93_D022_2017-10-02\BDTOPO\1_DONNEES_LIVRAISON_2017-11-00724\BDT_2-2_SQL_LAMB93_D022-ED172\H_ADMINISTRATIF
et ta commande sera alors :

"C:\Program Files (x86)\pgAdmin 4\v2\runtime\psql.exe" -h ip_serveur -p mon_port -U mon_user -d ma_abse -f "import.sql"

Pour simplifier encore la commande, je te conseille d'ajouter psql.exe à la variable d'environnement PATH (voir dans le guide IGN, paragraphe 2.2 page 6).

Bonjour à vous,

Je suis en train d'importer le millésime 2017 de la BD Topo dans mon serveur PG.
Je suis sur 4 départements et j'aimerais automatiser le plus possible le processus.

J'ai récupéré la liste de tous les SQL des 4 départements, et créé le fichier import.sql avec les lignes de ce type :

set search_path to manche_2017, public ;
...
\i "s:\CHEMIN\1_DONNEES_LIVRAISON_2017-11-00724\BDT_2-2_SQL_LAMB93_D050-ED172\E_BATI\TERRAIN_SPORT.sql"
...

Hors, à l’exécution de PSQL, j'obtiens le message d'erreur "No Such file or directory" pour chaque fichier SQL.

Je ne lance effectivement pas ma commande depuis le dossier des fichiers SQL, mais j'ai précisé leur chemin absolu.

Si je devais effectuer la commande depuis le dossier des SQL, il faudrait lancer 36 commandes (4 départements x 9 dossiers SQL). J'aimerais si possible éviter ça !

Si quelqu'un pouvait m'aider dans ce process

Merci d'avance.

Sylvain M.

C'est bon, l'importation de mes 4 départements a fonctionné sans problème (1 schéma par département).

Maintenant, comme je m'en doutais, certaines couches présentent des "doublons" d'un département à l'autre.

Comme il était demandé précédemment dans ce fil :

Je pense qu'il serait souhaitable de proposer une méthode, dans le tutoriel, pour agréger sans doublons les différents départements.
A regarder de plus près, les entités en double ont la même géométrie, les mêmes attributs (notamment ID) à l'exception du champ GID.

Qu'est-ce qui vous semble le plus propre :
- Un "UNION" avec "GROUP BY" à la fin ?
- Un "UNION" avec "SELECT DISTINCT" à la suite ?

J'avais l'année dernière fait cette requête sur la base des SHP départementaux intégrés à PG :

CREATE TABLE public.admin_commune_2016 AS 
 WITH tmp as (SELECT *
 FROM manche_2016.admin_commune
 UNION
 SELECT *
 FROM calvados_2016.admin_commune
 UNION
 SELECT *
 FROM mayenne_2016.admin_commune
 UNION
 SELECT *
 FROM eure_2016.admin_commune
 UNION
 SELECT *
 FROM seine_maritime_2016.admin_commune
 UNION
 SELECT *
 FROM orne_2016.admin_commune
 UNION
 SELECT *
 FROM sarthe_2016.admin_commune)
SELECT DISTINCT id, prec_plani, nom, code_insee, statut, canton, arrondisst, 
       depart, region, popul, multican, geom from tmp
ORDER BY code_insee;

Est-ce que vous auriez plus propre / efficace ?

Dernière modification par Sylvain M. (Mon 23 April 2018 15:12)