Le portail francophone de la géomatique

Géoliv · Mon 27 November 2017 08:19

Bonjour,

J'ai installé Postgresql 9.6 et Postgis 2.3.2 sur une machine serveur Ubuntu 16.04 en suivant les instructions de https://trac.osgeo.org/postgis/wiki/Use … PGSQL96Apt

Tout a bien fonctionné au départ mais désormais je ne parviens plus à utiliser raster2pgsql qui me renvoie systématiquement l'erreur SYSCALL SSL : EOF détecté.

Comme origine éventuelle du problème, je ne vois pour l'instant que deux choses :
- il y a quelques mois, j'ai eu un problème de dépassement de capacité du disque dur lors d'une tentative d'import raster. Je ne me rappelle pas bien comment je l'ai réglé, sauf à dire que j'ai supprimé des fichiers par-ci par-là... Mais aujourd'hui mon partitionnement semble offrir suffisamment de place (/ occupé à 42%, /home à 13,5%, /tmp à 3,4%, /boot à 6,5%)
- Postgis est passé à la version 2.4.1 r16012 sans que je ne m'en aperçoive

J'ai tenté certaines choses pour résoudre le problème (vérif du pare-feu, tcp_keepalives, drapeau -e dans commande raster2pgsql, jusqu'à la réinstallation du SGBD) mais je m'y suis peut-être mal pris car rien n'y a fait.

Quelqu'un pourrait-il m'aider à aborder méthodiquement la résolution du problème ?

tumasgiu · Mon 27 November 2017 09:38

Salut,

apparemment çà concerne le réseau [1].

Les connexions à vote base s'effectuant certainement en SSL,
vous devriez essayer de vous connecter en clair, et voir si le problème
persiste dans un premier temps.

Vous pourriez aussi aller jeter un coup d’œil dans les logs de postgresql
voir si vous ne trouver pas d'info relative à l'erreur.

Les erreurs potentielles peuvent être :
* une opération SQL trop gourmande en mémoire qui met votre machine dans un état de famine
et empêche la couche réseau de faire son travail. [2]
* Un bug dans raster2pgsql (plus exactement dans l'import de raster dans Postgres),
qui ferme la connexion inopinément. [3]

Dans tout les cas, un peu plus d'info sur votre config postgresql/postgis et matériel ainsi que
la commande exécutée seraient un bon point de départ :
* Mémoire de votre machine
* Résultat de postgis_versionfull()
* Extrait de votre potgresql.conf

Sources:
[1]https://www.postgresql.org/message-id/1 … efaultHost
[2]https://stackoverflow.com/questions/241 … nd-psycopg
[3]https://stackoverflow.com/questions/202 … f-detected

Dernière modification par tumasgiu (Mon 27 November 2017 10:24)

Géoliv · Mon 27 November 2017 10:51

Salut,

Merci tumasgiu pour votre réponse.

Alors voici quelques infos sur ma config.

La machine est un simple laptop équipé d'un processeur Intel Core 2 Duo P8400 (2.26 GHz,3 Mo de cache L2) et de 4 Go de RAM. Le DD est ainsi partitionné :
/ 20 Go, occupé à 42%
/home 123 Go, occupé à 13%
/tmp 4,1 Go, occupé à 3,4%
swap 4,1 Go
espace libre : 57 Go

postgis_full_version() renvoie :
"POSTGIS="2.4.1 r16012" PGSQL="96" GEOS="3.5.0-CAPI-1.9.0 r4084" PROJ="Rel. 4.9.2, 08 September 2015" GDAL="GDAL 1.11.3, released 2015/09/16" LIBXML="2.9.3" LIBJSON="0.11.99" LIBPROTOBUF="1.2.1" RASTER"

Je ne sais pas d'où vient LIBPROTOBUF exactement. Ce n'est pas mentionné par la procédure d'installation du SGBD sous Xenial.
Peut-être de Mapnik que j'ai essayé d'installer, sans succès, en suivant https://github.com/mapnik/mapnik/wiki/U … stallation

EDIT : Quant à postgresql.conf, je le mets en pj zippée tel que demandé dans le message suivant.
J'y ajoute le raster à importer.

Voici la commande raster2pgsql que j'utilise au départ du dossier où est stocké le raster :
raster2pgsql -s 3946 -C -I -r -F scan_250_3946.tif raster.scan_250_3946 | psql -h localhost -d mabd -U postgres

Dans les logs Postgres je ne relie aucun message directement au problème. Mais il y a tout de même le message suivant :
[inconnu]@[inconnu] LOG: paquet de démarrage incomplet
à propos duquel, je lis sur https://forums.postgresql.fr/viewtopic. … 282#p2282, que "c'est un message habituel sous postgres et sans importance"...

Dernière modification par Géoliv (Mon 27 November 2017 11:25)

Fichier(s) joint(s) :
Pour accéder aux fichiers vous devez vous inscrire.

tumasgiu · Mon 27 November 2017 10:57

Je suis embêtant mais si vous pouviez plutôt mettre votre postgresql.conf en pièce jointe,
ou le formater en code, cela serait plus lisible.

est ce que vous pouvez joindre la commande raster2pgsql utilisée et décrire
les rasters que vous souhaitez importer ?

Géoliv · Mon 27 November 2017 11:27

Voilà j'ai modifié mon message précédent en fonction de votre demande.

Merci pour votre suivi.

Dernière modification par Géoliv (Mon 27 November 2017 11:34)

tumasgiu · Mon 27 November 2017 12:07

Merci.

avez vous tester une connection non-ssl ?

Code:

raster2pgsql -s 3946 -C -I -r -F  scan_250_3946.tif raster.scan_250_3946 | psql  "host=localhost user=postgres sslmode=disable" mabd

Petite remarque : votre raster possèdent des métadonnées décrivant son SCR, le switch -s dans votre commande raster2pgsql est donc redondant.

Géoliv · Mon 27 November 2017 12:47

J'ai essayé :
raster2pgsql -C -I -r -F scan_250_3946.tif raster.scan_250_3946 | psql "host=localhost user=postgres sslmode=disable" mabd
Une erreur est renvoyée selon laquelle le schema raster n'existe pas, ce qui est inexact.
Si, au passage, vous pouviez me dire pourquoi :-)...

En retirant la mention d'un schema de destination, donc en faisant :
raster2pgsql -C -I -r -F scan_250_3946.tif scan_250_3946 | psql "host=localhost user=postgres sslmode=disable" mabd
je récupère toujours :
BEGIN
CREATE TABLE
erreur SYSCALL SSL : EOF détecté
la connexion au serveur a été perdue

Géoliv · Mon 27 November 2017 13:01

Pardon, je me suis trompé dans le dernier paragraphe du précédent message.
Quand je retire la mention d'un schema raster de destination, donc en faisant :
raster2pgsql -C -I -r -F scan_250_3946.tif scan_250_3946 | psql "host=localhost user=postgres sslmode=disable" mabd
j'obtiens :
BEGIN
ERREUR: le type « raster » n'existe pas
LIGNE 1 : ...0_ville_lr_test" ("rid" serial PRIMARY KEY,"rast" raster,"fi...

Yves · Mon 27 November 2017 13:14

Bonjour,

Pour le message d'erreur, sauvegarde le retour de la commande raster2pgsql dans un fichier raster2pgsql -C -I -r -F scan_250_3946.tif scan_250_3946 > monfichier.sql

Vérifie son contenu (attention il sera peut être un peu volumineux). Si tu ne vois rien, lance le avec psql : psql "tes commandes" -f monfichier;sql

Y.

Géoliv · Mon 27 November 2017 13:46

Bonjour Yves et merci pour l'info

Mon fichier contient :

Code:

BEGIN;
CREATE TABLE "scan_250_3946" ("rid" serial PRIMARY KEY,"rast" raster,"filename" text);
INSERT INTO "scan_250_3946" ("rast","filename") VALUES ('0100000300BC137D9076053940BC137D90760539C05684FA7533ED3441CB64539143F35341000000000000000000000000000$
CREATE INDEX ON "scan_250_3946" USING gist (st_convexhull("rast"));
ANALYZE "scan_250_3946";
SELECT AddRasterConstraints('','scan_250_3946','rast',TRUE,TRUE,TRUE,TRUE,TRUE,TRUE,TRUE,TRUE,TRUE,TRUE,TRUE,TRUE);
END;

L'erreur est toujours là :
BEGIN
psql:scan_250_3946.sql:2: ERREUR: le type « raster » n'existe pas
LIGNE 1 : ...0_3946" ("rid" serial PRIMARY KEY,"rast" raster,"fi...

Dernière modification par Géoliv (Mon 27 November 2017 13:55)

Yves · Mon 27 November 2017 14:08

Bonjour,

Si ton code inséré est vraiment celui que tu as récupéré, ton problème est à l'insertion :

INSERT INTO "scan_250_3946" ("rast","filename") VALUES ('0100000300BC137D9076053940BC137D90760539C05684FA7533ED3441CB64539143F35341000000000000000000000000000$

Tu stockes ton raster à l'extérieur, pourquoi ?

Tu définies l'option -l (création d'overview) sans donner les facteurs ! Supprime cette option ou rajoute les facteurs : -l 2 4 8 16 32 par exemple.

Y.

tumasgiu · Mon 27 November 2017 14:11

Yves a écrit:

Tu définies l'option -l (création d'overview) sans donner les facteurs ! Supprime cette option ou rajoute les facteurs : -l 2 4 8 16 32 par exemple.

C'est pas l'option -I qui est utilisée plutôt ? Création d'index je crois.
Pareil pour -r vs -R : -r c'est création de contraintes, -R enregistrer les rasters à l'exterieur (out-db).

Dernière modification par tumasgiu (Mon 27 November 2017 14:13)

Géoliv · Mon 27 November 2017 14:14

C'est un i majuscule, pas un l (comme laurent)
Et je ne stocke pas le raster à l'extérieur puisque j'utilise -r et non pas -R

C'est ma faute, je n'ai pas utilisé la balise de code dans mon message

Dernière modification par Géoliv (Mon 27 November 2017 14:19)

Géoliv · Mon 27 November 2017 14:26

Concernant le contenu du fichier sql, je crois que c'est Putty qui a tronqué le texte après VALUES, car le fichier fait plus de 700 Ko

Yves · Mon 27 November 2017 14:34

Essaie de récupérer le fichier complet

Désolé pour l'erreur -i / -l je me fait vieux et ma vue baisse

Y.

tumasgiu · Mon 27 November 2017 14:40

Yves a écrit:

Désolé pour l'erreur -i / -l je me fait vieux et ma vue baisse smile

Rien a voir avec la vue, quand je tape une ligne de commande avec les switch I et l
de dispo, tu peux être sûr qu'une fois sur deux je me plante, et ca doit être valable pour 90% des utilisateurs unix.
Quant au switch r pour les contraintes, ca prête à confusion, je suis partisan des options avec des noms longs dans
ces cas un peu ambigus.

Géoliv a écrit:

Concernant le contenu du fichier sql, je crois que c'est Putty qui a tronqué le texte après VALUES, car le fichier fait plus de 700 Ko

Oui c'est probable.

Par contre, c'est assez étonnant cette histoire de type introuvable. les fonctions et type raster devraient se trouver dans public.
Vous pouvez confirmer çà ?

Si vous pouvez vérifier la variable search_path par défaut de votre bdd également..

Peut-être vous avez importé une base avec pg_restore ?

Dernière modification par tumasgiu (Mon 27 November 2017 14:50)

Géoliv · Mon 27 November 2017 14:50

Pas de soucis Yves.

Je mets le fichier en pj.

Il a l'air ok pour autant que je puisse en juger.

Géoliv · Mon 27 November 2017 15:03

Alors la commande :

Code:

select current_schemas('true');

renvoie :

Code:

"{pg_catalog,public,postgis,raster}"

Je crois que c'est ok, d'autant plus qu'à la config de la bd, j'avais effectivement fait un :

Code:

ALTER DATABASE mabase SET search_path=public, postgis, raster, contrib;

Dernière modification par Géoliv (Mon 27 November 2017 15:04)

Géoliv · Mon 27 November 2017 15:20

Oui j'avais importé une base (non spatiale) avec pg_restore et c'était avant de créer ma bd spatiale.
Tout a fonctionné pendant un temps jusqu'à l'apparition de l'erreur
Puis j'ai réinstallé le SGBD et j'ai directement essayé de recréer ma bd spatiale (sans m'occuper de l'autre base, donc de pg_restore).
J'en suis là.

Géoliv · Mon 27 November 2017 15:26

Concernant la présence des fonctions et type raster dans public, et bien je ne vois rien de tel depuis pgAdmin...

Dans un autre Postgres, installé sur ma machine cliente pour des tests, je vois bien une bd qui contient 1061 fonctions.

Qu'est-ce que j'ai oublié sur mon serveur?

tumasgiu · Mon 27 November 2017 15:27

Comment avez vous créer voter base de données ?

Géoliv · Mon 27 November 2017 16:03

J'ai créé la bd en suivant les indications données sur https://trac.osgeo.org/postgis/wiki/Use … PGSQL96Apt

Une chose m'a toujours paru bizarre, c'est que d'après http://download.osgeo.org/postgis/docs/ … -2.3.2.pdf les bibliothèques suivantes sont censées être installées sur mon système : Proj4, GEOS, JSON-C et GDAL
Or quand je recherche les paquets (peut-être maladroitement), je ne les trouve pas. Pourtant ça fonctionnait (avec le premier SGBD).
Et la commande SELECT postgis_full_version(); me renvoie bien Proj4, GEOS et GDAL ...

PS : à propos du fichier SQL, je ne sais pas pourquoi il n'est pas en pj, je l'avais pourtant joint au message dédié...

tumasgiu · Mon 27 November 2017 21:48

Pour vérifier par exemple si proj4 est installé, je crois qu'on peut faire çà :

Code:

apt list --installed | grep proj4

Pour ce qui du type raster introuvable je vois deux pistes :
* votre schema "raster" interfère pour une raison inconnue avec le type raster dans les paramètres des fonctions.
* La qualification des appels de fonctions postgis raster n'est pas opérante à 100%.

Je pense que ce problème disparaitrait si vous réinstalliez votre extension dans le schema public.
Même si je pense qu'installer postgis dans un schema spécifique peut être une bonne idée, dans certains scenariis.

Code:

DROP EXTENSION postgis ; CREATE EXTENSION postgis;

Geoliv a écrit:

PS : à propos du fichier SQL, je ne sais pas pourquoi il n'est pas en pj, je l'avais pourtant joint au message dédié...

Le fichier SQL est peut être trop volumineux.

Dernière modification par tumasgiu (Mon 27 November 2017 22:21)

Géoliv · Tue 28 November 2017 11:36

tumasgiu a écrit:

Pour vérifier par exemple si proj4 est installé, je crois qu'on peut faire çà :
Code:
apt list --installed | grep proj4

Le système renvoie un Warning: apt does not have a stable CLI interface. Use with caution in scripts.

J'ai donc laissé la commande de côté, mais votre info m'a permis de trouver sur le web la commande

Code:

dpkg --get-selections | grep <packagename>

Du coup, je vérifie bien la présence sur mon système des paquets :
- gdal-bin
- proj-bin (à propos duquel je ne parviens pas à trouver confirmation sur le web qu'il s'agit bien de proj.4 ...)
- libgeos-3.5.0
- libjson-c2:i386

Concernant Postgis, j'ai procédé à

tumasgiu a écrit:

Code:

DROP EXTENSION postgis ; CREATE EXTENSION postgis;

Bonne nouvelle, les fonctions sont là !

Mais raster2pgsql produit toujours l'erreur , même si je ne donne pas le schema raster comme destination de la table

Dernière modification par Géoliv (Tue 28 November 2017 12:01)

Géoliv · Tue 05 December 2017 14:53

Bonjour,

Je me permets de réactualiser le fil de discussion car je ne parviens pas à trouver de solution.

J'ai eu beau :
- désinstaller/réinstaller Postgresql 9.6 et Postgis 2.3
- créer l'extension Postgis dans le schema public

Quelqu'un pourrait-il m'aider ?

Peut-être en commençant par essayer de faire l'import de son côté afin de vérifier la validité du fichier source ? Puis de l'afficher dans QGIS à partir de la bd ?

Merci

Dernière modification par Géoliv (Tue 05 December 2017 15:39)

tumasgiu · Tue 05 December 2017 15:19

Désolé du manque de suivi,

Peu de chance que ca résolve quoi que ce soit mais
avez vous essayer de renommer votre schema raster en autre chose ?

Si vous pouviez uploader la sortie de raster2Pgsql, on pourrait confirmer si le problème vient de
raster2pgsql ou postgresql. Peut être que vous pourriez utiliser pastebin si l'upload sur le forum ne marche pas :
https://pastebin.com/

Dernière modification par tumasgiu (Tue 05 December 2017 15:28)

Géoliv · Tue 05 December 2017 16:05

Je cherche un alternative à Pastbin qui n'accepte pas plus de 512 ko par paste
Mon fichier .sql fait 711 ko

Géoliv · Tue 05 December 2017 16:17

Alors voilà le .sql produit par une commande

Code:

raster2pgsql -s 3946 -d -I ~/scan_250_3946.tif

--> https://www.pastefs.com/pid/39472

Dernière modification par Géoliv (Tue 05 December 2017 16:17)

tumasgiu · Tue 05 December 2017 16:23

https://framabin.org/ ?
(avec un petit don a framasoft si vous avez envie )

Géoliv · Tue 05 December 2017 16:37

oh ! je n'avais pas pensé à Framasoft. Je note

Dernière modification par Géoliv (Tue 05 December 2017 16:39)

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Annonce

#1 Mon 27 November 2017 08:19

Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#2 Mon 27 November 2017 09:38

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#3 Mon 27 November 2017 10:51

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#4 Mon 27 November 2017 10:57

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#5 Mon 27 November 2017 11:27

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#6 Mon 27 November 2017 12:07

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

Code:

#7 Mon 27 November 2017 12:47

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#8 Mon 27 November 2017 13:01

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#9 Mon 27 November 2017 13:14

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#10 Mon 27 November 2017 13:46

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

Code:

#11 Mon 27 November 2017 14:08

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#12 Mon 27 November 2017 14:11

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#13 Mon 27 November 2017 14:14

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#14 Mon 27 November 2017 14:26

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#15 Mon 27 November 2017 14:34

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#16 Mon 27 November 2017 14:40

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#17 Mon 27 November 2017 14:50

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#18 Mon 27 November 2017 15:03

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

Code:

Code:

Code:

#19 Mon 27 November 2017 15:20

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#20 Mon 27 November 2017 15:26

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#21 Mon 27 November 2017 15:27

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#22 Mon 27 November 2017 16:03

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#23 Mon 27 November 2017 21:48

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

Code:

Code:

#24 Tue 28 November 2017 11:36

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

Code:

Code:

Code:

#25 Tue 05 December 2017 14:53

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#26 Tue 05 December 2017 15:19

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#27 Tue 05 December 2017 16:05

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#28 Tue 05 December 2017 16:17

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

Code:

#29 Tue 05 December 2017 16:23

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

#30 Tue 05 December 2017 16:37

Re: Erreur SYSCALL SSL : EOF détecté avec raster2pgsql

Pied de page des forums