Le portail francophone de la géomatique

cquest · Thu 04 July 2024 11:05

Elles commencent à arriver sur https://peertube.openstreetmap.fr/c/sotm_fr_2024/videos

Il y a pour tous les goûts, des cours d'eau, du Panoramax, de la voie ferrée, etc, etc.

Bon visionnage !

jydee · Fri 05 July 2024 11:34

Merci.
Je voudrais m'inscrire sur le forum OSM france mais je ne reçois pas le mail de confirmation.
Si tu sais qui gère ça car c'est pareil avec toutes mes boites mail : gmail.com,laposte.net,hotmail.fr ect
De plus, comme je sais que tu distribues beaucoup de données, j'aimerais que tu regardes ma donnée et éventuellement la partage sur ton site data.cquest :
https://gofile.io/d/bFRWva
Elle demande à être améliorée et structurée mais dis moi si c'est un bon début.
Avec les capacité réseau et stockage actuels, je pense que la donnée OSM doit être disponible au téléchargement sur France Métropolitaine et dans un format classique (shp,gpkg,tif-cog) car cette donnée est très complète avec une MAJ quotidienne.
Plus globalement une donnée hybride ign-osm serait pertinent?

Merci de me donner votre point de vue

Jy

Dernière modification par jydee (Fri 05 July 2024 11:47)

cquest · Mon 08 July 2024 23:13

Le problème de mail non distribués a été résolu hier si j'ai bien suivi.

J'ai téléchargé les fichiers, mais la décompression me dit qu'il y a corruption des fichiers

jydee · Tue 09 July 2024 10:06

cquest a écrit:

Le problème de mail non distribués a été résolu hier si j'ai bien suivi.

J'ai téléchargé les fichiers, mais la décompression me dit qu'il y a corruption des fichiers

Merci pour ta réponse et je confirme c'est désormais ok pour osm merci beaucoup.

En ce qui concerne la donnée que je vous propose de tester, je viens de tester en téléchargeant moi même la donnée de mon lien et ça fonctionne.
Je pense que vous savez qu'il faut décompresser le fichier .001?
Peut être votre téléchargement ne s'est pas déroulée correctement.
La taille des fichiers doit être :
7z.001 à 7z.004 : 3 072000 Ko
7z.005 : 2 142853 Ko

Jy

Dernière modification par jydee (Tue 09 July 2024 10:11)

Fichier(s) joint(s) :
Pour accéder aux fichiers vous devez vous inscrire.

Sylther · Tue 09 July 2024 16:46

Bonjour,

La taille d'un fichier n'est pas un critère de non corruption, sa taille pouvant varier (entre autres) selon le système de fichier utilisé. Il vaut mieux utiliser un checksum, idéalement SH256. cf. https://fr.wikipedia.org/wiki/Somme_de_contr%C3%B4le
Une fois les fichiers (re)téléchargés, j'ai ces checksum-ci.

Code:

$ for FILE in OSM_GPKG_LAMB93_FXX-ED244.zip.00*; do sha256sum "$FILE"; done
ad152813f74f63aabbbea1a78dee83157b1d96d260f8f898a0dc70c77569dffa  OSM_GPKG_LAMB93_FXX-ED244.zip.001
3ad5e9fac62ccea0502dac7103bd4517fe16aff45b29c18b5e9d346e9f7f3565  OSM_GPKG_LAMB93_FXX-ED244.zip.002
a8307cff6850b9ffc2b9119b901ccd889b7ff21d86db9877992c46d43632fba7  OSM_GPKG_LAMB93_FXX-ED244.zip.003
458f570fd1c3dba8fa9ad57005792b2137a419c8a5613ca4ac7a72907d066ebc  OSM_GPKG_LAMB93_FXX-ED244.zip.004
6a36fade18c2d8a2ff8d5a5fd970806d5b52cb6105a53cd7339730febb93868b  OSM_GPKG_LAMB93_FXX-ED244.zip.005

Pour autant, je n'arrive pas à décompresser les fichiers.
Tant avec 7zip :

Code:

$z x OSM_GPKG_LAMB93_FXX-ED244.zip.001
7-Zip [64] 16.02 : Copyright (c) 1999-2016 Igor Pavlov : 2016-05-21
p7zip Version 16.02 (locale=fr_FR.UTF-8,Utf16=on,HugeFiles=on,64 bits,8 CPUs Intel(R) Core(TM) i5-5300U CPU @ 2.30GHz (306D4),ASM,AES-NI)
Scanning the drive for archives:
1 file, 3145728000 bytes (3000 MiB)
Extracting archive: OSM_GPKG_LAMB93_FXX-ED244.zip.001      
OSM_GPKG_LAMB93_FXX-ED244.zip
ERRORS:
Unexpected end of archive

--
Path = OSM_GPKG_LAMB93_FXX-ED244.zip.001
Type = Split
Physical Size = 3145728000
Volumes = 5
Total Physical Size = 14777192705
----
Path = OSM_GPKG_LAMB93_FXX-ED244.zip
Size = 14777192705
--
Path = OSM_GPKG_LAMB93_FXX-ED244.zip
Type = zip
ERRORS:
Unexpected end of archive
Physical Size = 1152921504606847056

ERROR: CRC Failed : OSM_GPKG_LAMB93_FXX-ED244.gpkg                                     
Sub items Errors: 1
Archives with Errors: 1
Open Errors: 1
Sub items Errors: 1

Qu'avec unzip :

Code:

$cat OSM_GPKG_LAMB93_FXX-ED244.zip.00* > OSM_GPKG_LAMB93_FXX-ED244.zip && unzip OSM_GPKG_LAMB93_FXX-ED244.zip
Archive:  OSM_GPKG_LAMB93_FXX-ED244.zip
  inflating: OSM_GPKG_LAMB93_FXX-ED244.gpkg   bad CRC 1356ee8c  (should be 00000000)

Et même en tentant une réparation de l'archive avant extraction :

Code:

$ zip -FF  OSM_GPKG_LAMB93_FXX-ED244.zip --out temp.zip && unzip temp.zip
Fix archive (-FF) - salvage what can
 Found end record (EOCDR) - says expect single disk archive
Scanning for entries...
 copying: OSM_GPKG_LAMB93_FXX-ED244.gpkg  (1152921504606846976 bytes)

zip error: Out of memory (zi9ZDLjN)

(L'erreur 'out of memory' est erronée, je suis loin d'être saturé).

Dans le meilleur des cas, j'obtiens un gpkg d'environ 40.7 go, dont l'empreinte SHA256 est :

Code:

 222ca03c41f590a376677026a0d408241494dec27433630dcda414150054ff0c  OSM_GPKG_LAMB93_FXX-ED254.gpkg

Il contient (entre autres) un projet QGIS dont les noms de couches sont erronés. cf. image en PJ. (Ce n'est qu'un 'bête' problème de nom mais c'est ennuyeux quand même).

Et même s'il n'y a qu'un problème manifeste d'archive zip, je me demande s'il est vraiment bien raisonnable de travailler avec un gpkg de 40 go+ ?

Bonne journée.

Fichier(s) joint(s) :
Pour accéder aux fichiers vous devez vous inscrire.

cquest · Fri 12 July 2024 14:27

Même sha256 pour ce que j'ai téléchargé et même problèmes.

3145728000 octets pour les 4 premiers fichiers et 2194280705 pour le dernier (mieux que des Ko approximatifs).

jydee · Hier 09:21

Bonjour,

Merci pour vos retours.

Je travail sous windows et de votre côté sous linux.
Etant donnée que mes test étaient concluant sous windows je crois que je dois revoir la compatibilité linux.
Le gpkg est une base de donnée et je ne vois pas le problème d'avoir une base de donnée de 40 go ( limite 16 To sur postgres).
Après je m'attendais à des remarques de ce type puisque apparement l'idée de regrouper la donnée à l'échelle nationale ne soit pas pertinente pour beaucoup d'entre vous.
Surprenant car c'est pourtant plus pertinent que proposer les shape selon les anciens découpage régional et avec aucune mise en forme.
Je suis preneur de vos données OSM re-travailler ( fichier plat).

Jy

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Annonce

#1 Thu 04 July 2024 11:05

Vidéos du State of the Map France 2024 qui s'est tenu à Lyon...

#2 Fri 05 July 2024 11:34

Re: Vidéos du State of the Map France 2024 qui s'est tenu à Lyon...

#3 Mon 08 July 2024 23:13

Re: Vidéos du State of the Map France 2024 qui s'est tenu à Lyon...

#4 Tue 09 July 2024 10:06

Re: Vidéos du State of the Map France 2024 qui s'est tenu à Lyon...

#5 Tue 09 July 2024 16:46

Re: Vidéos du State of the Map France 2024 qui s'est tenu à Lyon...

Code:

Code:

Code:

Code:

Code:

#6 Fri 12 July 2024 14:27

Re: Vidéos du State of the Map France 2024 qui s'est tenu à Lyon...

#7 Hier 09:21

Re: Vidéos du State of the Map France 2024 qui s'est tenu à Lyon...

Pied de page des forums