Le portail francophone de la géomatique

cquest · Mon 04 January 2021 16:19

J'ai commencé à mirrorer sur opendatArchives les données ouvertes ce matin par l'IGN qui viennent compléter celles qui étaient déjà présentes et archivées.

C'est ici: http://files.opendatarchives.fr/professionnels.ign.fr/

Comme beaucoup de monde semble charger en même temps, une diffusion par p2p est très adaptée, car elle permet de déconcentrer la charge en bande passante (et celle des serveurs).

Pour la BDTopo les torrents sont ici: http://files.opendatarchives.fr/profess … /torrents/

En ligne de commande, pour téléchargement depuis un fichier torrent, j'utilise lftp

Il poursuit le partage après le transfert, ce qui permet d'alimenter les autres clients, ceci pour faire du téléchargement collaboratif.

Je compte aussi repackager certains fichiers, pour faciliter l'utilisation: transformation en geopackage et compression ZIP ou gz

Dernière modification par cquest (Mon 04 January 2021 16:21)

cquest · Tue 05 January 2021 16:25

La BD Topo (édition 2020-09-15) est maintenant complète, avec ses torrents.

Une version nationale, transformée en un geopackage par couche est maintenant disponible :

http://files.opendatarchives.fr/profess … eopackage/

Là aussi un dossier "torrents" est disponible pour un téléchargement en p2p (avec web-seed).

Les Ortho HR sont aussi dispo au complet, dans http://files.opendatarchives.fr/profess … r/orthohr/

Sylvain M. · Tue 05 January 2021 17:59

Bravo & Merci ! :d

Patrice · Tue 05 January 2021 18:32

Hello Christian (Grand Maître Aspirateur)

Merci !

La Santé, GeoBye, Pat

p.jeremie · Tue 05 January 2021 20:22

En effet, ça fait du monde en plus sur le serveur !
Pour info @cquest il y a un souci avec le fichier http://files.opendatarchives.fr/profess … SEZMOI.txt qui n'est pas trouvé (fichier vide ?).

cquest · Sun 17 January 2021 22:09

Le millésime 2020-12-15 de la BDTopo est arrivé

Dispo sur http://files.opendatarchives.fr/profess … 020-12-15/

JRM · Mon 18 January 2021 13:10

merci christian ! En passant par openarchive, je me vois retourner des erreurs curl: (18) transfer closed with 278539236 bytes remaining to read en passant pourtant --keepalive-time 2 --ignore-content-length sur toutes les archives gpkg.gz dépassant le Go (adresse, bâtiment, troncons route, haie, zone vegetation)

edit : à la réflexion ça doit être le coupable habituel, http_proxy...

Dernière modification par JRM (Mon 18 January 2021 15:21)

cquest · Tue 19 January 2021 11:38

arghhh.... peut être un problème de buffering entre le serveur et le proxy sur des gros fichiers... j'ai modifié la config.

Les transferts sont longs et se coupent toujours à peu près au bout du même temps ?

JRM · Tue 19 January 2021 12:55

je n’avais pas regardé les temps, sur la plupart c'était l'approche du Go qui sautait aux yeux. Je viens de refaire l'essai et ta modification semble avoir résolu ce problème, merci Christian

gribs38 · Thu 18 March 2021 09:14

Bonjour Christian,

Je rencontre les mêmes difficultés, à savoir un blocage du téléchargement une fois passée 1Go... (Les fichiers font 4Go)
Et un grand merci pour tout ce travail !

cquest · Thu 18 March 2021 11:24

Arghhh... problème déjà soulevé (de buffering du proxy), mais corrigé uniquement sur data.cquest.org et pas sur files.opendatarchives.org

Voilà, c'est corrigé et ça ne devrait plus coincer à 1Go.

gribs38 · Thu 18 March 2021 13:30

Je te remercie, cela fonctionne, c'est parfait !
Bonne journée

cquest · Sat 20 March 2021 08:18

Le serveur qui héberge files.opendatarchives / data.cquest.org sera coupé ce week-end par intermittence pour upgrade !

Après les disques, j'ai complété par de la RAM et maintenant ce sont les CPU qui passent à la vitesse supérieure, l'objectif est d'éteindre mon actuel serveur de calcul qui était arrivé à la limite des upgrades possibles et d'économiser des kWh

Louis-Romain · Wed 28 June 2023 22:49

Bonjour

est-ce que les torrents existent aussi pour la BD ORTHO ? qui est d'un volume incroyablement élevé. D'ailleurs pourquoi l'IGN ne permet pas aux utilisateurs de ne téléchager que quelques dalles choisies, si vous avez une réponse ?

Merci

Dernière modification par Louis-Romain (Thu 29 June 2023 10:13)

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Annonce

#1 Mon 04 January 2021 16:19

Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#2 Tue 05 January 2021 16:25

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#3 Tue 05 January 2021 17:59

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#4 Tue 05 January 2021 18:32

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#5 Tue 05 January 2021 20:22

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#6 Sun 17 January 2021 22:09

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#7 Mon 18 January 2021 13:10

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#8 Tue 19 January 2021 11:38

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#9 Tue 19 January 2021 12:55

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#10 Thu 18 March 2021 09:14

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#11 Thu 18 March 2021 11:24

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#12 Thu 18 March 2021 13:30

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#13 Sat 20 March 2021 08:18

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

#14 Wed 28 June 2023 22:49

Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)

Pied de page des forums