#1 Mon 04 January 2021 16:19
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
J'ai commencé à mirrorer sur opendatArchives les données ouvertes ce matin par l'IGN qui viennent compléter celles qui étaient déjà présentes et archivées.
C'est ici: http://files.opendatarchives.fr/professionnels.ign.fr/
Comme beaucoup de monde semble charger en même temps, une diffusion par p2p est très adaptée, car elle permet de déconcentrer la charge en bande passante (et celle des serveurs).
Pour la BDTopo les torrents sont ici: http://files.opendatarchives.fr/profess … /torrents/
En ligne de commande, pour téléchargement depuis un fichier torrent, j'utilise lftp
Il poursuit le partage après le transfert, ce qui permet d'alimenter les autres clients, ceci pour faire du téléchargement collaboratif.
Je compte aussi repackager certains fichiers, pour faciliter l'utilisation: transformation en geopackage et compression ZIP ou gz
Dernière modification par cquest (Mon 04 January 2021 16:21)
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#2 Tue 05 January 2021 16:25
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
La BD Topo (édition 2020-09-15) est maintenant complète, avec ses torrents.
Une version nationale, transformée en un geopackage par couche est maintenant disponible :
http://files.opendatarchives.fr/profess … eopackage/
Là aussi un dossier "torrents" est disponible pour un téléchargement en p2p (avec web-seed).
Les Ortho HR sont aussi dispo au complet, dans http://files.opendatarchives.fr/profess … r/orthohr/
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#3 Tue 05 January 2021 17:59
- Sylvain M.
- Participant assidu
- Lieu: Saint-Pierre-des-Nids (53)
- Date d'inscription: 8 Sep 2005
- Messages: 992
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
Bravo & Merci ! :d
Sylvain M.
Hors ligne
#4 Tue 05 January 2021 18:32
- Patrice
- JeSuisCharlie
- Date d'inscription: 16 Sep 2005
- Messages: 4779
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
Hello Christian (Grand Maître Aspirateur)
Merci !
La Santé, GeoBye, Pat
(Autodesk Expert Elite Team)
Hors ligne
#5 Tue 05 January 2021 20:22
- p.jeremie
- Participant assidu
- Lieu: Valence
- Date d'inscription: 10 Sep 2017
- Messages: 412
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
En effet, ça fait du monde en plus sur le serveur !
Pour info @cquest il y a un souci avec le fichier http://files.opendatarchives.fr/profess … SEZMOI.txt qui n'est pas trouvé (fichier vide ?).
Hors ligne
#6 Sun 17 January 2021 22:09
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
Le millésime 2020-12-15 de la BDTopo est arrivé
Dispo sur http://files.opendatarchives.fr/profess … 020-12-15/
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#7 Mon 18 January 2021 13:10
- JRM
- Participant assidu
- Lieu: Arras
- Date d'inscription: 15 Apr 2009
- Messages: 521
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
merci christian ! En passant par openarchive, je me vois retourner des erreurs curl: (18) transfer closed with 278539236 bytes remaining to read en passant pourtant --keepalive-time 2 --ignore-content-length sur toutes les archives gpkg.gz dépassant le Go (adresse, bâtiment, troncons route, haie, zone vegetation)
edit : à la réflexion ça doit être le coupable habituel, http_proxy...
Dernière modification par JRM (Mon 18 January 2021 15:21)
Hors ligne
#8 Tue 19 January 2021 11:38
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
arghhh.... peut être un problème de buffering entre le serveur et le proxy sur des gros fichiers... j'ai modifié la config.
Les transferts sont longs et se coupent toujours à peu près au bout du même temps ?
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#9 Tue 19 January 2021 12:55
- JRM
- Participant assidu
- Lieu: Arras
- Date d'inscription: 15 Apr 2009
- Messages: 521
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
je n’avais pas regardé les temps, sur la plupart c'était l'approche du Go qui sautait aux yeux. Je viens de refaire l'essai et ta modification semble avoir résolu ce problème, merci Christian
Hors ligne
#10 Thu 18 March 2021 09:14
- gribs38
- Participant occasionnel
- Date d'inscription: 13 Jan 2015
- Messages: 36
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
Bonjour Christian,
Je rencontre les mêmes difficultés, à savoir un blocage du téléchargement une fois passée 1Go... (Les fichiers font 4Go)
Et un grand merci pour tout ce travail !
Hors ligne
#11 Thu 18 March 2021 11:24
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
Arghhh... problème déjà soulevé (de buffering du proxy), mais corrigé uniquement sur data.cquest.org et pas sur files.opendatarchives.org
Voilà, c'est corrigé et ça ne devrait plus coincer à 1Go.
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#12 Thu 18 March 2021 13:30
- gribs38
- Participant occasionnel
- Date d'inscription: 13 Jan 2015
- Messages: 36
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
Je te remercie, cela fonctionne, c'est parfait !
Bonne journée
Hors ligne
#13 Sat 20 March 2021 08:18
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
Le serveur qui héberge files.opendatarchives / data.cquest.org sera coupé ce week-end par intermittence pour upgrade !
Après les disques, j'ai complété par de la RAM et maintenant ce sont les CPU qui passent à la vitesse supérieure, l'objectif est d'éteindre mon actuel serveur de calcul qui était arrivé à la limite des upgrades possibles et d'économiser des kWh
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#14 Wed 28 June 2023 22:49
- Louis-Romain
- Participant occasionnel
- Date d'inscription: 6 Jul 2014
- Messages: 19
Re: Mirroir données ouvertes IGN (avec du p2p dedans ou pas)
Bonjour
est-ce que les torrents existent aussi pour la BD ORTHO ? qui est d'un volume incroyablement élevé. D'ailleurs pourquoi l'IGN ne permet pas aux utilisateurs de ne téléchager que quelques dalles choisies, si vous avez une réponse ?
Merci
Dernière modification par Louis-Romain (Thu 29 June 2023 10:13)
Hors ligne