- Sujet précédent - Echanges sur les données de l'IGN - Sujet suivant
#31 Mon 18 January 2021 17:06
- fbecir
- Participant assidu
- Lieu: Saint-Mandé
- Date d'inscription: 16 Sep 2008
- Messages: 512
Re: Echanges sur les données de l'IGN
Bonjour François,
Je me suis permis de déplacer ton message dans ce sujet.
Merci pour l'info.
Bruno
Merci Bruno,
Tu as bien fait, c'est effectivement plus approprié
Hors ligne
#32 Mon 15 February 2021 14:31
- Shot2
- Participant actif
- Date d'inscription: 22 Jan 2020
- Messages: 114
Re: Echanges sur les données de l'IGN
Je découvre via la page des "Téléchargements libres" que la France envisage de compter plus de 1000 départements ?!
Code:
Département 2A - Corse-du-Sud : /BDTOPO_3-0_TOUSTHEMES_SHP_LAMB93_D002A_2020-12-15.7z
Pourquoi D002A et non plus D02A ? et ce n'est pas la seule instance. Idem pour D02B devenue D002B...
Hors ligne
#33 Mon 15 February 2021 15:59
- Sylvain larvor (Dsi)
- Participant occasionnel
- Date d'inscription: 10 Jul 2018
- Messages: 13
Re: Echanges sur les données de l'IGN
C'est pas pour les départements d'outre mer ?
Hors ligne
#34 Mon 15 February 2021 17:09
- Shot2
- Participant actif
- Date d'inscription: 22 Jan 2020
- Messages: 114
Re: Echanges sur les données de l'IGN
C'est pas pour les départements d'outre mer ?
Il me semble que les départements d'outre-mer sont (étaient ?) désignés par l'IGN sur un modèle D9xx... (exemple : PLANIGN__TIF_RGM04UTM38S_D976_2020-12-10.7z pour Mayotte)
De fait, je m'interroge sur le sens à donner à ce récent changement. Pas trouvé non plus d'info très pertinente sur le site de l'INSEE.
Hors ligne
#35 Tue 16 February 2021 09:55
- Le Masson
- Participant assidu
- Date d'inscription: 5 Sep 2005
- Messages: 179
Re: Echanges sur les données de l'IGN
Ca a quand même de bonnes chances d'être une erreur chez nous, tout simplement (parce que, par exemple, les lots ortho HR sont codés en 02A. Je regarde...
Matthieu (IGN)
Hors ligne
#36 Thu 04 March 2021 15:25
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Echanges sur les données de l'IGN
Le RGE ALTI 1m est dispo depuis quelques jours.
Pour ceux qui veulent le récupérer en intégralité, j'ai mis en place un torrent:
http://files.opendatarchives.fr/profess … CE.torrent
Je compte aussi le repackager au format Cloud Optimized Geotiff, pour permetre un usage sans téléchargement (un mode "flux", mais gérer par un simple serveur HTTP, sans l'artillerie WMTS).
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#37 Thu 04 March 2021 15:47
- Shot2
- Participant actif
- Date d'inscription: 22 Jan 2020
- Messages: 114
Re: Echanges sur les données de l'IGN
Je ne sais pas sur quoi l'IGN se base pour réaliser l'extraction et le packaging de toutes ces données, mais il semble manquer certaines tuiles dans le RGEALTI 1m (ex : 1164_6110_LAMB93, couvrant l'île d'a Botte sur l'île de Beauté).
Idem avec plein d'autres ilôts côtiers (pour la Corse, équivalent d'une trentaine de dalles manquantes, pourtant visibles sur ces "tableaux d'assemblage" que sont les graphes de mosaïquage).
Ce serait ballot de télécharger péniblement des dizaines de Go, données se révélant inutilisables pour le suivi des populations périphériques d'éléphants de mer ou autres oiseaux rares...
Dernière modification par Shot2 (Thu 04 March 2021 15:48)
Hors ligne
#38 Thu 04 March 2021 16:03
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Echanges sur les données de l'IGN
Un test de repackaging est dispo sur http://files.opendatarchives.fr/profess … ti/repack/
Les fichiers .asc ont été convertis en TIFF optimisés cloud, ce qui permet de ne charger que la partie des fichiers dont on a besoin et pas le fichier complet.
J'ai donc aussi agrégé les dalles par paquets de 10km de côté.
Un VRT gdal est aussi disponible pour accéder à l'ensemble des dalles d'un département. On peut l'utiliser dans QGis en ajoutant une couche raster avec une source de type "HTTP/cloud" et en copiant/collant le lien. Ensuite, QGis (ou plutôt GDAL), piochera dans les bonnes dalles, et ne transférera que ce dont il a besoin.
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#39 Thu 04 March 2021 16:08
- Shot2
- Participant actif
- Date d'inscription: 22 Jan 2020
- Messages: 114
Re: Echanges sur les données de l'IGN
Un test de repackaging est dispo sur http://files.opendatarchives.fr/profess … ti/repack/
Dans "RGEALTI_FXX_068_673_MNT_LAMB93_IGN69.tif" les 068 et 673 sont dans quelle unité ?
Hors ligne
#40 Thu 04 March 2021 16:13
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Echanges sur les données de l'IGN
10km en lambert... effectivement, je devrais remettre un 0 !!
De toute façon, les TIFF sont géoréférencés.
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#41 Wed 17 March 2021 21:24
- infogere
- Juste Inscrit !
- Lieu: Bastia
- Date d'inscription: 26 Jan 2014
- Messages: 5
Re: Echanges sur les données de l'IGN
Bonjour,
Je reviens vers l'IGN et ses données en téléchargement libre après environ un an d'absence. J'ai la nette impression que la vitesse de téléchargement a fortement baissé. 2 jours pour télécharger 4 Go c'est un peu décourageant. J'ai essayé sur windows 10/orange et windows 7/free, mêmes symptomes.
Parfois le telechargement est carrément interrompu, ce qui donne des fichiers 7z d'apparence normale, mais illisibles.
Bref, s'il y a qq chose que je dois savoir, merci de m'éclairer, Cordialement, René
Hors ligne
#42 Wed 17 March 2021 22:14
- fbecir
- Participant assidu
- Lieu: Saint-Mandé
- Date d'inscription: 16 Sep 2008
- Messages: 512
Re: Echanges sur les données de l'IGN
Bonsoir René
Il faut essayer de télécharger en dehors des heures de bureau.
De plus, aujourd'hui l'IGN a connu un incident réseau donc ce n'était pas la bonne journée ...
Beaucoup de gens téléchargent (à se demander ce que les gens font avec tout cela) et l'infrastructure n'est extensible à l'infini.
Bon courage
Hors ligne
#43 Wed 17 March 2021 22:22
- infogere
- Juste Inscrit !
- Lieu: Bastia
- Date d'inscription: 26 Jan 2014
- Messages: 5
Re: Echanges sur les données de l'IGN
Ok merci
J'attendrai donc des jours meilleurs
A+
Bonsoir René
Il faut essayer de télécharger en dehors des heures de bureau.
De plus, aujourd'hui l'IGN a connu un incident réseau donc ce n'était pas la bonne journée ...
Beaucoup de gens téléchargent (à se demander ce que les gens font avec tout cela) et l'infrastructure n'est extensible à l'infini.
Bon courage
Hors ligne
#44 Thu 18 March 2021 09:30
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Echanges sur les données de l'IGN
Et je signale aussi mon miroir : http://files.opendatarchives.fr/professionnels.ign.fr/
Infra légère (1 seul serveur mais 2 fibres), mais moins chargée.
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#45 Thu 18 March 2021 10:49
- infogere
- Juste Inscrit !
- Lieu: Bastia
- Date d'inscription: 26 Jan 2014
- Messages: 5
Re: Echanges sur les données de l'IGN
Merci pour l'info
René
Et je signale aussi mon miroir : http://files.opendatarchives.fr/professionnels.ign.fr/
Infra légère (1 seul serveur mais 2 fibres), mais moins chargée.
Hors ligne
#46 Thu 18 March 2021 13:39
- chanteclair
- Participant assidu
- Lieu: Pau
- Date d'inscription: 3 Jan 2007
- Messages: 723
Re: Echanges sur les données de l'IGN
@cquest : merci pour cette mise à disposition.
Hors ligne
#47 Fri 23 July 2021 14:18
- Shot2
- Participant actif
- Date d'inscription: 22 Jan 2020
- Messages: 114
Re: Echanges sur les données de l'IGN
Félicitations pour la nouvelle interface du site geoservices (...et l'accès "gratuit" aux données Scan25/100/OACI - si j'ai bien compris l'énorme tartine de charabia légal qui les accompagne ? au pire je ferai un crédit quand je recevrai la facture...).
Par contre, le système de téléchargement de ces données reste peu commode : impossible de relancer un téléchargement qui plante en cours de route, entre autres bizarreries du système (lien impossible à télécharger avec autre chose que son navigateur graphique, pas pratique pour lancer p.ex. un wget). Possible de régler ça d'une façon ou d'une autre ?
Hors ligne
#48 Fri 23 July 2021 16:55
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Echanges sur les données de l'IGN
Pareil... joli pour la com mais côté "services" ça va être coton à moissonner pour l'archivage ou même pour télécharger des données autrement qu'en mode clicodrome (c'est à dire avec forcément un humain dans la chaîne... quasi du captcha soft à ce niveau).
Des choix peu compréhensibles, surtout que le CMS utilisé (Drupal) est si mes souvenirs sont bons proche de CKAN, un CMS dédié pour les portails opendata... donc moissonnable, gérant les métadonnées, etc, etc.
Dommage (pour l'instant, mais gardons espoir) de devoir ranger ce nouveau site dans la même liste que celui de l'INSEE ou du SHOM (où je n'ai jamais compris comment télécharger des données pourtant ouvertes). Combien de temps déjà pour ce résultat ? 30 mois ?
Dernière modification par cquest (Sat 24 July 2021 08:58)
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#49 Sat 24 July 2021 07:32
- Marc Gauthier
- Participant occasionnel
- Date d'inscription: 28 Sep 2009
- Messages: 11
Re: Echanges sur les données de l'IGN
Je viens de faire un petit script qui extrait les liens pour les données à télécharger.
Le script R est sale mais c'est faisable ...
https://drop.infini.fr/r/Kx93WA59Pd#aV/ … TfeAe0HX8=
et le script
https://drop.infini.fr/r/D_xo1BquyC#MUh … RvECqgZeE=
Dernière modification par Marc Gauthier (Sat 24 July 2021 07:33)
Hors ligne
#50 Sat 24 July 2021 18:33
- Shot2
- Participant actif
- Date d'inscription: 22 Jan 2020
- Messages: 114
Re: Echanges sur les données de l'IGN
Je viens de faire un petit script qui extrait les liens pour les données à télécharger.
Le script R est sale mais c'est faisable ...
https://drop.infini.fr/r/Kx93WA59Pd#aV/ … TfeAe0HX8=
et le script
https://drop.infini.fr/r/D_xo1BquyC#MUh … RvECqgZeE=
Merci, mais il manque tous les liens pour les données gratuites accessibles après login. Celles où le lien fourni semble "protégé" (renvoie 403 si pas téléchargé via un navigateur graphique, bref une horreur).
Je vais tenter un sniff sur les requêtes/réponses pour essayer de piger comment corriger ce bug de leur interface.
Dernière modification par Shot2 (Sat 24 July 2021 18:33)
Hors ligne
#51 Sat 24 July 2021 22:28
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Echanges sur les données de l'IGN
Je ne pense pas que ce soit un bug. Ces données "gratuites" ne sont pas d'usage libre, c'est pour cela qu'il faut créer un compte et demander aussi à accéder à toutes les données. Comme j'ai choisit "données libres", je n'ai pas de lien ou autre.
Si au moins ce site avait une sitemap.xml, ça éviterai un scrapping systématique (que j'ai dû faire) et donc une surcharge inutile du serveur.
Plusieurs extensions Drupal gèrent ça directement comme https://www.drupal.org/project/xmlsitemap
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#52 Mon 26 July 2021 08:29
- Sylvain C.
- Participant occasionnel
- Date d'inscription: 6 Jan 2014
- Messages: 35
Re: Echanges sur les données de l'IGN
La page https://geoservices.ign.fr/documentatio … ibres.html était quand même bien pratique.. :'(
Hors ligne
#53 Mon 26 July 2021 10:30
- p.jeremie
- Participant assidu
- Lieu: Valence
- Date d'inscription: 10 Sep 2017
- Messages: 410
Re: Echanges sur les données de l'IGN
C'est ce qu'on retrouve dans les rubriques de cette page, non ?
https://geoservices.ign.fr/catalogue
Avec les différents lien ftp...
Hors ligne
#54 Mon 26 July 2021 23:17
- Shot2
- Participant actif
- Date d'inscription: 22 Jan 2020
- Messages: 114
Re: Echanges sur les données de l'IGN
Je ne pense pas que ce soit un bug.
Oui, le terme "bug" est mal choisi. Disons, "mise en oeuvre un peu trop stricte" de la protection (si cela découle vraiment d'une volonté de protection ? ou peut-être un mauvais réglage de Drupal ?) des quelques liens http réservés aux utilisateurs dûment connectés.
Dernière modification par Shot2 (Mon 26 July 2021 23:18)
Hors ligne
#55 Tue 27 July 2021 11:13
- fbecir
- Participant assidu
- Lieu: Saint-Mandé
- Date d'inscription: 16 Sep 2008
- Messages: 512
Re: Echanges sur les données de l'IGN
Bonjour
Le nouveau site geoservice.ign.fr est nettement plus sympa que l'ancien, mais il peut encore s'améliorer, surtout si les utilisateurs font part de leurs souhaits ou de leurs remontées de bugs.
Il y a un questionnaire pour cela :
https://www.sphinxonline.com/surveyserv … nnaire.htm
Le questionnaire permet d'indiquer les souhaits d'évolution.
Et il y a aussi un formulaire de contact : https://geoservices.ign.fr/contact
Cordialement
Hors ligne
#56 Tue 10 August 2021 17:07
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: Echanges sur les données de l'IGN
Un truc tout bête qui manque... l'indication de la licence pour les données et contenus manque.
Exemple: https://geoservices.ign.fr/bdtopo
Quand on cherche "Licence" dans la page ou via le formulaire de recherche on n'arrive que sur https://geoservices.ign.fr/cgu-licences
Il faut vraiment être bien informé pour savoir que la BD Topo est disponible sous licence ouverte, vue qu'elle n'est pas non plus mentionnée dans le descriptif de livraison ni il me semble dans les fichiers téléchargeables.
Je fais cette remarque car quelqu'un m'a posé la question
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#57 Wed 11 August 2021 11:19
- fbecir
- Participant assidu
- Lieu: Saint-Mandé
- Date d'inscription: 16 Sep 2008
- Messages: 512
Re: Echanges sur les données de l'IGN
Bonjour
Effectivement, Christian a raison : il manque l'indication sur la licence pour chacun des produits. Merci pour le retour, le site sera modifié.
La FAQ (https://geoservices.ign.fr/faq) a un chapitre sur le sujet (Gratuité et conditions générales d'utilisation (CGU)) qui indique que les produits sont en licence ETALAB 2.0, mais autant le rappeler pour chacun des produits.
Cordialement
Hors ligne
#58 Wed 11 August 2021 16:27
- Marc Leobet
- Participant assidu
- Lieu: Nowhere
- Date d'inscription: 19 Sep 2005
- Messages: 1103
- Site web
Re: Echanges sur les données de l'IGN
Bonjour
Effectivement, Christian a raison : il manque l'indication sur la licence pour chacun des produits. Merci pour le retour, le site sera modifié.
La FAQ (https://geoservices.ign.fr/faq) a un chapitre sur le sujet (Gratuité et conditions générales d'utilisation (CGU)) qui indique que les produits sont en licence ETALAB 2.0, mais autant le rappeler pour chacun des produits.
Cordialement
Bonjour,
Merci @fbecir, ta réponse @cquest tombe à pic.
Je découvre le produit BD CARTO® État-major. Le qualificatif m'a fait rire, j'ai donc sauté sur cette BD pour mettre à jour mon cours sur le droit de la donnée. Très intéressante par ex. pour l'occupation du sol, forêt, urbanisme... et AMHA mérite d'être mieux connue.
J'ai échoué à trouver la licence. La documentation renvoie aux métadonnées, facile, je lis le XML dans le texte, sauf qu'elles disent : "Base de données soumise aux conditions générales d'utilisation des fichiers IGN". Le bandeau de bas de page "Conditions de licences" ne concerne que les SCAN, c'est trompeur. Un usager normal pourrait conclure des métadonnées que cette donnée n'est pas ouverte.
Les métadonnées de l'OCS GE disent simplement "licence".
Celles de la BDTopo disent "Base de données soumise aux conditions générales d'utilisation des fichiers IGN.
licence
License ouverte Etalab "
Bref, il me semble qu'une revue des métadonnées s'impose ne serait-ce que pour la bonne sécurité juridique de tous, IGN compris.
NB : la Commission européenne a pointé la difficulté d'accès aux données INSPIRE françaises pour les non-francophones. L'inclusion de la version anglaise de la licence Etalab dans les métadonnées voire dans le site IGN pourrait être opérée à cette occasion à moindre coût. J'ai en mémoire des témoignages d'entreprises en Europe incapable de trouver les limites administratives françaises (sauf celles d'OSM, mais, comment dire, elles préféraient payer plutôt que des données en ODbL)..
Cordialement
Marc Leobet
@MarcLeobet sur Twitter
Hors ligne
#59 Wed 11 August 2021 17:29
- Le Masson
- Participant assidu
- Date d'inscription: 5 Sep 2005
- Messages: 179
Re: Echanges sur les données de l'IGN
Bonjour,
en vrac sur le sujet:
1. sur le site himself: il n'est pas tout à fait "fini", en vrai, notamment pour le mécanisme de téléchargement. Pour autant, je ne survends pas trop le changement, parce que je ne suis pas certain que ce qui suivra (que je connais mal) vous satisfera...
2. sur le fait que la licence ne soit pas clairement mentionnée sur les pages produits, j'ai fait remonter le signalement...
3. sur les métadonnées: on a tendance à les revoir "au fil de l'eau", quand le produit évolue. Et même ça, ça peut être imparfait...
4. sur Inspire, je reste trop désappointé par ce truc pour dire quoi que ce soit... J'adorerais pouvoir dire que la BD Topo (par exemple) est "conforme Inspire" mais, pour ds raisons qui m'échappent, il me semble que c'est impossible... :-s
Et globalement, comme François l'a dit, n'hésitez pas à réagir par les canaux dédiés...
Matthieu (IGN, mais désormais un peu éloigné de cette problématique)
Hors ligne
#60 Sat 14 August 2021 16:36
- Marc Leobet
- Participant assidu
- Lieu: Nowhere
- Date d'inscription: 19 Sep 2005
- Messages: 1103
- Site web
Re: Echanges sur les données de l'IGN
Bonjour,
je suis plutôt convaincu que la BDTopo est conforme à INSPIRE, notamment en intégrant les spécifications de l'UNGGIM-Europe (soyons positif, même sur INSPIRE).
Après, mon vieux coeur de métadonnées-addict (oui, je sais) penche plutôt pour des mises à jour en tant que de besoin, c'est le premier contact d'un usager avec la donnée.
Bonne fin d'été
Cordialement
Marc Leobet
@MarcLeobet sur Twitter
Hors ligne
- Sujet précédent - Echanges sur les données de l'IGN - Sujet suivant