Pages: 1
- Sujet précédent - opendatarchives... pour historiser et archiver les données opendata - Sujet suivant
#1 Wed 28 August 2019 10:16
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
opendatarchives... pour historiser et archiver les données opendata
Cela fait quelques temps que l’idée d’archiver les données publiées en opendata me trotte dans la tête.
Je trouve en effet formidable qu’un projet comme archive.org permette de revenir en arrière et de retrouver des contenus aujourd’hui indisponibles ou difficilement disponibles.
Malheureusement, les jeux de données opendata, ne font pas partie de ce que cette archive du web conserve actuellement.
Ces données ouvertes sont disponibles, pourquoi les archiver ?
La stabilité de publication de certaines données est malheureusement assez aléatoire et surtout sans garantie dans le temps.
On a déjà vu des jeux de données ouverts ne plus être disponibles… ou difficile à retrouver. J’ai constaté plusieurs cas de figure.
... la suite sur: https://medium.com/@cq94/opendatarchives-7f1707fb29aa
Discussions en cours sur https://teamopendata.org/t/archiver-les … tes/1592/1
Projet github: https://github.com/opendatarchives/opendatarchives
et première version très alpha accessible sur https://files.opendatarchives.fr/
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#2 Wed 28 August 2019 16:02
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
Côté géo, j'ai archivé le contenu du géoportail de l'urbanisme ici: http://files.opendatarchives.fr/geoport … e.gouv.fr/
Les DU sont regroupés par département, les données géo sont extraites du ZIP et remises en geopackage pour un accès plus direct.
Ce geopackage peut manquer (problème lors de l'extraction/conversion).
En principe, si un PLU ou autre est mis à jour, les anciennes versions sont conservées (c'est le but d'opendatarchives, historiser et archiver).
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#3 Wed 28 August 2019 16:48
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: opendatarchives... pour historiser et archiver les données opendata
Bonjour Christian,
Un outil précieux et surtout un formidable et colossal travail !
Mille mercis !
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#4 Thu 29 August 2019 09:56
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
Je viens d'y ajouter les documents du CNIG décrivant les standards, ainsi que les gabarits... comme ça il a un mirroir au cas où cnig.gouv.fr disparaisse à nouveau pendant plusieurs semaines.
http://files.opendatarchives.fr/geoport … standards/
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#5 Thu 19 September 2019 21:18
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
Après quelques semaines d'archivage c'est le moment pour un petit bilan en chiffres
Les scripts archiveurs d'opendatarchives ont parcouru près de 150 portails opendata.
Les portails non archivés sont ceux qui n'utilisent pas un outil standard et ne proposent pas d'API permettant un moissonnage propre ou un catalogue au standard dcat du W3C... mais c'est sur ma tout-doux liste de prendre en compte certains comme insee.fr
Et voilà les stats...
# Statistiques opendatarchives du 2019-09-19
Volume de stockage occupé par l'archive: 3,96T
## Nombre de jeux de données (méta-données):
- provenant de data.gouv.fr: 20650
- provenant des autres portails: 9960
## Nombre de fichier de données (contenu):
- provenant de data.gouv.fr: 48676
- provenant des autres portails: 57124
## Nombre de fichier joints et liés:
- provenant des autres portails: 97757
Tout ça est accessible sur https://files.opendatarchives.fr/
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#6 Fri 22 November 2019 20:15
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
Quelques nouvelles à propos d'opendatArchives !
Le volume de données a bien progressé, on approche des 5To sans compter les ortho-photos (4.25To de plus).
Un site web existe désormais pour avoir quelques renseignements sur le projet: https://www.opendatarchives.fr/
Ce projet a aussi reçu la semaine dernière le prix du jury des "trophées opendata pour les territoires" de la gazette des communes et opendata france et une interview est parue aujourd'hui sur https://www.acteurspublics.fr/articles/ … a-francais
J'ai remis au propre l'archive des données opendata de l'IGN: http://files.opendatarchives.fr/professionnels.ign.fr/
qui vient compléter du géoportail de l'urbanisme: http://files.opendatarchives.fr/geoport … e.gouv.fr/
Ceci permettra d'accéder à ces données ouvertes pendant le blackout de toute l'infrastructure de l'IGN à partir du 3 décembre...
D'autres données arrivent petit à petit comme les bases marques et brevets de l'INPI...
Et vous pouvez suivre l'actualité du projet sur https://twitter.com/opendatarchives
Bon week-end !
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#7 Tue 12 January 2021 08:57
- Sylvain C.
- Participant occasionnel
- Date d'inscription: 6 Jan 2014
- Messages: 35
Re: opendatarchives... pour historiser et archiver les données opendata
Merci infiniment pour cette base de données, que j'utilise très fréquemment !
Hors ligne
#8 Tue 12 January 2021 20:20
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
A ce sujet... depuis un an et demi, les tera-octets se sont accumulés et il est temps d'upgrader une première grappe de disques.
Les nouvelles données libérées par l'IGN ont accéléré le remplissage du serveur de stockage !
J'ai ouvert une cagnotte leetchi, objectif 8 disques de 6 To, soit environ 1000€
20€ de don, c'est 1To de plus (environ)
https://www.leetchi.com/c/des-disques-d … atarchives
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#9 Tue 23 February 2021 17:50
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
Encore 48h pour participer à la cagnotte qui devrait permettre de remplacer les disques de 3To par des 10To, d'avoir plus d'espace tout en consommant moins d'électricité, comme quoi c'est possible d'avoir le beurre et l'argent du beurre
https://www.leetchi.com/c/des-disques-d … atarchives
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#10 Tue 20 April 2021 11:15
- rebours
- Participant occasionnel
- Lieu: Paris
- Date d'inscription: 17 Oct 2005
- Messages: 14
Re: opendatarchives... pour historiser et archiver les données opendata
Bonjour,
Je cherche à recueillir des métriques sur les changements d’adresse (réels et données).
J’aimerais utiliser des métriques de la BAN...
C'est pour moi l'occasion de regarder d'un peu plus prêt ce très intéressant projet OpenDataArchives.
Pour commencer par manipulation "simple"/de "petits" fichiers avec un identifiant, je voulais regarder l'évolution du fichier "État de la Base Adresse Nationale par commune" publié par Etalab https://www.data.gouv.fr/fr/datasets/et … r-commune/
J'ai 3 interrogations :
- l'historisation semble s'arrêter dans OpenDataArchive au 4/3/2021 : http://files.opendatarchives.fr/data.go … r-commune/ (Jérôme Desboeufs m'a confirmé que le fichier est toujours publié)
Je regarde mal ?
- pour reconstituer quelques évolutions thématiques sur cette profondeur d'historique, avez-vous quelques suggestions de modes opératoire/choix d'outil ? Quelques liens/témoignages sur des manipulations similaires ?
Je poursuis mes recherches et les partagerait si retours intéressants.
Cdt,
Dernière modification par rebours (Tue 20 April 2021 11:15)
Hors ligne
#11 Tue 20 April 2021 22:41
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
2 accès "mirroir" pour opendatArchives
Comme il y a de plus en plus d'utilisation d'opendatArchives comme mirroir (alors que ce n'était vraiment pas le but original), j'ai anticipé le trafic grandissant.
Il n'y a toujours que 2 fibres et qu'un seul serveur, mais il est maintenant accessible par 3 adresses :
- files.opendatarchives (lien logiciel redondant qui combine les fibres Free+OVH, secouru par onduleur)
- mirror1.opendatarchives.fr (fibre OVH, environ 500Mbps en sortie)
- mirror2.opendatarchives.fr (fibre Free, environ 700Mbps en sortie, secourue par onduleur)
Le premier lien utilise MPTCP router qui répartit le trafic entre les deux fibres et gère les éventuelles coupures et s'appuie sur une dedibox pour la partie externe.
Les deux autres, sont directement routées par les box... et en théorie plus rapide car bien plus simple et direct, mais non sécurisé !
Pour info, la fibre free est utilisée pour récupérer les données d'origine, vu qu'elle est à 10Gbps (et le serveur est relié en 10G à la freebox delta), comme ça vous savez tout ou presque
Dernière modification par cquest (Tue 20 April 2021 22:45)
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#12 Wed 21 April 2021 16:55
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
Le millésime de mars 2021 de la BDTopo est en train d'arriver petit à petit sur
https://mirror1.opendatarchives.fr/professionnels.ign.fr/bdtopo/BDTOPO_3-0_2021-03-15/
https://mirror2.opendatarchives.fr/professionnels.ign.fr/bdtopo/BDTOPO_3-0_2021-03-15/
et https://files.opendatarchives.fr/profes … 021-03-15/
Les fichiers sont vérifiés et leur empreinte MD5 ajoutée à https://files.opendatarchives.fr/profes … po/all.md5
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#13 Wed 21 April 2021 22:30
- rebours
- Participant occasionnel
- Lieu: Paris
- Date d'inscription: 17 Oct 2005
- Messages: 14
Re: opendatarchives... pour historiser et archiver les données opendata
Bonsoir,
Concernant :
Bonjour,
- l'historisation semble s'arrêter dans OpenDataArchive au 4/3/2021 : http://files.opendatarchives.fr/data.go … r-commune/ (Jérôme Desboeufs m'a confirmé que le fichier est toujours publié)
Je regarde mal ?
J'ai toujours le même fichier (alors que le fichier est annoncé par Etalab mis à jour en temps réel ???).
Je vais abandonner cette piste pour avoir une première historisation.
Hors ligne
#14 Wed 21 April 2021 22:34
- rebours
- Participant occasionnel
- Lieu: Paris
- Date d'inscription: 17 Oct 2005
- Messages: 14
Re: opendatarchives... pour historiser et archiver les données opendata
Bonsoir,
Concernant :
Bonjour,
pour reconstituer quelques évolutions thématiques sur cette profondeur d'historique, avez-vous quelques suggestions de modes opératoire/choix d'outil ? Quelques liens/témoignages sur des manipulations similaires ?
Je suis parti sur des manipulations avec Excel et PowerQuery (plus simple pour qq qui ne développe plus comme moi...).
J'ai téléchargé manuellement en local quelques "photos" de la BAN (pas encore eu le temps de voir si je peux interroger via http directement depuis excel).
Reste à faire les analyses...
L.
Hors ligne
#15 Thu 22 April 2021 08:40
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 864
Re: opendatarchives... pour historiser et archiver les données opendata
Bonsoir,
Concernant :rebours a écrit:Bonjour,
- l'historisation semble s'arrêter dans OpenDataArchive au 4/3/2021 : http://files.opendatarchives.fr/data.go … r-commune/ (Jérôme Desboeufs m'a confirmé que le fichier est toujours publié)
Je regarde mal ?
J'ai toujours le même fichier (alors que le fichier est annoncé par Etalab mis à jour en temps réel ???).
Je vais abandonner cette piste pour avoir une première historisation.
Je vais regarder ce qui coince... l'historisation de fichiers générés en temps réel n'est pas la plus simple.
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
Pages: 1
- Sujet précédent - opendatarchives... pour historiser et archiver les données opendata - Sujet suivant