Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considèrerons que vous acceptez l'utilisation des cookies. J'ai compris ! ou En savoir plus !.
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce



#AGAURAGEO

1ère Biennale de l'Information Géographique
Lyon - 17 décembre 2019

http://agaurageo.fr/

#1 Wed 28 August 2019 10:16

cquest
Membre
Date d'inscription: 6 Jan 2013
Messages: 438

opendatarchives... pour historiser et archiver les données opendata

Cela fait quelques temps que l’idée d’archiver les données publiées en opendata me trotte dans la tête.

Je trouve en effet formidable qu’un projet comme archive.org permette de revenir en arrière et de retrouver des contenus aujourd’hui indisponibles ou difficilement disponibles.

Malheureusement, les jeux de données opendata, ne font pas partie de ce que cette archive du web conserve actuellement.

Ces données ouvertes sont disponibles, pourquoi les archiver ?

La stabilité de publication de certaines données est malheureusement assez aléatoire et surtout sans garantie dans le temps.

On a déjà vu des jeux de données ouverts ne plus être disponibles… ou difficile à retrouver. J’ai constaté plusieurs cas de figure.

... la suite sur: https://medium.com/@cq94/opendatarchives-7f1707fb29aa


Discussions en cours sur https://teamopendata.org/t/archiver-les … tes/1592/1
Projet github: https://github.com/opendatarchives/opendatarchives

et première version très alpha accessible sur https://files.opendatarchives.fr/


Christian Quest
Membre fondateur et porte parole d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#2 Wed 28 August 2019 16:02

cquest
Membre
Date d'inscription: 6 Jan 2013
Messages: 438

Re: opendatarchives... pour historiser et archiver les données opendata

Côté géo, j'ai archivé le contenu du géoportail de l'urbanisme ici: http://files.opendatarchives.fr/geoport … e.gouv.fr/

Les DU sont regroupés par département, les données géo sont extraites du ZIP et remises en geopackage pour un accès plus direct.
Ce geopackage peut manquer (problème lors de l'extraction/conversion).

En principe, si un PLU ou autre est mis à jour, les anciennes versions sont conservées (c'est le but d'opendatarchives, historiser et archiver).


Christian Quest
Membre fondateur et porte parole d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#3 Wed 28 August 2019 16:48

Jean-Michel
#jesuischarlie
Lieu: An Oriant /Lorient
Date d'inscription: 3 Oct 2005
Messages: 3820
Site web

Re: opendatarchives... pour historiser et archiver les données opendata

Bonjour Christian,
Un outil précieux et surtout un formidable et colossal travail !

Mille mercis !


Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#4 Thu 29 August 2019 09:56

cquest
Membre
Date d'inscription: 6 Jan 2013
Messages: 438

Re: opendatarchives... pour historiser et archiver les données opendata

Je viens d'y ajouter les documents du CNIG décrivant les standards, ainsi que les gabarits... comme ça il a un mirroir au cas où cnig.gouv.fr disparaisse à nouveau pendant plusieurs semaines.

http://files.opendatarchives.fr/geoport … standards/


Christian Quest
Membre fondateur et porte parole d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#5 Thu 19 September 2019 21:18

cquest
Membre
Date d'inscription: 6 Jan 2013
Messages: 438

Re: opendatarchives... pour historiser et archiver les données opendata

Après quelques semaines d'archivage c'est le moment pour un petit bilan en chiffres wink

Les scripts archiveurs d'opendatarchives ont parcouru près de 150 portails opendata.

Les portails non archivés sont ceux qui n'utilisent pas un outil standard et ne proposent pas d'API permettant un moissonnage propre ou un catalogue au standard dcat du W3C... mais c'est sur ma tout-doux liste de prendre en compte certains comme insee.fr wink

Et voilà les stats...

# Statistiques opendatarchives du 2019-09-19

Volume de stockage occupé par l'archive: 3,96T

## Nombre de jeux de données (méta-données):
- provenant de data.gouv.fr:     20650
- provenant des autres portails: 9960

## Nombre de fichier de données (contenu):
- provenant de data.gouv.fr:     48676
- provenant des autres portails: 57124

## Nombre de fichier joints et liés:
- provenant des autres portails: 97757


Tout ça est accessible sur https://files.opendatarchives.fr/


Christian Quest
Membre fondateur et porte parole d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

Pied de page des forums

Powered by FluxBB

Partagez  |