Le portail francophone de la géomatique

cquest · Wed 28 August 2019 10:16

Cela fait quelques temps que l’idée d’archiver les données publiées en opendata me trotte dans la tête.

Je trouve en effet formidable qu’un projet comme archive.org permette de revenir en arrière et de retrouver des contenus aujourd’hui indisponibles ou difficilement disponibles.

Malheureusement, les jeux de données opendata, ne font pas partie de ce que cette archive du web conserve actuellement.

Ces données ouvertes sont disponibles, pourquoi les archiver ?

La stabilité de publication de certaines données est malheureusement assez aléatoire et surtout sans garantie dans le temps.

On a déjà vu des jeux de données ouverts ne plus être disponibles… ou difficile à retrouver. J’ai constaté plusieurs cas de figure.

... la suite sur: https://medium.com/@cq94/opendatarchives-7f1707fb29aa

Discussions en cours sur https://teamopendata.org/t/archiver-les … tes/1592/1
Projet github: https://github.com/opendatarchives/opendatarchives

et première version très alpha accessible sur https://files.opendatarchives.fr/

cquest · Wed 28 August 2019 16:02

Côté géo, j'ai archivé le contenu du géoportail de l'urbanisme ici: http://files.opendatarchives.fr/geoport … e.gouv.fr/

Les DU sont regroupés par département, les données géo sont extraites du ZIP et remises en geopackage pour un accès plus direct.
Ce geopackage peut manquer (problème lors de l'extraction/conversion).

En principe, si un PLU ou autre est mis à jour, les anciennes versions sont conservées (c'est le but d'opendatarchives, historiser et archiver).

Jean-Michel · Wed 28 August 2019 16:48

Bonjour Christian,
Un outil précieux et surtout un formidable et colossal travail !

Mille mercis !

cquest · Thu 29 August 2019 09:56

Je viens d'y ajouter les documents du CNIG décrivant les standards, ainsi que les gabarits... comme ça il a un mirroir au cas où cnig.gouv.fr disparaisse à nouveau pendant plusieurs semaines.

http://files.opendatarchives.fr/geoport … standards/

cquest · Thu 19 September 2019 21:18

Après quelques semaines d'archivage c'est le moment pour un petit bilan en chiffres

Les scripts archiveurs d'opendatarchives ont parcouru près de 150 portails opendata.

Les portails non archivés sont ceux qui n'utilisent pas un outil standard et ne proposent pas d'API permettant un moissonnage propre ou un catalogue au standard dcat du W3C... mais c'est sur ma tout-doux liste de prendre en compte certains comme insee.fr

Et voilà les stats...

# Statistiques opendatarchives du 2019-09-19

Volume de stockage occupé par l'archive: 3,96T

## Nombre de jeux de données (méta-données):
- provenant de data.gouv.fr: 20650
- provenant des autres portails: 9960

## Nombre de fichier de données (contenu):
- provenant de data.gouv.fr: 48676
- provenant des autres portails: 57124

## Nombre de fichier joints et liés:
- provenant des autres portails: 97757

Tout ça est accessible sur https://files.opendatarchives.fr/

cquest · Fri 22 November 2019 20:15

Quelques nouvelles à propos d'opendatArchives !

Le volume de données a bien progressé, on approche des 5To sans compter les ortho-photos (4.25To de plus).

Un site web existe désormais pour avoir quelques renseignements sur le projet: https://www.opendatarchives.fr/

Ce projet a aussi reçu la semaine dernière le prix du jury des "trophées opendata pour les territoires" de la gazette des communes et opendata france et une interview est parue aujourd'hui sur https://www.acteurspublics.fr/articles/ … a-francais

J'ai remis au propre l'archive des données opendata de l'IGN: http://files.opendatarchives.fr/professionnels.ign.fr/
qui vient compléter du géoportail de l'urbanisme: http://files.opendatarchives.fr/geoport … e.gouv.fr/

Ceci permettra d'accéder à ces données ouvertes pendant le blackout de toute l'infrastructure de l'IGN à partir du 3 décembre...

D'autres données arrivent petit à petit comme les bases marques et brevets de l'INPI...

Et vous pouvez suivre l'actualité du projet sur https://twitter.com/opendatarchives

Bon week-end !

Sylvain C. · Tue 12 January 2021 08:57

Merci infiniment pour cette base de données, que j'utilise très fréquemment !

cquest · Tue 12 January 2021 20:20

A ce sujet... depuis un an et demi, les tera-octets se sont accumulés et il est temps d'upgrader une première grappe de disques.

Les nouvelles données libérées par l'IGN ont accéléré le remplissage du serveur de stockage !

J'ai ouvert une cagnotte leetchi, objectif 8 disques de 6 To, soit environ 1000€

20€ de don, c'est 1To de plus (environ)

https://www.leetchi.com/c/des-disques-d … atarchives

cquest · Tue 23 February 2021 17:50

Encore 48h pour participer à la cagnotte qui devrait permettre de remplacer les disques de 3To par des 10To, d'avoir plus d'espace tout en consommant moins d'électricité, comme quoi c'est possible d'avoir le beurre et l'argent du beurre

https://www.leetchi.com/c/des-disques-d … atarchives

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Carte des membres Sites amis	Agenda Biblio Netvibes Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Carte des CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

#1 Wed 28 August 2019 10:16

opendatarchives... pour historiser et archiver les données opendata

#2 Wed 28 August 2019 16:02

Re: opendatarchives... pour historiser et archiver les données opendata

#3 Wed 28 August 2019 16:48

Re: opendatarchives... pour historiser et archiver les données opendata

#4 Thu 29 August 2019 09:56

Re: opendatarchives... pour historiser et archiver les données opendata

#5 Thu 19 September 2019 21:18

Re: opendatarchives... pour historiser et archiver les données opendata

#6 Fri 22 November 2019 20:15

Re: opendatarchives... pour historiser et archiver les données opendata

#7 Tue 12 January 2021 08:57

Re: opendatarchives... pour historiser et archiver les données opendata

#8 Tue 12 January 2021 20:20

Re: opendatarchives... pour historiser et archiver les données opendata

#9 Tue 23 February 2021 17:50

Re: opendatarchives... pour historiser et archiver les données opendata

Pied de page des forums