Pages: 1
- Sujet précédent - Photos aériennes anciennes: métadonnées pour 3 millions de clichés - Sujet suivant
#1 Mon 07 March 2016 17:31
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Photos aériennes anciennes: métadonnées pour 3 millions de clichés
A l'occasion de l'opendataday qui se tenait samedi dernier, j'ai extrait du géoportail un fichier de métadonnées sur plus de 3 millions de prises de vues aériennes anciennes s'étalant de 1919 à 2010.
Ces fichiers de métadonnées ont pour but de faciliter l'accès et la ré-utilisation de ce formidable patrimoine difficilement accessible par l'interface flash du géoportail.
Le jeu de données est référencé sur https://www.data.gouv.fr/fr/datasets/me … s-de-lign/
2 séries de fichiers sont disponibles:
- les missions (un par année)
- les clichés (un par année)
Tout est en geojson.
Voici par exemple une heatmap produite à partir de ces données montrant les zones les plus photographiées (en rouge):
[img]http://cquest.github.io/pva/pva-heatmap-medium.png[/img]
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#2 Tue 08 March 2016 07:00
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Excellent!
Christian, fais tout de même attention que l'Institut ne te décerne pas un prix
Et si cela peut encourager l'IGN à améliorer la qualité de ses métadonnées, nous aurons tout gagné.
Bonne journée,
Bruno
Hors ligne
#3 Wed 09 March 2016 09:24
- hai
- Participant occasionnel
- Date d'inscription: 18 May 2006
- Messages: 27
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Ces fichiers de métadonnées ont pour but de faciliter l'accès et la ré-utilisation de ce formidable patrimoine difficilement accessible par l'interface flash du géoportail.
On doit pas avoir la même définition de ce qui est "facile". C'est vrai qu'un fichier de métadonnées en xml, ou des trucs trop bien en geojson, c'est l'éclate totale. C'est bizarre parce que, moi, comme utilisateur, ces métadonnées là, j'en ai pas mal rien à faire, et je préfèrerais mille fois un service qui me permette, sur un lieu donné, de connaître les prise de vue disponibles. Si, en plus, je pouvais les visualiser et les télécharger... Ca, ce serait facile! Et si ça existait, ça mériterait bien un prix!
Bon, le top du top, c'est vrai, ce serait que ces images soient orthorectifiées et qu'on puisse les covisualiser avec des données contemporaines. Mais bon, faut pas trop rêver quand même...
Et on a déjà, grâce à Saint Christian "Dyson" Quest des métadonnées, réjouissons nous!
Hors ligne
#4 Wed 09 March 2016 12:48
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Offrir un service plus ergonomique pour accéder à ces images et aussi dans un format plus courant que le JPEG2000 j'y pense fortement, mais Rome ne s'est pas construite en un jour !
Ces métadonnées sont indispensable pour cela, donc j'ai logiquement commencé par ça pour avoir la matière première sur laquelle travailler.
J'ai préféré la partager sans attendre pour permettre à d'autres de réfléchir à comment les exploiter au mieux, bref d'élargir le cercle plutôt que de faire un truc tout seul dans mon coin.
Pour les non fans du geojson, j'ai sorti des shapefile qui sont aussi sur github
Pour les années 1019 à 1959, j'ai complété avec des infos sur les images: largeur et hauteur en pixels, taille en octets du fichier. Pour cela je récupère le premier Ko de chaque image qui contient les données EXIF.
Le plus gros fichier trouvé pour l'instant fait presque 400 millions de pixels (20000x20000) et a une taille de 126Mo.
Pour la rectification, c'est un travail de titan, mais bon, on a des outils de plus en plus automatiques pour faire cela même approximativement ce qui peut être suffisant pour des usages simples. J'ai déjà commencé à explorer le calage à partir des emprises, c'est pas parfait, mais ça donne une première approximation sympa.
Exemple:
[img]https://framapic.org/dLIvBVa9WTJz/RXxKlfWqAwrk.png[/img]
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#5 Wed 09 March 2016 14:09
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Moi, je trouve ça super, ces méta-données. Après, c'est sûr qu'en effet, pouvoir télécharger les PVA directement serait le top
On pourrait se poser la question de la corrélation entre la heatmap et la carte de la population française, voire avec des zones d'enjeux.
Si l'on prend en compte la dimension temporelle, et que l'on suppose que la prise de vue, globalement, suit l'importance donnée à un cetrtain moment, à certaines parties du territoire, alors on pourrait voir comment les zones d'enjeux ont bougé dans le temps.
Je me pose une question de néophyte : est-ce possible de télécharger tous les fichiers d'un coup, mis à part via un petit batch ?
geodata au cerema et petits billets en géomatique
Hors ligne
#6 Wed 09 March 2016 15:15
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Bonjour,
pour ma part je trouve cela super aussi et ça démontre bien la complémentarité de communautés.
Mes collègues utilisent beaucoup ces photos anciennes. Pouvoir accéder à une couche d'emprise de l'ensemble des clichés va être un grand plus dans leur quotidien et une belle avancée dans notre connaissance du territoire.
Mathieu
Mathieu BOSSAERT
Association GeoRezo
Hors ligne
#7 Wed 09 March 2016 17:31
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Je me pose une question de néophyte : est-ce possible de télécharger tous les fichiers d'un coup, mis à part via un petit batch ?
Pour télécharger les fichiers de metadonnées d'un coup c'est ici: https://github.com/cquest/photos-aerien … master.zip
C'est le lien sur le bouton "Download ZIP" sur github.
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#8 Thu 10 March 2016 13:16
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Merci encore pour ce travail et pour la mise à disposition des photos par l'IGN !
J'ai consolidé ces pva dans une table PostGIS par région pour notre besoin et celui de mes collègues du réseau des CENs.
C'est là : http://si.cenlr.org/trouver_les_photos_ … s_de_l_ign
Mathieu BOSSAERT
Association GeoRezo
Hors ligne
#9 Thu 10 March 2016 14:28
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Salut,
J'avais aussi regardé comment reconstituer les liens de téléchargements. Remplace dans ton lien ta regex par le champ mission, c'est plus lisible et fait la même chose.
Cordialement
Thomas
Hors ligne
#11 Thu 10 March 2016 16:22
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Je n'ai pas mis ces liens direct dans les métadonnées vu qu'ils utilisent la clé d'API du Géoportail et ne sachant pas quel était du coup leur statut.
Effectivement c'est bien le champ mission puis url qu'il faut utiliser.
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#12 Thu 10 March 2016 18:54
- Marc Leobet
- Participant assidu
- Lieu: Nowhere
- Date d'inscription: 19 Sep 2005
- Messages: 1103
- Site web
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Je n'ai pas mis ces liens direct dans les métadonnées vu qu'ils utilisent la clé d'API du Géoportail et ne sachant pas quel était du coup leur statut.
Bonjour,
je ne vois pas quel statut autre que la licence ouverte pourrait s'appliquer aux métadonnées (civiles), d'autant que les photos aériennes elles-mêmes sont libres de droit si je me rappelle bien. En revanche, protéger les serveurs est une bonne pratique et la clé ainsi justifiée.
Cordialement
Marc Leobet
@MarcLeobet sur Twitter
Hors ligne
#14 Wed 08 June 2016 12:43
- Sylvain M.
- Participant assidu
- Lieu: Saint-Pierre-des-Nids (53)
- Date d'inscription: 8 Sep 2005
- Messages: 995
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Bonjour et merci à tous pour tout ce travail qui facilite l'accès à ce patrimoine exceptionnel !
J'ai récupéré les dump régionaux sur le site du SI-CENLR, importés avec succès dans une BD PostGis : merci MathieuB (au passage, encore merci pour le covoiturage mercredi dernier au Forum TIC : comme ça tu pourras mettre un visage sur un pseudo ! ;-) )
Je bloque actuellement sur l'ajout d'action à la couche dans QGis (2.14.2), afin d'ouvrir les PVA.
J'ai bien ajouté ma clé IGN (API pour SIG) au code suivant :
Code:
'http://wxs.ign.fr/macle/jp2/DEMAT.PVA/'||"mission"||'/'|| "url"
, que j'ai mis dans une action de type "ouvrir" sur la couche.
Malheureusement, rien ne se passe quand je clic avec le bouton "exécuter l'action" sur la couche...
Comme je ne connais pas encore les "actions" dans QGis, le problème doit être lié à mon incompétence sur le sujet.
Auriez-vous des conseils sur la syntaxe de cette action ? (quand je regarde comment s'écrivent les champs si je les ajoute via l'assistant, c'est quand même différent : [% "mission" %] et non simplement "mission")
Merci pour vos conseils !
Sylvain M.
[Edit]
Je viens de tester avec ce code :
Code:
"http://wxs.ign.fr/macle/jp2/DEMAT.PVA/[% "mission" %]/[% "url" %]"
Cette fois-ci, quand je clique sur l'action, ça m'ouvre le navigateur web sur la page du JP2 cliqué :
https://wxs.ign.fr/macle/jp2/DEMAT.PVA/ … 3_1064.jp2
mais au lieu de télécharger l'image, ça m'affiche ce genre de métadonnées XML :
Code:
Aucune information de style ne semble associée à ce fichier XML. L'arbre du document est affiché ci-dessous. <ExceptionReport><Exception exceptionCode="MissingRights">No rights for this ressource or ressource does not exist</Exception></ExceptionReport>
:-$
[/Edit]
Dernière modification par Sylvain M. (Wed 08 June 2016 14:09)
Sylvain M.
Hors ligne
#15 Thu 23 June 2016 01:27
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
J'ai refait une petite interface de navigation (assez rudimentaire) pour accéder aux photos aériennes anciennes:
http://umap.openstreetmap.fr/fr/map/pho … lign_87467
Elle s'appuie sur umap, le service mis en place par OSM France pour créer des cartes personnalisées.
Les données sont stockées dans un nouveau projet que j'ai démarré il y a peu: OpenEventDatabase.
Il s'agit d'une API pour partager des informations localisées dans l'espace et le temps. Les prises de vues aériennes sont ainsi stockées comme des événements (date de prise de vue) avec leur emprise géographique et sont requêtables via l'API.
Pour plus d'info vous pouvez consulter l'embryon de doc: https://github.com/openeventdatabase/backend/wiki
Exemple de requête: http://api.openeventdatabase.org/event? … 2001-01-01
Sortira les prises de vues de l'année 2000 du centre de Paris sous forme d'une Featurecollection geojson...
Have fun !
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#16 Wed 14 December 2016 09:47
- JRM
- Participant assidu
- Lieu: Arras
- Date d'inscription: 15 Apr 2009
- Messages: 521
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Bonjour,
Est-ce que l'un d'entre vous peut m'indiquer le type de clé utilisé pour le téléchargement des clichés ?
Je viens de commander une clé Utilisation des Ressources Géoportail - Utilisateur final Professionnel que j'utilise via une action QGIS mais le retour c'est
Code:
<Exception exceptionCode="MissingRights">Wrong referer or wrong IP Adress or wrong User-Agent
Hors ligne
#17 Thu 15 December 2016 15:52
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3199
- Site web
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Bonjour,
Merci pour ce travail !!! Dommage que la focale et la hauteur de vol ne soient pas communiquées (pas par vous hein !), quand aux 3 angles de rotation ...
Concernant la "rectification" ou tout du moins le géoréférencement il faut être extrêmement prudent. Seule une partie du cliché est exploitable, et le choix des points "vrais" doit être fait avec soin, points au sol, bâtiments à toit plat pas trop hauts, ne pas s'éloigner de plus de x% du nadir (le X% étant fonction de la focale et de la hauteur de prise de vue ...).
En tout cas un grand merci.
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
En ligne
#18 Fri 16 December 2016 10:09
Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés
Bonjour,
Est-ce que l'un d'entre vous peut m'indiquer le type de clé utilisé pour le téléchargement des clichés ?
Je viens de commander une clé Utilisation des Ressources Géoportail - Utilisateur final Professionnel que j'utilise via une action QGIS mais le retour c'estCode:
<Exception exceptionCode="MissingRights">Wrong referer or wrong IP Adress or wrong User-Agent
Bonjour,
Je crois savoir que pour un certain nombre de lots de données, les MD du géocatalogue de la PPIGE donnent ces infos:
https://www.ppige-npdc.fr/portail/geocatalogue
Et puis Rudy est toujours là
Bonne journée,
Bruno
Hors ligne
Pages: 1
- Sujet précédent - Photos aériennes anciennes: métadonnées pour 3 millions de clichés - Sujet suivant