banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

#1 Mon 07 March 2016 17:31

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Photos aériennes anciennes: métadonnées pour 3 millions de clichés

A l'occasion de l'opendataday qui se tenait samedi dernier, j'ai extrait du géoportail un fichier de métadonnées sur plus de 3 millions de prises de vues aériennes anciennes s'étalant de 1919 à 2010.

Ces fichiers de métadonnées ont pour but de faciliter l'accès et la ré-utilisation de ce formidable patrimoine difficilement accessible par l'interface flash du géoportail.

Le jeu de données est référencé sur https://www.data.gouv.fr/fr/datasets/me … s-de-lign/

2 séries de fichiers sont disponibles:
- les missions (un par année)
- les clichés (un par année)

Tout est en geojson.

Voici par exemple une heatmap produite à partir de ces données montrant les zones les plus photographiées (en rouge):

[img]http://cquest.github.io/pva/pva-heatmap-medium.png[/img]


Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#2 Tue 08 March 2016 07:00

Bruno
Membre du bureau
Lieu: Toulouse
Date d'inscription: 22 Jun 2005
Messages: 11930
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Excellent!
Christian, fais tout de même attention que l'Institut ne te décerne pas un prix wink

Et si cela peut encourager l'IGN à améliorer la qualité de ses métadonnées, nous aurons tout gagné.

Bonne journée,

Bruno

Hors ligne

 

#3 Wed 09 March 2016 09:24

hai
Participant occasionnel
Date d'inscription: 18 May 2006
Messages: 27

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

cquest a écrit:

Ces fichiers de métadonnées ont pour but de faciliter l'accès et la ré-utilisation de ce formidable patrimoine difficilement accessible par l'interface flash du géoportail.


On doit pas avoir la même définition de ce qui est "facile". C'est vrai qu'un fichier de métadonnées en xml, ou des trucs trop bien en geojson, c'est l'éclate totale. C'est bizarre parce que, moi, comme utilisateur, ces métadonnées là, j'en ai pas mal rien à faire, et je préfèrerais mille fois un service qui me permette, sur un lieu donné, de connaître les prise de vue disponibles. Si, en plus, je pouvais les visualiser et les télécharger... Ca, ce serait facile! Et si ça existait, ça mériterait bien un prix!

Bon, le top du top, c'est vrai, ce serait que ces images soient orthorectifiées et qu'on puisse les covisualiser avec des données contemporaines. Mais bon, faut pas trop rêver quand même...

Et on a déjà, grâce à Saint Christian "Dyson" Quest des métadonnées, réjouissons nous!

Hors ligne

 

#4 Wed 09 March 2016 12:48

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Offrir un service plus ergonomique pour accéder à ces images et aussi dans un format plus courant que le JPEG2000 j'y pense fortement, mais Rome ne s'est pas construite en un jour !

Ces métadonnées sont indispensable pour cela, donc j'ai logiquement commencé par ça pour avoir la matière première sur laquelle travailler.
J'ai préféré la partager sans attendre pour permettre à d'autres de réfléchir à comment les exploiter au mieux, bref d'élargir le cercle plutôt que de faire un truc tout seul dans mon coin.

Pour les non fans du geojson, j'ai sorti des shapefile qui sont aussi sur github

Pour les années 1019 à 1959, j'ai complété avec des infos sur les images: largeur et hauteur en pixels, taille en octets du fichier. Pour cela je récupère le premier Ko de chaque image qui contient les données EXIF.
Le plus gros fichier trouvé pour l'instant fait presque 400 millions de pixels (20000x20000) et a une taille de 126Mo.


Pour la rectification, c'est un travail de titan, mais bon, on a des outils de plus en plus automatiques pour faire cela même approximativement ce qui peut être suffisant pour des usages simples. J'ai déjà commencé à explorer le calage à partir des emprises, c'est pas parfait, mais ça donne une première approximation sympa.

Exemple:
[img]https://framapic.org/dLIvBVa9WTJz/RXxKlfWqAwrk.png[/img]


Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#5 Wed 09 March 2016 14:09

MathieuR
Membre
Lieu: aix-en-provence
Date d'inscription: 16 Feb 2009
Messages: 1690
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Moi, je trouve ça super, ces méta-données. Après, c'est sûr qu'en effet, pouvoir télécharger les PVA directement serait le top

On pourrait se poser la question de la corrélation entre la heatmap et la carte de la population française, voire avec des zones d'enjeux.
Si l'on prend en compte la dimension temporelle, et que l'on suppose que la prise de vue, globalement, suit l'importance donnée à un cetrtain moment, à certaines parties du territoire, alors on pourrait voir comment les zones d'enjeux ont bougé dans le temps.

Je me pose une question de néophyte : est-ce possible de télécharger tous les fichiers d'un coup, mis à part via un petit batch ?


geodata au cerema et petits billets en géomatique

Hors ligne

 

#6 Wed 09 March 2016 15:15

MathieuB
Membre du bureau
Lieu: Montpellier
Date d'inscription: 18 Jan 2006
Messages: 1229
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Bonjour,

pour ma part je trouve cela super aussi et ça démontre bien la complémentarité de communautés.

Mes collègues utilisent beaucoup ces photos anciennes. Pouvoir accéder à une couche d'emprise de l'ensemble des clichés va être un grand plus dans leur quotidien et une belle avancée dans notre connaissance du territoire.

Mathieu


Mathieu BOSSAERT
Association GeoRezo

Hors ligne

 

#7 Wed 09 March 2016 17:31

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

MathieuR a écrit:

Je me pose une question de néophyte : est-ce possible de télécharger tous les fichiers d'un coup, mis à part via un petit batch ?


Pour télécharger les fichiers de metadonnées d'un coup c'est ici: https://github.com/cquest/photos-aerien … master.zip

C'est le lien sur le bouton "Download ZIP" sur github.


Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#8 Thu 10 March 2016 13:16

MathieuB
Membre du bureau
Lieu: Montpellier
Date d'inscription: 18 Jan 2006
Messages: 1229
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Merci encore pour ce travail et pour la mise à disposition des photos par l'IGN !
J'ai consolidé ces pva dans une table PostGIS par région pour notre besoin et celui de mes collègues du réseau des CENs.

C'est là : http://si.cenlr.org/trouver_les_photos_ … s_de_l_ign


Mathieu BOSSAERT
Association GeoRezo

Hors ligne

 

#9 Thu 10 March 2016 14:28

ThomasG
Membre
Lieu: Nantes
Date d'inscription: 9 Sep 2005
Messages: 946
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Salut,

J'avais aussi regardé comment reconstituer les liens de téléchargements. Remplace dans ton lien ta regex par le champ mission, c'est plus lisible et fait la même chose.

Cordialement

Thomas

Hors ligne

 

#10 Thu 10 March 2016 14:40

MathieuB
Membre du bureau
Lieu: Montpellier
Date d'inscription: 18 Jan 2006
Messages: 1229
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Merci Thomas,

je corrige.


Mathieu BOSSAERT
Association GeoRezo

Hors ligne

 

#11 Thu 10 March 2016 16:22

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Je n'ai pas mis ces liens direct dans les métadonnées vu qu'ils utilisent la clé d'API du Géoportail et ne sachant pas quel était du coup leur statut.

Effectivement c'est bien le champ mission puis url qu'il faut utiliser.


Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#12 Thu 10 March 2016 18:54

Marc Leobet
Participant assidu
Lieu: Nowhere
Date d'inscription: 19 Sep 2005
Messages: 1103
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

cquest a écrit:

Je n'ai pas mis ces liens direct dans les métadonnées vu qu'ils utilisent la clé d'API du Géoportail et ne sachant pas quel était du coup leur statut.


Bonjour,

je ne vois pas quel statut autre que la licence ouverte pourrait s'appliquer aux métadonnées (civiles), d'autant que les photos aériennes elles-mêmes sont libres de droit si je me rappelle bien. En revanche, protéger les serveurs est une bonne pratique et la clé  ainsi justifiée.

Cordialement


Marc Leobet
@MarcLeobet sur Twitter

Hors ligne

 

#13 Thu 10 March 2016 22:02

MathieuB
Membre du bureau
Lieu: Montpellier
Date d'inscription: 18 Jan 2006
Messages: 1229
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Bonsoir,

j'ai sorti la clé de l'URL. C'est mieux en effet.


Mathieu BOSSAERT
Association GeoRezo

Hors ligne

 

#14 Wed 08 June 2016 12:43

Sylvain M.
Participant assidu
Lieu: Saint-Pierre-des-Nids (53)
Date d'inscription: 8 Sep 2005
Messages: 995

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Bonjour et merci à tous pour tout ce travail qui facilite l'accès à ce patrimoine exceptionnel ! smile
J'ai récupéré les dump régionaux sur le site du SI-CENLR, importés avec succès dans une BD PostGis : merci MathieuB (au passage, encore merci pour le covoiturage mercredi dernier au Forum TIC : comme ça tu pourras mettre un visage sur un pseudo ! ;-) )

Je bloque actuellement sur l'ajout d'action à la couche dans QGis (2.14.2), afin d'ouvrir les PVA.

J'ai bien ajouté ma clé IGN (API pour SIG) au code suivant :

Code:

'http://wxs.ign.fr/macle/jp2/DEMAT.PVA/'||"mission"||'/'|| "url"

, que j'ai mis dans une action de type "ouvrir" sur la couche.
Malheureusement, rien ne se passe quand je clic avec le bouton "exécuter l'action" sur la couche...

Comme je ne connais pas encore les "actions" dans QGis, le problème doit être lié à mon incompétence sur le sujet.
Auriez-vous des conseils sur la syntaxe de cette action ? (quand je regarde comment s'écrivent les champs si je les ajoute via l'assistant, c'est quand même différent : [% "mission" %] et non simplement "mission")

Merci pour vos conseils !

Sylvain M.

[Edit]
Je viens de tester avec ce code :

Code:

"http://wxs.ign.fr/macle/jp2/DEMAT.PVA/[% "mission" %]/[% "url" %]"

Cette fois-ci, quand je clique sur l'action, ça m'ouvre le navigateur web sur la page du JP2 cliqué :
https://wxs.ign.fr/macle/jp2/DEMAT.PVA/ … 3_1064.jp2
mais au lieu de télécharger l'image, ça m'affiche ce genre de métadonnées XML :

Code:

Aucune information de style ne semble associée à ce fichier XML. L'arbre du document est affiché ci-dessous.
      <ExceptionReport><Exception exceptionCode="MissingRights">No rights for this ressource or ressource does not exist</Exception></ExceptionReport>

:-$
[/Edit]

Dernière modification par Sylvain M. (Wed 08 June 2016 14:09)


Sylvain M.

Hors ligne

 

#15 Thu 23 June 2016 01:27

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

J'ai refait une petite interface de navigation (assez rudimentaire) pour accéder aux photos aériennes anciennes:

http://umap.openstreetmap.fr/fr/map/pho … lign_87467

Elle s'appuie sur umap, le service mis en place par OSM France pour créer des cartes personnalisées.
Les données sont stockées dans un nouveau projet que j'ai démarré il y a peu: OpenEventDatabase.

Il s'agit d'une API pour partager des informations localisées dans l'espace et le temps. Les prises de vues aériennes sont ainsi stockées comme des événements (date de prise de vue) avec leur emprise géographique et sont requêtables via l'API.

Pour plus d'info vous pouvez consulter l'embryon de doc: https://github.com/openeventdatabase/backend/wiki

Exemple de requête: http://api.openeventdatabase.org/event? … 2001-01-01

Sortira les prises de vues de l'année 2000 du centre de Paris sous forme d'une Featurecollection geojson...

Have fun !


Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#16 Wed 14 December 2016 09:47

JRM
Participant assidu
Lieu: Arras
Date d'inscription: 15 Apr 2009
Messages: 521

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Bonjour,

Est-ce que l'un d'entre vous peut m'indiquer le type de clé utilisé pour le téléchargement des clichés ?

Je viens de commander une clé Utilisation des Ressources Géoportail - Utilisateur final Professionnel que j'utilise via une action QGIS mais le retour c'est

Code:

<Exception exceptionCode="MissingRights">Wrong referer or wrong IP Adress or wrong User-Agent

Hors ligne

 

#17 Thu 15 December 2016 15:52

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3195
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

Bonjour,

Merci pour ce travail !!! Dommage que la focale et la hauteur de vol ne soient pas communiquées (pas par vous hein !), quand aux 3 angles de rotation ...

Concernant la "rectification" ou tout du moins le géoréférencement il faut être extrêmement prudent. Seule une partie du cliché est exploitable, et le choix des points "vrais" doit être fait avec soin, points au sol, bâtiments à toit plat pas trop hauts, ne pas s'éloigner de plus de x% du nadir (le X% étant fonction de la focale et de la hauteur de prise de vue ...).

En tout cas un grand merci.


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#18 Fri 16 December 2016 10:09

Bruno
Membre du bureau
Lieu: Toulouse
Date d'inscription: 22 Jun 2005
Messages: 11930
Site web

Re: Photos aériennes anciennes: métadonnées pour 3 millions de clichés

JRM a écrit:

Bonjour,

Est-ce que l'un d'entre vous peut m'indiquer le type de clé utilisé pour le téléchargement des clichés ?

Je viens de commander une clé Utilisation des Ressources Géoportail - Utilisateur final Professionnel que j'utilise via une action QGIS mais le retour c'est

Code:

<Exception exceptionCode="MissingRights">Wrong referer or wrong IP Adress or wrong User-Agent


Bonjour,

Je crois savoir que pour un certain nombre de lots de données, les MD du géocatalogue de la PPIGE donnent ces infos:
https://www.ppige-npdc.fr/portail/geocatalogue

Et puis Rudy est toujours là wink

Bonne journée,

Bruno

Hors ligne

 

Pied de page des forums

Powered by FluxBB