Le portail francophone de la géomatique

Didier Bétored · Tue 16 September 2008 09:46

Bonjour,

nous sommes en train de mettre en place un serveur de métadonnées (avec geonetwork).
Après une phase de tests techniques et de déploiement, nous en sommes arrivés au stade de l'alimentation de ce serveur.

Si la création de métadonnées sur les données que nous fabriquons ne pose pas problème, la récupération des métadonnées sur les grosses bases récupérées n'est pas si évidente que nous le pensions au départ :
Si, techniquement, il suffit d'aller sur le géocatalogue et d'exporter au format xml ces métadonnées pour abonder le geonetwork, cette méthode ne résiste pas à l'analyse du contenu de ces métadonnées.

J'ai posté quelques messages à l'IGN, sur forumSIG et ici même pour avoir d'autres pistes d'acquisition pour des métadonnées de qualité.
Les premières m'ayant plutôt inquiété quant à l'issue de la démarche, j'ai téléphoné au géomaticien du CRIGE-PACA chargé de ces métadonnées.
La réponse confirme mes craintes : dans le cadre d'une refonte de leur site internet, ils ont prévu dans l'appel d'offre de "refaire'" (le re est mal venu ...) des métadonnées aux normes pour tout ce qu'ils mettent à disposition des géomaticiens provençaux car ils semblent confirmer que celles-ci n'existent pas ...

Si vous aviez des avis sur la question, je suis preneur.

Bruno · Thu 18 September 2008 10:29

Bonjour Didier,

Désolé, mais si les expertsne répondent pas...

Vous devriez travailler à la DGA.

Bruno

Didier Bétored · Thu 18 September 2008 10:46

Bonjour,

si, si les experts ont répondu.

Avec célérité d'ailleurs !

Donc, plutôt que de me risquer à faire un résumé de la réponse, je copie ci-dessus le contenu du message.
Le langage nous a semblé un peu technocratique mais ça confirme un peu (si on a bien compris) ce que nous disions.

Je refais, juste après, un message pour ne pas mélanger leur réponse avec le point où nous en sommes maintenant

Didier

...
- l'IGN a bien déposé des métadonnées ISO 19115/ISO 19139 sur le GéoCatalogue.
La présence du logo IGN dans la fiche métadonnées indique bien la provenance
de ces dernières. Il s'agit uniquement de métadonnées des produits IGN. Ces
fichiers ont passé avec succès les tests de conformité à la syntaxe XML et
contre les schémas XSD de l'époque (2006-2007). Elles ont été intégrées avec
succés dans deux applications: GeoNetwork et RedSpider;

- les informations que l'on trouve dans ces métadonnées sont relativement
généralistes s'agissant de produits et ont été fabriqués "à la main" comme
preuve de concept en attendant la production industrielle des métadonnées de
lots de données par l'IGN;

- le "profil" utilisé est du niveau découverte : seuls les éléments
fondamentaux y sont inscrits. La pauvreté de certains champs comme la
généalogie s'explique par une information peu complète et fort disparate
selon les produits en ma possession. L'IGN travaille à l'amélioration de ces
informations;

Certaines métadonnées du Géocatalogue sont en fait des métadonnées sur des
jeux de données IGN que nous n'avons pas insérés dans le GéoCatalogue. Ce
sont des métadonnées en provenance d'autres utilisateurs (e.g., Orthophotos
de CRIGE PACA).
...

Didier Bétored · Thu 18 September 2008 10:55

Re bonjour,

Donc, à la lecture de leur réponse, nous avons compris que certaines métadonnées sur des produits IGN étaient issues de l'IGN et d'autres non. Que ça se voyait au logo devant la métadonnée sur le géocatalogue.

Nous y sommes retournés : tout à fait exact.

Donc, on prend la métadonnée du scan 25 faite par l'IGN, export xml, import dans géonetwork et consultation du contenu ...

Si, effectivement, dans une première lecture rapide, les champs ont l'air bien, l'identifiant de la métadonnée (qui doit absolument être une clef unique de ce type bdcc45ab-0536-4eeb-89db-eea518091eff ) est toujours le nom du produit (ici scan 25).
La parade, en attendant, est de créer à la main une métadonnée bidon et de remplacer dans le fichier xml le nom du produit par ce bon identifiant récupéré.

Ceci dit, je vais contacter directement cette personne qui m'a répondu pour vérifier qu'on raisonne comme il faut ...

Je vous tiens au courant

Didier

Dernière modification par Didier Bétored (Thu 18 September 2008 11:19)

rriv · Fri 19 September 2008 11:44

Bonjour,

Didier Bétored a écrit:

Nous y sommes retournés : tout à fait exact.

Donc, on prend la métadonnée du scan 25 faite par l'IGN, export xml, import dans géonetwork et consultation du contenu ...

Oui et non. En fait les métadonnées IGN publiées sur le géocatalogue sont modélisées suivant le profil français (v1) de la norme 19115.
Dans l'absolu, ce n'est pas conforme au schéma de la norme ISO 19139. Il faut lui ajouter des extensions (celle du profil) pour que cela soit conforme.

J'ai sûrement l'air de pinailler, mais si vous n'avez pas un outil :
- soit modifié pour tenir compte du profil français,
- soit mettant en oeuvre la technologie XML d'une manière très sophistiquée (capacité de s'adapter à un schéma variable, via un mécanisme d'héritage),
vous ne pouvez pas importer ces métadonnées.

A moins que vous abandonniez l'étape de validation. C'est dommage, on perd un des principaux bénéfices de la techno XML (et on se met à transmettre des métadonnées non valides. Si, si, j'ai des exemples).

Cordialement,
Robert Rivière - MEEDDAT

Didier Bétored · Fri 19 September 2008 11:53

...
A moins que vous abandonniez l'étape de validation. C'est dommage, on perd un des principaux bénéfices de la techno XML (et on se met à transmettre des métadonnées non valides. Si, si, j'ai des exemples).
...

Alors là, bravo!

Je confirme complètement : ça marche en sautant l'étape validation ...
On l'avait tellement intégré ce pb que j'avais oublié de le signaler.

Comme les échanges que nous avons avec l'IGN en parallèle deviennent techniques, je dois voir l'ingénieur qui a installé le géonetwork ici pour tenter de raconter le moins de bêtises possible.
Donc, pour les nouvelles fraîches, il faudra attendre que ça décante un peu !

Didier

Bruno · Fri 19 September 2008 12:17

La question devient: "mais que peut-on moissonner en septembre?"

Bruno

Didier Bétored · Fri 19 September 2008 13:42

Hola ! Humour allusif réservé aux jargoneurs ...

Bon, c'est vrai que dans un fil "métadonnées" ceux-ci doivent foisonner

Dernière modification par Didier Bétored (Fri 19 September 2008 15:25)

Didier Bétored · Thu 25 September 2008 15:41

Bon, un petit bilan (pas sûr qu'il soit définitif) :

- les gens de l'IGN chargé des métadonnées (aussi bien réflexion et concept que production et mise en place) sont réactifs et répondent aux courriels (apparemment, ils sont même preneurs de retours d'expérience).

- Bien que je leur ai donné les liens sur les forums (aussi bien celui-ci que le même sur forumSIG) ils ne semblent pas s'y exprimer

- Il y a un écart entre leur niveau d'expertise (où il semble très en avance), ce qui est prévu "à terme" en production et ce qui est actuellement disponible via le géocataloque. Cet écart est bien sûr voué à se réduire mais je n'ai pas d'idée du rythme.

- Techniquement, sur la question de l'identifiant de la métadonnées : il semble que la forme que j'ai donnée comme étant LA référence, soit un choix de geonetwork qui vise à se garantir une clef unique au monde alors que l'IGN a choisi une clef de la forme : IGNF-xxxxxxx
Et ça semble être conforme aux directives d'INSPIRE
Ci-dessous extrait du courriel de réponse traitant de ce point

... nous avons envoyé hier au GéoCatalogue une nouvelle série de mises-à-jour (sur la forme principalement) où nous avons bloqué notre identification selon la règle : IGNF_ en suffixe. Cette règle pourrait être adoptée par le
Géocatalogue de manière à distinguer les métadonnées issues de plusieurs organismes et portant sur les mêmes jeux de données...

- Concernant les métadonnées du géocatalogue : certaines n'existent pas encore, d'autres ont été fournies il y qqes jours par l'IGN au BRGM est ne sont pas encore dispo mais ça va venir et d'autres peuvent exister avec plusieurs origines (dans ce cas, bien regarder le logo et les partie traitant de l'auteur de la métadonnées afin d'évaluer le niveau de confiance).

Marc Leobet · Thu 25 September 2008 16:45

Didier Bétored a écrit:

Et ça semble être conforme aux directives d'INSPIRE

Bonjour,
on ne peut pas vraiment dire cela : d'une part les règles sur l'identifiant unique sont en cours de discussion, d'autre part à ce stade on tend plutôt vers un codage du type FR/chaîne de caractère identifiant le producteur (le n°SIREN tient la corde)/numéro interne à l'organisme.

C'est une simplification abusive de la réalité, il y a encore des zones d'ombre sur certains points (cardinalités bizarres...).

Cette position française est issue de débats du 17.09, lors de la dernière réunion du groupe Géosource, considéré en tant que groupe d'experts. Nous étions en particulier d'accord pour éviter toute chaîne de caractère significative (noms...) pour rendre le système plus robuste.

Il y aura plusieurs étapes de consultation avant de connaître la règle définitive, vers mai 2009.

Cordialement

Didier Bétored · Fri 26 September 2008 02:27

Merci pour la réponse : c'est rare que l'on soit à ce point au coeur de l'actualité !

J'aurais quand même une question : vu que le fabricant que la métadonnée bénéficie d'un champ en clair, pourquoi ne pas, comme geonetwork, avoir choisi la clef unique qui ne veut rien dire mais sert simplement de clef ?

Dernière modification par Didier Bétored (Fri 26 September 2008 09:38)

Marc Leobet · Fri 26 September 2008 09:12

Bonjour,

pourquoi ne pas avoir choisi la clef unique qui ne veut rien dire mais sert simplement de clef ?

Sans prétendre être un expert, j'ai compris que c'est bien la tendance qui se dessine avec le n° d'ordre final, laissé à l'initiative de l'organisme, et la tendance à éviter des chaînes de caractères significatives. Par contre, il vaut mieux établir quelques règles pour a) éviter d'avoir des clés identiques au hasard des 27 Etats-membres et b) simplifier la traçabilité/généalogie sur le moyen/long terme.

Cordialement

Didier Bétored · Fri 26 September 2008 10:09

N'ayant pas d'actions chez geonetwork, je ne veux pas défendre leur position à tout prix mais il me semble, d'après ce qu'on m'a expliqué, que leur façon de générer la clef automatiquement élimine toute risque de doublon : ça doit être un mélange extrapolé à partir du numéro IP de la machine, de l'heure de création, ...
En gros pas de risque !
Mais ce n'est pas important.
Je faisais un peu une fixation sur cette clef car c'était pour moi un moyen simple (conforme ou pas) de me faire une opinion sur la validité de la métadonnée ...
Visiblement, ce n'est pas un bon critère

rriv · Fri 26 September 2008 11:06

Bonjour,

Didier Bétored a écrit:

[...] générer la clef automatiquement élimine toute risque de doublon : ça doit être un mélange extrapolé à partir du numéro IP de la machine, de l'heure de création, ...

ma compréhnesion du problème sur le sujet est la suivante : il y a deux manières de considérer l'identifiant unique, et ce n'est pas spécifique à la géomatique :
- l'une, "opaque", consiste effectivement à se dire que c'est un "n° de série" informatique
- l'autre, "transparente", consiste à incorporer des caractéristiques intrinsèques de l'objet dans son identifiant

La première a les avantages cités : c'est quasiment "mathématique", et on a une numérotation universelle. Mais à la limite, plus rien ne permet de différencier un identifiant d'objet géographique d'autre chose (par exemple que désigne 02BF25D5-8C17-4B23-BC80-D3488ABDDC6B ? réponse : le plugin Quicktime pour les navigateurs ...). Quand même un peu extrême...
La deuxième a les inconvénients, comme l'expliquait Marc Léobet, d'embarquer des métadonnées dans l'identifiant, et alors que fait-on si une métadonnée change : l'identifiant doit il changer ?

La proposition faite est un compromis : garder une partie "opaque", à la discrétion du producteur de la donnée, mais la préfixer par une partie "transparente", capable de délivrer quelques informations très basiques sur l'objet manipulé. En espérant que ces informations ne changent pas trop souvent, ce qui devrait être le cas en se basant sur FR + N° SIREN.

Je faisais un peu une fixation sur cette clef car c'était pour moi un moyen simple (conforme ou pas) de me faire une opinion sur la validité de la métadonnée ...
Visiblement, ce n'est pas un bon critère

Pour être conforme, il sera nécessaire d'en avoir une, mais bien sûr ce ne sera pas suffisant !

Cordialement

R Rivière

schummi · Mon 27 April 2009 11:23

Y a t-il eu une évolution depuis septembre 2008 ?
J'ai bien l'impression que non .... pour exemple, l'IGN ne fournit sa métadonnée qu'à l'échelle des produits et non des lots de données.

Avez-vous des informations à ce sujet ?

Cordialement

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

#1 Tue 16 September 2008 09:46

Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#2 Thu 18 September 2008 10:29

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#3 Thu 18 September 2008 10:46

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#4 Thu 18 September 2008 10:55

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#5 Fri 19 September 2008 11:44

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#6 Fri 19 September 2008 11:53

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#7 Fri 19 September 2008 12:17

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#8 Fri 19 September 2008 13:42

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#9 Thu 25 September 2008 15:41

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#10 Thu 25 September 2008 16:45

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#11 Fri 26 September 2008 02:27

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#12 Fri 26 September 2008 09:12

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#13 Fri 26 September 2008 10:09

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#14 Fri 26 September 2008 11:06

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

#15 Mon 27 April 2009 11:23

Re: Métadonnées et "gros" fournisseurs (IGN, BRGM, ...)

Pied de page des forums