Le portail francophone de la géomatique

Bonjour,
quand vous parler de controler des données par rapport au MCD, jusqu’où voulez vous allez au niveau du controle ?
Si le controle doit se faire sur le nom et le type des champs, c'est tout a fait possible (et assez simple à mettre en oeuvre) avec FME.

Le transformer FeatureReader permet de lire des données (comme une source de données), il dispose d'un port de sortie Schema par lequel sort un élément contenant la structure des données en entrée (nom et type), il est donc assez simple de comparer  les schémas de plusieurs jeux de données.

Nous avons réalisé un traitement de ce type pour controler que les données envoyées mensuellement par nos délégataires respectent bien la structure définie.
Sur le principe, nous avons un 1er traitement FME qui lit un jeux de données et enregistre sa structure comme modele de référence dans une table Postgres (qui pourrait être un fichier excel ou aute). Ensuite nous avons un 2° traitement qui compare la structure d'un jeux de donnée avec celle du jeux de donnée de référence (pour la comparaison nous utilisons le transformer inlinequierer qui permet de faire des requetes sql sur n'importe quel jeux de données) et retourne le résultat (attributs manquant/ajouté/non modifié) dans un rapport html.
Si vous êtes intéressé, je peux vous mettre le traitement à disposition.
Pour que la comparaison des types de champs fonctionne correctement, il faut par contre comparer des jeux de données de même format car les types d'attributs varient en fonction des formats de données (char, varchar, numeric, int, float, ...).

Apres si vos MCD concernent des tables en base de données, vous souhaitez peut être controler d'autres éléments (clé étrangere, trigger, index, ...), ceci est je pense faisable sous FME mais plus compliqué à mettre en oeuvre. Il existe des outils d’administration de base de données qui le font très bien et généré le code SQL pou mettre à jour l'un des schéma.

Si vous souhaitez également contrôler la cohérence des données, il y a plein de transformer dans FME qui vous permettrons de le mettre en oeuvre.


Bon week end
Xavier