#1 Tue 25 August 2015 17:15
- xav
- Participant assidu
- Date d'inscription: 27 Oct 2005
- Messages: 280
Controler la structure de tables
Bonjour,
j'ai une problématique sur des contrôles de structure de données pour laquelle je me pose pas mal de question sur les méthodes à utiliser.
Voila je vais recevoir régulièrement (1 fois par mois) des fichiers shape provenant d'un prestataire (dans les 25 fichiers contenant en tout environ 300 champs). Avant d'intégrer ces fichiers dans un applicatif métier, je souhaiterai contrôler que la structure de ces fichiers shape est bien conforme à ce qu'elle devrait être. Je parle bien de la structure (tables, nom des champs, type de champs) et non du contenu des fichiers.
J'ai plusieurs idées en tête pour réaliser le contrôle mais j'aurai bien aimé avoir un retour de votre part sur le sujet.
Voici les 1ere pistes auxquelles j'ai pensé :
- contrôler la structure des fichiers par rapport à un tableau excel contenant la liste des champs et de leurs type (en gros récupérer la liste des champs présent dans les shape et faire jointure avec le fichier excel puis exploiter le résultat)
- contrôler la structure des fichiers par rapport à des fichiers shape de référence (un peu la même méthode qu'avec le fichier excel)
Voila ce que j'imagine avec FME, sinon d'autres solutions sans FME (ou presque)
- remonter les fichiers en base de données PG et effectuer les traitements de contrôle en script sql et PGsql
- développer un script complet en python pour effectuer ces contrôles.
Le but de ce traitement est d'être au maximum automatisé (du clic bouton ou presque) et surtout de générer un rapport lisible et facilement exploitable afin trouver rapidement les erreurs pour les remonter au prestataire.
Merci de votre retour si vous avez été confronté à ce genre de problème et avez exploré les différentes pistes que j'ai évoqué (ou d'autres)
Xavier Lang
Information géographique et observatoire - DSI Communautaire
Cap Atlantique
Hors ligne
#2 Tue 25 August 2015 19:55
- Cherubin
- Participant assidu
- Lieu: NGC 1300
- Date d'inscription: 10 Jun 2008
- Messages: 273
Re: Controler la structure de tables
Quand tu parles de la structure, tu fais référence au schéma.
Essaye le SchemaMapper dans FME.
Hors ligne
#3 Wed 26 August 2015 08:54
- antoine guillot Veremes
- Juste Inscrit !
- Date d'inscription: 3 Apr 2015
- Messages: 8
Re: Controler la structure de tables
Bonjour,
Le format d'entrée "Schema (any format)" lit la structure des données au lieu des données elles mêmes. Il devrait vous permettre de faire votre analyse.
Cordialement,
Hors ligne
#4 Wed 26 August 2015 11:46
- xav
- Participant assidu
- Date d'inscription: 27 Oct 2005
- Messages: 280
Re: Controler la structure de tables
Bonjour,
merci pour vos réponse mais mon questionnement est pour le moment plus large que ça, je ne suis pas rendu à l'étape du comment faire en détail mais plutôt sur le choix de la méthode avec laquelle partir.
Bonne journée à tous
Xavier Lang
Information géographique et observatoire - DSI Communautaire
Cap Atlantique
Hors ligne