Pages: 1
- Sujet précédent - FME 2014 Fichiers sources issues d’un listing de chemin d’accès - Sujet suivant
#1 Tue 23 June 2015 18:28
- Benoit91
- Participant assidu
- Date d'inscription: 2 Oct 2008
- Messages: 263
FME 2014 Fichiers sources issues d’un listing de chemin d’accès
Bonjour
Je manipule depuis peu FME et je n’en connais pas encore les multiples facettes. Je cherche à récupérer les fichiers issus d’un listing de chemin d’accès, afin d’y appliquer différents traitement.
Pour être plus clair :
Je dispose de fichiers Excel stockés selon une certaine organisation dossier (voir image 1). Le dernier niveau de dossier comporte une série de fichiers excel. Pour chacun de ces derniers niveau de dossier j’ai toujours un fichier excel dont le nom commence par « Synthèse - ….xls ».
Avec çà j’arrive à mettre à jour une table sqlite « liste_tabl_synthese » comportant les champs suivants :
Id // nom_fichier // chemin_fichier // nb_enregistrement // integration_bd // date_integration_bd
1 // Synthèse – 1 // C:\users\mon_nom\doc\....Synthese - 1.xls // 2 //oui //2015-01-06
2 // Synthèse – 14 // C:\users\mon_nom\doc\....Synthese - 14.xls // 9 //oui //2015-01-06
3 // Synthèse – 9 // C:\users\mon_nom\doc\....Synthese - 9.xls // 24 //non //
4 // Synthèse – 4 // C:\users\mon_nom\doc\....Synthese - 4.xls // 4 // non //
5 // Synthèse – 35 // C:\users\mon_nom\doc\....Synthese -35.xls // 18 //non //
Je souhaite traiter dans un workbench seulement les fichiers excel filtrés, dont la valeur est ‘non’ dans le champ « integration_bd » soit en sql SELECT * FROM liste_tabl_synthese WHERE integration_bd=’non’
Le traitement workbench me permet d’intégrer l’ensemble des données des fichiers excel « synthese….xls » dans une table sqlite. (voir image 2)
Donc dans une première étape j’alimente une table me listant mes fichiers sources puis dans une seconde étape je cherche à exécuter mon workbench seulement sur mon listing de fichiers filtrés et dans une troisième étape je mettrai à jour le champ « intégration_bd » de ma table sqlite « liste_tabl_synthese ».
Je reçois régulièrement ces fichiers excel, mon but est d'éviter que mon workbench retraiter des données déjà intégrées en base sqlite.
Je tourne un peu en rond, si quelqu’un à une idée sur le ou les transformer à utiliser.
Par avance, merci.
Dernière modification par Benoit91 (Tue 23 June 2015 18:29)
Hors ligne
#2 Mon 29 June 2015 14:20
- Benoit91
- Participant assidu
- Date d'inscription: 2 Oct 2008
- Messages: 263
Re: FME 2014 Fichiers sources issues d’un listing de chemin d’accès
Bonjour
Je pense avoir une partie de solution avec les workspaces runner.
J'ai crée un workbench avec 3 workspaces runner qui exécute mes 3 étapes:
Etape 1 workspace runner 1 => mise à jour de ma table sqlite "listing_tabl_synthese" avec les nouveaux fichiers excel trouvés dans les répertoires sources.
Etape 2 => mise à jour de la table sqlite "data_itv_test" avec l'ensemble des données des différents fichiers excel "synthese_itv" trouvés dans les répertoires sources
Etape 3 => mise à jour de la table sqlite "listing_tabl_synthese" en modifiant le contenu des champs "intégration_bd" => oui et "date_intégration_bd"=>avec la date du jour d'intégration.
J'ai ajouté un SQL EXECUTOR entre mon workspacerunner1 et workspacerunner2 afin de récupérer la liste des chemins d'accès des nouveaux fichiers sources.
En exécutant ce workbench (etape1 2 3) l’étape 1 se déroule bien par contre le reste ne s’exécute pas correctement. Dans l'étape 2 il me récupère les données d'un seul rapport itv alors que la liste des fichiers source en liste plusieurs. Je suppose que c'est le SQLEXECUTOR qui pose problème.
Est-ce que je peux créer un paramètre publié correspondant à une requête sql ? si oui comment ?
Par avance, merci.
Cordialement
Dernière modification par Benoit91 (Mon 29 June 2015 14:21)
Hors ligne
#3 Tue 30 June 2015 16:25
- Benoit91
- Participant assidu
- Date d'inscription: 2 Oct 2008
- Messages: 263
Re: FME 2014 Fichiers sources issues d’un listing de chemin d’accès
Bonjour
Après pas mal de tâtonnements, mon traitement en lot fonctionne correctement. J'ai remplacé mon "creator" par un "path" dans mon workspace traitement en lot.
Je me suis inspiré de ce post http://georezo.net/forum/viewtopic.php? … =workspace et du lien vers fmepedia, mais j'avoue ne pas trop comprendre pourquoi çà fonctionne.
Cela pourra toujours servir, je joint mon workspacerunner et les workspaces qui sont appelés.
Je joins également le log
Par contre je souhaiterai l'optimiser car dès que j'ajoute de nouveaux fichiers dans mon répertoire source, si je lance mon traitement en lot, il va "scanner" tous les dossiers/fichiers. Je voudrais que mon traitement s'occupe uniquement des nouveaux dossiers/fichiers.
Une idée ?
Cordialement.
Dernière modification par Benoit91 (Tue 30 June 2015 16:26)
Hors ligne
#4 Tue 30 June 2015 19:35
- Cherubin
- Participant assidu
- Lieu: NGC 1300
- Date d'inscription: 10 Jun 2008
- Messages: 273
Re: FME 2014 Fichiers sources issues d’un listing de chemin d’accès
Merci pour ton Workbench je dois moi-même programmer un truc du genre!
Ça pas rapport avec ton processus mais comment tu fais pour intégrer du texte dans tes bookmarks? C'est la première fois que je vois ça pis j'en ai vu en masse des démos dans ma vie!
Hors ligne
#5 Wed 01 July 2015 08:19
- Benoit91
- Participant assidu
- Date d'inscription: 2 Oct 2008
- Messages: 263
Re: FME 2014 Fichiers sources issues d’un listing de chemin d’accès
Bonjour
Pour la description d'un bookmarks (ou signet) il suffit de le créer, puis de faire une clic droit au niveau du titre du bookmark pour afficher un menu contextuel proposant "Editer la description du signet".
Cordialement
Dernière modification par Benoit91 (Wed 01 July 2015 08:19)
Hors ligne
Pages: 1
- Sujet précédent - FME 2014 Fichiers sources issues d’un listing de chemin d’accès - Sujet suivant