banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Rencontres QGIS 2025

L'appel à participation est ouvert jusqu'au 19 janvier 2025!

#1 Tue 23 June 2015 18:28

Benoit91
Participant assidu
Date d'inscription: 2 Oct 2008
Messages: 263

FME 2014 Fichiers sources issues d’un listing de chemin d’accès

Bonjour

Je manipule depuis peu FME et je n’en connais pas encore les multiples facettes. Je cherche à récupérer les fichiers issus d’un listing de chemin d’accès, afin d’y appliquer différents traitement.

Pour être plus clair :
Je dispose de fichiers Excel stockés selon une certaine organisation dossier (voir image 1). Le dernier niveau de dossier comporte une série de fichiers excel. Pour chacun de ces derniers niveau de dossier j’ai toujours un fichier excel dont le nom commence par « Synthèse - ….xls ».
Avec çà j’arrive à mettre à jour une table sqlite « liste_tabl_synthese » comportant les champs suivants :

Id  // nom_fichier  // chemin_fichier                               // nb_enregistrement  // integration_bd  // date_integration_bd

1  // Synthèse – 1 // C:\users\mon_nom\doc\....Synthese - 1.xls //      2            //oui                   //2015-01-06
2  // Synthèse – 14 // C:\users\mon_nom\doc\....Synthese - 14.xls //   9           //oui                   //2015-01-06
3  // Synthèse – 9 // C:\users\mon_nom\doc\....Synthese - 9.xls //      24         //non                  //
4  // Synthèse – 4 // C:\users\mon_nom\doc\....Synthese - 4.xls //       4          // non                 //
5  // Synthèse – 35 // C:\users\mon_nom\doc\....Synthese -35.xls //    18         //non                  //

Je souhaite traiter dans un workbench seulement les fichiers excel filtrés, dont la valeur est ‘non’ dans le champ « integration_bd » soit en sql SELECT * FROM liste_tabl_synthese  WHERE integration_bd=’non’

Le traitement workbench me permet d’intégrer l’ensemble des données des fichiers excel « synthese….xls » dans une table sqlite. (voir image 2)

Donc dans une première étape j’alimente une table me listant mes fichiers sources puis dans une seconde étape je cherche à exécuter mon workbench seulement sur mon listing de fichiers filtrés et dans une troisième étape je mettrai à jour le champ «  intégration_bd » de ma table sqlite « liste_tabl_synthese ».

Je reçois régulièrement ces fichiers excel, mon but est d'éviter que mon workbench retraiter des données déjà intégrées en base sqlite.

Je tourne un peu en rond, si quelqu’un à une idée sur le ou les transformer à utiliser.

Par avance, merci.

Dernière modification par Benoit91 (Tue 23 June 2015 18:29)


Fichier(s) joint(s) :
Pour accéder aux fichiers vous devez vous inscrire.

Hors ligne

 

#2 Mon 29 June 2015 14:20

Benoit91
Participant assidu
Date d'inscription: 2 Oct 2008
Messages: 263

Re: FME 2014 Fichiers sources issues d’un listing de chemin d’accès

Bonjour

Je pense avoir une partie de solution avec les workspaces runner.

J'ai crée un workbench avec 3 workspaces runner qui exécute mes 3 étapes:
Etape 1 workspace runner 1 => mise à jour de ma table sqlite "listing_tabl_synthese" avec les nouveaux fichiers excel trouvés dans les répertoires sources.

Etape 2 => mise à jour de la table sqlite "data_itv_test" avec l'ensemble des données des différents fichiers excel "synthese_itv" trouvés dans les répertoires sources

Etape 3 => mise à jour de la table sqlite "listing_tabl_synthese" en modifiant le contenu des champs "intégration_bd" => oui et "date_intégration_bd"=>avec la date du jour d'intégration.

J'ai ajouté un SQL EXECUTOR entre mon workspacerunner1 et workspacerunner2 afin de récupérer la liste des chemins d'accès des nouveaux fichiers sources.

En exécutant ce workbench (etape1 2 3) l’étape 1 se déroule bien par contre le reste ne s’exécute pas correctement. Dans l'étape 2 il me récupère les données d'un seul rapport itv alors que la liste des fichiers source en liste plusieurs. Je suppose que c'est le SQLEXECUTOR qui pose problème.

Est-ce que je peux créer un paramètre publié correspondant à une requête sql ? si oui comment ?

Par avance, merci.
Cordialement

Dernière modification par Benoit91 (Mon 29 June 2015 14:21)


Fichier(s) joint(s) :
Pour accéder aux fichiers vous devez vous inscrire.

Hors ligne

 

#3 Tue 30 June 2015 16:25

Benoit91
Participant assidu
Date d'inscription: 2 Oct 2008
Messages: 263

Re: FME 2014 Fichiers sources issues d’un listing de chemin d’accès

Bonjour

Après pas mal de tâtonnements, mon traitement en lot fonctionne correctement. J'ai remplacé mon "creator" par un "path" dans mon workspace traitement en lot.
Je me suis inspiré de ce post http://georezo.net/forum/viewtopic.php? … =workspace et du lien vers fmepedia, mais j'avoue ne pas trop comprendre pourquoi çà fonctionne.

Cela pourra toujours servir, je joint mon workspacerunner et les workspaces qui sont appelés.
Je joins également le log

Par contre je souhaiterai l'optimiser car dès que j'ajoute de nouveaux fichiers dans mon répertoire source, si je lance mon traitement en lot, il va "scanner" tous les dossiers/fichiers. Je voudrais que mon traitement s'occupe uniquement des nouveaux dossiers/fichiers.

Une idée ?

Cordialement.

Dernière modification par Benoit91 (Tue 30 June 2015 16:26)


Fichier(s) joint(s) :
Pour accéder aux fichiers vous devez vous inscrire.

Hors ligne

 

#4 Tue 30 June 2015 19:35

Cherubin
Participant assidu
Lieu: NGC 1300
Date d'inscription: 10 Jun 2008
Messages: 273

Re: FME 2014 Fichiers sources issues d’un listing de chemin d’accès

Merci pour ton Workbench je dois moi-même programmer un truc du genre!

Ça pas rapport avec ton processus mais comment tu fais pour intégrer du texte dans tes bookmarks? C'est la première fois que je vois ça pis j'en ai vu en masse des démos dans ma vie!

Hors ligne

 

#5 Wed 01 July 2015 08:19

Benoit91
Participant assidu
Date d'inscription: 2 Oct 2008
Messages: 263

Re: FME 2014 Fichiers sources issues d’un listing de chemin d’accès

Bonjour

Pour la description d'un bookmarks (ou signet) il suffit de le créer, puis de faire une clic droit au niveau du titre du bookmark pour afficher un menu contextuel proposant "Editer la description du signet".

Cordialement

Dernière modification par Benoit91 (Wed 01 July 2015 08:19)


Fichier(s) joint(s) :
Pour accéder aux fichiers vous devez vous inscrire.

Hors ligne

 

Pied de page des forums

Powered by FluxBB