Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considèrerons que vous acceptez l'utilisation des cookies. J'ai compris ! ou En savoir plus !.
banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Suite à un problème technique intervenu entre le 22 et le 23 mars, nous avons du procéder dans la soirée du 25 mars, à la restauration de la base de données du 24 mars (matinée).

En clair, nous avons perdu vos contributions et inscriptions du dimanche 24 et du lundi 25 mars.
Nous vous prions de nous excuser.

#1 Fri 07 February 2014 17:11

sig2015
Juste Inscrit !
Date d'inscription: 7 Feb 2014
Messages: 1

Automatisation extraction fichier CSV via ETL

Bonjour,
je suis actuellement en projet pour mes études.
Je dois automatiser l'extraction de données d'un fichier CSV via un ETL pour ensuite intégrer ces données dans QGIS.
Le fichier CSV se présente sous la forme suivante :

Numéro | Date de modification | Champ | Valeur
1 | 01-janv | Calibre | 10
1 | 04-janv | Type | BT
1 | 06-janv Type | HT
1 | 12-janv | Calibre | 20
2 | 10-févr | Type | HT
2 | 15-févr | Calibre | 50
2 | 20-févr | Type | BT
2 | 25-févr | Calibre | 100


Ce que je souhaite obtenir sous QGIS c'est une table attributaire de la forme suivante :

Numéro | Dernière date de modification fichier | Calibre | Type
1 | 12-janv | 20 | HT
2 | 25-févr | 100 | BT


En fait il faudrait mettre les données dans "Champ" en en-tête puis sur la première ligne le "Numéro" + choisir la dernière date de mofdification + les valeurs correspondant au "Champ".



J'ai essayé une méthode pour effectuer ceci mais elle est assez compliquée:

- Sous Access: j'ai fait des requêtes analyse croisée qui met "Champ" en en-tête pour chaque numéro, et sélectionner la dernière date de mise à jour, ce qui m'a permis d'obtenir sur une seule ligne la dernière MAJ.
- je suis passé sous GeoKettle pour automatiser ceci.

Le problème avec cette méthode c'est si je rajoute un nouveau numéro avec tout les renseignements, je suis obligé de refaire une requête sous Acces. De plus je ne sais pas comment faire pour intégrer les données dans QGIS via GeoKettle. J'ai pensé à PGAdmin3 mais je n'arrive pas à créer une connexion à un serveur local (sur son ordinateur).



Avez-vous une solution à ce problème ?

Merci d'avance.


J'ai également posté cette question sur ForumSIG
http://www.forumsig.org/showthread.php/ … SV-via-ETL

Dernière modification par sig2015 (Sun 09 February 2014 16:34)

Hors ligne

 

#2 Mon 10 February 2014 10:29

MathieuR
Membre
Lieu: aix-en-provence
Date d'inscription: 16 Feb 2009
Messages: 1690
Site web

Re: Automatisation extraction fichier CSV via ETL

Qu'entendez-vous par intégrer à QGIS ? Je pense que vous voulez dire "produire de la donnée assimilable par QGIS"
Le format CSV est intégrable.

Le problème n'est pas forcément ETL - aussi, je ne vois pas trop le côté SIG non plus - mais de transformation de table.

Sous Talend, il y un module appelé tPivotRow qui permet de le faire.
Sous le logiciel de prog R, la librairie reshape permet de le faire.
Des tâches Talend et R peuvent être générées en batch, ce qui permet, à une certaine fréquence, de mettre à jour la donnée.
C'est semi-automatisé.

Sous SQL, postgreSQL, par exemple, il pourrait y avoir automatisation grâce aux vues, voire des triggers.
Les données postgreSQL sont assimilées par QGIS
Quelques liens pour s'inspirer
http://stackoverflow.com/questions/2255 … ll-to-wide
http://www.sqlservercentral.com/Forums/ … 1-8-1.aspx

A noter qu'on peut retourner un tableau avec d'autres outils comme LibreOffice ou Google Spreadsheet
https://help.libreoffice.org/Calc/Text_to_Columns
https://forum.openoffice.org/en/forum/v … hp?t=56505
http://stackoverflow.com/questions/1613 … ualization

Dernière modification par MathieuR (Mon 10 February 2014 10:30)


geodata au cerema et petits billets en géomatique

Hors ligne

 

Pied de page des forums

Powered by FluxBB