Annonce
L'appel à participation est ouvert jusqu'au 19 janvier 2025!
#1 Fri 07 February 2014 17:11
- sig2015
- Juste Inscrit !
- Date d'inscription: 7 Feb 2014
- Messages: 1
Automatisation extraction fichier CSV via ETL
Bonjour,
je suis actuellement en projet pour mes études.
Je dois automatiser l'extraction de données d'un fichier CSV via un ETL pour ensuite intégrer ces données dans QGIS.
Le fichier CSV se présente sous la forme suivante :
Numéro | Date de modification | Champ | Valeur
1 | 01-janv | Calibre | 10
1 | 04-janv | Type | BT
1 | 06-janv Type | HT
1 | 12-janv | Calibre | 20
2 | 10-févr | Type | HT
2 | 15-févr | Calibre | 50
2 | 20-févr | Type | BT
2 | 25-févr | Calibre | 100
Ce que je souhaite obtenir sous QGIS c'est une table attributaire de la forme suivante :
Numéro | Dernière date de modification fichier | Calibre | Type
1 | 12-janv | 20 | HT
2 | 25-févr | 100 | BT
En fait il faudrait mettre les données dans "Champ" en en-tête puis sur la première ligne le "Numéro" + choisir la dernière date de mofdification + les valeurs correspondant au "Champ".
J'ai essayé une méthode pour effectuer ceci mais elle est assez compliquée:
- Sous Access: j'ai fait des requêtes analyse croisée qui met "Champ" en en-tête pour chaque numéro, et sélectionner la dernière date de mise à jour, ce qui m'a permis d'obtenir sur une seule ligne la dernière MAJ.
- je suis passé sous GeoKettle pour automatiser ceci.
Le problème avec cette méthode c'est si je rajoute un nouveau numéro avec tout les renseignements, je suis obligé de refaire une requête sous Acces. De plus je ne sais pas comment faire pour intégrer les données dans QGIS via GeoKettle. J'ai pensé à PGAdmin3 mais je n'arrive pas à créer une connexion à un serveur local (sur son ordinateur).
Avez-vous une solution à ce problème ?
Merci d'avance.
J'ai également posté cette question sur ForumSIG
http://www.forumsig.org/showthread.php/ … SV-via-ETL
Dernière modification par sig2015 (Sun 09 February 2014 16:34)
Hors ligne
#2 Mon 10 February 2014 10:29
Re: Automatisation extraction fichier CSV via ETL
Qu'entendez-vous par intégrer à QGIS ? Je pense que vous voulez dire "produire de la donnée assimilable par QGIS"
Le format CSV est intégrable.
Le problème n'est pas forcément ETL - aussi, je ne vois pas trop le côté SIG non plus - mais de transformation de table.
Sous Talend, il y un module appelé tPivotRow qui permet de le faire.
Sous le logiciel de prog R, la librairie reshape permet de le faire.
Des tâches Talend et R peuvent être générées en batch, ce qui permet, à une certaine fréquence, de mettre à jour la donnée.
C'est semi-automatisé.
Sous SQL, postgreSQL, par exemple, il pourrait y avoir automatisation grâce aux vues, voire des triggers.
Les données postgreSQL sont assimilées par QGIS
Quelques liens pour s'inspirer
http://stackoverflow.com/questions/2255 … ll-to-wide
http://www.sqlservercentral.com/Forums/ … 1-8-1.aspx
A noter qu'on peut retourner un tableau avec d'autres outils comme LibreOffice ou Google Spreadsheet
https://help.libreoffice.org/Calc/Text_to_Columns
https://forum.openoffice.org/en/forum/v … hp?t=56505
http://stackoverflow.com/questions/1613 … ualization
Dernière modification par MathieuR (Mon 10 February 2014 10:30)
geodata au cerema et petits billets en géomatique
Hors ligne
