#1 Wed 03 March 2010 14:29
[A lire] Les ETL OpenSource
Bonjour,
Un peu de lecture pour les vacances
http://geotribu.net/node/222
C'est une première approche de Spatial Data Integrator (SDI) et GeoKettle.
Bruno
Hors ligne
#2 Wed 03 March 2010 16:37
- mcoudert
- Participant actif
- Lieu: Toulouse
- Date d'inscription: 16 Oct 2006
- Messages: 83
Re: [A lire] Les ETL OpenSource
Bonjour,
Quelques précisions sur l'outil SDI sont disponibles ici [1].
Sinon j'aimerais revenir sur la conclusion de l'article, sur laquelle je ne suis pas vraiment d'accord avec l'argument avancé concernant le fait de ne pas utiliser ces outils en production. Je ne pense pas que la diversité des formats géographiques supportés ne soit un gage de qualité pour l'outil, et donc un garant de sa stabilité en environnement de production. De plus, ces outils disposes aujourd'hui d'un certain nombre de formats incontournables en géomatique et permettant de réaliser bon nombre d'opérations et de traitements "standards/classiques" de la donnée. Je peux vous assurer qu'il existe de nombreux projets en production aujourd'hui, mettant en oeuvre des solutions à partir de SDI.
Salutations,
Mathieu
[1] http://www.talendforge.org/wiki/doku.ph … i:mainpage
Hors ligne
#3 Wed 03 March 2010 17:54
- mathieu_r
- Participant occasionnel
- Date d'inscription: 17 Mar 2009
- Messages: 21
Re: [A lire] Les ETL OpenSource
Bonjour,
Je travaille dans un Service Déconcentré du Minstère de l'Ecologie, de l'Agriculture et nous l'utilisons en production pour bon nombre d'applications.
Seulement, comme le format adopté dans notre structure est le TAB, nous convertissons préalablement les données que l'on souhaite traiter sous le format ESRI. La palette de formats supportés par SDI est quand même assez riche...
Il ne faut pas oublier que SDI est basé sur l'outil Talend Open Studio qui est une solution d'intégration de données très reconnue, en pleine croissance, considérée comme"visionnaire" par le cabinet Gartner
Si cela peut vous intéresser, voici quelques cas d'utilisation de l'outil:
-jointure entre fichiers plats géographiques et fichiers excel avec gestion des rejets. Il existe un composant appelé tFuzzyMatch qui détecte les ressemblances entre des valeurs, ce qui est bien pratique dans les cas où des noms de rue, de communes auraient été mal orthographiés.
-Couplage avec OGR pour la reprojection en série de couches
-Couplage avec GDAL pour le découpage de la BDParcellaire suivant le contour de communes. Toutes les communes peuvent être traitées d'un bloc.
-Contrôle de la qualité des documents d'urbanisme: PLU, POS, etc...: contrôle des attributs, de la cohérence logique, géométrique des couches.
-Traitement et intégration des fichiers fonciers MAJIC
-Inventaire des fichiers plats géographiques d'un serveur. En couplant avec commande ogrinfo, possibilité d'avoir en plus le type géométrique, l'étendue, la liste des attributs: bien cool!
Tous ces process sont sauvegardés en mémoire dans l'outil et peuvent alors exécutés de A à Z en un seul clic.
Je ne connais pas du tout GeoKettle ni FME. Pour l'instant, Talend/SDI m'a permis de répondre à toutes mes problématiques d'intégration, de migration de données..Les process peuvent être créés très rapidement, sans connaissance informatique. Des connaissances minimales en Java peuvent être nécessaires pour certaines choses mais cela n'est en général pas nécessaire.
Je regrette seulement l'absence de support de format TAB qui m'oblige à effectuer une conversion vers ESRI avant chaque opération mais bon, étant donné le temps gagné au final...
-Pour l'apprentissage, je conseillerais dans un premier temps, de faire les tutoriels Talend que l'on trouve sur le site officiel.
-Si on est courageux, on peut attaquer la doc de référence Talend qui décrit des cas d'utilisation pour chaque composant mais les tutos du site officiel permettent vraiment de piger les mécanismes.
-Puis se pencher sur les tutos Spatial Data Integrator du wiki officiel à l'adresse officielle qu'a donné Mathieu.
Voili voilou pour un retour d'expérience,
Dernière modification par mathieu_r (Wed 03 March 2010 18:14)
Hors ligne
#4 Wed 03 March 2010 18:10
Re: [A lire] Les ETL OpenSource
Bonjour,
Si la mise en production de produits ETL OpenSource me parait tout à fait faisable d'un point de vue de la confiance technique, je me pose personnellement des questions quant au développement actuel et l'évolution future de ces deux produits.
D'une part GeoKettle est un produit initié par une université. C'était jusqu'à peu problématique pour une garantie de développement et de support pour une utilisation en production en entreprise. La donne a un peu changé avec la création de Spatialytics, société canadienne spin off de l'université de Laval, qui fournit donc désormais du support et assure du développement de toute la pile GeoBI autour de GeoKettle. C'est cependant encore tôt pour dire ce que cela va donner.
D'autre part SDI est d'abord basé sur Talend OpenStudio. Talend, bien que très active et avec un bon portefeuille de client, ne me parait plus spécialement orientée vers une innovation forte sur le cœur de son produit. Ce dont SDI peut pâtir assez rapidement. De plus, le cœur de SDI lui même a été développé très rapidement, mais il y a déjà plusieurs années, sans avoir depuis fait d'innovation majeure, a tel point que l'on peut se demander si il y a encore vraiment des développeurs qui travaillent dessus, sans parler même d'une communauté.
J'espère me tromper, et n'attends qu'une seule chose c'est que l'on me prouve le contraire. Mais en attendant, autant la demande est forte et le potentiel de ces deux technos est avéré, autant j'hésiterais personnellement à mettre ces produits en production à l'heure actuelle, manquant de garantie sur leur pérennité.
Si quelqu'un a un éclairage pour me rassurer sur ces points, je serais ravi de l'entendre.
Vincent
Hors ligne
#5 Wed 03 March 2010 19:03
- David JONGLEZ
- Participant actif
- Lieu: Le Bourget-du-Lac
- Date d'inscription: 22 Sep 2005
- Messages: 93
Re: [A lire] Les ETL OpenSource
Si je puis me permettre de rajouter un autre point Mathieu, je pense que ces outils apportent d'autres choses et ouvrent d'autres possibilités que les logiciels dédiés "Géomatique", à l'instar de FME par exemple.
Bref, ces outils trouvent des applications en production car ils répondent à
des besoins d'un autre genre ...
David
Hors ligne
#6 Thu 04 March 2010 09:34
- mcoudert
- Participant actif
- Lieu: Toulouse
- Date d'inscription: 16 Oct 2006
- Messages: 83
Re: [A lire] Les ETL OpenSource
Bonjour,
Tout d'abord merci Mathieu pour ce retour d'expérience fort intéressant!
Ensuite, pour rebondir sur les propos de Vincent je dirai que deux choses sont à mon sens rassurantes et laisse présager de beaux jours à un outil basé sur Talend Open Studio (TOS). D'une part la richesse actuelle en terme de fonctionnalités et de composants de TOS et d'autre part la fréquence de release de l'équipe Talend. Certes, ce rythme de croissance ne permet pas une innovation infinie, mais j'ai la conviction qu'il reste de beaux jours à l'outil TOS et tous dérivés.
Pour revenir sur ta seconde inquiétude Vincent, il est vrai que depuis son prototypage en 2007, SDI ne connait pas une forte croissance. Cependant depuis début 2009, des efforts ont été accomplis et ce à plusieurs niveaux. Tout d'abord afin de revenir sur des version de TOS plus récentes, et de permettre ainsi l'alignement de SDI sur le rythme des versions majeurs de SDI (effort non négligeable soit dit en passant, mais qui tend à se réduire fortement). Ensuite, des efforts de qualité du code et de facilité d'intégration des fonctionnalités de SDI à TOS ont été réalisés.
Bref, tout cela pour dire qu'il y a encore des développeurs travaillant sur l'outil SDI (cf. paragraphe "Community Team" [1]) , et que leurs efforts s'effectuent plus sur un travail de fond peu visible, mais non négligeable, et visant à court terme à assurer la pérennité d'un ETL spatial basé sur Talend Open Studio.
Pour en finir, David, je suis tout à fait d'accord avec toi, c'est effectivement un des gros points fort d'un outil tel que SDI, c'est de bénéficier nativement de toutes les fonctionnalités de TOS.
Mathieu
[1] http://www.talendforge.org/wiki/doku.ph … #community
Hors ligne