Le portail francophone de la géomatique

Salut robin,

Je vais tenter de répondre à tes questions :

Le concept d'ETL/ELT et de DataWarehouse font partie des concepts de la Business Intelligence ou Intelligence d'affaire voir intelligence décisionnelle. Un ETL/ELT est comme son nom l'indique, une application qui permet de triturer tes données pour les importer (L) et les modifier (T). Cela va un peu plus loin que de la simple transformation de format. Par exemple j'ai un fournisseur de données qui m'envoie des données hebdomadaire. Mais la structure de sa base est complètement différente de la mienne, j'ai des nomenclatures différentes et enfin des données sont déjà dans ma base, que je ne veux pas dédoubler. L'ETL va me permettre de récupérer ces données, de le comparer avec celle que j'ai, de les restructurer voir de les modifier.

Un datawarehouse est simplement un entrepôt de données spécialisé pour fournir des données à un système dans le cadre d'une base de données complexe. En effet tu as différente façon de la structure (en étoile, etc.) qui ont chacune ses avantages et ses inconvénients.

Dans la chaîne de BI tu commences par l'ETL pour industrialiser l'import de tes données d'un fournisseur (ou plusieurs), puis tu créés tes datawarehouse, enfin tu configure ton cube OLAP pour réaliser des analyses, des rapports automatisés (reporting),  des tableaux de bord (dashboard) [les mots-clés sont en italique].

conf plus haut

Disons que ce sont tout deux des ETL et qu'ils ont les mêmes objectifs. Maintenant l'un est en retard sur l'autre d'un point de vue fonctionnalités spatiales. Bien que SDI doit avoir quelques atouts que n'a pas FME

Qu'entends tu pas structure ?

Les ETLs sont réservé à toutes personnes désirant industrialiser des tâches d'import, modification et export de données dans différent format.

Y.

Bonjour Robin.

Tu es dans le VRAI concernant les ETL disponibles sur le marché.
Effectivement, les ETL vont bien plus loin qu'un changement de format et de coordonnées.
IL s'agit bien de véritables ateliers de "triturage" de données géo et/ou attributaires.

Et tout ça à base de drag & drop de "fonctions".

OUI, FME et SDI sont bien des ETL

Le SI17 utilise FME & SDI, aisni que bon nombre de collectivités + privés.

FME notamment nous permet de traiter  moult formats:

- les raster,
- les vecteurs,
- les SGBD (PostgreSQL/PostGis, SDE, Oracle, SQLServer, MySQL...),
- les flux (WMS,WFS, XML,openstreetMap, ...)
- Ecriture vers Google, ECW,...
- import de formats spécifiques comme GéoConcept, Apic, JSON...
- Import PCI EDIGéO tar.bz² et majic2 avec chargement dans PostGis et Oracle, ... (Idem pour SDI côté PostGis)

Et j'en passe.

En cas d'explications sur les usages au quotidien, tu peux m'appeler.
-------------------------------------------------------------------------------------
Jérôme Teixeira
Technicien SIG - Pôle SIG - Syndicat Informatique de Charente-Maritime
j.teixeira@texte-a-enlever.si17.fr
05.46.92.31.61
-------------------------------------------------------------------------------------

Bonsoir

Un avis d'un "vieux développeur du siècle dernier" qui aime bien les ETL et autres joyeusetés du même style !

La techno ETL doit être replacée de manière large dans le concept d'EAI (entreprise application integration) ou en français "intégration d'applications d'entreprise" qui est une architecture du type "intergicielle" permettant à des applications plus ou moins hétérogènes d'échanger entre elles. On est dans le groupe des technos dites de Business Intelligence (BI) comme l'a noté justement un contributeur au débat.
Sans s'enfoncer dans un jargonnage technique insipide, cette remarque a son importance car la techno ETL n'est pas la seule à répondre au problème des échanges entre des applications qui ne peuvent pas dialoguer directement, le MOM (pour Middleware Orienté Message) y répond très bien également et parfois de manière beaucoup plus fluide, voire "au pied levé". Tout ces dispositifs conceptuels se trouvent réunis dans une évolution de l'EAI qui est l'ESB (non ce n'est pas une maladie mais l'Enterprise Service Bus) qui combine MOM, Web services, services de transformation et de routage dits "intelligents" (ETL).
Tous ces concepts empruntent à ceux qui ont présidé au développement des techniques d'urbanisation des systèmes (notion de "cartographie applicative", de "cartographie d'infrastructure", etc.).

Vous trouverez sur le site guidescomparatif.com un document sur les ETL, certes il date de qq années mais il reste d'actualité.

Bonne lecture et bonne soirée
____________________________________________

Alain PRALLONG

Oui je suis en train de transformer le cadastre du format EDIGEO au format Pgsql en utilisant SDI.

N'hésite pas à poser tes questions sur GeoLibre

Y.

Dernière modification par Yves (Thu 02 April 2009 15:01)

Le lien vers l'article qu'évoque Alain : http://www.guidescomparatifs.com/etl-integration.asp. Il faut rentrer ses coordonnées pour avoir accès.

Si ça peut te rassurer, on est au moins deux Je te propose, comme suggère Yves, de venir nous rejoindre sur le sujet suivant pour les échanges plus techniques sur ce soft en particulier :
http://georezo.net/forum/viewtopic.php?id=51636.

A très vite
Robin.