Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considèrerons que vous acceptez l'utilisation des cookies. J'ai compris ! ou En savoir plus !.
banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

#1 Wed 24 April 2013 10:49

Camille Saget
Participant occasionnel
Date d'inscription: 12 Feb 2012
Messages: 13

versionnement geodatabase

Bonjour,

Je suis néophyte dans l'utilisation des geodatabases et j'ai besoin d'être éclairée concernant les geodatabases et leur mise à jour par versionnement.

Est-il possible de faire du versionnement avec une geodatabase fichier ou bien est-ce possible uniquement avec ArcSDE?

Connaissez-vous d'autres moyens de mise à jour de geodatabase fichier ?

Si non, peut-on migrer une géodatabase fichier en geodatabase arcSDE? Si j'ai bien compris, ArcSDE est une fonctionnalité d'ArcGis qui permet la visualisation et les geotraitement sur des données géographiques, mais ces données géographiques sont stockées et gérées dans un SGBD externe de type Oracle, SQL server...


Merci d'avance et bonne journée

Hors ligne

 

#2 Wed 24 April 2013 11:12

benulti
Participant assidu
Lieu: là-bas
Date d'inscription: 5 Sep 2005
Messages: 332

Re: versionnement geodatabase

Bonjour,

les GDB fichier ne proposent pas le versionnement à ma connaissance, mais la mise à jour des données de ce type de GDB se fait sans cette fonctionnalité, vous ouvrez les données dans ArcMap vous démarrez une session d'édition et c'est parti.

Oui, on peut migrer une GDB fichier dans une base SDE par un simple "import", mais le passage à SDE entraine un stockage dans une base de type SGBDR (oracle, SQL server, etc) et a donc des conséquences qui vont bien au-delà de l'aspect fonctionnel, il s'agit de la mise en place d'une architecture complètement différente. En fait pour définir SDE, je dirai qu'il s'agit d'un cartouche spatial de SGBDR..
Effectivement ESRI propose ArcSDE dans la produit ArcGIS Server mais il s'agit d'un logiciel payant (avec un coût non négligeable) mais il s'agit vraiment d'un SIG d'un tout autre niveau que les GDB fichier.
Les GDB fichier et les GDB SDE c'est pas du tout la même chose à part le fait qu'il s'agit de données SIG à l'intérieur.

Cordialement

Hors ligne

 

#3 Wed 24 April 2013 11:40

Camille Saget
Participant occasionnel
Date d'inscription: 12 Feb 2012
Messages: 13

Re: versionnement geodatabase

Merci pour votre réponse.

En fait, je suis en stage et mon sujet est de concevoir un système de mise à jour de données.

Les données subissent 2 à 3 vas et viens entre différentes structures. Jusqu'à aujourd'hui, il y a une personne chargée de la vérification de la donnée qui passe en commission pour validation (cette commission peut être reconduite plusieurs fois si la donnée est jugée non valide jusqu'à validation).
Une fois validée cette donnée est intégrée ou mise à jour dans une geodatabase fichier avec Arcmap en ouvrant une session d'édition. Mais ce processus est trop long et pas assez fiable.

Il faut automatiser cette mise à jour et pouvoir avoir une traçabilité de mise à jour de la donnée. J'ai effectué un MCD dans l'optique de changer de SGBD pour avoir une base relationnelle (le SGBD reste à déterminer)

Avec vos explications je comprends un peu mieux ArcSDE, mais est-ce que ArcSDE est compris dans une licence ArcInfo ou est-ce en supplément?

Cordialement

Hors ligne

 

#4 Wed 24 April 2013 12:25

benulti
Participant assidu
Lieu: là-bas
Date d'inscription: 5 Sep 2005
Messages: 332

Re: versionnement geodatabase

C'est un supplément... la version la plus basique de SDE est autour des 10 keurs, mais le mieux est de demander directement à ESRI France. Sachant qu'une fois ArcGIS for serveur workgroup basic (= SDE de base) acheté vous n'avez fait que 5% du boulot.
Il vous faut un serveur physique ou une machine virutelle sur un serveur existant pour l'installer. En plus vous avez besoin d'un SGBDR (il existe des gratuits mais aussi des payants et Oracle ou SQL server sont chers).
Il y aussi les coûts humains, pour administrer tout ça le serveur et le SGBDR. Un SIG server ne se gère pas non plus comme des fichiers shp, il vous faut un admin SIG avec au minimum ArcEditor pour gérer SDE.
On est donc sur quelque chose qui coute cher à mettre en place, qui necessite des moyens techniques importants, des investissements importants, des embauches ou des montées en compétences de gens en interne... est-ce que le jeu en vaut vraiment la chandelle?

Sachant que votre problème est la mise à jour de données je vous donne mon retour d'expérience. Malgré les bases SDE dans mon entreprise, les mises à jour sont faites en dehors de SDE dans des shapefiles tracés qui sont ensuite controlés par l'admin SIG et importés dans la base SDE. Nous trouvons notre intérêt à SDE ailleurs que dans la mise à jour de données. Nous avions pensé utiliser SDE mais on a vite laissé tomber.

De plus, vous vous posez la mauvaise question, je m'explique, si aujourd'hui il y a 2-3 aller-retour pour non conformité, ça signifie que demain si les gens modifient directement dans SDE ce contrôle n'existera plus.. donc que les données dans SDE seront non conformes. Vous aurez juste gagné l'info de version et de tracking (à savoir qui a fait la modif).
Conclusion :vous allez perdre par rapport à la situation actuelle.

De mon point de vue vous ne pouvez travailler que sur le processus de validation, vous avez entendu parler de performance opérationnelle? de lean 6 sigma? de process mapping? c'est plutôt ça qu'il faut creuser je pense, plus que du côté logiciel.

Bon courage
Benoit

Hors ligne

 

#5 Wed 24 April 2013 13:55

Camille Saget
Participant occasionnel
Date d'inscription: 12 Feb 2012
Messages: 13

Re: versionnement geodatabase

j'explore les différentes pistes possibles, la solution geodatabase arcSDE n'est pas la bonne car trop lourde et trop coûteuse..

Un process mapping a déjà été fait, mais je ne connaissais pas lean 6 sigma..

Je pense également regarder ce qu'il est possible de faire avec modelbuilder

Merci pour vos conseils avisés, ils m'ont été très utiles

Bonne après-midi

Hors ligne

 

#6 Wed 24 April 2013 14:20

Kevin Jousseaume
Participant assidu
Lieu: Nanterre, région parisienne
Date d'inscription: 20 Mar 2006
Messages: 217

Re: versionnement geodatabase

Bonjour,

Je rejoins Benoit en tous points, sauf peut-être sur ce passage :

[...] si aujourd'hui il y a 2-3 aller-retour pour non conformité, ça signifie que demain si les gens modifient directement dans SDE ce contrôle n'existera plus.. donc que les données dans SDE seront non conformes. Vous aurez juste gagné l'info de version et de tracking (à savoir qui a fait la modif).
Conclusion :vous allez perdre par rapport à la situation actuelle.[...]


Avec le mécanisme de versionnement, l'utilisation de versions "filles" et le contrôle par un administrateur lors de la réconciliation avec la version "mère", il est tout à fait possible de contrôler les données et de rejeter celle qui ne conviennent pas avant leur intégration dans la version de référence.

Cependant, ma conclusion est la même que celle de Benoit : il vaut mieux que vous vous orientez vers la mise en place de mécanismes (semi)-automatiques de contrôle puis d'intégration des seules données valides.
Avec ModelBuilder, vous aurez un aperçu de ce qu'il est possible de faire. Sachez que l'on peut aller encore plus loin grâce aux scripts Python et qu'il existe enfin, si les contrôles sont très complexes (topologie, formats de données différents, etc.), des outils tels que l'extension ArcGIS Data Interoperability ou bien encore l'ETL (Extract-Transform-Load) FME de Safe.

Cordialement,
Kevin

Hors ligne

 

#7 Wed 24 April 2013 18:04

benulti
Participant assidu
Lieu: là-bas
Date d'inscription: 5 Sep 2005
Messages: 332

Re: versionnement geodatabase

Avec le mécanisme de versionnement, l'utilisation de versions "filles" et le contrôle par un administrateur lors de la réconciliation avec la version "mère", il est tout à fait possible de contrôler les données et de rejeter celle qui ne conviennent pas avant leur intégration dans la version de référence.


On peut optimiser le contrôle SIG de la donnée avec des moulinettes, mais un minimum de contrôle manuel est indispensable. Vous allez contrôler le côté "SIG" d'une donnée, mais devez-vous intégrer un contrôle thématique dans le process? Identifiez votre chaine de contrôle sans tenir compte des outils, ensuite seulement penchez vous sur MB si besoin.

Corrige-moi Kevin si je me trompe, mais un problème du versionnement reste le principe du "dernier a raison" au moment de la synchronisation avec la base mère.

L'idée du lean 6 sigma est basé sur l'optimisation d'un process en réponse à un problème identifié. Dans ce cadre un logiciel n'est jamais la réponse à un problème, il n'est qu'un outil au service de la solution, c'est donc intéressant d'identifier le problème, ses causes, ses conséquences (il existe des problèmes qui ne nécessitent pas d'être réglés) le résultat à atteindre (super important, sans objectifs chiffrés de résultat on est sur un projet qui ne se termine jamais) et ensuite réfléchir à la solution (qui passe éventuellement par des outils).
La part la plus importante du travail de résolution d'un problème est son identification au sens large..

Mais tout ça ce n'est pas du SIG c'est de la performance opérationnelle, c'est un autre métier, mais ça s'applique bien dans stage dont il est question ici, et faire du SIG n'empêche pas d'élargir son scope (j'avais envie de dire de faire preuve de bon sens) et d'utiliser des méthodes éprouvées dans d'autres domaines. Perso en tant que prof (pour la note), maitre de stage (pour la plus-value), et futur recruteur (pour embaucher quelqu'un ayant des compétences élargies) je trouverai ça top niveau de développer ces aspects couplés ensuite à de l'optimisation plus technique autour du SIG.

Cdt

Hors ligne

 

#8 Wed 24 April 2013 20:20

Kevin Jousseaume
Participant assidu
Lieu: Nanterre, région parisienne
Date d'inscription: 20 Mar 2006
Messages: 217

Re: versionnement geodatabase

Benoit, je suis d'accord avec ce que vous dites. Je me suis peut-être mal exprimé, je ne remets absolument pas en cause la nécessité d'un contrôle manuel, pas plus que d'identifier toutes les étapes du cycle de vie des données, au contraire. Mais je voulais juste signaler qu'il existait des outils et des méthodes automatiques permettant d'aider cette analyse.
Quelques exemples de contrôles automatiques qui facilitent la vie de l'administrateur des données, lui permettant de se focaliser sur d'autres critères de validité qu'aucun automatisme ne pourra jamais traiter :
- contrôler qu'un attribut contient des valeurs valides (éventuellement contenues dans une liste, dans une autre table ou dans un domaine de valeurs)
- contrôler que les données ont une géométrie valide : vous ne pouvez pas savoir le nombre de fois où ce simple contrôle m'a permis de détecter des erreurs (polygone non fermé, vertex coïncidants, etc.)
- détection de superposition de données qui ne devrait pas l'être (ex: des parcelles cadastrales)
- etc.

Corrige-moi Kevin si je me trompe, mais un problème du versionnement reste le principe du "dernier a raison" au moment de la synchronisation avec la base mère.


C'est vrai et faux à la fois smile Si tous les utilisateurs effectuent leur mise à jour sur la version de référence (SDE.DEFAULT), alors oui le dernier qui valide sa mise à jour gagne. Mais si les mises à jour sont faites dans des versions "enfant", c'est l'administrateur qui décide, lors de la phase de réconciliation avec la version "parent", qui a raison. Je vous invite à consulter la description qui est faite dans l'aide et qui est je trouve bien illustrée : http://help.arcgis.com/fr/arcgisserver/ … 160t000000
Nous pouvons aussi en discuter par mail si vous le souhaitez.

Bonne soirée,
Kevin.

Hors ligne

 

#9 Thu 25 April 2013 08:42

Kevin Jousseaume
Participant assidu
Lieu: Nanterre, région parisienne
Date d'inscription: 20 Mar 2006
Messages: 217

Re: versionnement geodatabase

Bonjour,

Camille Saget a écrit:
J'ai effectué un MCD dans l'optique de changer de SGBD pour avoir une base relationnelle (le SGBD reste à déterminer)


Juste une remarque à ce sujet : par expérience, il est très compliqué, dans la gamme ArcGIS standard (id est sans développements spécifiques), de concrétiser un MCD un tant soit peu élaboré, c'est-à-dire avec des relations de cardinalités 1-n ou n-m. Ce n'est pas impossible, les classes de relation et les jointures sont là pour y répondre, mais sachez que les performances d'exécution de requêtes attributaires (ou même de mise à jour de données) sur des tables jointes sont médiocres dès lors que vos jeux de données contiennent plusieurs 10aines de milliers d'enregistrements, et ce même si les champs de jointure sont indexés.
Un conseil : ne passez pas des semaines à concevoir un beau MCD hyper travaillé sans essayer en parallèle de le traduire en MPD dans une geodatabase fichier, d'y intégrer des données et de voir comment ça se comporte.
Ce serait en effet dommage que la formule "c'est bon en théorie, mais en pratique cela ne vaut rien" s'applique à votre projet smile

Une autre chose à éviter ABSOLUMENT : utiliser le champ identifiant interne d'ArcGIS (OID, FID, OBJECTID) comme clef dans des relations entre des tables. Cet identifiant n'est en aucun cas pas pérenne. Si vous devez utiliser un champ clef et que vous n'avez pas de champs identifiant propre (code INSEE pour les communes, identifiant de parcelle, etc.), une méthode consiste à utiliser un champ de type Global ID (GUID). Mais là aussi il faut l'utiliser avec précautions car dans certains cas (ex: rechargement complet des données), ce GUID peut aussi être réinitialisé...

Bonne journée,
Kevin

Dernière modification par Kevin Jousseaume (Thu 25 April 2013 08:43)

Hors ligne

 

#10 Thu 25 April 2013 09:11

benulti
Participant assidu
Lieu: là-bas
Date d'inscription: 5 Sep 2005
Messages: 332

Re: versionnement geodatabase

Kevin, en fait j'avais bien compris les contrôles automatiques dont vous parlez, j'étais déjà dans l'étape suivante smile
Ok pour les versions de GDB filles mais il n'est quand même pas possible de "fusionner" les modifs faites dans une version A avec celles faites dans une version B n'est ce pas?
Pour le reste je pense que Camille a pas mal d'éléments pour faire du bon travail.

Hors ligne

 

#11 Thu 25 April 2013 09:40

Kevin Jousseaume
Participant assidu
Lieu: Nanterre, région parisienne
Date d'inscription: 20 Mar 2006
Messages: 217

Re: versionnement geodatabase

Ok pour les versions de GDB filles mais il n'est quand même pas possible de "fusionner" les modifs faites dans une version A avec celles faites dans une version B n'est ce pas?


Si, la fusion se fait dans la version mère lors de la réconciliation. Lors de cette étape :
- toutes les modifications apportées sur des éléments distincts sont intégrées "automatiquement" (la réconciliation est généralement lancée manuellement par l'administrateur, donc sous son contrôle)
- si des modifications sont apportées sur la même entité dans la version A et dans la version B, un conflit est détecté et une interface propose à l'administrateur de choisir quelle(s) modification(s) privilégier.

Pour le reste je pense que Camille a pas mal d'éléments pour faire du bon travail.


Effectivement : pour les 6 mois, voire les 6 ans à venir wink

Hors ligne

 

#12 Thu 25 April 2013 09:58

benulti
Participant assidu
Lieu: là-bas
Date d'inscription: 5 Sep 2005
Messages: 332

Re: versionnement geodatabase

Ok ok... pour les histoires de réconciliation je me pencherai à nouveau dessus, mais je me souviens qu'en 2009, on avait vite écarté le sujet à cause des remontées non conflictuelles où la dernière version remontée écrasait les ajouts réalisés dans une autre version..
Merci pour les infos, il est temps de me mettre à jour wink

Je pense que Camille a dans les mains un super sujet qui si il est bien traité fera la différence au moment de l'embauche plus tard, mais cet avis n'engage que moi.

Hors ligne

 

#13 Thu 25 April 2013 10:39

Kevin Jousseaume
Participant assidu
Lieu: Nanterre, région parisienne
Date d'inscription: 20 Mar 2006
Messages: 217

Re: versionnement geodatabase

Merci pour les infos


De rien ! Bon, à côté de ça, la mise en place d'une telle architecture est une vraie usine à gaz, surtout à maintenir... Ça n'a d'intérêt que pour de grosses structures et cela demande une supervision constante avec des actions régulières de réconciliation, de compression des bases (et donc de suppression/recréation des versions pour réussir à compresser efficacement) qui peuvent être fastidieuses.

Je pense que Camille a dans les mains un super sujet qui si il est bien traité fera la différence au moment de l'embauche plus tard, mais cet avis n'engage que moi.


Cet avis est partagé smile Et je serais d'ailleurs intéressé par la lecture de votre futur rapport Camille si ce dernier est diffusable à de tierces personnes.

Dernière modification par Kevin Jousseaume (Thu 25 April 2013 10:41)

Hors ligne

 

#14 Fri 26 April 2013 11:36

Camille Saget
Participant occasionnel
Date d'inscription: 12 Feb 2012
Messages: 13

Re: versionnement geodatabase

Bonjour Kevin et Benoit,

Excusez moi pour le retard de ma réponse, j'ai pris le temps de bien lire et décortiquer vos réponses.

Tout d'abord merci pour vos conseils très enrichissants et encourageants. Concernant la base de donnée, je pense proposer une base de données PostGre/PostGis. Concernant les mises à jours, je pense scinder en deux le processus (c'est déjà ce qui est en place, mais je pense que ça doit être renfoncer).
Une partie contrôle et vérification avant intégration dans la base de donnée:  j'ai commencé à récolter les manipulations de création de données des différents acteurs qui enrichissent la base ainsi que leurs problèmes. Suite à quoi, je pense proposer:
- Un protocole commun de vérification "manuelle", pour ce qui ne peut pas être fait par la machine (incohérence liées à la thématique dans les tables attributaires)
- semi-automatisation pour par exemple dans un premier temps détecter les erreurs topologiques (superposition d'objets etc) qui seront à corriger manuellement.
- des moulinettes python ou modelbuilder pour ce qui peut être automatisé.

Dans un deuxième temps: Concernant les mises à jour de la base avec , il y a sans-doute des solutions qui doivent exister dans postgre/postgis pour la mise à jour (je dois explorer ce point car je n'y connais absolument rien pour le moment ;-), un comme pour les BD postgre/postgis d'ailleurs, mais c'est ça qui est intéressant)

Je poserai la question pour la diffusion de mon rapport, mais je pense qu'il n'y aura pas de soucis!

Merci encore,

Bonne journée

Camille

Hors ligne

 

#15 Fri 26 April 2013 14:58

Kevin Jousseaume
Participant assidu
Lieu: Nanterre, région parisienne
Date d'inscription: 20 Mar 2006
Messages: 217

Re: versionnement geodatabase

Camille a écrit :
je pense proposer une base de données PostGre/PostGis


Attention : le choix de ce SGBD comme système de stockage de données géographiques implique obligatoirement l'utilisation d'ArcSDE pour qu'ArcGIS puisse exploiter ces données. Ce qui signifie licence, installation, paramétrage, etc (cf. ce qu'a écrit très justement Benoit à ce sujet).

Après, je ne connais pas le contexte de l'organisme dans lequel vous vous trouvez. Mais si votre idée est de proposer une solution "gratuite", dans le sens pas de licence à payer (ce qui élimine Oracle, sauf à posséder un contrat bien particulier), PostGre/PostGis n'est malheureusement pas une solution si "gratuite" que ça si votre organisme n'a pas ArcSDE et qu'il doit se le procurer.

Il existe pléthore de configurations différentes possibles et plus ou moins coûteuses (licence, charge de configuration et de maintenance, etc.). Vous trouverez des informations dans l'aide d'ArcGIS, après il n'est pas évident de se faire une idée précise de ce qu'offre chaque solution uniquement avec l'aide. Il va vous valoir creuser un peu...
Voici un extrait du lien http://help.arcgis.com/fr/arcgisdesktop … 04r000000/:

Avec ArcGIS Desktop (ArcEditor et ArcInfo) et ArcGIS Engine, vous pouvez configurer un serveur de base de données et créer des géodatabases ArcSDE accessibles par plusieurs utilisateurs, mais ne pouvant être modifiées que par un seul utilisateur à la fois.
Avec ArcGIS Server Workgroup utilisant ArcGIS Desktop, vous pouvez configurer un serveur de base de données et créer des géodatabases ArcSDE accessibles par un maximum de 10 utilisateurs à la fois, tous pouvant les modifier en même temps. Lorsque vous utilisez les serveurs de bases de données sous licences d'ArcGIS Server Workgroup, vous pouvez également vous connecter aux géodatabases à l'aide d'applications Web, pour lesquelles il n'existe aucune limite de connexion.


Bonne fin de journée,
Kevin.

Hors ligne

 

#16 Fri 26 April 2013 15:19

benulti
Participant assidu
Lieu: là-bas
Date d'inscription: 5 Sep 2005
Messages: 332

Re: versionnement geodatabase

J'ajoute que si vous mettez en place tout un système autour d'un SGBD type PostGre/PostGIS ou même Oracle et que seule vous possédez la compétence et savez comment l'utiliser, le sujet ne vous survivra pas... à moins que l'entreprise se décide à vous embaucher.

Le mot d'ordre est de répondre à la question posée avec les étapes suivantes :
- identifier le problème,
- apporter une solution au problème,
- s'assurer que la solution soit réaliste tant techniquement que financièrement (coûts matériels et humains à court, moyen et long terme),
- garantir la perennité de la solution...

Vous avez discuté de tout ça avec votre maitre de stage?

Dernière modification par benulti (Fri 26 April 2013 15:24)

Hors ligne

 

#17 Fri 26 April 2013 15:41

Camille Saget
Participant occasionnel
Date d'inscription: 12 Feb 2012
Messages: 13

Re: versionnement geodatabase

je n'avais pas compris que PostGres/Postgis nécessitait ArcSDE.... Et en effet, je cherche une solution simple (pour la réutilisation), la moins coûteuse possible et pérenne.

J'ai bien compris la démarche et les étapes à suivre. Mon maître de stage est absent cette semaine mais revient dès lundi, j'espérais lui présenter un plan des "grandes lignes" de ma proposition de solution lundi (différentes étapes, et ébauche de solution).. Mais je vois bien désormais que cela nécessitera beaucoup plus d'approfondissement et de discussions avec lui que ce que j'avais prévu au départ..

Suite au prochain épisode ;-)

Merci à vous, bonne fin d'après-midi et bon weekend

Hors ligne

 

#18 Fri 26 April 2013 15:44

Kevin Jousseaume
Participant assidu
Lieu: Nanterre, région parisienne
Date d'inscription: 20 Mar 2006
Messages: 217

Re: versionnement geodatabase

à moins que l'entreprise se décide à vous embaucher.


Bah justement, c'est plutôt finement joué de la part de Camille wink.

Si ce n'est pas indiscret Camille, quand avez-vous commencé votre stage et quand doit-il se terminer ?

Dernière modification par Kevin Jousseaume (Fri 26 April 2013 15:45)

Hors ligne

 

Pied de page des forums

Powered by FluxBB