#1 Fri 15 April 2011 12:54
Tour d'horizon logiciels observatoire
Bonjour
Dans le cadre de l'observatoire du PLH, j'ai compilé un certain nombre de données d'observation dans une base ACCESS.
Pour faciliter la mise à disposition de ces données aux autres services de l'agglo mais également pour faire faire par un prestataire la mise à jour des principales données INSEE je cherche des outils qui permettent de consulter des données statistiques : tableaux, graphiques, et cartos et bien sur avec des modalités d'intégration simples.
Si vous avez des idées et des expériences, ça m'intéresse
AlineC
Hors ligne
#2 Fri 15 April 2011 13:51
- François
- Membre
- Lieu: Grenoble
- Date d'inscription: 4 Apr 2007
- Messages: 257
Re: Tour d'horizon logiciels observatoire
Bonjour Aline,
Je suis intéressé par ta question :
Dans ma ville on est en phase avec cette problématique pour les données Observatoire social/Insee/Logement social et plus si affinités...
On s'oriente clairement sur la construction d'un entrepôt de données à l'usage du SI traditionnel et du SIG (le tout sur Oracle), avec une chaîne d'intégration (Talend Open Source) et des outils de restitution :
- portail décisionnel avec du géodécisionnel, i.e. simplement avec une interface cartographie
- utilisation de Geomédia, Mapinfo ou autre pour l'analyse cartographique à façon.
Pour s'étendre un peu sur la partie INSEE, le nouveau mode de recensement par échantillonnage tournant (8 % par an sur 5 ans je crois) induit des intervalles de confiance sur le variables et les classes et nécessite un nouveau mode de représentation cartographique notamment (Krigeage ???) pour s'affranchir de ces intervalles de confiance.
François
Hors ligne
#3 Fri 15 April 2011 14:25
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: Tour d'horizon logiciels observatoire
Bonjour,
Une petit retour d'expériences d'une agence d'urba, qui, pour les puristes, pourront ressembler à de la bidouille, mais dont la mise en oeuvre s'est faite avec les outils existants et sans coût exorbitant, pour une vingtaine d'utilisateurs :
Stockage :
- données littérales (Recensement, MAJIC, SIRENE etc...) stockées sous MySQL dans une douzaine de schémas,
- données SIG stockées dans différents formats principalement des geo-databases Access (ou datawarehouses Geomedia)
Accès :
- Open-Office, ou MS Office, en lecture-écriture (ODBC) pour les traitements et l'analyse des données MySQL
- Geomedia pour la partie SIG, complété par Cartes&Données pour l'analyse spatiale et statistique en ODBC pour MySQL, ou en connexion directe pour les autres formats.
Nous avons expérimenté "R", mais cet outil demande une compétence technique assez importante difficilement compatible avec nos métiers pluri-disciplinaires...
Pour l'accès aux données MySQL, via Open-Office, des modèles de bases OOo ont été créés, un fichier .REG (définition des connexions ODBC dans le registre Windows) a été déployé sur tous les postes concernés. Des vues "standards" ont été créées dans MySQL, et sont régulièrement complétées par des requêtes générées dans OOo.
La stabilité d'OOo pose cependant problème (pour le module "BASE") : plantage assez fréquents sur des requêtes lourdes ou complexes (mais les données INSEE par exemple sont très volumineuses...).
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#4 Wed 20 April 2011 18:51
Re: Tour d'horizon logiciels observatoire
Merci jean-michel et françois pour ces premiers apports,
De mon côté la problématique est :
-déployer un outil relativement simple sans maintenance interne parce qu'il n'y a personne qui est clairement responsable de l'observatoire à part moi pour ma partie habitat
-sortir de l'organisation access parce que je suis la seule à maîtriser cet outil
-trouver un moyen de mettre à jour les données chaque année sachant que ça prend du temps et qu'elles évoluent vite ..
-et intégrer ça dans un outil qui permette de travailler les données un peu "dans tous les sens"
Pour ce qui concerne les intervalles de confiance je suis bien d'accord, c'est pourquoi par exemple je milite pour qu'on ne diffuse pas n'importe quelle données (par exemple ce qui concerne les migrations alternantes est difficile à utiliser et bien interpréter); Néanmoins avant c'était déjà des statistiques et on avait un peu oublié cette problématiques des intervalles de confiance ....
Jean-Michel, par rapport à ton expérience et aux questions que je me pose :
-comment organise tu tes donnée stat ? par théme ? quels schémas de données ? comment s'organisent les mises à jour ? comment a été définie la liste de variable ?
je m'arrête là pour aujourd'hui ! les questions sont tellement nombreuses
AlineC
Hors ligne
#5 Mon 02 May 2011 11:21
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: Tour d'horizon logiciels observatoire
Bonjour,
comment organise tu tes donnée stat ? par théme ? quels schémas de données ?
Les données thematiques sont organisées de la manière suivante sous MySQL, ou en répertoires de travail :
01- ENVIRONNEMENT
02- DEMOGRAPHIE
03- EQUIPEMENTS
04- FONCIER
05- HABITAT
06- ECONOMIE
07- FORMATION
08- EMPLOI
09- ENTREPRISES
10- FISCALITE
11- SANTE-SOCIAL
12- CITOYENNETE
13- MOBILITE
14- TOURISME
Cette classification s'inspire du Thésaurus d'URBAMET, limitée à nos thèmes d'investigation.
Les données nominatives (ex : MAJIC III) sont stockées dans un schéma spécifique avec droits restreints
Les référentiels géographiques sont organisés de la manière suivante (ces "niveaux" correspondent à l'emprise des données en notre possession) :
01- SUPRA-NATIONAL
02- NATIONAL
03- REGIONAL
04- DEPARTEMENTAL
05- ZE
06- PAYS
07- SCOT
08- CAPL (Comm d'Agglo)
09- CANTON
10- COMMUNES
11- INFRA-Communes
exemples :
- la BD-CARTO est disponible (pour nous) à l'échelle régionale. Elle est donc stockée dans 03- REGIONAL
- le cadastre existe sous deux formes :
- une version complète, stockée par commune dans 10- COMMUNES
- une version "allégée" (parcelles, bati, sections) assemblée à l'échelle du pays stockée dans 06- PAYS
etc...
comment s'organisent les mises à jour ?
Avec les moyens du bord... et en fonction des livraisons...
Selon la complexité des données, une à trois personnes peuvent intervenir sur MySQL, en direct, ou via Open-Office.
Certaines données sont millésimées, d'autres écrasées etc...
comment a été définie la liste de variable ?
Peux-tu préciser ta question ?
Voili, voilà
JM
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#6 Mon 02 May 2011 20:54
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3185
- Site web
Re: Tour d'horizon logiciels observatoire
Bonjour,
Je me permets ici un avis d'informaticien. La principale erreur à mon sens et de choisir une technologie. Qu'elle soit ACCESS, MySQL ou autre elle est par essence dans le comment faire et non dans le quoi faire. Ce qui est l'antithèse de la philosophie objet qui qu'on le veuille ou non est (devrait être ) l'essence de la philosophie de la structuration de la partie "données" des SIG.
La donnée stat est par essence une donnée calculée, ou pour le moins un agrégat, donc un résultat de requête, de données brutes.
Qui peut envisager de connaître l'évolution des technologies de manipulation de données ? Personne.
Comme en mathématiques il s'agit de déterminer le PPCM de la donnée. Ce PPCM est le fichier texte, il peut être structuré selon une forme un peu évoluée comme XML, mais la certitude est qu'il s'agit d'un fichier texte lisible par n'importe quel programme ou langage de programmation ce maintenant ou dans 20 ans.
Donc l'idée est de stocker la donnée brute dans un format texte, selon une classification comme celle proposée par JM. (notez que la donnée géographique est stockée sous forme texte comme pour mif/mid ou le standard OGC WKT). Sachant qu'actuellement (et c'est la philo d'XML) il est bon d'intégrer le shéma de donnée de façon lisible, mais un modèle UML annexé va bien aussi.
Reste à écrire en fonction des technologies et de leur évolution des Interfaces d'intégration dans les SGBD ou SIG utilisés.
Certes ceci peut paraître à certain un peu HS voir compliqué mais ceci a l'avantage d'être une solution pérenne. Mais si je reprends la question initiale d'Aline :
Pour faciliter la mise à disposition de ces données aux autres services de l'agglo mais également pour faire faire par un prestataire la mise à jour des principales données INSEE je cherche des outils qui permettent de consulter des données statistiques : tableaux, graphiques, et cartos et bien sur avec des modalités d'intégration simples.
Que cherche t'elle si ce n'est un format d'échange ? Et un format d'échange n'est jamais contraint par l'outil d'intégration.
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne