#1 Sat 22 December 2018 08:36
- David XY
- Juste Inscrit !
- Date d'inscription: 21 Dec 2018
- Messages: 8
Bien plus qu'une remise à niveau !
Bonjour à toutes et tous,
Ma demande étant particulière – enfin je crois – je me permets de m’introduire assez rapidement.
Il y a encore peu, j’étais étudiant en géographie. Le versant était très social mais mes divers travaux sur l’agriculture urbaine m’ont amené à utiliser régulièrement les SIG dans une perspective quantitative (notamment via Arcgis et Qgis). Les fonctions que je sollicitais régulièrement étaient les jointures attributaires et spatiales, la création de buffer, le géocodage ou encore le calcul de surface. En bref, rien de très avancé.
Mes besoins sont nombreux :
Outils, formats, logiciels qui traitent des grosses quantités d’informations
Multi-utilisateurs pour le travail en groupe (comme sur un drive)
Aller/retour dynamique avec les données du CRM – à défaut de le faire à la mano
Déterminer les personnes à recruter
Y voir plus clair de manière générale (SGBD ? GeoJson ? SQL ? Python ?) Je ne veux pas tout embrasser, ni tout confondre, mais au moins saisir la place de chacun et juger de leur pertinence. En somme : "qu'est-qui m'est possible/impossible de faire, apprendre ?"
Bonnes fêtes !
Dernière modification par David XY (Wed 20 February 2019 10:31)
Hors ligne
#2 Mon 24 December 2018 14:02
- piedro25
- Participant occasionnel
- Date d'inscription: 22 Dec 2016
- Messages: 43
Re: Bien plus qu'une remise à niveau !
Bonjour.
Beaucoup de choses sur la table !
Pour commencer je vous dirais de ne pas sous estimer les potentialités de Qgis. La V3 que j'ai redécouverte est vraiment bien fichue et ce, en pas mal de points, y compris sur la performance. Le problème que vous avez rencontré avec Qgis peut aussi bien se présenter avec des logiciels propriétaires comme Arcmap. Par exemple il m'est déjà arrivé d'avoir des plantages à répétitions avec des données à l'échelle départementale, tout dépend du volume que vous avez à traiter.
De ce que je comprends vous avez besoin de traiter de gros volumes de données et ce rapidement. Il y aurait trois manières d'y pouvoir
1 ) S'intéresser à des logiciels permettant le traitement de masse des données comme PostgreSql voire les ETL dans un second temps (coucou FME).
2 )Investir dans du hardware. Si vous avez un Intel code 2duo de 2005 et 64 ghz de ram ça va forcément prendre beaucoup plus de temps qu'avec un pc conçu pour effectuer ce genre d'opération. Pour exemple dans mon ancien job je mettais bien dix minutes à exporter des SHP que je fais aujourd’hui 'hui en une seule minute avec un bon matériel.
3) S’intéresser fortement à l'automatisation des taches avec des langages comme python pour vous faire gagner du temps
Essayez ensuite d'envisager comment vous allez raccorder ces outils et quelle serait la place que vous allez accorder à chacun.
Globalement retenez que Postgre SQL sert à extraire des données pour une demande précise, python à automatiser des traitements à la chaines qui s'avéreraient longs à faire à la main et le SIG à les visualiser et à produire des analyses.
Quelques liens qui devraient vous aider
https://inforef.be/swi/download/apprendre_python3_5.pdf Exelent ebook (et gratuit en plus) sur la,programmation en python avec une farendole d'exercices.
http://www.postgis.fr/chrome/site/docs/ … ndex.html. Un mooc complet sur l'utilisation de postgre sql et de postgis en particulier que je vous recommande vivement si vous n'ête spas famillier des SGBD.
Et dernier conseil, essayez, trompez vous, recommencez, demandez et réussissez ! Plus on se trompe plus on apprends. Les forum comme develloppez ou gerezo vous seront d'un bon secours pour répondre à vos questions pour peu que montrez que vous avez chercher à comprendre le problème.
Bonne chance.
Hors ligne
#3 Sun 30 December 2018 10:47
- grunt
- Participant actif
- Date d'inscription: 9 Nov 2010
- Messages: 90
Re: Bien plus qu'une remise à niveau !
J'aime bien QGis. Mais de leur propre aveu, ils sont en perte de stabilité. Les deux dernières versions en release marchaient particulièrement mal, et ils sont en patchs d'urgence.
Sur leurs forums de développement, ils sont heureux d'offrir tant de nouvelles capacités, mais ils concèdent être allés trop vite et avoir trop de bugs. Et ça fait pas sérieux.
Hors ligne
#4 Fri 04 January 2019 12:07
Re: Bien plus qu'une remise à niveau !
Bonjour et bienvenue sur Georezo,
voici un petit retour personnel basé sur mon expérience :
Tout d'abord oui QGIS est compétitif, ne croyez pas qu'il n'est utile que pour la réalisation de cartes communales. Pivilégiez les version LTR (Long Term realease : The long-term repositories currently offer QGIS 2.18.27 'Las Palmas'. )
KML et GeoJson,sont des formats de fichiers, rien d'autre. Ils ont des spécificités mais ce sont des formats de fichiers qui portent de l’information. Votre logiciel de SIG les lira et vous permettra de les manipuler comme un shp ou un tab, voir de les intégrer à une base de données spatiale.
PostgreSQL et son extension PostGIS vous permettent de bancariser, consolider, interroger et manipuler les données. Il permet en outre de travailler dans un environnement multi-utilisateurs (plusieurs personnes accèdent à la ressource en même temps. QGIS se connecte nativement aux bases de données PostGIS.
Sur cette base de données, vous allez pouvoir connecter de nombreux outils d'exploitation de données (SIG pour carto et traitement, outils de reporting, interfaces web, bureautique pour publipostage...)
A titre d'exemple, dans la structure qui m'emploie (échelle régionale), PostgreSQL est au cœur du SI depuis 2006. Nous y connectons un grand nombre d'outils pour des besoins divers. QGIS pour la cartographie (15 utilisateurs), une interface web de saisie et de consultation de données, une interface web de diffusion de donnée, un serveur de formulaires de saisie (ODK Aggregate), Lizma pour du webmapping, qgis-server pour générer des services web cartographique, jasperstudio pour créer des rapport pdf, des outils de reporting web (redash, metabase)
Pour conclure, encore une fois d’après ma seule expérience : investir dans l'apprentissage de l'utilisation de PostgreSQL/PostGIS permet de mettre en place un socle solide au sein du SI, qui vous offrira de nombreuses perspectives au fur et à mesure que vos besoins grandiront. Mais au démarrage vous serez en mesure de gérer, manipuler et interroger de l'information, accessible simultanément à l'ensemble de vos collègues.
Mathieu BOSSAERT
Association GeoRezo
Hors ligne
#5 Mon 07 January 2019 17:30
- David XY
- Juste Inscrit !
- Date d'inscription: 21 Dec 2018
- Messages: 8
Re: Bien plus qu'une remise à niveau !
Bonjour et bonne année!
Tout d'abord, merci pour vos réponses qui me donnent du baume au coeur.
Concernant Qgis, je crois m'être mal exprimé. Je ne sous-estime pas du tout ce logiciel - d'autant que je dois exploiter au mieux 10% de ses fonctions et ne connaitre que 20 % de ses potentialités... Dans mon cas, la sélection voire l'extraction de données m'obligent à réagir à l'échelle du département. Autrement, mes sélections ou mes jointures plantent. Ainsi, pour un travail national, je dois répéter mes manips autant de fois qu'il y a de départements en France. Cela se résume à "Sélection attributaire de A sur B" => "Enregistrer la sélection de A sous" , etc. Sans parler de la pénibilité du travail, ce type de travail me conduit à stocker un grand nombre de fichiers (étant donné qu'à un shp. correspond un dbf, un prj, un shx, etc.)
En termes de hardware, mon pc est vraiment puissant (en tout cas selon la DSI). C'est un i7 ; 2,8 Ghz ; 16 Go RAM ; SSD.
L'ensemble reste encore abstrait mais je compte bien éclaircir tout cela. Je saisis déjà mieux la complémentarité entre PostgreSQL, python et Qgis. (Au passage, merci Piedro pour les liens!)
A très vite.
ps : Mathieu, quelle différence faites-vous entre Lizam pour le webmapping et qgis-server "pour générer des services web cartographique" ?
Dernière modification par David XY (Mon 07 January 2019 17:34)
Hors ligne
#6 Mon 07 January 2019 19:49
- Patrice
- JeSuisCharlie
- Date d'inscription: 16 Sep 2005
- Messages: 4787
Re: Bien plus qu'une remise à niveau !
Hello
Tu as un Core i7 qui tourne à seulement 2.8 GHz !
C LENT sauf si tu es sur un Portable !?
Fin 2017, j ai eu l occasion de jouer en Amateur (un Super Plaisir) sur le PC Fixe suivant en Monoposte "pur et dur" :
Core i7 7700K : 4.2-4.5 Ghz - 4C/8T - 8 Mo cache
64 Go Ram - Double Disque Dur SSD M2 1 Go RAPIDE
Super Carte graphique NVidia GTX 1080 (qui ne sert à rien pour le SIG)
Windows Seven x64
En fait il s'agissait d'un PC de test pour les logiciels de CAO: AutoCAD, REVIT, InfraWorks, Inventor, SolidWorks, etc ...
Mais qui etait aussi utilise pour des tests en SIG ...
Base Oracle spatiale (en LOCAL sur SSD M2) 11G2 optimisée (Emprise correcte et index spatial correct et multiples index sur TOUS les champs necessaires) avec environ 24 Go Ram memoire réservee pour Oracle et son Cache ...
Avec QGIS 2.18 LTR et avec ACAD MAP 2016-2018 (fonctionnalites faibles et moins pratique et rapide que QGIS)
Je te prie de croire que ÇA DEPOTAIT !
Certaines tables avaient jusqu'a 2 millions de Records (Base departementale)
Affichage de TOUT et/ou requêtes simples sur critères attributaires et/ou géographiques...
En théorie avec QGIS v3, cela devrait être encore plus rapide mais moins stable !
Et je suis sur que avec PostGis (en LOCAL), le résultat aurait été comparable !!
La Sante, Bonne Annee, GeoBye, Pat
PS: dans la vie, tout est une question de referentiel, j'ai un Pote qui commence a lever l'oeil quand les tables BD depassent les 100-500 millions de records !! ... On ne boxe pas dans la meme categorie !!
(Autodesk Expert Elite Team)
Hors ligne
#7 Mon 07 January 2019 21:09
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3185
- Site web
Re: Bien plus qu'une remise à niveau !
Bonjour,
Je rejoins totalement l'analyse de MathieuB, particulièrement ici :
Pour conclure, encore une fois d’après ma seule expérience : investir dans l'apprentissage de l'utilisation de PostgreSQL/PostGIS permet de mettre en place un socle solide au sein du SI
Expérience partagée.
Ensuite pour les données à l'échelle nationale qui obligent à un traitement départemental, c'est un problème bien connu, il suffit de se référer aux données cadastrales.
C'est typique d'un jeu de données avec unicité de clefs à l'échelle administratif du département, et le code insee qui va bien.
Pour résoudre un peu plus compliqué, un peu de prog ...
le plus simple avec la solution postgresql/postgis c'est de faire un script sql et l'appliquer à chaque jeu de données.
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#8 Tue 08 January 2019 09:51
Re: Bien plus qu'une remise à niveau !
Bonjour à tous,
ps : Mathieu, quelle différence faites-vous entre Lizmap pour le webmapping et qgis-server "pour générer des services web cartographique" ?
peu de différence en effet car c'est le même qgis-server qui génère les flux WMS auxquels peuvent se connecter mes collègues. Mais j'aurais pu n'utiliser que QGIS-server sans l’interface web LizMap.
PS: dans la vie, tout est une question de referentiel, j'ai un Pote qui commence a lever l'oeil quand les tables BD dépassent les 100-500 millions de records !! ... On ne boxe pas dans la meme categorie !!
Ça me rappelle ma première formation PostgreSQL en 2006, quand j'ai exposé mes cas d'utilisation à mes collègues de formation, administrateurs de bases de données du groupement des cartes bancaires, de la DGFIP, de la mutuelle de la RATP... moi qui arrivait de ma petite asso de protection de la nature :-)
Mathieu BOSSAERT
Association GeoRezo
Hors ligne
#9 Tue 08 January 2019 11:39
- David XY
- Juste Inscrit !
- Date d'inscription: 21 Dec 2018
- Messages: 8
Re: Bien plus qu'une remise à niveau !
Bonjour Patrice,
Oui c'est un pc portable. C'est important que je puisse être mobile !
Pensez-vous que me connecter à un serveur permettrait de m'affranchir de la puissance de calcul de mon pc ?
Jusqu'à un million d'entités, mon pc arrive à suivre les jointures, sélections et autres types de traitement de ce genre. Mon grand idéal serait de pouvoir joindre (entres autres) le parcellaire de plusieurs départements à la fois afin de m'éviter la répétition des manips. Si je comprends bien, la solution passe par des requêtes SQL qui vont directement agir sur les différents fichiers séparés (mais organisés dans une SGBD).
Encore merci à tous.
Hors ligne
#10 Tue 08 January 2019 13:56
- Pascal Boulerie
- Participant assidu
- Lieu: France
- Date d'inscription: 12 Sep 2005
- Messages: 2939
- Site web
Re: Bien plus qu'une remise à niveau !
à mon avis, il doit y avoir des discussions qui parlent de client QGis utilisable pour aller picorer des données - conservées et éditables - sur un serveur PostGIS.
https://georezo.net/forum/search.php
En plus des mots apprendre / apprentissage qui sont déjà passées, les mots-clés suivants pourront être utiles pour d’autres visiteurs qui atterriraient ici dans le fil sans connaître la géomatique :
se former / formation / auto-formation / cours / e-learning
« L'État est désormais quasi déliquescent. » (José Cohen-Aknine, ingénieur X-Ponts, IGPEF, dans Déliquescence et renaissance de l'État.)
Hors ligne