Annonce
Les inscriptions sont ouvertes ! L'association GeoRezo sera présente.
#1 Wed 18 February 2026 15:43
- cyrille
- Participant assidu
- Date d'inscription: 7 Feb 2006
- Messages: 417
QGIS: Fichiers volumineux
Bonjour,
Je traite des polygones france entière sous QGis ex : intersection d'un geopackage polygone de 2.95 GB avec la table des communes métropolitaines. Or ca prend un temps fou. Beaucoup plus lent que sur l'autre SIG.
Ex 5% du traitement en 30Mn je vous laisse calculer le temps nécessaire.
Avez vous des astuces ? j'ai utilisé 3.44.7-Solothurn et la version de test 3.99.0-Master et je ne vois pas de changement. Toujours aussi laborieux. Faut il passer par POstgis ? OU du SQL spatial sur des geopackage ?
Je constate aussi que Qgis arrête certains traitements vectoriels à cause d'erreur dans les fichiers, je dois passer par une étape de correction des géométries.
Dernière modification par cyrille (Wed 18 February 2026 15:47)
Hors ligne
#2 Wed 18 February 2026 18:02
- liege67
- Participant assidu
- Lieu: Liège
- Date d'inscription: 10 Apr 2014
- Messages: 245
Re: QGIS: Fichiers volumineux
bonjour
j'ai eu à traiter un GPKG bien plus gros (18 GB), plein d'erreurs (des polygones non fermés de mémoire) et j'ai utilisé un outil standard de QGIS (de la boite à outils) pour corriger toutes les géométries et tout a été corrigé
me souviens plus du nom de l'outil hélas
jean marc
Hors ligne
#3 Wed 18 February 2026 21:12
- arnaudp
- Participant actif
- Date d'inscription: 20 Sep 2020
- Messages: 55
Re: QGIS: Fichiers volumineux
Bonjour,
Effectivement si vous avez ce genre de messages d'erreur il s'agit probablement d'un problème de topologie :
L'entité (1) de “Nouvelle couche en mémoire” a une géométrie non valide. Veuillez réparer la géométrie ou modifier le paramètre de traitement dans l'option "Ignorer les entités en entrée non valides".
L'outil pour vérifier la validité des géométrie est native:checkvalidity la doc en français se trouve au lien suivant : https://docs.qgis.org/3.40/fr/docs/user … k-validity
Ensuite, une fois mes problèmes détectés, j'essaie de corriger manuellement les erreurs. S'il y a trop d'erreurs pour que la corrections soit faite manuellement, il y a l'outil native:fixgeometries qui peut corriger automatiquement ces erreurs (lien vers la doc : https://docs.qgis.org/3.40/fr/docs/user … ometries).
En fouillant sur le net, j'ai trouvé cette formation éditée par l'INRAP, qui a un chapitre interessant sur la validité des géométrie et la topologie : https://formationsig.gitlab.io/fiches-t … _geom.html
Bonne soirée.
Hors ligne
#4 Thu 19 February 2026 11:45
- cyrille
- Participant assidu
- Date d'inscription: 7 Feb 2006
- Messages: 417
Re: QGIS: Fichiers volumineux
Bonjour merci de vos réponses. je confirme, le traitement d'intersection nécessite une étape préalable de correction des géométries. Ce que je fais avec le traitement Réparer les géométries.
Le problème vient après parce que les couches sont je suppose très volumineuses : l'étape d'intersection prend parfois plus de 10 heures. Y a t'il moyen de faire mieux ?
Hors ligne
#5 Thu 19 February 2026 14:06
- Lsam
- Participant assidu
- Date d'inscription: 27 Nov 2013
- Messages: 161
Re: QGIS: Fichiers volumineux
Bonjour,
Il faudrait aussi vérifier qu'il y a bien des index spatiaux pour ces couches.
Votre table des communes métropolitaines est-elle dans la même base de données Geopackage ?
Hors ligne
#6 Thu 19 February 2026 14:53
- cyrille
- Participant assidu
- Date d'inscription: 7 Feb 2006
- Messages: 417
Re: QGIS: Fichiers volumineux
Oui, les 2 tables sont dans le même geopackage, les index spatiaux existent pour les couches, la projection 2154 est la même pour les 2 couches.
Hors ligne
#7 Thu 19 February 2026 16:06
- Lsam
- Participant assidu
- Date d'inscription: 27 Nov 2013
- Messages: 161
Re: QGIS: Fichiers volumineux
L'intersection se fait :
- avec les outils QGis ?
- ou par une requête SQL dans le gestionnaire DB (et si oui directement dans le fichier geopackage, ou dans les couches virtuelles ?)
Hors ligne
#8 Thu 19 February 2026 16:45
- liege67
- Participant assidu
- Lieu: Liège
- Date d'inscription: 10 Apr 2014
- Messages: 245
Re: QGIS: Fichiers volumineux
bonjour
votre GPKG est il bien sur un disque dur physique et pas sur un cloud ?
j'ai de très mauvais souvenirs avec des GPKG sur Google Drive, suite à la corruption des 2 fichiers temporaires
jean marc
Hors ligne
#9 Fri 20 February 2026 09:34
- cyrille
- Participant assidu
- Date d'inscription: 7 Feb 2006
- Messages: 417
Re: QGIS: Fichiers volumineux
Bonjour,
les 2 GPKG sont sur le reseau de l'entreprise, l'intersection se fait avec les outils QGIS. Je vais tenter de mettre le GPKG sur C:\temp et voir ce qui se passe.
Hors ligne
#10 Fri 20 February 2026 16:18
- cyrille
- Participant assidu
- Date d'inscription: 7 Feb 2006
- Messages: 417
Re: QGIS: Fichiers volumineux
J'ai relevé ces paramètre des réglages dans les propriétés du projet ? Ellipsoïde correspond a EPSG : 7019 et coordonnées EPSG 2154 ?
Hors ligne
#11 Wed 25 February 2026 20:15
- ThomasS
- Juste Inscrit !
- Date d'inscription: 30 Sep 2022
- Messages: 8
Re: QGIS: Fichiers volumineux
Avez vous essayé d'intégrer vos données dans Postgis pour réaliser ce traitement, bien plus adapté qu'un gpkg ?
Hors ligne
#12 Thu 26 February 2026 09:29
- liege67
- Participant assidu
- Lieu: Liège
- Date d'inscription: 10 Apr 2014
- Messages: 245
Re: QGIS: Fichiers volumineux
bonjour ThomaS
pouvez vous développer / argumenter l'usage de PG plutot que GPKG pour les intersections ?
je suis déjà convaincu mais j'ai à convaindre :-)
merci
jm
Hors ligne
#13 Thu 26 February 2026 09:41
- cyrille
- Participant assidu
- Date d'inscription: 7 Feb 2006
- Messages: 417
Re: QGIS: Fichiers volumineux
Bonjour, pas testé Postgis, j'ai testé à peu près tous les formats compatibles Qgis y compris les bases de données Google version spatiale. Spatialite en mode SQL par ex n'etait pas adapté.
Question si j'installe Postgis ce sera sur PC perso de travail. Les performances seront acceptables ?
Hors ligne
#14 Thu 26 February 2026 10:08
- GlaDal
- Participant assidu
- Date d'inscription: 30 Aug 2013
- Messages: 1214
Re: QGIS: Fichiers volumineux
Bonjour,
Je n'ai pas lu tous les posts (en diagonale seulement) mais la proposition de faire ce même test sur un nouveau profil qgis ne semble pas avoir été proposé. Ca peut changer pas mal de chose. Ensuite, je ne pense pas que faire le test en 3.99 résolve le problème. Limite, la version la moins "buggé" (car maintenu et version longue) est la version 3.40.
Concernant ce point :
Je constate aussi que Qgis arrête certains traitements vectoriels à cause d'erreur dans les fichiers, je dois passer par une étape de correction des géométries.
Dans tous les algo qgis, vous avez la possibilité de ne pas tenir compte des erreurs de géométries et de poursuivre votre traitement. C'est via l'onglet avancé de l'algo -> paramètres de l'algorithme -> filtrage d'entité invalide.
Tenez nous au courant...
Hors ligne
#15 Thu 26 February 2026 11:39
- cyrille
- Participant assidu
- Date d'inscription: 7 Feb 2006
- Messages: 417
Re: QGIS: Fichiers volumineux
@GlaDal => Le traitement Réparer les géométries est efficace et il permet de mener a bien les intersections mais qui demeurent tres longues.
Hors ligne
#16 Thu 26 February 2026 15:09
- GlaDal
- Participant assidu
- Date d'inscription: 30 Aug 2013
- Messages: 1214
Re: QGIS: Fichiers volumineux
Ok et le test avec un nouveau profil ? Ca peut jouer...
Hors ligne
#17 Wed 01 April 2026 10:41
- Cornellius
- Invité
Re: QGIS: Fichiers volumineux
Bonjour,
Etant un utilisateur d'outils SIG depuis 28 ans, je vous conseille d'effectuer les calculs d'intersection dans une base PostgreSQL/Postgis si vous préférez les outils libres.
Il faudra alors écrire un peu de code SQL pour réaliser l'opération d'intersection (ST_intersection) sur vos 2 couches indexées comme dans cet exemple :
On suppose que les 2 couches ont été préalablement importées dans la base Postgis (ici dans le schéma public)
CREATE INDEX ON public.layer1 USING GIST (geom);
CREATE INDEX ON public.communes USING GIST (geom);
DROP TABLE IF EXISTS public.layer1_par_commune;
CREATE TABLE public.layer1_par_commune AS
SELECT
g1.*,
c.nom AS nom_commune
CASE
WHEN ST_CoveredBy(g1.geom, c.geom)
THEN g1.geom
ELSE
ST_Multi(
ST_Intersection(g1.geom, c.geom)
)
END AS geom
FROM public.layer1 AS g1
INNER JOIN public.communes AS c
ON ST_Intersects(g1.geom, c.geom);
#18 Wed 01 April 2026 14:05
- cyrille
- Participant assidu
- Date d'inscription: 7 Feb 2006
- Messages: 417
Re: QGIS: Fichiers volumineux
Merci Cornellius.
J'en étais arrivé à cette conclusion également.
Dernière modification par cyrille (Wed 01 April 2026 14:06)
Hors ligne
#19 Wed 01 April 2026 16:32
- Sylvain M.
- Participant assidu
- Lieu: Saint-Pierre-des-Nids (53)
- Date d'inscription: 8 Sep 2005
- Messages: 1063
Re: QGIS: Fichiers volumineux
les 2 GPKG sont sur le reseau de l'entreprise, l'intersection se fait avec les outils QGIS. Je vais tenter de mettre le GPKG sur C:\temp et voir ce qui se passe.
Je n'avais pas suivi ce fil plus tôt, mais selon moi, le goulot d'étranglement se situe ici !
Travailler sur des données si volumineuses en SIG nécessite un accès très rapide aux données, de préférence donc un disque local SSD.
Si vous travaillez sur un lecteur réseau, il est normal que vos temps de traitements soient interminables !
Après, pour utiliser PostGis très régulièrement, c'est vrai que c'est encore plus performant que de travailler sur des fichiers (GPKG ou autres).
Mais si les fichiers ne sont pas locaux, c'est catastrophique ! ![]()
Dernière modification par Sylvain M. (Wed 01 April 2026 16:32)
Sylvain M.
Hors ligne
#20 Thu 02 April 2026 09:23
- Sylvain M.
- Participant assidu
- Lieu: Saint-Pierre-des-Nids (53)
- Date d'inscription: 8 Sep 2005
- Messages: 1063
Re: QGIS: Fichiers volumineux
En complément, pour avoir les ordres de grandeur, j'ai demandé à Mistral une petite synthèse des ordre de grandeur des vitesses d'écriture par type de support :
(lien vers la réponse détaillée)
Disque local HDD : 80 à 160 Mo/s
Disque local SSD SATA : 500 à 530 Mo/s
Disque local SSD NVMe : 3 000 à 5 000 Mo/s
Lecteur réseau ADSL : 0,5 à 1 Mo/s
Lecteur réseau Fibre 1 Gbps : 20 à 50 Mo/s
Lecteur réseau Fibre 10 Gbps : 200 à 500 Mo/s
Dans le cas de la base de données citée initialement de 2.95 Go, si le réseau n'est pas fibré, il faut déjà 50 minutes rien que pour écrire les données... (et donc sans parler du temps de traitement de celle-ci, qui est le plus gros du travail)
(c'est très simplifié, et de nombreux autres paramètres ne sont pas analysés, comme la latence par exemple, mais c'est pour avoir des ordres de grandeurs)
Dernière modification par Sylvain M. (Thu 02 April 2026 09:29)
Sylvain M.
Hors ligne


