#1 Tue 15 April 2025 08:54
- benjamin_68
- Participant assidu
- Lieu: Lapoutroie
- Date d'inscription: 3 May 2010
- Messages: 202
QGIS: Exploitation de donnees volumineuses
Bonjour tout le monde,
Je dois exploiter des données climatiques très volumineuses (Drias et Meteo.data.gouv), les tables CSV pesant parfois plusieurs Go.
N'ayant jamais exploité de tels volumes de données (j'ai notamment besoin de faire de nombreuses requêtes), je souhaiterais savoir sous quel format idéal le faire :
> CSV ?
> gpkg ?
> sqlite ?
> nécessité de mettre en place posgre/postgis ?
> ...
Etant contraint par le temps, je cherche dans un 1er temps la solution la plus simple à mettre en place.
Merci pour votre aide !
Benjamin
Hors ligne
#2 Tue 15 April 2025 09:04
- arobert01
- Participant occasionnel
- Date d'inscription: 31 Oct 2024
- Messages: 35
Re: QGIS: Exploitation de donnees volumineuses
Bonjour,
Ayant déjà manipulé de lourdes bases de données climatiques (les modèles DRIAS n'étant pas les plus légers), je n'ai jamais utilisé Qgis ou postGis. Le format CSV peut être le bon format, à condition que vous n'ouvriez pas les données dans un tableur car vous risquez d'avoir un soucis de taille de table.
J'avais l'habitude de télécharger les données climatiques en NetCDF et de les ouvrir sur Rstudio, qui est bien plus souple que les autres solutions citées précédemment.
Bonne journée
Hors ligne
#3 Tue 15 April 2025 10:43
- SANTANNA
- Moderateur
- Lieu: Angers
- Date d'inscription: 18 Jan 2008
- Messages: 4062
Re: QGIS: Exploitation de donnees volumineuses
Bonjour,
J'avais l'habitude de télécharger les données climatiques en NetCDF
Format que QGIS peut lire, a priori
Hors ligne
#4 Tue 15 April 2025 10:46
- tumasgiu
- Membre
- Lieu: Ajaccio
- Date d'inscription: 5 Jul 2010
- Messages: 1194
Re: QGIS: Exploitation de donnees volumineuses
Salut,
ça depends du type de requête que vous souhaiter réaliser et de comment vous aller travailler. Ne connaissant pas NetCDF, j'aurai tendance à dire sqlite pour démarrer rapidement et bénéficier des index littéraux et spatiaux pour accelerer les requêtes et pour la rapidité de mise en oeuvre.
Hors ligne
#5 Tue 15 April 2025 15:40
- arobert01
- Participant occasionnel
- Date d'inscription: 31 Oct 2024
- Messages: 35
Re: QGIS: Exploitation de donnees volumineuses
Bonjour,
J'avais l'habitude de télécharger les données climatiques en NetCDF
Format que QGIS peut lire, a priori
Yes, bien sûr, dans la mesure ou la table n'excède pas les 300K lignes 
Qgis étant peu connu pour faire dans les grosses tables. Et connaissant les jeux de données climatiques (mais je peux me tromper), comme l'analyse se fait sur du temps long, et dans des pas de temps à l'heure, les jeux sont très vite volumineux...
Hors ligne
#6 Tue 15 April 2025 18:12
- SANTANNA
- Moderateur
- Lieu: Angers
- Date d'inscription: 18 Jan 2008
- Messages: 4062
Re: QGIS: Exploitation de donnees volumineuses
Yes, bien sûr, dans la mesure ou la table n'excède pas les 300K lignes smile Qgis étant peu connu pour faire dans les grosses tables.
Peut-être, peut-être... Je n'ai pas testé personnellement donc n'ai pas d'avis tranché. Mais sauf erreur de ma part, ce genre de besoins a fait partie de ceux qui ont motivé le développement de MDAL, la bibliothèque qui gère les données de type mesh dans QGIS...
Hors ligne
