#1 Wed 08 September 2021 11:02
- antoine
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 13 Sep 2005
- Messages: 39
Location temps de calcul
Bonjour,
Nous réalisons des traitements SIG avec QGIS que nous avons automatisés en python. Ces traitements sont extrêmement longs, jusqu'à 2 à 3 semaines. Nous les réalisons "à la demande" et pour le moment moins de 5 fois par an.
Lorsque nous les lançons sur nos PC de bureau, ces derniers ne sont quasiment plus utilisables que pour lire les mails et faire du traitement de texte. Le DD est utilisé à 100% par le traitement.
Je m’interroge donc sur la l’intérêt d'utiliser un serveur distant, loué à la demande, chez OVH ou ailleurs sur lequel nous pourrions délocaliser ces traitements.
Pensez-vous que ce soit une idée "intelligente", avez vous déjà fait cela ?
Merci d'avance pour vos retours, Antoine
Hors ligne
#2 Wed 08 September 2021 12:14
- PierreBrial
- Participant occasionnel
- Date d'inscription: 28 Jan 2007
- Messages: 23
Re: Location temps de calcul
Bonjour,
Si ce n'est pas indiscret, quelle type de traitement nécessite des temps aussi long ?
Vous pourriez tenter d'utiliser QGIS sur un poste Linux, en copiant les données à traiter sur un disque virtuel crée en mémoire vive.
Les accès sont plus rapides et cela limite l'usure des disques.
La création d'un disque virtuel se fait avec la commande suivante :
Code:
mkdir /tmp/ramdisk0 mount -t tmpfs -o size=2g tmpfs /tmp/ramdisk0/
Ajuster size en fonction des besoins. Le disque se trouve dans /tmp/ramdisk. Il faut bien sur copier les données ailleurs à la fin du traitement.
Hors ligne
#3 Wed 08 September 2021 14:23
- antoine
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 13 Sep 2005
- Messages: 39
Re: Location temps de calcul
Bonjour,
Il s'agit de modéliser les déplacements de la faune dans le paysage. Sur la base d'une occupation du sol avec des coefficients de friction variables suivant chaque occupation, on utilise les algo de grass r.drain et r.cost pour déterminer le chemin de moindre coût entre des points matérialisant, par exemple, les principaux espaces boisés d'une zone (une zone pouvant être un département entier !).
Tout ceci a été développé en python avec la version 2.14 de QGIS sous windows.
Le passage sur une machine linux a déjà été testé. Le problème est que l'on arrive pas, par manque de compétences et de temps, a porter ce code sur ubuntu parce que les librairies disponibles pour QGIS et grass dans ubuntu 16.04 ne correspondent pas à celles utilisées dans l'installeur de qgis 2.14 pour windows. Ceci fait que certaines modifications faites dans les algos de grass ne nous permettent pas d'aboutir au résultat attendu.
Nous sommes donc "condamnés" a rester dans un environnement Windows.
Antoine
Hors ligne
#4 Wed 08 September 2021 15:14
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: Location temps de calcul
Il faudrait déterminer où se trouve le goulot d'étranglement sur votre traitement sur votre matériel actuel: RAM, disque et/ou CPU (et réseau si il y a des accès non locaux)
Investir dans une station de travail plus adaptée peut être la solution et/ou un upgrade RAM et HDD > SSD (dont les prix ont sacrément baissé, 100€/To aujourd'hui)
Cela peut permettre de gagner un temps précieux, qui si on le valorise au taux horaire peut être vite amorti
Ceci dit, la dette technique (déjà présente), ne va faire qu'augmenter...
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#5 Wed 08 September 2021 16:13
- antoine
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 13 Sep 2005
- Messages: 39
Re: Location temps de calcul
Il faudrait déterminer où se trouve le goulot d'étranglement sur votre traitement sur votre matériel actuel: RAM, disque et/ou CPU (et réseau si il y a des accès non locaux)
Investir dans une station de travail plus adaptée peut être la solution et/ou un upgrade RAM et HDD > SSD (dont les prix ont sacrément baissé, 100€/To aujourd'hui)
Cela peut permettre de gagner un temps précieux, qui si on le valorise au taux horaire peut être vite amorti
Ceci dit, la dette technique (déjà présente), ne va faire qu'augmenter...
Le goulet d'étranglement, c'est l'usage du disque. Il est monopolisé à 100%, il y a beaucoup d'écriture et de lecture puisque les résultats d'un algo servent en entrée du suivant.
J'ai regarder pour augmenter la RAM et passer en SSD, effectivement, c'est abordable.
Mais, comme je n'ai besoin que ponctuellement de ces capacités, je me demandais comment les louer.
OVH propose des instances en cloud public avec windows server à partir de 20 cts de l'heure (https://www.ovhcloud.com/fr/public-cloud/prices/#419). Est-ce que quelqu'un a déjà testé cela ?
Antoine
Hors ligne
#6 Tue 21 September 2021 16:21
- antoine
- Participant occasionnel
- Lieu: Toulouse
- Date d'inscription: 13 Sep 2005
- Messages: 39
Re: Location temps de calcul
Bonjour,
Finalement, je me suis "jeté à l'eau" !
Ayant un compte chez OVH, j'ai configuré une machine (instance) avec windows server 2012, 15 Go de RAM, 4 VCore et 100 Go SSD. La machine est accessible très facilement avec le bureau à distance. J'y ai installé les logiciels dont j'avais besoin : Qgis et Filezilla.
J'en ai fait une sauvegarde et à partir de celle-ci j'ai généré 4 instances identiques accessible avec des IP différentes pour y répartir les traitements en 4 lots.
Dans la vrai vie cela n'a pas été aussi simple, mais au final les instances ont tourné une petite semaine pour un coût un peu supérieur à 100 €.
Clairement, pour CE traitement, c'est LA solution. Après plusieurs tests, c'est vraiment la vitesse d'écriture sur le disque qui est le facteur limitant. En multipliant les machines, on multiplie aussi la vitesse d'écriture puisque elle travaillent toutes en même temps.
Depuis, j'ai supprimé les instances, elles ne sont plus facturées. J'ai peaufiné ma sauvegarde qui reste stockée chez OVH au prix de 1 ct/Go/mois HT. Et je n'aurai plus qu'à recréer X instances sur cette base pour réaliser le traitement sur un nouveau territoire.
J'ai donc bien loué du temps de calcul (Cf objet de ce post) et je pense que c'est une solution très intéressante pour réaliser des traitements SIG longs. On évite ainsi de monopoliser un PC et on a pas besoin d'investir dans de grosses bécanes que l'on utilise rarement à plein régime.
A bientôt, Antoine
Hors ligne
#7 Tue 21 September 2021 16:48
- tevrard
- Participant assidu
- Date d'inscription: 23 May 2016
- Messages: 320
Re: Location temps de calcul
Merci du retour !
Hors ligne