Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considèrerons que vous acceptez l'utilisation des cookies. J'ai compris ! ou En savoir plus !.
banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

#1 Wed 08 September 2021 11:02

antoine
Membre
Lieu: Toulouse
Date d'inscription: 13 Sep 2005
Messages: 37

Location temps de calcul

Bonjour,

Nous réalisons des traitements SIG avec QGIS que nous avons automatisés en python. Ces traitements sont extrêmement longs, jusqu'à 2 à 3 semaines. Nous les réalisons "à la demande" et pour le moment moins de 5 fois par an.

Lorsque nous les lançons sur nos PC de bureau, ces derniers ne sont quasiment plus utilisables que pour lire les mails et faire du traitement de texte. Le DD est utilisé à 100% par le traitement.

Je m’interroge donc sur la l’intérêt d'utiliser un serveur distant, loué à la demande, chez OVH ou ailleurs sur lequel nous pourrions délocaliser ces traitements.

Pensez-vous que ce soit une idée "intelligente", avez vous déjà fait cela ?

Merci d'avance pour vos retours, Antoine

Hors ligne

 

#2 Wed 08 September 2021 12:14

PierreBrial
Membre
Date d'inscription: 28 Jan 2007
Messages: 22

Re: Location temps de calcul

Bonjour,

Si ce n'est pas indiscret, quelle type de traitement nécessite des temps aussi long ?

Vous pourriez tenter d'utiliser QGIS sur un poste Linux, en copiant les données à traiter sur un disque virtuel crée en mémoire vive.
Les accès sont plus rapides et cela limite l'usure des disques.

La création d'un disque virtuel se fait avec la commande suivante :

Code:

mkdir /tmp/ramdisk0
mount -t tmpfs -o size=2g tmpfs /tmp/ramdisk0/

Ajuster size en fonction des besoins. Le disque se trouve dans /tmp/ramdisk. Il faut bien sur copier les données ailleurs à la fin du traitement.

Hors ligne

 

#3 Wed 08 September 2021 14:23

antoine
Membre
Lieu: Toulouse
Date d'inscription: 13 Sep 2005
Messages: 37

Re: Location temps de calcul

Bonjour,

Il s'agit de modéliser les déplacements de la faune dans le paysage. Sur la base d'une occupation du sol avec des coefficients de friction variables suivant chaque occupation, on utilise les algo de grass r.drain et r.cost pour déterminer le chemin de moindre coût entre des points matérialisant, par exemple, les principaux espaces boisés d'une zone (une zone pouvant être un département entier !).
Tout ceci a été développé en python avec la version 2.14 de QGIS sous windows.

Le passage sur une machine linux a déjà été testé. Le problème est que l'on arrive pas, par manque de compétences et de temps, a porter ce code sur ubuntu parce que les librairies disponibles pour QGIS et grass dans ubuntu 16.04 ne correspondent pas à celles utilisées dans l'installeur de qgis 2.14 pour windows. Ceci fait que certaines modifications faites dans les algos de grass ne nous permettent pas d'aboutir au résultat attendu.

Nous sommes donc "condamnés" a rester dans un environnement Windows.

Antoine

Hors ligne

 

#4 Wed 08 September 2021 15:14

cquest
Membre
Date d'inscription: 6 Jan 2013
Messages: 679

Re: Location temps de calcul

Il faudrait déterminer où se trouve le goulot d'étranglement sur votre traitement sur votre matériel actuel: RAM, disque et/ou CPU (et réseau si il y a des accès non locaux)

Investir dans une station de travail plus adaptée peut être la solution et/ou un upgrade RAM et HDD > SSD (dont les prix ont sacrément baissé, 100€/To aujourd'hui)

Cela peut permettre de gagner un temps précieux, qui si on le valorise au taux horaire peut être vite amorti wink

Ceci dit, la dette technique (déjà présente), ne va faire qu'augmenter...


Christian Quest - @cq94 sur twitter
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de @opendatArchives, OpenEventDatabase

Hors ligne

 

#5 Wed 08 September 2021 16:13

antoine
Membre
Lieu: Toulouse
Date d'inscription: 13 Sep 2005
Messages: 37

Re: Location temps de calcul

cquest a écrit:

Il faudrait déterminer où se trouve le goulot d'étranglement sur votre traitement sur votre matériel actuel: RAM, disque et/ou CPU (et réseau si il y a des accès non locaux)

Investir dans une station de travail plus adaptée peut être la solution et/ou un upgrade RAM et HDD > SSD (dont les prix ont sacrément baissé, 100€/To aujourd'hui)

Cela peut permettre de gagner un temps précieux, qui si on le valorise au taux horaire peut être vite amorti wink

Ceci dit, la dette technique (déjà présente), ne va faire qu'augmenter...


Le goulet d'étranglement, c'est l'usage du disque. Il est monopolisé à 100%, il y a beaucoup d'écriture et de lecture puisque les résultats d'un algo servent en entrée du suivant.

J'ai regarder pour augmenter la RAM et passer en SSD, effectivement, c'est abordable.

Mais, comme je n'ai besoin que ponctuellement de ces capacités, je me demandais comment les louer.

OVH propose des instances en cloud public avec windows server à partir de 20 cts de l'heure (https://www.ovhcloud.com/fr/public-cloud/prices/#419). Est-ce que quelqu'un a déjà testé cela ?

Antoine

Hors ligne

 

#6 Tue 21 September 2021 16:21

antoine
Membre
Lieu: Toulouse
Date d'inscription: 13 Sep 2005
Messages: 37

Re: Location temps de calcul

Bonjour,

Finalement, je me suis "jeté à l'eau" !

Ayant un compte chez OVH, j'ai configuré une machine (instance) avec windows server 2012, 15 Go de RAM, 4 VCore et 100 Go SSD. La machine est accessible très facilement avec le bureau à distance. J'y ai installé les logiciels dont j'avais besoin : Qgis et Filezilla.
J'en ai fait une sauvegarde et à partir de celle-ci j'ai généré 4 instances identiques accessible avec des IP différentes pour y répartir les traitements en 4 lots.

Dans la vrai vie cela n'a pas été aussi simple, mais au final les instances ont tourné une petite semaine pour un coût un peu supérieur à 100 €.

Clairement, pour CE traitement, c'est LA solution. Après plusieurs tests, c'est vraiment la vitesse d'écriture sur le disque qui est le facteur limitant. En multipliant les machines, on multiplie aussi la vitesse d'écriture puisque elle travaillent toutes en même temps.

Depuis, j'ai supprimé les instances, elles ne sont plus facturées. J'ai peaufiné ma sauvegarde qui reste stockée chez OVH au prix de 1 ct/Go/mois HT. Et je n'aurai plus qu'à recréer X instances sur cette base pour réaliser le traitement sur un nouveau territoire.

J'ai donc bien loué du temps de calcul (Cf objet de ce post) et je pense que c'est une solution très intéressante pour réaliser des traitements SIG longs. On évite ainsi de monopoliser un PC et on a pas besoin d'investir dans de grosses bécanes que l'on utilise rarement à plein régime.

A bientôt, Antoine

Hors ligne

 

#7 Tue 21 September 2021 16:48

tevrard
Membre
Date d'inscription: 23 May 2016
Messages: 295

Re: Location temps de calcul

Merci du retour !

Hors ligne

 

Pied de page des forums

Powered by FluxBB

Partagez  |