Annonce
Pages: 1
- Sujet précédent - Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL - Sujet suivant
#1 Mon 11 October 2010 13:52
- aquila96
- Participant occasionnel
- Lieu: Turku
- Date d'inscription: 11 Dec 2009
- Messages: 21
Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Bonjour a toutes et tous,
Je dispose d'environ 9000 dalles tiff (~10 Go) que je souhaite combiner en une ou deux image .ecw
J'ai donc applique la procedure suivante
1/ cree un fichier txt listant les tif a merger (fait sous R car je bosse pas mal sous cet environnement)
2/ cree un vrt avec gdalbuildvrt -input_file_list C:\listGEM.txt C:\GE.vrt (verifie avec gdalinfo pour etre sur qu'il n'y ait pas eu de pb)
3/ essaye de sortir l'ECW avec gdal_translate -of ECW -co LARGE_OK=YES -co TARGET=90 C:\GE.vrt C:\Merged.ecw
Le truc completement incomprehensible, c'est que ca passe sans souci pour les 3900 premiers tiff.
J'ecris ensuite un deuxieme fichier txt pour la suite (meme nombre de tiff en entree) et la, c'est n'importe quoi. Le processus se bloque a 20 ou 30 % selon les cas, sans message d'erreur. J'ai fait un acte de foi vendredi dernier et je l'ai laisse tourner tout le week end sans que ca avance d'un pouce apres les 30 %.
J'obtiens la meme chose que ce soit avec ma station de travail au labo (windows 7) ou mon portable (Ubuntu Lucid). J'ai essaye de bidouiller la memoire allouee au processus mais sans succes (avec GDAL_CACHEMAX et GDAL_ECW_CACHE_MAXMEM)
Je n'y comprends vraiement rien donc je suis preneur des idees les plus folles !!!
D'avance merci
Alex
P.S.: desole pour les accents mais le clavier finlandais est... different
Dernière modification par aquila96 (Mon 11 October 2010 13:53)
Alexandre Villers, Postdoc researcher
Spatial ecologly and population dynamics
Section Ecology, University of Turku, 20014 Turku
Hors ligne
#2 Mon 11 October 2010 14:37
- rouault
- Participant assidu
- Date d'inscription: 26 Apr 2009
- Messages: 166
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Effectivement si tu ne l'avais pas mentionné, j'aurais dit d'aller bidouiller du côté de GDAL_ECW_CACHE_MAXMEM. Attention à ne pas le mettre à une valeur au dessus de 2 GO si on veut que ça soit pris en compte.
Sinon essaye de couper ta 2ème liste en 2 et/ou de convertir vers un TIFF pour voir s'il s'agit d'un fichier en entrée en particulier qui pose problème.
Hors ligne
#3 Mon 11 October 2010 14:54
- aquila96
- Participant occasionnel
- Lieu: Turku
- Date d'inscription: 11 Dec 2009
- Messages: 21
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Merci pour la reponse...
Je n'avais pas essaye de pousser autant le GDAL_ECW_CACHE_MAXMEM... Jai fait un essai a 1.5 Go mais sans plus de succes. Je vais me tourner vers un test de toutes les images pour verifier qu'il n'y en a pas une qui pose probleme.
Mais je reste quand meme surpris de ne pas recevoir une erreur de la part de GDAL ou de mon systeme qui me dise: "tu as les yeux plus gros que le ventre, pas assez de memoire"
Je posterai le resultat de ces tests...
Alexandre Villers, Postdoc researcher
Spatial ecologly and population dynamics
Section Ecology, University of Turku, 20014 Turku
Hors ligne
#4 Mon 11 October 2010 15:56
- rouault
- Participant assidu
- Date d'inscription: 26 Apr 2009
- Messages: 166
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Es-tu sûr qu'il s'agisse d'un problème mémoire au fait ? As tu surveillé la taille du process ?
Quand les cas d'erreurs sont anticipés, les logiciels peuvent être explicites dans leurs messages. Par contre si tu tombes sur un cas d'erreur non prévu, là il ne faut pas s'attendre à des miracles ;-) En particulier le problème est - peut être - dans le SDK ECW lui même, donc encore moins maîtrisable. Mais difficile de se prononcer sans plus d'éléments.
Hors ligne
#5 Sat 23 October 2010 20:35
- aquila96
- Participant occasionnel
- Lieu: Turku
- Date d'inscription: 11 Dec 2009
- Messages: 21
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Bonsoir,
J'ai du mettre de côté ce petit souci mais j'ai un peu de temps ce soir alors je me replonge dedans. J'ai d'abord tester les 9000 images avec gdalinfo pour vérifier qu'il n'y avait pas de souci avec l'une d'entre elles: résultats négatifs. Sur les conseils d'un ami, j'ai créé un .VRT comprenant toutes les images et utilisé gdal_translate en spécifiant le -projwin approprié mais je me retrouve avec le même problème: à 32.5 %, ça n'avance plus (et gdal n'écrit plus rien dans le dossier où il est censé bosser).
La mémoire est à 134.7 Mo ce qui doit être la mémoire par défaut allouée à gdal_translate et le processeur semble mouliner (mais sans vraiment mouliner visiblement).
Je vais tenter d'augmenter la mémoire allouée en regardant ce que ça donne côté gestion des processus...
Toute idée est bienvenue !
P.S.: jusqu'à 30%, aucun souci de mémoire (avec CACHEMAX à 800, ça ne monte pas au dessus de 250 Mo). Après le processeur se met à vouloir turbiner visiblement... et plus rien n'est écrit sur les ecw temporaires... Je vais le laisser la nuit pour voir si ça progresse...
Dernière modification par aquila96 (Sat 23 October 2010 20:58)
Alexandre Villers, Postdoc researcher
Spatial ecologly and population dynamics
Section Ecology, University of Turku, 20014 Turku
Hors ligne
#6 Sun 24 October 2010 07:26
- aquila96
- Participant occasionnel
- Lieu: Turku
- Date d'inscription: 11 Dec 2009
- Messages: 21
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Bon, j'ai relancé le processus et attendu. Ca avance, mais très lentement (20% en 11 heures), ce qui je suppose n'est pas vraiment normal... mais tant que ça avance...
Ca restera un mystère
Alexandre Villers, Postdoc researcher
Spatial ecologly and population dynamics
Section Ecology, University of Turku, 20014 Turku
Hors ligne
#7 Sun 24 October 2010 21:05
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
C'est quoi le volume de tes données ?
Ça prend vraiment beaucoup de temps la création d'ecw, c'est normal ...
Exemple : 17 go en dalle unique => 5 jours
Hors ligne
#8 Sun 24 October 2010 21:15
- aquila96
- Participant occasionnel
- Lieu: Turku
- Date d'inscription: 11 Dec 2009
- Messages: 21
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Ok... dans ce cas-là... mais les 3 Go que j'avais mergé avant se font en 20 mn et les 3 que je merge en ce moment sont à 80 % en 24 heures... La différence est tout même énorme avec avec le même nombre de dalles en entrée...
Merci pour l'info en tous les cas
A plus
P.S.: on dirait RESOLU alors... il n'y avait pas vraiment de problèmes
Alexandre Villers, Postdoc researcher
Spatial ecologly and population dynamics
Section Ecology, University of Turku, 20014 Turku
Hors ligne
#10 Sun 24 October 2010 23:54
- aquila96
- Participant occasionnel
- Lieu: Turku
- Date d'inscription: 11 Dec 2009
- Messages: 21
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
environ 10000 au total que j'ai séparées en 3 images...
Alexandre Villers, Postdoc researcher
Spatial ecologly and population dynamics
Section Ecology, University of Turku, 20014 Turku
Hors ligne
#11 Mon 25 October 2010 12:22
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Ben au final vu le nombre d'image ça me semble normal comme temps de traitement ....
En fait ce qui prend du temps c'est le ré-échantillonnage aux abords de chaque dalle pour avoir une plus grande dalle au couleurs homogènes !
Dernière modification par Sylvain33 (Mon 25 October 2010 12:22)
Hors ligne
#12 Mon 25 October 2010 12:34
- aquila96
- Participant occasionnel
- Lieu: Turku
- Date d'inscription: 11 Dec 2009
- Messages: 21
Re: Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL
Merci pour ces infos... Un probleme qui n'en etait pas un finalement. Ca donne un tour poetique a la creation d'ECW: il faut prendre son temps...
Alexandre Villers, Postdoc researcher
Spatial ecologly and population dynamics
Section Ecology, University of Turku, 20014 Turku
Hors ligne
Pages: 1
- Sujet précédent - Problemes lors de la conversion de dalles GTiff en deux .ecw avec GDAL - Sujet suivant
