Annonce
#1 Wed 02 June 2010 08:56
- Sam_Dalembert
- Participant actif
- Lieu: Mérignac
- Date d'inscription: 5 Aug 2009
- Messages: 121
Problème reprojection très gros fichier
Bonjour,
J'essaye de reprojeter un très gros fichier ECW (2.6Go).
J'ai essayé en ECW directement, mais il me met qu'il y a un problème de mémoire. J'ai donc essayé en TIFF, mais là FME a un comportement très bizarre, après avoir plutôt bien démarré, il est de plus en plus lent...
0-1%: 38min | 38min --> 63h estimées
1-2%: 49min | 87min --> 72h estimées
2-3%: 47min | 134min --> 74h estimées
3-4%: 240min| 374min --> 156h estimées
4-5%: 380min | 756min --> 252h estimées
5-6%: 450min | 1200min --> 333h estimées
Enfin bref là j'ai arrêté le traitement, sinon en 2040 j'y suis toujours 
Quelqu'un a déjà eu ce problème ?
Merci.
Hors ligne
#2 Wed 02 June 2010 09:31
- Pierre
- DesCartesPourUnMondeMeilleur
- Date d'inscription: 22 Sep 2005
- Messages: 1643
Re: Problème reprojection très gros fichier
Bonjour,
Avez-vous parcouru ce sujet ou encore ce fil de discussion sur le google group de FME ?
Il y est préconisé, notamment d'adapter le répertoire des fichiers temporaires (variable path FME_TEMP, FME_TMP).
Cordialement,
art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.
Hors ligne
#3 Wed 02 June 2010 09:39
- Sam_Dalembert
- Participant actif
- Lieu: Mérignac
- Date d'inscription: 5 Aug 2009
- Messages: 121
Re: Problème reprojection très gros fichier
Bonjour,
Le sujet georezo oui je l'avais vu, j'avais d'ailleurs redirigé le répertoire temporaire, donc de ce côté-là, pas de souci. Pour l'autre j'avais vu aussi, mais je ne sais pas trop en quoi il peut m'aider. Un utilisateur parle de "Max Features in memory per Transformer" ?
Enfin sachant que je n'ai que 2Go de RAM, je ne sais pas si le problème peut être résolu...
Hors ligne
#4 Wed 02 June 2010 09:59
- Pierre
- DesCartesPourUnMondeMeilleur
- Date d'inscription: 22 Sep 2005
- Messages: 1643
Re: Problème reprojection très gros fichier
A priori, même avec 1Gb de Ram on peut reprojeter votre fichier. Ce qui compte c'est l'écriture du fichier temporaire. Etes-vous sûr que l'espace pour ce fichier soit suffisant ?
art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.
Hors ligne
#5 Wed 02 June 2010 10:08
- Sam_Dalembert
- Participant actif
- Lieu: Mérignac
- Date d'inscription: 5 Aug 2009
- Messages: 121
Re: Problème reprojection très gros fichier
Oui, 473Go disponibles...
Le message est le suivant (pour l'ECW) :
"2010-06-02 10:13:58| 17.0| 0.0|FATAL |Insufficient memory available -- error code was 2 - please read the FME Help section 'Adjusting Memory Resources' for workarounds.
Out of memory. Program terminating. Please read the FME Help section 'Adjusting Memory Resources' for workarounds.
"
Dernière modification par Sam_Dalembert (Wed 02 June 2010 10:15)
Hors ligne
#6 Wed 02 June 2010 15:09
Re: Problème reprojection très gros fichier
Déjà, il faut oublier l'écriture au format TIFF. Celui-ci est limité à 4 Go.
Votre fichier d'origine pesant 2.6 Go au format ECW, il correspond à un TIFF de 26Go minimum.
FME supporte l'option BigTiff mais il faut que votre logiciel puisse lire ce format.
Les conseils de Safe :
Avoir 4 Go de mémoire sur sa machine et activer l'option 3GB Switch cf. :
http://www.fmepedia.com/index.php/Using … h_with_FME
Essayer de découper le traitement en trois parties pour limiter l'usage de la mémoire :
Décompression avec une conversion ECW->FFS
Reprojection FFS->FFS
Compression FFS->ECW
Le paramètre "Max Features in memory per Transformer" n'est plus disponible depuis FME 2009.
En revanche pour les bidouilleurs, il doit être possible de modifier (ou de créer) une MOT-CLE :
FME_ENGINE_MEMORY_REDLINE <percentage>
par exemple
FME_ENGINE_MEMORY_REDLINE 20
dans Options->Editer l'en-tête de FME Workbench
Une faible valeur de pourcentage va forcer FME à utiliser plus de disque et moins de mémoire.
Il s'agit d'une option de FME Server à tester sur FME
Cette option est décrite http://docs.safe.com/fmeserver/pdf/FMES … nGuide.pdf
Attention à l'espace disque pour le répertoire temporaire :
http://www.fmepedia.com/index.php/FME_T … l_variable
Alternative à toute ces méthodes : Avoir beaucoup de RAM (> 4Go), une machine et un OS 64 bits et installer FME 64 bits.
Hors ligne
#7 Wed 02 June 2010 16:55
- Sam_Dalembert
- Participant actif
- Lieu: Mérignac
- Date d'inscription: 5 Aug 2009
- Messages: 121
Re: Problème reprojection très gros fichier
Merci pour les conseils, mais ça me paraît bien compliqué, de bidouiller une variable ou convertir, reprojeter et reconvertir...
Je vais me contenter de GDAL en nearest (vu que pour une raison inconnue le bicubique ne passe pas).
Merci quand même.
Hors ligne
