Le portail francophone de la géomatique

Vous trouverez la syntheses des reponses recues suite a la question posee sur le stockage et la compression de bases raster.

STOCKAGE :

* Bases raster stockees sur une tour de disque 4 x 30 giga. Directement liee a la machine de consultation sans passer par le reseau de l'entreprise. Consultation des rasters avec des bibliotheques d'images sous ArcInfo.

* Snapserver http://www.snapserver.com. C'est juste de l'espace disk en reseau. Temps d'installation 20 min en lisant la doc. Un modele 300Gb fonctionne en RAID 5 (donc un peu plus sur qu'un simple disk dur) mais coute dans les 40kF (de memoire). Vu la taille c'est presque transportable aisement. Les gros avantages par rapport a un JuxBox de CDROM sont :
-rapidite d'acces et d'ecriture (depend en partie du reseau)
-faible encombrement - facilite de mise en place
-fiabilite

* Armoire a plan. Je connais la solution de Dia-log (03 84 80 06 10) que j'ai vue au Syndicat du Bassin d'Arcachon (demander le bureau de dessin 05 57 52 74 74) et qui m'a paru performante (30 kF je crois).

* Pour le stockage du SCAN 25 IGN France entiere qui est distribue sur l'atlas du RNDE (90 Go), on a : 1 Compaq PROLIANT ML530 Pentium III Xeon, 4 Disques ULTRA 3 SCSI de 36.4 Go, Windows NT 4, 1 Go de RAM (je crois). L'extraction des donnees se fait par un algorithme maison developpe par Generale d'Infographie. Un shape catalogue donne l'emprise des dalles et l'endroit ou elles se trouvent. (Entre 5000 et 6000 dalles de 16 Mo reparties dans une centaine de repertoires).http://www.rnde.tm.fr/fr/ls/lsgen.jsp

* Nous avons ete recemment confrontes a ce probleme pour des capacites un peut plus importantes (1To). Nous avons opte pour un serveur de type NAS multiplateforme et tres evolutif avec un haut niveau de securite et de disponibilite des donnees. Cependant ce type de solution chez les principaux constructeurs (EMC2, NETAPP, AUSPEX) reste chere (a partir de 400 Kf). Si le volume de votre base est stable et inferieure a 100Go je vous conseille le montage Raid de disques de 35 Go dans une baie externe ou si 75 Go vous suffisent, un seul disque de 75Go en interne.

COMPRESSION :

ECW
* Developpe par l'editeur du logiciel ER-Mapper. Ce format est lisible facilement depuis les logiciels : ER-Mapper, Autocad map, Arcview, Mappinfo, Geoconcept, Iexplorer, Photoshop. Le facteur de compression sur des dalles IGN peut aller jusqu'a 20 avec tres peu de pertes d'information. Le compresseur ECW est a un prix abordable (que je ne connais plus)

* Ce format permet une importante compression de fichiers sans perte de qualite (ou alors si legere que difficilement visible). J'ai par exemple effectue un test sur une orthophoto, et je suis passe de 370 Mo en Tiff a 14Mo en ECW. Je ne sais pas quel est le format de votre base, mais il existe un certain nombre de convertisseurs gratuits, que vous trouverez sur le site http://www.ermapper.com/ . Vous y trouverez de plus un visualiseur a telecharger, qui pourrait vous permettre de tester cette solution. Des plug-in pour differents logiciels (SIG entre autres) y sont egalement disponibles. Par contre il me semble qu'ERMapper commercialise un logiciel complet qui permet par exemple de mosaiquer des images, ce que ne permettent pas les freeware proposes.

* Pour des donnees (un peu moins volumineuses certes encore que) du type scan ou ortho, on utilise de plus en plus des compression de type ECW, ce qui permet une compression d'un facteur 2 environ pour du scan (beaucoup d 'aplats) et d'un facteur 30 pour une ortho !! Avantage de ce format : les plug in de lecture sont gratuits et marchent sur Mapinfo, Arcview et la suite bureautique microsoft (comment ouvrir un fichier du scan 25 de la region centre, soit 2 Go sous Word !!). Par aillerus, la compression de fichier de moins de 500 Mo est gratuite.Voir le site Internet d'ERMAPPER.

* Vous pouvez utiliser un logiciel tel que Er Mapper, ou eventuellement lemoteur de compression (limite en taille mais gratuit sur le site de digitech international). Il permet de travailler sur des formats ultra compresses, superieurs au JPEG. Il permet aussi de n'enregistrer que des algorithmes d'affichage permettant d'exploiter des vues differentes a partir d'une meme base de donnees Raster.

* Compression a ondelettes avec perte de type ECW (gain plus ou moins important en fonction de la degradation acceptee). Cette solution necessite un outil pour la compression proprietaire ou d'avoir recours a un sous-traitant pour l'operation et verifier que vos outils acceptent la compression

* Format, en effet permet de realiser des gains en terme de stockage mais egalement et peut-etre surtout en terme d'affichage puisque sa lecture se fait via des plug-ins dans presque tous les logiciels SIG, CAO, DAO et meme Office. Les pertes liees a la compression sont assez faibles et largement compensees par la rapidite d'acces a la donnee.Toutefois voici quelques aspects a ne pas negliger concernant l'usage des freewares : le compresseur gratuit permet de compresser des fichiers de tailles inferieures a 500 Mo, la plupart des utilisateurs de donnees ont aujourd'hui quelques centaines, voir quelques milliers de tuiles a compresser, il est donc fastidieux voir rebarbatif de compresser toutes les tuiles. De plus la gestion d'une centaines de fichiers reste toujours aussi delicat. Par ailleurs, le format ECW presente l'avantage de conserver le georeferencement ce qui evite la creation de fichiers TFW ou TAB ou TXT et le compresseur gratuit ne permet pas de georeferencer les tuiles.

MrSid

* Format MrSid de la societe Lyzzardtech
- Comportement moins bon a la compression
- prix plus eleve
- lisible seulement depuis les produits ESRI (il me semble)
- politique globale de l'editeur beaucoup moins ouverte que l'editeur d'ER-Mapper

* J'ai eu entre les mains des cartes scannees au format SID, le facteur de compression est tres impressionnant. Voyez le lien suivant pour plus d'infos. http://www.lizardtech.com/products/mrsid.html

* Compression a ondelettes avec perte de type MrSID (gain plus ou moins important en fonction de la degradation acceptee). Cette solution necessite un outil pour la compression proprietaire ou d'avoir recours a un sous-traitant pour l'operation et verifier que vos outils acceptent la compression. Pour information, l'agence de l'eau Loire Bretagne travaillant avec des outils ESRI a compresse ces donnees raster au format MrSID.

LZW

* Compression type LZW sans perte (gain 50%). Cette solution necessite un outil pour la compression - nous utilisons leadTools - et payer une licence Unysis pour la decompression avec vos outils s'il le peuvent.

Norme JPEG2000

* ISO Informatique, societe specialisee en imagerie geographique et GED. Nous travaillons depuis 3 ans sur ce sujet avec SPOT IMAGE pour la consultation d'images de tres grande taille (100 MO, 1 Go et +) dans une base d'images de taille illimitee. Nous disposons maintenant d'outils de creation des images comprimees (JPEG2000) et des outils de consultation (par internet, intranet ou en local). Les temps de consultation sont totalement independants de la taille des images et de leur nombre : 2 a 3 secondes en local pour obtenir une vue globale de l'image (basse definition), et une reaction immediate (2 a 3 sec) lors des deplacements et zooms. Les outils de creation permettent de creer les mosaiques d'images georeferencees (cartes raster a plusieurs echelles, images satellite, photos aeriennes, images vecteur au nouveau format SVG,...). L'objectif de nos clients est de pouvoir consulter des images a haute resolution sur le monde entier par internet par modem. Contact au 04 42 24 51 42

SOUS WINDOWS NT

* compression systeme sous Windows NT (gain 30 a 40%)

DOCUMENTATION :

* Je vous recommande la lecture de cette page de l'EPFL consacree aux SIG et a la compression d'image (analyse du probleme, comparaison des methodes, solution, adresses utiles).
http://sawww.epfl.ch/SIC/SA/publication … page3.html

Bonnre journee

William GUERIN
Agence de l'Eau Artois-Picardie