Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considèrerons que vous acceptez l'utilisation des cookies. J'ai compris ! ou En savoir plus !.
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Suite à un problème sur notre serveur une intervention a été planifiée ce  matin. La coupure, qui ne devait pas exéder 5 mn, a duré plus longtemps que prévu. L'intervention consistait à l'augmentation de l'espace disque (GeoRezo prend un peu plus de place en viellissant). Malheureusement, le serveur se faisant vieux, quelques soucis ont eu lieu.

Nous avons procédé à un gros nettoyage d'automne : augmentation de l'espace disque, mise à jour des certificats SSL pour l'utilisation des  urls en https, upgrade d'Apache et autres outils nécessaire au bon fonctionnement.

Notre volonté à long terme est de consolider la plateforme GeoRezo et nous accueillons toutes personnes intéressées pour nous aider (technologies utilisées : drupal, docker, MySQL, git, etc.) Si vous désirez contribuer à un projet dynamique et apprendre de nouvelles choses, contactez nous !

L'équipe GeoRezo

#1 mer. 24 mai 2017 10:45

Romary
Membre
Lieu: Epinal
Date d'inscription: 17 juin 2011
Messages: 153

[PostgreSQL 9.3] sauvegarde table très grosse

Bonjour,

Je souhaite sauvegarder une table géographique comprenant 14 millions de lignes. J'estime le temps à plus d'une journée si je le fais par un pg_dump brut.
Si je la lance telle quelle, je vais saturer mon serveur, bloquer les utilisateurs de mon site et je ne suis pas sûr qu'elle aboutisse.

Y a-t-il un moyen de sauvegarder en plusieurs temps? Vu que c'est une table contenant une quinzaine de départements, je pensais travailler département par département en faisant une requête sur le code dep.
Est-ce possible de faire un dump d'un requête sql?

cordialement,
Romary

Hors ligne

 

#2 mer. 24 mai 2017 11:18

jmarsac
Membre
Lieu: NICE
Date d'inscription: 26 oct. 2005
Messages: 212
Site web

Re: [PostgreSQL 9.3] sauvegarde table très grosse

Romary a écrit:

Bonjour,

Je souhaite sauvegarder une table géographique comprenant 14 millions de lignes. J'estime le temps à plus d'une journée si je le fais par un pg_dump brut.
Si je la lance telle quelle, je vais saturer mon serveur, bloquer les utilisateurs de mon site et je ne suis pas sûr qu'elle aboutisse.

Y a-t-il un moyen de sauvegarder en plusieurs temps? Vu que c'est une table contenant une quinzaine de départements, je pensais travailler département par département en faisant une requête sur le code dep.
Est-ce possible de faire un dump d'un requête sql?

cordialement,
Romary

Sur quelle base fondez-vous votre estimation ?

Vous pourriez planifier la sauvegarde sur une période où le serveur est peu sollicité (nuit, week-end...)


Jean-Marie

Hors ligne

 

#3 mer. 24 mai 2017 11:57

Loic_GR
Moderateur
Lieu: besancon
Date d'inscription: 12 mai 2011
Messages: 830
Site web

Re: [PostgreSQL 9.3] sauvegarde table très grosse

Bonjour,

Une autre solution qui je pense jouable est le fait de télécharger le dossier data de postgresql chez vous pour ensuite remonter la base à partir de ces fichiers.

Sinon un script sql/ETL copiant petit à petit sur un autre serveur la table en question.

https://www.phpro.org/tutorials/Restore … Files.html

Bon courage smile

Dernière modification par heretik25 (mer. 24 mai 2017 21:59)


Site perso ~ www.partir-en-vtt.com Site pro ~ www.sigogne.org
Freelance traitements ETL FME : www.sitdi-france.fr Twitter : @sitdifrance

Hors ligne

 

#4 mer. 24 mai 2017 13:56

Romary
Membre
Lieu: Epinal
Date d'inscription: 17 juin 2011
Messages: 153

Re: [PostgreSQL 9.3] sauvegarde table très grosse

Merci pour vos réponses.
Je base mon estimation sur un export d'une table de 9000 lignes pour laquelle j'ai fait mon essai.
Je ne peux risquer de lancer une telle requête même le we.

Je n'ai pas accès au système de fichier du serveur car ce dernier est géré par le prestataire.
Je vais donc voir du côté de la solution sql/ETL.

Cordialement,
Ry

Hors ligne

 

#5 mer. 24 mai 2017 13:57

Nicolas Ribot
Moderateur
Lieu: Toulouse
Date d'inscription: 9 sept. 2005
Messages: 1015

Re: [PostgreSQL 9.3] sauvegarde table très grosse

Bonjour,

Une table de 14M de lignes devrait se dumper rapidement: qq minutes, heure max.
La base n'est pas bloquée par un dump: les autres utilisateurs pourront continuer a travailler, et la commande aboutira forcément, sauf si le disque sur lequel vous dumpez est plein.

Nicolas

Hors ligne

 

#6 mer. 24 mai 2017 17:04

Romary
Membre
Lieu: Epinal
Date d'inscription: 17 juin 2011
Messages: 153

Re: [PostgreSQL 9.3] sauvegarde table très grosse

Effectivement la base n'est pas bloquée mais je voulais plutôt dire que les ressources du serveur (partagé qui plus est) risquent d'être diminuées. Par ailleurs la sauvegarde ne se fait pas sur le serveur mais doit passer par les tuyaux du net pour arriver sur mon poste...

Je pense que je ferai un dump d'une vue qui filtre ma table. je ferai évoluer cette vue et réaliserai un dump à chaque fois. Sauf s'il y a mieux.

Ry

Dernière modification par Romary (ven. 26 mai 2017 11:11)

Hors ligne

 

#7 lun. 29 mai 2017 15:26

Romary
Membre
Lieu: Epinal
Date d'inscription: 17 juin 2011
Messages: 153

Re: [PostgreSQL 9.3] sauvegarde table très grosse

Finalement comme l'a indiqué Nicolas Ribot, le dump n'a finalement pas duré très longtemps (30min).
Merci de vos conseils efficaces.

Ry

Hors ligne

 

Pied de page des forums

Powered by FluxBB

Partagez  |