Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considèrerons que vous acceptez l'utilisation des cookies. J'ai compris ! ou En savoir plus !.
banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Suite à un problème technique intervenu entre le 22 et le 23 mars, nous avons du procéder dans la soirée du 25 mars, à la restauration de la base de données du 24 mars (matinée).

En clair, nous avons perdu vos contributions et inscriptions du dimanche 24 et du lundi 25 mars.
Nous vous prions de nous excuser.

#1 Tue 24 May 2016 14:58

Venitien
Participant occasionnel
Date d'inscription: 12 Jul 2012
Messages: 11

Données INSEE DBF, un bête problème de base de données...

Bonjour,

J'ai récupéré la BD équipement sur le site de l'INSEE. Il s'agit d'un fichier .dbf contenant 2233341 enregistrements (lignes). Je souhaite extraire de cette base les quelques 30000 lignes concernant les trois départements sur lesquels je travaille.

Option n°1: Excel... mais il n'ouvre que les 1048576 premières lignes... et malheureusement tous mes enregistrements ne tombent pas dans cette portion de la table.

Option n°2: QGIS... mais quand j'importe mon fichier (préalablement convertit en .csv) grâce à l'outil "ajouter un couche de texte délimité", il ne charge que 878119 lignes

Option n°3: DBF Viewer Plus qui ouvre bien la base de donnée, mais je n'arrive pas à supprimer les enregistrements en trop, ou alors il faut que je les supprime ligne par ligne... ça risque d'être très très long.


Alors voilà, si quelqu'un a une astuce pour me faire avancer je vous en remercie par avance.

Bonne journée.

Hors ligne

 

#2 Tue 24 May 2016 15:05

Loic_GR
Moderateur
Lieu: Besancon
Date d'inscription: 12 May 2011
Messages: 1016
Site web

Re: Données INSEE DBF, un bête problème de base de données...

Bonjour,

1) Un petit test du logiciel FME (gratuit quelques jours). Ajout du reader csv + tester sur les départements et réécriture au format désiré
1bis) Test de l'outil Talend (Un ETL libre)
2) Couper le fichier avec notepad++ pour ouverture sous excel ou Libre Office
2 bis)  recsveditor => http://recsveditor.sourceforge.net/
3) Import du csv dans une base postgreSQL ou autre MySQL...

;-)

Dernière modification par heretik25 (Tue 24 May 2016 15:07)


Freelance traitements ETL FME certifié: www.sitdi-france.fr Twitter : @sitdifrance
Site perso ~ www.partir-en-vtt.com

Hors ligne

 

#3 Tue 24 May 2016 15:33

Venitien
Participant occasionnel
Date d'inscription: 12 Jul 2012
Messages: 11

Re: Données INSEE DBF, un bête problème de base de données...

Merci pour ta réactivité, je vais tester.

Hors ligne

 

#4 Tue 24 May 2016 15:55

Loic_GR
Moderateur
Lieu: Besancon
Date d'inscription: 12 May 2011
Messages: 1016
Site web

Re: Données INSEE DBF, un bête problème de base de données...

Avec plaisir wink


Freelance traitements ETL FME certifié: www.sitdi-france.fr Twitter : @sitdifrance
Site perso ~ www.partir-en-vtt.com

Hors ligne

 

#5 Tue 24 May 2016 18:24

sigPnrmcb
Participant actif
Lieu: Carentan-les-Marais
Date d'inscription: 4 Oct 2005
Messages: 65
Site web

Re: Données INSEE DBF, un bête problème de base de données...

Bonjour, il suffit de modifier la base de registre dans excel pour pouvoir attaquer le nombre de ligne voulu
dans google augmenter le nombre ligne excel ....)
Cordialement,
La


Sig PnrMCB

Hors ligne

 

#6 Wed 25 May 2016 18:40

Groflo
Participant actif
Date d'inscription: 3 Jun 2013
Messages: 84

Re: Données INSEE DBF, un bête problème de base de données...

sigPnrmcb a écrit:

Bonjour, il suffit de modifier la base de registre dans excel pour pouvoir attaquer le nombre de ligne voulu
dans google augmenter le nombre ligne excel ....)
Cordialement,
La


Alors là, j'avoue que je n'avais jamais vu ça avant ! Si effectivement ça fonctionne et permet d'ouvrir autant de lignes que l'on veut, sans bugs ou sans de trop gros ralentissements, c'est impressionnant.

Mais sinon, une alternative simple reste PowerPivot, pour ceux qui ont au moins Excel 2007 (il me semble, sinon 2010), et qui devrait permettre de gérer le bon nombre de lignes (et même de filtrer dès l'ouverture du fichier les lignes concernant les départements voulus).

Dernière modification par Groflo (Wed 25 May 2016 18:41)

Hors ligne

 

#7 Tue 31 May 2016 00:06

CRIGBAB
Participant assidu
Lieu: Bayonne
Date d'inscription: 14 Nov 2005
Messages: 180

Re: Données INSEE DBF, un bête problème de base de données...

Bonsoir,

Si vous avez Mapinfo quelque part pas trop de limitation et sélection très simple, et rapide si champs indexés. Mais il faut MapInfo....

Cdt

Hors ligne

 

Pied de page des forums

Powered by FluxBB