banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Pages: 1

 

#1 Thu 25 May 2017 11:37

linareja
Juste Inscrit !
Date d'inscription: 24 May 2017
Messages: 1

Création compte pour télécharger données SIRENE

Bonjour a tou.te.s,

Je m'excuse d’abord pour mes fautes d’orthographe.

Je veux constituer une liste de données SIRENE (http://www.sirene.fr/sirene/public/creation-fichier) à télécharger mais j'arrive pas à créer un compte, il y a toujours une erreur à la fin.

Este ce que quelqu’un d'entre vous a eu le même problème?

Merci d'avance.

Lina

Lien:

http://www.sirene.fr/sirene/public/inscription-fichier

Hors ligne

 

#2 Fri 26 May 2017 07:56

yopyop25
Participant actif
Lieu: besançon
Date d'inscription: 2 Jun 2008
Messages: 144

Re: Création compte pour télécharger données SIRENE

Bonjour,

La base SIRENE est téléchargeable ici https://www.data.gouv.fr/fr/datasets
Elle est en open data depuis cette année.
Vous pourrez reconstituer votre liste à partir du fichier complet. Attention, il existe un fichier complet et un fichier uniquement des mises à jour chaque mois.

Yohan

Hors ligne

 

#3 Mon 29 May 2017 09:16

FPNO
Participant actif
Date d'inscription: 24 Oct 2013
Messages: 141

Re: Création compte pour télécharger données SIRENE

Bonjour

Vous pouvez avoir également un découpage par département ici : http://212.47.238.202/geo_sirene/last/

Cordialement

Franck

Hors ligne

 

#4 Wed 05 July 2017 10:42

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

Salut,

je tente dimporter le fichier de la base SIRENE dans postgresql avec

SET client_encoding = 'LATIN1';
COPY sirene FROM '/var/sirc-17804_9075_14209_201705_L_M_20170601_024542286.csv'  CSV HEADER delimiter ','  null '';


Mais j'ai un message d'erreur État SQL :42P01

Je suppose que c'est une histoire de \n et de \r qu'il faut supprimer mais comment faire ? Excel refuse d'ouvrir le fichier car trop gros (8 GO)
je souhaite tout prendre en compte et franchement le systeme de telechargement partiel sur le site n'est franchement pas pratique et très limitant

Merci d'avance

Hors ligne

 

#5 Wed 05 July 2017 11:36

Loic_GR
Moderateur
Lieu: Besancon
Date d'inscription: 12 May 2011
Messages: 1024
Site web

Re: Création compte pour télécharger données SIRENE

Bonjour @owlapps

Notepadd++ risque de faire la tête également, peut être ultraedit et encore.

Sinon FME devrait s'en sortir sans trop de problème.

@+

Freelance traitements ETL FME certifié: www.sitdi-france.fr Twitter : @sitdifrance
Site perso ~ www.partir-en-vtt.com

Hors ligne

 

#6 Wed 05 July 2017 12:17

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

quand je telecharge partiellement avec http://212.47.238.202/geo_sirene/last/
je n'ai rien quand je décompresse le fichier (dep 94, 95), ca fait pareil chez vous ?

Hors ligne

 

#7 Wed 05 July 2017 12:26

FranckG
Participant actif
Date d'inscription: 2 Apr 2010
Messages: 104

Re: Création compte pour télécharger données SIRENE

ça marche bien chez moi, les deux fichiers sont OK.
Un problème avec 7zip ?

Hors ligne

 

#8 Wed 05 July 2017 12:40

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

FranckG a écrit:

ça marche bien chez moi, les deux fichiers sont OK.
Un problème avec 7zip ?


ca doit etre le decompresseur qui compresse trop...
finalement j'ai ouvert le fichier avec libreoffic calc, refait un import qui est lent très lent (dep 94), je vais retenter avec un fichier de qlqs lignes seulement pour voir
mais apparemment il ne s'agirait pas d'un probleme de  \n et de \r plutot carrément un probleme de taille de fichier à importer dans postgresql !
je vais etudier la question d'un ETL comme talend

Hors ligne

 

#9 Wed 05 July 2017 13:35

Franck B
Membre
Lieu: PACA
Date d'inscription: 6 Sep 2005
Messages: 1382
Site web

Re: Création compte pour télécharger données SIRENE

Bonjour,

Ce sujet a été abordé ici :  PostgreSQL : import et traitement d'un "gros" CSV

Franck

Hors ligne

 

#10 Thu 06 July 2017 09:29

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Re: Création compte pour télécharger données SIRENE

Etonnant ces problèmes d'import de CSV dans postgres, je ne suis jamais tombé dessus (sous linux) pourtant je manipule des fichiers bien plus lourd qu'un extrait départemental de SIRENE.

Je n'utilise par contre pas COPY mais \COPY et indique l'encodage dans les options

\COPY matable FROM monfichier WITH (format csv, header true, encoding 'iso8859-1', delimiter ';')


Pour info, le stock au 1/7/2017 a été géocodé cette nuit et est dispo comme d'habitude sur http://212.47.238.202/geo_sirene/last

Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#11 Wed 12 July 2017 16:48

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

cquest a écrit:

\COPY matable FROM monfichier WITH (format csv, header true, encoding 'iso8859-1', delimiter ';')


Comment executez-vous votre code ?
Je tente de l'executer depuis l'éditeur de requêtes de pgadmin mais j'ai des retours d'erreurs ! :-/

Hors ligne

 

#12 Wed 12 July 2017 21:24

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Re: Création compte pour télécharger données SIRENE

owlapps a écrit:
cquest a écrit:

\COPY matable FROM monfichier WITH (format csv, header true, encoding 'iso8859-1', delimiter ';')


Comment executez-vous votre code ?
Je tente de l'executer depuis l'éditeur de requêtes de pgadmin mais j'ai des retours d'erreurs ! :-/


Je n'utilise pas pgAdmin, mais uniquement psql en ligne de commande... ce qui permet de scripter toutes les opérations pour que les traitement soient reproductibles de A à Z.

Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#13 Mon 31 July 2017 10:04

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

bon, c'est surtout qu'il faut déjà que les champs soient présents dans la table de réception,
pour ceux que ca intéresse voilà la requête de création de la table pour Postgresql inspirée
par https://marmelab.com/blog/2017/01/09/si … t-sql.html :

Code:

CREATE TABLE entreprises (
    SIREN character varying, -- Identifiant de l’entreprise 
    NIC character varying, -- Numéro interne de classement de l’établissement 
    L1_NORMALISEE character varying, -- Première ligne de l’adresse normalisée de l’établissement 
    L2_NORMALISEE character varying, -- Deuxième ligne de l’adresse normalisée de l’établissement 
    L3_NORMALISEE character varying, -- Troisième ligne de l’adresse normalisée de l’établissement 
    L4_NORMALISEE character varying, -- Quatrième ligne de l’adresse normalisée de l’établissement 
    L5_NORMALISEE character varying, -- Cinquième ligne de l’adresse normalisée de l’établissement 
    L6_NORMALISEE character varying, -- Sixième ligne de l’adresse normalisée de l’établissement 
    L7_NORMALISEE character varying, -- Septième ligne de l’adresse normalisée de l’établissement 
    L1_DECLAREE character varying, -- Première ligne de l’adresse déclarée de l’établissement 
    L2_DECLAREE character varying, -- Deuxième ligne de l’adresse déclarée de l’établissement 
    L3_DECLAREE character varying, -- Troisième ligne de l’adresse déclarée de l’établissement 
    L4_DECLAREE character varying, -- Quatrième ligne de l’adresse déclarée de l’établissement 
    L5_DECLAREE character varying, -- Cinquième ligne de l’adresse déclarée de l’établissement 
    L6_DECLAREE character varying, -- Sixième ligne de l’adresse déclarée de l’établissement 
    L7_DECLAREE character varying, -- Septième ligne de l’adresse déclarée de l’établissement 
    NUMVOIE character varying, -- Numéro dans la voie 
    INDREP character varying, -- Indice de répétition 
    TYPVOIE character varying, -- Type de la voie de localisation de l’établissement 
    LIBVOIE character varying, -- Libellé de la voie de localisation de l’établissement 
    CODPOS character varying, -- Code postal 
    CEDEX character varying, -- Code Cedex 
    RPET character varying, -- Région de localisation de l’établissement 
    LIBREG character varying, -- Libellé de la région 
    DEPET character varying, -- Département de localisation de l’établissement 
    ARRONET character varying, -- Arrondissement de localisation de l’établissement 
    CTONET character varying, -- Canton de localisation de l’établissement 
    COMET character varying, -- Commune de localisation de l’établissement 
    LIBCOM character varying, -- Libellé de la commune de localisation de l’établissement 
    DU character varying, -- Département de l’unité urbaine de la localisation de l’établissement 
    TU character varying, -- Taille de l’unité urbaine 
    UU character varying, -- Numéro de l’unité urbaine 
    EPCI character varying, -- Localisation de l’établissement dans un établissement public de coopération intercommunale 
    TCD character varying, -- Tranche de commune détaillée 
    ZEMET character varying , -- Zone d’emploi 
    SIEGE character varying , -- Qualité de siège ou non de l’établissement 
    ENSEIGNE character varying , -- Enseigne ou nom de l’exploitation 
    IND_PUBLIPO character varying , -- Indicateur du champ du publipostage 
    DIFFCOM character varying , -- Statut de diffusion de l’établissement 
    AMINTRET character varying , -- Année et mois d’introduction de l’établissement dans la base de diffusion 
    NATETAB character varying , -- Nature de l’établissement d’un entrepreneur individuel 
    LIBNATETAB character varying , -- Libellé de la nature de l’établissement d’un entrepreneur individuel 
    APET700 character varying , -- Activité principale de l’établissement 
    LIBAPET character varying , -- Libellé de l’activité principale de l’établissement 
    DAPET  smallint, -- Année de validité de l’activité principale de l’établissement 
    TEFET character varying , -- Tranche d’effectif salarié de l’établissement 
    LIBTEFET character varying , -- Libellé de la tranche d’effectif salarié de l’établissement 
    EFETCENT character varying , -- Effectif salarié de l’établissement à la centaine près 
    DEFET  smallint, -- Année de validité de l’effectif salarié de l’établissement 
    ORIGINE character varying , -- Origine de la création de l’établissement 
    DCRET character varying , -- Année et mois de création de l’établissement 
    DATE_DEB_ETAT_ADM_ET character varying , -- Date de début d’activité 
    ACTIVNAT character varying , -- Nature de l’activité de l’établissement 
    LIEUACT character varying , -- Lieu de l’activité de l’établissement 
    ACTISURF character varying , -- Type de magasin 
    SAISONAT character varying , -- Caractère saisonnier ou non de l’activité de l’établissement 
    MODET character varying , -- Modalité de l’activité principale de l’établissement 
    PRODET character varying , -- Caractère productif de l’établissement 
    PRODPART character varying , -- Participation particulière à la production de l’établissement 
    AUXILT  smallint, -- Caractère auxiliaire de l’activité de l’établissement 
    NOMEN_LONG character varying , -- Nom ou raison sociale de l’entreprise 
    SIGLE character varying , -- Sigle de lentreprise 
    NOM character varying , -- Nom de naissance 
    PRENOM character varying , -- Prénom 
    CIVILITE character varying , -- Civilité des entrepreneurs individuels 
    RNA character varying , -- Numéro d’identification au répertoire national des associations 
    NICSIEGE character varying , -- Numéro interne de classement de l’établissement siège 
    RPEN character varying , -- Région de localisation du siège de l’entreprise 
    DEPCOMEN character varying , -- Département et commune de localisation du siège de l’entreprise 
    ADR_MAIL character varying , -- Adresse mail 
    NJ character varying , -- Nature juridique de l’entreprise 
    LIBNJ character varying , -- Libellé de la nature juridique 
    APEN700 character varying , -- Cope APE - Activité principale de l’entreprise 
    LIBAPEN character varying , -- Libellé de l’activité principale de l’entreprise 
    DAPEN  smallint, -- Année de validité de l’activité principale de l’entreprise 
    APRM character varying , -- Activité principale au registre des métiers 
    ESSEN character varying , -- Appartenance au champ de l’économie sociale et solidaire 
    DATEESS character varying , -- Date ESS 
    TEFEN character varying , -- Tranche d’effectif salarié de l’entreprise 
    LIBTEFEN character varying , -- Libellé de la tranche d’effectif salarié de l’entreprise 
    EFENCENT character varying , -- Effectif salarié de l’entreprise à la centaine près 
    DEFEN  smallint, -- Année de validité de l’effectif salarié de l’entreprise 
    CATEGORIE character varying , -- Catégorie de l’entreprise 
    DCREN character varying , -- Date de création de l’entreprise 
    AMINTREN character varying , -- Année et mois d’introduction de l’entreprise dans la base de diffusion 
    MONOACT character varying , -- Indice de monoactivité de l’entreprise 
    MODEN character varying , -- Modalité de l’activité principale de l’entreprise 
    PRODEN character varying , -- Caractère productif de l’entreprise 
    ESAANN  smallint, -- Année de validité des rubriques de niveau entreprise en provenance de l’ESA 
    TCA character varying , -- Tranche de chiffre d’affaires pour les entreprises enquêtées par l’ESA 
    ESAAPEN character varying , -- Activité principale de l’entreprise issue de l’ESA 
    ESASEC1N character varying , -- Première activité secondaire déclarée dans l’ESA 
    ESASEC2N character varying , -- Deuxième activité secondaire déclarée dans l’ESA 
    ESASEC3N character varying , -- Troisième activité secondaire déclarée dans l’ESA 
    ESASEC4N character varying , -- Quatrième activité secondaire déclarée dans l’ESA 
    VMAJ character varying , -- Nature de la mise à jour (création, suppression, modification) 
    VMAJ1  smallint, -- Indicateur de mise à jour n°1 
    VMAJ2  smallint, -- Indicateur de mise à jour n°2 
    VMAJ3  smallint, -- Indicateur de mise à jour n°3 
    DATEMAJ date -- Date de traitement de la mise à jour
);

Dernière modification par owlapps (Mon 31 July 2017 10:05)

Hors ligne

 

#14 Mon 31 July 2017 10:28

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3195
Site web

Re: Création compte pour télécharger données SIRENE

Bonjour,

Je n'ai pas regardé le fichier SIREN depuis un moment mais utiliser "character varying" dans une "grosse" base de données c'est pas le top. Si les champs alphanum sont définis avec une longueur fixe il vaut mieux utiliser character varying(n).

Concernant l'intégration je préfère utiliser un peu de code (.net pour moi, mais python ou autre ça le fait) pour lire le fichier ligne à ligne et vérifier le formatage, les caractères à la c*** etc ... car il n'y a rien de plus "pourrissable" qu'un fichier texte.

Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#15 Mon 31 July 2017 11:41

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

c'est vrai mais c'est plus souple pour les imports, d'expérience à combien définiriez-vous "n" , pour tous les champs on utilisera cette même valeur ?

Hors ligne

 

#16 Mon 31 July 2017 11:54

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3195
Site web

Re: Création compte pour télécharger données SIRENE

Bonjour,

En fait "n" est défini par le producteur de donnés et il varie en fonction du champs.
Par exemple pour les données MAJIC cela donne quelque chose comme cela :

Code:

CREATE TABLE IF NOT EXISTS majic2016.surface
(
  idsurface serial,
  ptrparcelle integer,
  ptrlot integer,
  contenance integer,
  groupe character varying(2),
  sousgroupe character varying(2),
  groupeclasse character varying(2),
  culture character varying(5),
  numpdl character varying(3),
  numlot character varying(7),
  lettre character varying(2)
)
WITH (
  OIDS=FALSE
);
ALTER TABLE majic2016.surface
  OWNER TO postgres;
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#17 Mon 31 July 2017 14:23

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

je n'ai pas vraiment regardé en profondeur la base, est-ce que les centres commerciaux y sont présents ?

Hors ligne

 

#18 Mon 31 July 2017 16:05

Pierre
DesCartesPourUnMondeMeilleur
Date d'inscription: 22 Sep 2005
Messages: 1643

Re: Création compte pour télécharger données SIRENE

Aloha,

owlapps a écrit:

je n'ai pas vraiment regardé en profondeur la base, est-ce que les centres commerciaux y sont présents ?


Dans le code NAF, on trouve, entre autres :
"47.11B";"Commerce d'alimentation générale"
"47.11C";"Supérettes"
"47.11D";"Supermarchés"
"47.11E";"Magasins multi-commerces"
"47.11F";"Hypermarchés"
"47.19A";"Grands magasins"
"47.19B";"Autres commerces de détail en magasin non spécialisé"

Donc, oui. Ils sont présents.

art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.

Hors ligne

 

#19 Wed 02 August 2017 15:40

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

cest ce que je pensais, on peut le faire qu'indirectement.
Il me semble que les retail parks sont des centres commerciaux n'incluant pas de locomotive alimentaire (super ou hypermarché)

Hors ligne

 

#20 Wed 02 August 2017 16:11

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Re: Création compte pour télécharger données SIRENE

owlapps a écrit:

cest ce que je pensais, on peut le faire qu'indirectement.
Il me semble que les retail parks sont des centres commerciaux n'incluant pas de locomotive alimentaire (super ou hypermarché)


La limite est de toute façon le fait qu'il y ait une structure juridique propre et qu'elle soit enregistrée dans la base SIRENE.

Ce n'est pas forcément le cas pour 100% des "centres commerciaux" et le code APE n'est pas être pas des plus explicite/adapté.

J'explore en ce moment la réutilisation de SIRENE pour avoir une base de POI et permettre un géocodage sans adresse postale... ce n'est pas toujours aussi simple qu'on voudrait wink

Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#21 Wed 02 August 2017 16:31

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 106
Site web

Re: Création compte pour télécharger données SIRENE

C'est possible d'avoir à ce stade un avant goût de la typologie (et sous-typologie ?) des POIs que vous allez mettre en OPENDATA ?

Hors ligne

 

#22 Thu 03 August 2017 23:58

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 873

Re: Création compte pour télécharger données SIRENE

owlapps a écrit:

C'est possible d'avoir à ce stade un avant goût de la typologie (et sous-typologie ?) des POIs que vous allez mettre en OPENDATA ?


J'ai écrit un petit article sur medium.com à ce sujet... https://medium.com/@cq94/g%C3%A9ocodage … 028761b739

Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

 

Pages: 1

Pied de page des forums

Powered by FluxBB