Le portail francophone de la géomatique

linareja · Thu 25 May 2017 11:37

Bonjour a tou.te.s,

Je m'excuse d’abord pour mes fautes d’orthographe.

Je veux constituer une liste de données SIRENE (http://www.sirene.fr/sirene/public/creation-fichier) à télécharger mais j'arrive pas à créer un compte, il y a toujours une erreur à la fin.

Este ce que quelqu’un d'entre vous a eu le même problème?

Merci d'avance.

Lina

Lien:

http://www.sirene.fr/sirene/public/inscription-fichier

yopyop25 · Fri 26 May 2017 07:56

Bonjour,

La base SIRENE est téléchargeable ici https://www.data.gouv.fr/fr/datasets
Elle est en open data depuis cette année.
Vous pourrez reconstituer votre liste à partir du fichier complet. Attention, il existe un fichier complet et un fichier uniquement des mises à jour chaque mois.

Yohan

FPNO · Mon 29 May 2017 09:16

Bonjour

Vous pouvez avoir également un découpage par département ici : http://212.47.238.202/geo_sirene/last/

Cordialement

Franck

owlapps · Wed 05 July 2017 10:42

Salut,

je tente dimporter le fichier de la base SIRENE dans postgresql avec

SET client_encoding = 'LATIN1';
COPY sirene FROM '/var/sirc-17804_9075_14209_201705_L_M_20170601_024542286.csv' CSV HEADER delimiter ',' null '';

Mais j'ai un message d'erreur État SQL :42P01

Je suppose que c'est une histoire de \n et de \r qu'il faut supprimer mais comment faire ? Excel refuse d'ouvrir le fichier car trop gros (8 GO)
je souhaite tout prendre en compte et franchement le systeme de telechargement partiel sur le site n'est franchement pas pratique et très limitant

Merci d'avance

Loic_GR · Wed 05 July 2017 11:36

Bonjour @owlapps

Notepadd++ risque de faire la tête également, peut être ultraedit et encore.

Sinon FME devrait s'en sortir sans trop de problème.

@+

owlapps · Wed 05 July 2017 12:17

quand je telecharge partiellement avec http://212.47.238.202/geo_sirene/last/
je n'ai rien quand je décompresse le fichier (dep 94, 95), ca fait pareil chez vous ?

FranckG · Wed 05 July 2017 12:26

ça marche bien chez moi, les deux fichiers sont OK.
Un problème avec 7zip ?

owlapps · Wed 05 July 2017 12:40

FranckG a écrit:

ça marche bien chez moi, les deux fichiers sont OK.
Un problème avec 7zip ?

ca doit etre le decompresseur qui compresse trop...
finalement j'ai ouvert le fichier avec libreoffic calc, refait un import qui est lent très lent (dep 94), je vais retenter avec un fichier de qlqs lignes seulement pour voir
mais apparemment il ne s'agirait pas d'un probleme de \n et de \r plutot carrément un probleme de taille de fichier à importer dans postgresql !
je vais etudier la question d'un ETL comme talend

Franck B · Wed 05 July 2017 13:35

Bonjour,

Ce sujet a été abordé ici : PostgreSQL : import et traitement d'un "gros" CSV

Franck

cquest · Thu 06 July 2017 09:29

Etonnant ces problèmes d'import de CSV dans postgres, je ne suis jamais tombé dessus (sous linux) pourtant je manipule des fichiers bien plus lourd qu'un extrait départemental de SIRENE.

Je n'utilise par contre pas COPY mais \COPY et indique l'encodage dans les options

\COPY matable FROM monfichier WITH (format csv, header true, encoding 'iso8859-1', delimiter ';')

Pour info, le stock au 1/7/2017 a été géocodé cette nuit et est dispo comme d'habitude sur http://212.47.238.202/geo_sirene/last

owlapps · Wed 12 July 2017 16:48

cquest a écrit:

\COPY matable FROM monfichier WITH (format csv, header true, encoding 'iso8859-1', delimiter ';')

Comment executez-vous votre code ?
Je tente de l'executer depuis l'éditeur de requêtes de pgadmin mais j'ai des retours d'erreurs ! :-/

cquest · Wed 12 July 2017 21:24

owlapps a écrit:

cquest a écrit:
\COPY matable FROM monfichier WITH (format csv, header true, encoding 'iso8859-1', delimiter ';')

Comment executez-vous votre code ?
Je tente de l'executer depuis l'éditeur de requêtes de pgadmin mais j'ai des retours d'erreurs ! :-/

Je n'utilise pas pgAdmin, mais uniquement psql en ligne de commande... ce qui permet de scripter toutes les opérations pour que les traitement soient reproductibles de A à Z.

owlapps · Mon 31 July 2017 10:04

bon, c'est surtout qu'il faut déjà que les champs soient présents dans la table de réception,
pour ceux que ca intéresse voilà la requête de création de la table pour Postgresql inspirée
par https://marmelab.com/blog/2017/01/09/si … t-sql.html :

Code:

CREATE TABLE entreprises (
    SIREN character varying, -- Identifiant de l’entreprise 
    NIC character varying, -- Numéro interne de classement de l’établissement 
    L1_NORMALISEE character varying, -- Première ligne de l’adresse normalisée de l’établissement 
    L2_NORMALISEE character varying, -- Deuxième ligne de l’adresse normalisée de l’établissement 
    L3_NORMALISEE character varying, -- Troisième ligne de l’adresse normalisée de l’établissement 
    L4_NORMALISEE character varying, -- Quatrième ligne de l’adresse normalisée de l’établissement 
    L5_NORMALISEE character varying, -- Cinquième ligne de l’adresse normalisée de l’établissement 
    L6_NORMALISEE character varying, -- Sixième ligne de l’adresse normalisée de l’établissement 
    L7_NORMALISEE character varying, -- Septième ligne de l’adresse normalisée de l’établissement 
    L1_DECLAREE character varying, -- Première ligne de l’adresse déclarée de l’établissement 
    L2_DECLAREE character varying, -- Deuxième ligne de l’adresse déclarée de l’établissement 
    L3_DECLAREE character varying, -- Troisième ligne de l’adresse déclarée de l’établissement 
    L4_DECLAREE character varying, -- Quatrième ligne de l’adresse déclarée de l’établissement 
    L5_DECLAREE character varying, -- Cinquième ligne de l’adresse déclarée de l’établissement 
    L6_DECLAREE character varying, -- Sixième ligne de l’adresse déclarée de l’établissement 
    L7_DECLAREE character varying, -- Septième ligne de l’adresse déclarée de l’établissement 
    NUMVOIE character varying, -- Numéro dans la voie 
    INDREP character varying, -- Indice de répétition 
    TYPVOIE character varying, -- Type de la voie de localisation de l’établissement 
    LIBVOIE character varying, -- Libellé de la voie de localisation de l’établissement 
    CODPOS character varying, -- Code postal 
    CEDEX character varying, -- Code Cedex 
    RPET character varying, -- Région de localisation de l’établissement 
    LIBREG character varying, -- Libellé de la région 
    DEPET character varying, -- Département de localisation de l’établissement 
    ARRONET character varying, -- Arrondissement de localisation de l’établissement 
    CTONET character varying, -- Canton de localisation de l’établissement 
    COMET character varying, -- Commune de localisation de l’établissement 
    LIBCOM character varying, -- Libellé de la commune de localisation de l’établissement 
    DU character varying, -- Département de l’unité urbaine de la localisation de l’établissement 
    TU character varying, -- Taille de l’unité urbaine 
    UU character varying, -- Numéro de l’unité urbaine 
    EPCI character varying, -- Localisation de l’établissement dans un établissement public de coopération intercommunale 
    TCD character varying, -- Tranche de commune détaillée 
    ZEMET character varying , -- Zone d’emploi 
    SIEGE character varying , -- Qualité de siège ou non de l’établissement 
    ENSEIGNE character varying , -- Enseigne ou nom de l’exploitation 
    IND_PUBLIPO character varying , -- Indicateur du champ du publipostage 
    DIFFCOM character varying , -- Statut de diffusion de l’établissement 
    AMINTRET character varying , -- Année et mois d’introduction de l’établissement dans la base de diffusion 
    NATETAB character varying , -- Nature de l’établissement d’un entrepreneur individuel 
    LIBNATETAB character varying , -- Libellé de la nature de l’établissement d’un entrepreneur individuel 
    APET700 character varying , -- Activité principale de l’établissement 
    LIBAPET character varying , -- Libellé de l’activité principale de l’établissement 
    DAPET  smallint, -- Année de validité de l’activité principale de l’établissement 
    TEFET character varying , -- Tranche d’effectif salarié de l’établissement 
    LIBTEFET character varying , -- Libellé de la tranche d’effectif salarié de l’établissement 
    EFETCENT character varying , -- Effectif salarié de l’établissement à la centaine près 
    DEFET  smallint, -- Année de validité de l’effectif salarié de l’établissement 
    ORIGINE character varying , -- Origine de la création de l’établissement 
    DCRET character varying , -- Année et mois de création de l’établissement 
    DATE_DEB_ETAT_ADM_ET character varying , -- Date de début d’activité 
    ACTIVNAT character varying , -- Nature de l’activité de l’établissement 
    LIEUACT character varying , -- Lieu de l’activité de l’établissement 
    ACTISURF character varying , -- Type de magasin 
    SAISONAT character varying , -- Caractère saisonnier ou non de l’activité de l’établissement 
    MODET character varying , -- Modalité de l’activité principale de l’établissement 
    PRODET character varying , -- Caractère productif de l’établissement 
    PRODPART character varying , -- Participation particulière à la production de l’établissement 
    AUXILT  smallint, -- Caractère auxiliaire de l’activité de l’établissement 
    NOMEN_LONG character varying , -- Nom ou raison sociale de l’entreprise 
    SIGLE character varying , -- Sigle de lentreprise 
    NOM character varying , -- Nom de naissance 
    PRENOM character varying , -- Prénom 
    CIVILITE character varying , -- Civilité des entrepreneurs individuels 
    RNA character varying , -- Numéro d’identification au répertoire national des associations 
    NICSIEGE character varying , -- Numéro interne de classement de l’établissement siège 
    RPEN character varying , -- Région de localisation du siège de l’entreprise 
    DEPCOMEN character varying , -- Département et commune de localisation du siège de l’entreprise 
    ADR_MAIL character varying , -- Adresse mail 
    NJ character varying , -- Nature juridique de l’entreprise 
    LIBNJ character varying , -- Libellé de la nature juridique 
    APEN700 character varying , -- Cope APE - Activité principale de l’entreprise 
    LIBAPEN character varying , -- Libellé de l’activité principale de l’entreprise 
    DAPEN  smallint, -- Année de validité de l’activité principale de l’entreprise 
    APRM character varying , -- Activité principale au registre des métiers 
    ESSEN character varying , -- Appartenance au champ de l’économie sociale et solidaire 
    DATEESS character varying , -- Date ESS 
    TEFEN character varying , -- Tranche d’effectif salarié de l’entreprise 
    LIBTEFEN character varying , -- Libellé de la tranche d’effectif salarié de l’entreprise 
    EFENCENT character varying , -- Effectif salarié de l’entreprise à la centaine près 
    DEFEN  smallint, -- Année de validité de l’effectif salarié de l’entreprise 
    CATEGORIE character varying , -- Catégorie de l’entreprise 
    DCREN character varying , -- Date de création de l’entreprise 
    AMINTREN character varying , -- Année et mois d’introduction de l’entreprise dans la base de diffusion 
    MONOACT character varying , -- Indice de monoactivité de l’entreprise 
    MODEN character varying , -- Modalité de l’activité principale de l’entreprise 
    PRODEN character varying , -- Caractère productif de l’entreprise 
    ESAANN  smallint, -- Année de validité des rubriques de niveau entreprise en provenance de l’ESA 
    TCA character varying , -- Tranche de chiffre d’affaires pour les entreprises enquêtées par l’ESA 
    ESAAPEN character varying , -- Activité principale de l’entreprise issue de l’ESA 
    ESASEC1N character varying , -- Première activité secondaire déclarée dans l’ESA 
    ESASEC2N character varying , -- Deuxième activité secondaire déclarée dans l’ESA 
    ESASEC3N character varying , -- Troisième activité secondaire déclarée dans l’ESA 
    ESASEC4N character varying , -- Quatrième activité secondaire déclarée dans l’ESA 
    VMAJ character varying , -- Nature de la mise à jour (création, suppression, modification) 
    VMAJ1  smallint, -- Indicateur de mise à jour n°1 
    VMAJ2  smallint, -- Indicateur de mise à jour n°2 
    VMAJ3  smallint, -- Indicateur de mise à jour n°3 
    DATEMAJ date -- Date de traitement de la mise à jour
);

Dernière modification par owlapps (Mon 31 July 2017 10:05)

ChristopheV · Mon 31 July 2017 10:28

Bonjour,

Je n'ai pas regardé le fichier SIREN depuis un moment mais utiliser "character varying" dans une "grosse" base de données c'est pas le top. Si les champs alphanum sont définis avec une longueur fixe il vaut mieux utiliser character varying(n).

Concernant l'intégration je préfère utiliser un peu de code (.net pour moi, mais python ou autre ça le fait) pour lire le fichier ligne à ligne et vérifier le formatage, les caractères à la c*** etc ... car il n'y a rien de plus "pourrissable" qu'un fichier texte.

owlapps · Mon 31 July 2017 11:41

c'est vrai mais c'est plus souple pour les imports, d'expérience à combien définiriez-vous "n" , pour tous les champs on utilisera cette même valeur ?

ChristopheV · Mon 31 July 2017 11:54

Bonjour,

En fait "n" est défini par le producteur de donnés et il varie en fonction du champs.
Par exemple pour les données MAJIC cela donne quelque chose comme cela :

Code:

CREATE TABLE IF NOT EXISTS majic2016.surface
(
  idsurface serial,
  ptrparcelle integer,
  ptrlot integer,
  contenance integer,
  groupe character varying(2),
  sousgroupe character varying(2),
  groupeclasse character varying(2),
  culture character varying(5),
  numpdl character varying(3),
  numlot character varying(7),
  lettre character varying(2)
)
WITH (
  OIDS=FALSE
);
ALTER TABLE majic2016.surface
  OWNER TO postgres;

owlapps · Mon 31 July 2017 14:23

je n'ai pas vraiment regardé en profondeur la base, est-ce que les centres commerciaux y sont présents ?

Pierre · Mon 31 July 2017 16:05

Aloha,

owlapps a écrit:

je n'ai pas vraiment regardé en profondeur la base, est-ce que les centres commerciaux y sont présents ?

Dans le code NAF, on trouve, entre autres :
"47.11B";"Commerce d'alimentation générale"
"47.11C";"Supérettes"
"47.11D";"Supermarchés"
"47.11E";"Magasins multi-commerces"
"47.11F";"Hypermarchés"
"47.19A";"Grands magasins"
"47.19B";"Autres commerces de détail en magasin non spécialisé"

Donc, oui. Ils sont présents.

owlapps · Wed 02 August 2017 15:40

cest ce que je pensais, on peut le faire qu'indirectement.
Il me semble que les retail parks sont des centres commerciaux n'incluant pas de locomotive alimentaire (super ou hypermarché)

cquest · Wed 02 August 2017 16:11

owlapps a écrit:

cest ce que je pensais, on peut le faire qu'indirectement.
Il me semble que les retail parks sont des centres commerciaux n'incluant pas de locomotive alimentaire (super ou hypermarché)

La limite est de toute façon le fait qu'il y ait une structure juridique propre et qu'elle soit enregistrée dans la base SIRENE.

Ce n'est pas forcément le cas pour 100% des "centres commerciaux" et le code APE n'est pas être pas des plus explicite/adapté.

J'explore en ce moment la réutilisation de SIRENE pour avoir une base de POI et permettre un géocodage sans adresse postale... ce n'est pas toujours aussi simple qu'on voudrait

owlapps · Wed 02 August 2017 16:31

C'est possible d'avoir à ce stade un avant goût de la typologie (et sous-typologie ?) des POIs que vous allez mettre en OPENDATA ?

cquest · Thu 03 August 2017 23:58

owlapps a écrit:

C'est possible d'avoir à ce stade un avant goût de la typologie (et sous-typologie ?) des POIs que vous allez mettre en OPENDATA ?

J'ai écrit un petit article sur medium.com à ce sujet... https://medium.com/@cq94/g%C3%A9ocodage … 028761b739

Communauté	Ressources	L'emploi	Le marché	L'association	Fils RSS
Forum Blogs Wiki Planet Sites amis	Agenda Biblio Fiches AMO-CNIG Paris PCGIS Téléchargements	Offres d'emploi Banque de CV Formations Démarche Métiers	Geo-Entreprises Geo-Communiqué Appels d'offres	L'association Qui sommes-nous ? Nous aider Bienfaiteurs Partenaires Historique Statuts	Tout le site Job Géomatique Services GeoBlogs ...	Faire un don Mentions légales

Le portail francophone de la géomatique

Annonce

#1 Thu 25 May 2017 11:37

Création compte pour télécharger données SIRENE

#2 Fri 26 May 2017 07:56

Re: Création compte pour télécharger données SIRENE

#3 Mon 29 May 2017 09:16

Re: Création compte pour télécharger données SIRENE

#4 Wed 05 July 2017 10:42

Re: Création compte pour télécharger données SIRENE

#5 Wed 05 July 2017 11:36

Re: Création compte pour télécharger données SIRENE

#6 Wed 05 July 2017 12:17

Re: Création compte pour télécharger données SIRENE

#7 Wed 05 July 2017 12:26

Re: Création compte pour télécharger données SIRENE

#8 Wed 05 July 2017 12:40

Re: Création compte pour télécharger données SIRENE

#9 Wed 05 July 2017 13:35

Re: Création compte pour télécharger données SIRENE

#10 Thu 06 July 2017 09:29

Re: Création compte pour télécharger données SIRENE

#11 Wed 12 July 2017 16:48

Re: Création compte pour télécharger données SIRENE

#12 Wed 12 July 2017 21:24

Re: Création compte pour télécharger données SIRENE

#13 Mon 31 July 2017 10:04

Re: Création compte pour télécharger données SIRENE

Code:

#14 Mon 31 July 2017 10:28

Re: Création compte pour télécharger données SIRENE

#15 Mon 31 July 2017 11:41

Re: Création compte pour télécharger données SIRENE

#16 Mon 31 July 2017 11:54

Re: Création compte pour télécharger données SIRENE

Code:

#17 Mon 31 July 2017 14:23

Re: Création compte pour télécharger données SIRENE

#18 Mon 31 July 2017 16:05

Re: Création compte pour télécharger données SIRENE

#19 Wed 02 August 2017 15:40

Re: Création compte pour télécharger données SIRENE

#20 Wed 02 August 2017 16:11

Re: Création compte pour télécharger données SIRENE

#21 Wed 02 August 2017 16:31

Re: Création compte pour télécharger données SIRENE

#22 Thu 03 August 2017 23:58

Re: Création compte pour télécharger données SIRENE

Pied de page des forums