Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considèrerons que vous acceptez l'utilisation des cookies. J'ai compris ! ou En savoir plus !.
banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Suite à un problème technique intervenu entre le 22 et le 23 mars, nous avons du procéder dans la soirée du 25 mars, à la restauration de la base de données du 24 mars (matinée).

En clair, nous avons perdu vos contributions et inscriptions du dimanche 24 et du lundi 25 mars.
Nous vous prions de nous excuser.

#1 Fri 15 January 2016 09:52

Fred
#JeSuisCharlie
Lieu: Paris
Date d'inscription: 24 Jun 2005
Messages: 7599
Site web

SIRENE de l’Insee ouvert et gratuit en 2017

L’Etat poursuit sa politique d’ouverture des données publiques en ouvrant, gratuitement à partir du 1er janvier 2017, l’accès à la base Sirene de l’Insee. Une mine d'informations détaillées sur 9 millions d’entreprises et établissements français.


http://www.usine-digitale.fr/editorial/ … an.N373664


Fred


GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#2 Wed 20 January 2016 09:09

Jean-Michel
Membre
Lieu: An Oriant /Lorient
Date d'inscription: 3 Oct 2005
Messages: 3909

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,
Lire notamment le billet sur le blog EtaLab : https://www.etalab.gouv.fr/louverture-d … lopen-data

Pour info, le message reçu de l'INSEE adressé à ses utilisateurs abonnés au répertoire SIRENE :

Envoyé : mardi 19 janvier 2016 14:24
Objet : Insee Sirene Diffusion - Gratuité du répertoire Sirene 2017
Importance : Haute

Bonjour,

Comme suite à l'annonce du mercredi 13 janvier 2016 de la secrétaire d'Etat au Numérique Axelle Lemaire,
" le répertoire SIRENE géré par l'Insee sera en accès ouvert et gratuit à compter du 1er janvier 2017" :
je tiens à vous informer que l'Insee doit attendre le vote de la loi pour une République numérique pour instruire précisément le dossier en fonction de son texte définitif.

Nous ne manquerons pas de revenir vers vous pour vous communiquer de plus amples informations, en fonction de l'avancement de cette instruction.

Les services associés aux produits Sirene qui vous sont fournis actuellement continuent, durant toute l'année 2016.

L'Equipe Sirene Diffusion


Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#3 Sat 23 January 2016 19:49

Bruno
Membre du bureau
Lieu: Toulouse
Date d'inscription: 22 Jun 2005
Messages: 11727
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonsoir,

Nous pourrions nous amuser à suivre ici, dans les mois et les années à venir, ce sujet.
http://www.nextinpact.com/news/98118-op … -2017.htm?

Bruno

Hors ligne

 

#4 Sun 24 January 2016 23:45

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 96
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Super ! Combien y a t il  d'enregistrements et de tables pour cette base ?
histoire de préparer les serveurs

Hors ligne

 

#5 Mon 25 January 2016 10:01

Jean-Michel
Membre
Lieu: An Oriant /Lorient
Date d'inscription: 3 Oct 2005
Messages: 3909

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,
Pour ceux qui sont actuellement abonnés à ces données, une seule table est fournie, mais elle est à compléter par des tables de nomenclatures :
Voir notamment :
- http://www.insee.fr/fr/methodes/default … af2008.htm
- http://www.insee.fr/fr/methodes/default … /cj/cj.htm
et donc à restructurer...

Pour le nombre de lignes, je n'ai pas trouvé l'info à l'échelle nationale. De l'ordre de 15 à 20 Millions ?
(mais tous les utilisateurs n'ont et n'auront pas la nécessité de disposer de cette base à l'échelle nationale)
On peut également supposer que la donnée "libérée" ne sera pas aussi complète que celle qui est actuellement fournie aux abonnés (actuellement environ 90 champs), et avec une périodicité de mise à jour différente...
On peut aussi supputer qu'elle sera délivrée selon un découpage administratif (départements par ex) pour faciliter les téléchargements.

[Hors sujet]
A noter dans l'article fourni par Bruno, et dans un autre domaine, l'accès nouveau à des données Météo-France (lire les commentaires)
Bonne journée


Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#6 Tue 26 January 2016 16:59

Jean-Michel
Membre
Lieu: An Oriant /Lorient
Date d'inscription: 3 Oct 2005
Messages: 3909

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,
En attendant, il y a une ressource très intéressante, réalisée pour Infogreffe, le portail des greffes des tribunaux de commerce
https://datainfogreffe.fr/page/home/.
L'open Data, c'est bath, vu comme çà !
PS : ne vous lancez pas tous en même temps à faire des requêtes, pour éviter de faire tomber le serveur, qui ne mérite pas çà  smile !


Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#7 Fri 21 October 2016 09:56

AlineC
Membre du bureau
Lieu: AVIGNON
Date d'inscription: 5 Sep 2005
Messages: 2092
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,

A ce sujet un hackathon pour préparer l’ouverture de la base Sirene de l’Insee :
"Avancée majeure pour l’open data, la base Sirene de l’Insee sera ouverte début janvier 2017. Afin que cette ouverture se déroule dans les meilleures conditions, l’Insee, en partenariat avec Etalab, organise le 15 novembre un hackathon au SenseSpace. Développeurs, data-scientists et porteurs de projets sont invités à s’inscrire pour travailler durant une journée sur ce référentiel des entreprises et à en proposer de nouveaux usages."
https://www.etalab.gouv.fr/opensirene-u … ses-sirene

A +

Hors ligne

 

#8 Mon 02 January 2017 16:54

owlapps
Participant actif
Date d'inscription: 7 Mar 2013
Messages: 96
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

le fichier est géocodé ?
Existe t un groupe de contributeurs qui se dévouerait pour cette tâche ?

Hors ligne

 

#9 Mon 02 January 2017 22:13

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 835

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonsoir,

J'ai géocodé ces données pour le hackathon opensirene qui s'est tenu il y a quelques semaines.
Ce géocodage a été fait à l'aide de la BAN et complété par BANO (pour les lieux-dits) et les données géocodées de la version du mois de juin 2016 de SIRENE avaient été diffusées lors du hackathon.

J'ai à cette occasion écrit un script python publié sur https://github.com/cquest/geocodage-sirene pour mettre en forme les données et utiliser le géocodeur addok qui alimente l'API de géocodage de la BAN sur adresse.data.gouv.fr. Deux instances d'addok (une pour la BAN, une pour BANO) ont été utilisées.

Des statistiques sur le résultat sont disponibles sur le repo github qui arrive à plus de 95% de résultat dans de nombreux départements (99,4% à Paris).
Le script gère par exemple des adresses génériques comme "MAIRIE" que l'on retrouve pour pas mal d'associations et remplace cette pseudo adresse par les données de localisation des mairies diffusées par la DILA en opendata.

Je vais voir comment procéder à un géocodage régulier de ces données afin d'éviter que ce travail soit fait et refait en sollicitant inutilement des API de géocodage pour obtenir le même résultat. Les données géocodées devraient être disponibles prochainement sur data.gouv.fr

SIRENE sera il me semble livrée en stock mensuel + mises à jour quotidiennes.


Christian Quest - @cq94 sur twitter
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de @opendatArchives, OpenEventDatabase

Hors ligne

 

#10 Thu 05 January 2017 09:26

jdeniel
Participant occasionnel
Lieu: Rennes
Date d'inscription: 12 Sep 2005
Messages: 27

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour à tous,

les données SIRENE viennent d'être libérées et sont disponibles sur data.gouv.fr : http://www.data.gouv.fr/fr/datasets/bas … ren-siret/

Une page d'information est également accessible sur le site sirene : https://www.sirene.fr/sirene/public/sta … es-donnees

Le géocodage et le partage de sa méthode de production est très précieux. Merci pour ce travail et ce partage !


Julien Déniel - EPF Bretagne

Hors ligne

 

#11 Thu 05 January 2017 11:18

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 835

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Je suis en train de géocoder SIRENE comme je l'avais fait pour le hackathon.

J'espère avoir ça terminé ce soir ou demain...


Christian Quest - @cq94 sur twitter
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de @opendatArchives, OpenEventDatabase

Hors ligne

 

#12 Mon 09 January 2017 11:50

magr
Participant occasionnel
Date d'inscription: 30 Mar 2016
Messages: 29

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Merci pour cette contribution très utile.

cquest a écrit:

Je suis en train de géocoder SIRENE comme je l'avais fait pour le hackathon.

J'espère avoir ça terminé ce soir ou demain...

Hors ligne

 

#13 Tue 10 January 2017 10:39

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3163
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,

Je viens de télécharger les données, il est tout de même regrettable de ne pas avoir un fichier par département ou par région ...

Deuxièmement le geocodage par l'adresse c'est vraiment pas terrible. Bon un petit croisement avec les personne morales des données MAJIC et ça va mieux.


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#14 Tue 10 January 2017 12:41

Jean-Michel
Membre
Lieu: An Oriant /Lorient
Date d'inscription: 3 Oct 2005
Messages: 3909

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,

il est tout de même regrettable de ne pas avoir un fichier par département ou par région ...


Il est possible de télécharger les données "à façon" (par territoire, secteur d'activités etc...).
Mais la fabrication de ces fichiers est limité à 100 000 lignes. j'ai testé sur mon département : çà dépasse...
Il faut donc le faire en plusieurs fois par listes de communes...
A faire ici : https://www.sirene.fr/sirene/public/creation-fichier
(il faut disposer d'un compte).

le geocodage par l'adresse c'est vraiment pas terrible


De ce que j'en sais, la BAN utilise en tout ou partie des adresses géocodées à partir de MAJIC/PCI vecteur, il me semble...
Géomatiquement


Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#15 Tue 10 January 2017 13:43

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3163
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,

Merci JM

la BAN utilise en tout ou partie des adresses géocodées à partir de MAJIC/PCI vecteur, il me semble...


De ce que je constate dans les données il me semble aussi. Notre problème est l'absence d'adressage correct en milieu rural. La plus part des adresses hors les deux agglo principales est constituée par le lieudit, absence de nom et de numéros de rue ...


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#16 Tue 10 January 2017 19:05

Bruno
Membre du bureau
Lieu: Toulouse
Date d'inscription: 22 Jun 2005
Messages: 11727
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonsoir les anciens!

Pourquoi ne pas collaborer avec Christian, qui partage sa démarche ici?
https://cquest.hackpad.com/Gocodage-de- … D8M4P7qMZR

Le forum garde tout son intérêt pour échanger des idées.

Bonne soirée,

Bruno

Hors ligne

 

#17 Wed 11 January 2017 08:32

Jean-Michel
Membre
Lieu: An Oriant /Lorient
Date d'inscription: 3 Oct 2005
Messages: 3909

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour Bruno,
L'avantage avec Christian, c'est qu'il fait le job avant qu'on ait eu le temps de demander quoi que se soit.
Impressionnant le travail réalisé !
Et tout y est : un découpage départemental des fichiers, des stats, du nettoyage...
Un grand merci, Christian !

Une question (à Christian) : dans ce processus "bénévole", comment seront intégrées les mise à jour du SIRENE ?
Géomatiquement


Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#18 Wed 11 January 2017 10:06

FPNO
Participant actif
Date d'inscription: 24 Oct 2013
Messages: 137

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour à tous

Excellent boulot de Christian !

Hors ligne

 

#19 Wed 11 January 2017 14:21

Marc Leobet
Participant assidu
Lieu: Nowhere
Date d'inscription: 19 Sep 2005
Messages: 1103
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

ChristopheV a écrit:

la BAN utilise en tout ou partie des adresses géocodées à partir de MAJIC/PCI vecteur, il me semble...


De ce que je constate dans les données il me semble aussi. Notre problème est l'absence d'adressage correct en milieu rural. La plus part des adresses hors les deux agglo principales est constituée par le lieudit, absence de nom et de numéros de rue ...


Bonjour,

pour cela, il y a la base de données dite "Géolocaux", produite par le CEREMA : http://www.ant.developpement-durable.go … -a764.html

Il semble qu'il y ait d'obscures restrictions CNIL, mais la base n'est pas totalement restreinte non plus (en tout cas pour les missions de service public, pour ce qu'en ai compris). Il faut tenter.

Cordialement


Marc Leobet
@MarcLeobet sur Twitter

Hors ligne

 

#20 Wed 11 January 2017 14:22

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3163
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,

BRAVO !! Effectivement Bruno (toujours de bon conseil wink ) il faut collaborer.

Pour ma part j'ai pas trop de connaissance en matière de BAN mais en matière de FANTOIR et autre MAJIC ...

Difficile pour moi compte tenu du volume de travail autre, de faire des tests rapidement,  de notre coté Tumasgiu a fait une extraction départemental du fichier brut via des commandes LINUX. Mais effectivement l'ENCODING et le formatage ...
Je voulais tenter une approche de croisement de ce fichier et des données MAJIC : approche multiple en combinant adresse,lieudit du plan (PCI), des parcelles (MAJIC), classement des locaux (MAJIC) commerce personne morale etc ...et une connaissance terrain pour au moins un tiers du territoire, histoire de vérifier la valeur du modèle théorique.

Christian a non seulement réalisé un travail remarquable mais il a su aussi mettre en exergue les points de contraintes.
La suite logique est l'intégration du fichier dans un schéma postgresql/postgis et la conception d'une logique d'intégration différentielle pour tenir compte des mises à jour régulière (et qui je l'ai constaté ne sont pas forcement dans l'ordre de création la mise à jour du 19 janvier comportait des commerce qui existent depuis au moins 20 ans).

La modération pourrait peut-être créer un fil dédié spécifique aux idées sur le sujet ?


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#21 Wed 11 January 2017 14:27

ChristopheV
Membre
Lieu: Ajaccio
Date d'inscription: 7 Sep 2005
Messages: 3163
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

NB:

Merci Marc pour l'info, messages croisés ...


Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close

Hors ligne

 

#22 Wed 11 January 2017 16:00

Toñito
Participant assidu
Date d'inscription: 26 Oct 2005
Messages: 168
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour a tous et merci pour cet incroyable travail . j'aimerai apporter ici ma modeste contribution. Tout d'abord en ce qui concerne le format du fichier SIREN . Faire disparaitre tous les guillemets est à mon avis trop radical (Dans les champs il y hélas des libellés qui contiennent des  caractères qui sont des séparateurs de champs : point virgule .  voici la bonne manip  : remplacer les """ (triples guillemets par des guillemets simple .  Remplacer les espace+"" par rien et ""+ espace par rien, remplacer les "", par rien. ensuite on a un fichier propre sauf pour les lignes 1 392 259 et 1 392 260 ou "TARATATA";"ROUGE PETIT POIS" pose un problème sans blague aucune  Il faut effacer la chaine ";" et la remplacer par un espace , attention la raison sociale apparait deux fois sur chaque ligne .
Une fois cela fait on a un fichier propre que j'ai pu envoyer sous SQL Server :10 536 630 lignes. le fichier nettoyé en format CSV clean , avec tous les champs est dispo , ou puis-je le mettre pour que tous le monde en profite ?

Dernière modification par Toñito (Wed 11 January 2017 17:12)

Hors ligne

 

#23 Wed 11 January 2017 16:29

Marc Leobet
Participant assidu
Lieu: Nowhere
Date d'inscription: 19 Sep 2005
Messages: 1103
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour Toñito,

nous pourrions peut-être le publier dans le cadre du Hackathon sur l'urbanisme (voir #HackUrba) , sur des serveurs du SOeS (service statistique de l'environnement)?

Cordialement


Marc Leobet
@MarcLeobet sur Twitter

Hors ligne

 

#24 Wed 11 January 2017 17:02

Toñito
Participant assidu
Date d'inscription: 26 Oct 2005
Messages: 168
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

ok dis moi comment et ou ..

Hors ligne

 

#25 Fri 13 January 2017 19:25

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 835

Re: SIRENE de l’Insee ouvert et gratuit en 2017

J'ai déjà procédé à ce nettoyage, préalablement au géocodage.

Les scripts utilisés sont sur https://github.com/cquest/geocodage-sir … aster/2017

Les fichiers géocodés (et découpés par département) sont sur: http://212.47.238.202/geo_sirene/2016-12/

Tout ceci est en ressource communautaire sur data.gouv.fr: https://www.data.gouv.fr/fr/datasets/ba … ren-siret/

Vous avez aussi en bonus les scripts d'import postgres/postgis: https://github.com/cquest/geocodage-sir … er/goodies


Christian Quest - @cq94 sur twitter
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de @opendatArchives, OpenEventDatabase

Hors ligne

 

#26 Sat 14 January 2017 08:26

Tarkok
Juste Inscrit !
Date d'inscription: 9 Jan 2017
Messages: 2

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Vous faites du super boulot, merci pour le partage en tout cas, j'en avais justement besoin. heureusement que j'ai fouiner un peu avant de créer un post

Hors ligne

 

#27 Tue 17 January 2017 16:33

Marc Leobet
Participant assidu
Lieu: Nowhere
Date d'inscription: 19 Sep 2005
Messages: 1103
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Merci Christian!


Marc Leobet
@MarcLeobet sur Twitter

Hors ligne

 

#28 Tue 17 January 2017 17:09

Le Masson
Participant assidu
Date d'inscription: 5 Sep 2005
Messages: 173

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bien envoyé! ;-)

Une question "dans les coins" (ça m'embête de la poser avec ma casquette IGN, mais bon, je n'ai que celle là...): au passage, une donnée en licence ouverte est certes géocodée, mais elle se retrouve aussi en ODBL, donc "moins" utilisable. Non?

Hors ligne

 

#29 Fri 20 January 2017 18:12

Marc Leobet
Participant assidu
Lieu: Nowhere
Date d'inscription: 19 Sep 2005
Messages: 1103
Site web

Re: SIRENE de l’Insee ouvert et gratuit en 2017

Bonjour,

pourquoi ce serait en ODbL? je n'ai pas vu de mention de licence. [Réponse du 16/03/17 : parce qu'elle utilise la BAN et la BANO, cf. https://georezo.net/forum/viewtopic.php … 2#p292932]

Au passage, sur le principe et parce que c'est vendredi soir, je partage l'analyse qu'ODbL est moins libre que la licence ouverte - c'est une lapalissade.
On verra bientôt si l'ODbL est légale pour des données publiques, mais C. Quest est une personne privée.

Bon week-end

Dernière modification par Marc Leobet (Thu 16 March 2017 18:36)


Marc Leobet
@MarcLeobet sur Twitter

Hors ligne

 

#30 Sat 21 January 2017 10:21

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 835

Re: SIRENE de l’Insee ouvert et gratuit en 2017

C'est sûr que si la BAN était en licence ouverte ça serait quand même plus simple et clair pour tout le monde.

Dernière modification par cquest (Sat 21 January 2017 10:34)


Christian Quest - @cq94 sur twitter
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de @opendatArchives, OpenEventDatabase

Hors ligne

 

Pied de page des forums

Powered by FluxBB