#1 Fri 15 January 2016 09:52
SIRENE de l’Insee ouvert et gratuit en 2017
L’Etat poursuit sa politique d’ouverture des données publiques en ouvrant, gratuitement à partir du 1er janvier 2017, l’accès à la base Sirene de l’Insee. Une mine d'informations détaillées sur 9 millions d’entreprises et établissements français.
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#2 Wed 20 January 2016 09:09
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
Lire notamment le billet sur le blog EtaLab : https://www.etalab.gouv.fr/louverture-d … lopen-data
Pour info, le message reçu de l'INSEE adressé à ses utilisateurs abonnés au répertoire SIRENE :
Envoyé : mardi 19 janvier 2016 14:24
Objet : Insee Sirene Diffusion - Gratuité du répertoire Sirene 2017
Importance : Haute
Bonjour,
Comme suite à l'annonce du mercredi 13 janvier 2016 de la secrétaire d'Etat au Numérique Axelle Lemaire,
" le répertoire SIRENE géré par l'Insee sera en accès ouvert et gratuit à compter du 1er janvier 2017" :
je tiens à vous informer que l'Insee doit attendre le vote de la loi pour une République numérique pour instruire précisément le dossier en fonction de son texte définitif.
Nous ne manquerons pas de revenir vers vous pour vous communiquer de plus amples informations, en fonction de l'avancement de cette instruction.
Les services associés aux produits Sirene qui vous sont fournis actuellement continuent, durant toute l'année 2016.
L'Equipe Sirene Diffusion
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#3 Sat 23 January 2016 19:49
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonsoir,
Nous pourrions nous amuser à suivre ici, dans les mois et les années à venir, ce sujet.
http://www.nextinpact.com/news/98118-op … -2017.htm?
Bruno
Hors ligne
#5 Mon 25 January 2016 10:01
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
Pour ceux qui sont actuellement abonnés à ces données, une seule table est fournie, mais elle est à compléter par des tables de nomenclatures :
Voir notamment :
- http://www.insee.fr/fr/methodes/default … af2008.htm
- http://www.insee.fr/fr/methodes/default … /cj/cj.htm
et donc à restructurer...
Pour le nombre de lignes, je n'ai pas trouvé l'info à l'échelle nationale. De l'ordre de 15 à 20 Millions ?
(mais tous les utilisateurs n'ont et n'auront pas la nécessité de disposer de cette base à l'échelle nationale)
On peut également supposer que la donnée "libérée" ne sera pas aussi complète que celle qui est actuellement fournie aux abonnés (actuellement environ 90 champs), et avec une périodicité de mise à jour différente...
On peut aussi supputer qu'elle sera délivrée selon un découpage administratif (départements par ex) pour faciliter les téléchargements.
[Hors sujet]
A noter dans l'article fourni par Bruno, et dans un autre domaine, l'accès nouveau à des données Météo-France (lire les commentaires)
Bonne journée
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#6 Tue 26 January 2016 16:59
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
En attendant, il y a une ressource très intéressante, réalisée pour Infogreffe, le portail des greffes des tribunaux de commerce
https://datainfogreffe.fr/page/home/.
L'open Data, c'est bath, vu comme çà !
PS : ne vous lancez pas tous en même temps à faire des requêtes, pour éviter de faire tomber le serveur, qui ne mérite pas çà !
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#7 Fri 21 October 2016 09:56
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
A ce sujet un hackathon pour préparer l’ouverture de la base Sirene de l’Insee :
"Avancée majeure pour l’open data, la base Sirene de l’Insee sera ouverte début janvier 2017. Afin que cette ouverture se déroule dans les meilleures conditions, l’Insee, en partenariat avec Etalab, organise le 15 novembre un hackathon au SenseSpace. Développeurs, data-scientists et porteurs de projets sont invités à s’inscrire pour travailler durant une journée sur ce référentiel des entreprises et à en proposer de nouveaux usages."
https://www.etalab.gouv.fr/opensirene-u … ses-sirene
A +
Hors ligne
#9 Mon 02 January 2017 22:13
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonsoir,
J'ai géocodé ces données pour le hackathon opensirene qui s'est tenu il y a quelques semaines.
Ce géocodage a été fait à l'aide de la BAN et complété par BANO (pour les lieux-dits) et les données géocodées de la version du mois de juin 2016 de SIRENE avaient été diffusées lors du hackathon.
J'ai à cette occasion écrit un script python publié sur https://github.com/cquest/geocodage-sirene pour mettre en forme les données et utiliser le géocodeur addok qui alimente l'API de géocodage de la BAN sur adresse.data.gouv.fr. Deux instances d'addok (une pour la BAN, une pour BANO) ont été utilisées.
Des statistiques sur le résultat sont disponibles sur le repo github qui arrive à plus de 95% de résultat dans de nombreux départements (99,4% à Paris).
Le script gère par exemple des adresses génériques comme "MAIRIE" que l'on retrouve pour pas mal d'associations et remplace cette pseudo adresse par les données de localisation des mairies diffusées par la DILA en opendata.
Je vais voir comment procéder à un géocodage régulier de ces données afin d'éviter que ce travail soit fait et refait en sollicitant inutilement des API de géocodage pour obtenir le même résultat. Les données géocodées devraient être disponibles prochainement sur data.gouv.fr
SIRENE sera il me semble livrée en stock mensuel + mises à jour quotidiennes.
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#10 Thu 05 January 2017 09:26
- jdeniel
- Participant occasionnel
- Lieu: Rennes
- Date d'inscription: 12 Sep 2005
- Messages: 27
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour à tous,
les données SIRENE viennent d'être libérées et sont disponibles sur data.gouv.fr : http://www.data.gouv.fr/fr/datasets/bas … ren-siret/
Une page d'information est également accessible sur le site sirene : https://www.sirene.fr/sirene/public/sta … es-donnees
Le géocodage et le partage de sa méthode de production est très précieux. Merci pour ce travail et ce partage !
Julien Déniel - EPF Bretagne
Hors ligne
#11 Thu 05 January 2017 11:18
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Je suis en train de géocoder SIRENE comme je l'avais fait pour le hackathon.
J'espère avoir ça terminé ce soir ou demain...
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#12 Mon 09 January 2017 11:50
- magr
- Participant occasionnel
- Date d'inscription: 30 Mar 2016
- Messages: 30
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Merci pour cette contribution très utile.
Je suis en train de géocoder SIRENE comme je l'avais fait pour le hackathon.
J'espère avoir ça terminé ce soir ou demain...
Hors ligne
#13 Tue 10 January 2017 10:39
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3197
- Site web
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
Je viens de télécharger les données, il est tout de même regrettable de ne pas avoir un fichier par département ou par région ...
Deuxièmement le geocodage par l'adresse c'est vraiment pas terrible. Bon un petit croisement avec les personne morales des données MAJIC et ça va mieux.
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#14 Tue 10 January 2017 12:41
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
il est tout de même regrettable de ne pas avoir un fichier par département ou par région ...
Il est possible de télécharger les données "à façon" (par territoire, secteur d'activités etc...).
Mais la fabrication de ces fichiers est limité à 100 000 lignes. j'ai testé sur mon département : çà dépasse...
Il faut donc le faire en plusieurs fois par listes de communes...
A faire ici : https://www.sirene.fr/sirene/public/creation-fichier
(il faut disposer d'un compte).
le geocodage par l'adresse c'est vraiment pas terrible
De ce que j'en sais, la BAN utilise en tout ou partie des adresses géocodées à partir de MAJIC/PCI vecteur, il me semble...
Géomatiquement
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#15 Tue 10 January 2017 13:43
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3197
- Site web
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
Merci JM
la BAN utilise en tout ou partie des adresses géocodées à partir de MAJIC/PCI vecteur, il me semble...
De ce que je constate dans les données il me semble aussi. Notre problème est l'absence d'adressage correct en milieu rural. La plus part des adresses hors les deux agglo principales est constituée par le lieudit, absence de nom et de numéros de rue ...
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#16 Tue 10 January 2017 19:05
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonsoir les anciens!
Pourquoi ne pas collaborer avec Christian, qui partage sa démarche ici?
https://cquest.hackpad.com/Gocodage-de- … D8M4P7qMZR
Le forum garde tout son intérêt pour échanger des idées.
Bonne soirée,
Bruno
Hors ligne
#17 Wed 11 January 2017 08:32
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour Bruno,
L'avantage avec Christian, c'est qu'il fait le job avant qu'on ait eu le temps de demander quoi que se soit.
Impressionnant le travail réalisé !
Et tout y est : un découpage départemental des fichiers, des stats, du nettoyage...
Un grand merci, Christian !
Une question (à Christian) : dans ce processus "bénévole", comment seront intégrées les mise à jour du SIRENE ?
Géomatiquement
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#18 Wed 11 January 2017 10:06
- FPNO
- Participant actif
- Date d'inscription: 24 Oct 2013
- Messages: 141
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour à tous
Excellent boulot de Christian !
Hors ligne
#19 Wed 11 January 2017 14:21
- Marc Leobet
- Participant assidu
- Lieu: Nowhere
- Date d'inscription: 19 Sep 2005
- Messages: 1103
- Site web
Re: SIRENE de l’Insee ouvert et gratuit en 2017
la BAN utilise en tout ou partie des adresses géocodées à partir de MAJIC/PCI vecteur, il me semble...
De ce que je constate dans les données il me semble aussi. Notre problème est l'absence d'adressage correct en milieu rural. La plus part des adresses hors les deux agglo principales est constituée par le lieudit, absence de nom et de numéros de rue ...
Bonjour,
pour cela, il y a la base de données dite "Géolocaux", produite par le CEREMA : http://www.ant.developpement-durable.go … -a764.html
Il semble qu'il y ait d'obscures restrictions CNIL, mais la base n'est pas totalement restreinte non plus (en tout cas pour les missions de service public, pour ce qu'en ai compris). Il faut tenter.
Cordialement
Marc Leobet
@MarcLeobet sur Twitter
Hors ligne
#20 Wed 11 January 2017 14:22
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3197
- Site web
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
BRAVO !! Effectivement Bruno (toujours de bon conseil ) il faut collaborer.
Pour ma part j'ai pas trop de connaissance en matière de BAN mais en matière de FANTOIR et autre MAJIC ...
Difficile pour moi compte tenu du volume de travail autre, de faire des tests rapidement, de notre coté Tumasgiu a fait une extraction départemental du fichier brut via des commandes LINUX. Mais effectivement l'ENCODING et le formatage ...
Je voulais tenter une approche de croisement de ce fichier et des données MAJIC : approche multiple en combinant adresse,lieudit du plan (PCI), des parcelles (MAJIC), classement des locaux (MAJIC) commerce personne morale etc ...et une connaissance terrain pour au moins un tiers du territoire, histoire de vérifier la valeur du modèle théorique.
Christian a non seulement réalisé un travail remarquable mais il a su aussi mettre en exergue les points de contraintes.
La suite logique est l'intégration du fichier dans un schéma postgresql/postgis et la conception d'une logique d'intégration différentielle pour tenir compte des mises à jour régulière (et qui je l'ai constaté ne sont pas forcement dans l'ordre de création la mise à jour du 19 janvier comportait des commerce qui existent depuis au moins 20 ans).
La modération pourrait peut-être créer un fil dédié spécifique aux idées sur le sujet ?
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#21 Wed 11 January 2017 14:27
- ChristopheV
- Membre
- Lieu: Ajaccio
- Date d'inscription: 7 Sep 2005
- Messages: 3197
- Site web
Re: SIRENE de l’Insee ouvert et gratuit en 2017
NB:
Merci Marc pour l'info, messages croisés ...
Christophe
L'avantage d'être une île c'est d'être une terre topologiquement close
Hors ligne
#22 Wed 11 January 2017 16:00
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour a tous et merci pour cet incroyable travail . j'aimerai apporter ici ma modeste contribution. Tout d'abord en ce qui concerne le format du fichier SIREN . Faire disparaitre tous les guillemets est à mon avis trop radical (Dans les champs il y hélas des libellés qui contiennent des caractères qui sont des séparateurs de champs : point virgule . voici la bonne manip : remplacer les """ (triples guillemets par des guillemets simple . Remplacer les espace+"" par rien et ""+ espace par rien, remplacer les "", par rien. ensuite on a un fichier propre sauf pour les lignes 1 392 259 et 1 392 260 ou "TARATATA";"ROUGE PETIT POIS" pose un problème sans blague aucune Il faut effacer la chaine ";" et la remplacer par un espace , attention la raison sociale apparait deux fois sur chaque ligne .
Une fois cela fait on a un fichier propre que j'ai pu envoyer sous SQL Server :10 536 630 lignes. le fichier nettoyé en format CSV clean , avec tous les champs est dispo , ou puis-je le mettre pour que tous le monde en profite ?
Dernière modification par Toñito (Wed 11 January 2017 17:12)
Hors ligne
#23 Wed 11 January 2017 16:29
- Marc Leobet
- Participant assidu
- Lieu: Nowhere
- Date d'inscription: 19 Sep 2005
- Messages: 1103
- Site web
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour Toñito,
nous pourrions peut-être le publier dans le cadre du Hackathon sur l'urbanisme (voir #HackUrba) , sur des serveurs du SOeS (service statistique de l'environnement)?
Cordialement
Marc Leobet
@MarcLeobet sur Twitter
Hors ligne
#25 Fri 13 January 2017 19:25
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: SIRENE de l’Insee ouvert et gratuit en 2017
J'ai déjà procédé à ce nettoyage, préalablement au géocodage.
Les scripts utilisés sont sur https://github.com/cquest/geocodage-sir … aster/2017
Les fichiers géocodés (et découpés par département) sont sur: http://212.47.238.202/geo_sirene/2016-12/
Tout ceci est en ressource communautaire sur data.gouv.fr: https://www.data.gouv.fr/fr/datasets/ba … ren-siret/
Vous avez aussi en bonus les scripts d'import postgres/postgis: https://github.com/cquest/geocodage-sir … er/goodies
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#26 Sat 14 January 2017 08:26
- Tarkok
- Juste Inscrit !
- Date d'inscription: 9 Jan 2017
- Messages: 2
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Vous faites du super boulot, merci pour le partage en tout cas, j'en avais justement besoin. heureusement que j'ai fouiner un peu avant de créer un post
Hors ligne
#27 Tue 17 January 2017 16:33
- Marc Leobet
- Participant assidu
- Lieu: Nowhere
- Date d'inscription: 19 Sep 2005
- Messages: 1103
- Site web
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Merci Christian!
Marc Leobet
@MarcLeobet sur Twitter
Hors ligne
#28 Tue 17 January 2017 17:09
- Le Masson
- Participant assidu
- Date d'inscription: 5 Sep 2005
- Messages: 179
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bien envoyé! ;-)
Une question "dans les coins" (ça m'embête de la poser avec ma casquette IGN, mais bon, je n'ai que celle là...): au passage, une donnée en licence ouverte est certes géocodée, mais elle se retrouve aussi en ODBL, donc "moins" utilisable. Non?
Hors ligne
#29 Fri 20 January 2017 18:12
- Marc Leobet
- Participant assidu
- Lieu: Nowhere
- Date d'inscription: 19 Sep 2005
- Messages: 1103
- Site web
Re: SIRENE de l’Insee ouvert et gratuit en 2017
Bonjour,
pourquoi ce serait en ODbL? je n'ai pas vu de mention de licence. [Réponse du 16/03/17 : parce qu'elle utilise la BAN et la BANO, cf. https://georezo.net/forum/viewtopic.php … 2#p292932]
Au passage, sur le principe et parce que c'est vendredi soir, je partage l'analyse qu'ODbL est moins libre que la licence ouverte - c'est une lapalissade.
On verra bientôt si l'ODbL est légale pour des données publiques, mais C. Quest est une personne privée.
Bon week-end
Dernière modification par Marc Leobet (Thu 16 March 2017 18:36)
Marc Leobet
@MarcLeobet sur Twitter
Hors ligne
#30 Sat 21 January 2017 10:21
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 875
Re: SIRENE de l’Insee ouvert et gratuit en 2017
C'est sûr que si la BAN était en licence ouverte ça serait quand même plus simple et clair pour tout le monde.
Dernière modification par cquest (Sat 21 January 2017 10:34)
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne