Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site. Si vous continuez à utiliser ce dernier, nous considèrerons que vous acceptez l'utilisation des cookies. J'ai compris ! ou En savoir plus !.
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

#1 jeu. 26 octobre 2017 21:13

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

SIRENE géocodée... infos et discussions

J'ouvre un fil de discussion dédiée à la version géocodée de SIRENE avec quelques infos fraîches.

Jusqu'à maintenant, ce géocodage s'appuyait sur les bases BAN et BANO et je suis en train de finaliser l'ajout d'une troisième source: les POI d'OpenStreetMap.

Pourquoi ?

Dans la liste des adresses ne pouvant être géocodées, un bon nombre correspond à un point d'intérêt et pas à une adresse.

Quelques exemples:
- MAIRIE, LA MAIRIE, HOTEL DE VILLE
- PALAIS DE JUSTICE, GARE, LA GARE
- CENTRE COMMERCIAL MACHINCHOSE
- AEROPORT DE TATAOUINE
- CHATEAU DE BIDULLE, FORT DE TRUC
etc...

Depuis déjà un certain temps, j'ai monté une instance d'addok avec comme référentiel les POI extraits d'OpenStreetMap et reformatés pour être injectés dans le géocodeur addok. Les scripts qui préparent les données sont sur https://github.com/osm-fr/osmpoi4addok

Pour les adresses non trouvées dans BAN et BANO, j'ajoute donc une étape en plus, très efficace pour les mairies et les centres commerciaux où beaucoup d'établissements sont localisés.

Le 'type' commence dans ce cas par 'poi', exemple: poi.townhall pour une mairie, poi.mall pour un centre commercial, etc
L'id est le lien vers l'objet OpenStreetMap, exemple: http://osm.org/way/113312454

Dernière modification par cquest (ven. 27 octobre 2017 11:00)


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#2 ven. 27 octobre 2017 08:58

Robin
GeoRezo Team
Lieu: France
Date d'inscription: 31 août 2005
Messages: 13597
Site web

Re: SIRENE géocodée... infos et discussions

Merci Christian pour tout ce travail - inestimable. J'ai hâte de voir ce que ça va donner !


Association GeoRezo.net

Hors ligne

 

#3 ven. 27 octobre 2017 09:45

Raphaël_
Membre
Date d'inscription: 18 janv. 2016
Messages: 109

Re: SIRENE géocodée... infos et discussions

Merci bien ! smile

Hors ligne

 

#4 jeu. 02 novembre 2017 14:46

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Avis à la population !

Le stock SIRENE à fin octobre géocodé est dispo: http://data.cquest.org/geo_sirene/last/

Bases utilisées:
- BAN du 30/10/2017
- BANO du 01/11/2017
- POI OSM du 26/10/2017

Un peu de lecture sur les nouveautés est disponible sur: https://medium.com/@cq94/g%C3%A9ocodage … 0e14e87a8d

Dernière modification par cquest (mer. 07 mars 2018 18:48)


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#5 sam. 06 janvier 2018 15:32

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

La version géocodée de SIRENE au 1/1/2018 est disponible...

http://data.cquest.org/geo_sirene/2017-12/

Dernière modification par cquest (mer. 07 mars 2018 18:49)


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#6 mar. 09 janvier 2018 15:10

Theos2000
Membre
Date d'inscription: 15 juin 2015
Messages: 123

Re: SIRENE géocodée... infos et discussions

(Risque de Hors sujet)
Travail titanesque mais o combien utile. Merci beaucoup...
A quand l'intégration des données Sirène dans OpenstreetMap ??? 
Car il semble que Google l'ai déjà fait sur certains territoires ...

Hors ligne

 

#7 mar. 09 janvier 2018 15:37

PA
Membre du bureau
Lieu: Paris
Date d'inscription: 5 sept. 2005
Messages: 2571
Site web

Re: SIRENE géocodée... infos et discussions

Une partie seulement peut-être car ça ne décrit pas le territoire, contrairement aux commerces visibles avec enseigne.


Pierre-André Le Ny
Président de l'association
Modérateur QGIS, Données, Coin de l'OpenSource

Hors ligne

 

#8 mar. 09 janvier 2018 17:50

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Il y a quelques tests qui ont été fait sur les pharmacies (un de mes TOC).

Le besoin de contrôle est réel car des établissements ne sont pas à l'adresse déclarée, ils peuvent aussi ne plus être en activité (en cours de liquidation).

SIRENE permet par contre de détecter plus rapidement des changements car un nouveau commerce figure dans SIRENE en général avant même d'ouvrir.


Autre usage de SIRENE... un géocodeur de POI. J'ai chargé une instance d'addok (le géocodeur d'Etalab derrière adresse.data.gouv.fr) avec les commerces de SIRENE, accessible pour test sur http://sirene.addok.xyz/


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#9 mar. 20 février 2018 17:51

Lucas06
Membre
Lieu: Cannes
Date d'inscription: 5 févr. 2018
Messages: 2
Site web

Re: SIRENE géocodée... infos et discussions

La charge de travail doit vraiment être colossale, tout autant que l'intérêt du travail en lui-même.

Merci beaucoup à vous de contribuer (aussi fortement) à cette démarche de partage et de démocratisation des données.

Hors ligne

 

#10 mer. 28 février 2018 21:46

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Pour les utilisateurs de la base SIRENE, je viens d'ajouter sur data.gouv.fr un petit retraitement des fichiers de mise à jour quotidien: la liste des changements de codes SIRET.

C'est par exemple le cas lorsqu'une entreprise déménage... donc plutôt utile.

Les scripts de traitement sont sur: https://github.com/cquest/histo_sirene

Les données extraites par ces scripts sont téléchargeables sur http://data.cquest.org/histo_sirene/

Ce sont des fichiers CSV très simples:
- ancien code SIRET
- nouveau code SIRET
- date du changement

Il y a un fichier pour chaque mise à jour quotidienne de SIRENE et un fichier de cumul annuel et si j'ai tout bien configuré ça devrait se mettre à jour tout seul vers 10h du matin... à vérifier demain wink

L'historique démarre en janvier 2017, date depuis laquelle la base SIRENE et ses mises à jour sont en opendata.

Dernière modification par cquest (mer. 07 mars 2018 18:49)


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#11 mer. 28 février 2018 23:01

Bruno
Membre du bureau
Lieu: Paris
Date d'inscription: 22 juin 2005
Messages: 9781
Site web

Re: SIRENE géocodée... infos et discussions

Christian,

Existe-t-il un espoir que Pôle emploi s'appuie sur ce travail pour localiser les offres d'emplois dans une carto dynamique ouverte (pour le grand public)?
Peut-être cela existe-t-il déjà...

Bruno

Hors ligne

 

#12 mer. 28 février 2018 23:08

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Aucune idée, par contre, il y a des usages dans le domaine de l'emploi tel que https://labonneboite.pole-emploi.fr/ où la géoloc est utilisée.

La Bonne Boite effectue un ciblage spécifique des entreprises à fort potentiel d’embauche afin de faire gagner du temps dans la sélection des entreprises à démarcher.


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#13 jeu. 01 mars 2018 21:33

Bruno
Membre du bureau
Lieu: Paris
Date d'inscription: 22 juin 2005
Messages: 9781
Site web

Re: SIRENE géocodée... infos et discussions

Merci, c'est malin.
J'imagine que les contrats en alternance ne sont pas comptés dans les ETP de la fonction publique...

Hors ligne

 

#14 mer. 04 avril 2018 15:48

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Géocodage mensuel de SIRENE fait... et j'en profite pour signaler un changement d'adresse.

Une URL stable (data.cquest.org) remplace désormais l'IPv4 qui était utilisée et donc cela donne: http://data.cquest.org/geo_sirene/

Vous trouverez pas mal d'autres données utiles sur ce serveur.

J'ai par exemple ajouté le fameux carroyage à 200m de l'INSEE sous forme de shapefile prêts à l'emploi, plus pratiques que les données MIF/MID+DBF publiées par l'INSEE: http://data.cquest.org/insee_carroyage/

Le but est aussi de conserver des archives là où c'est pertinent.


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#15 ven. 06 avril 2018 12:53

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Retour sur la base SIRENE géocodée...

J'ai ajouté le géocodage des fichiers de mise à jour (quasi quotidiens).

Ils sont ici: http://data.cquest.org/geo_sirene/quotidien/

Le géocodage des anciens fichiers est en cours, la liste va donc petit à petit s'allonger en remontant dans le passé...


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#16 ven. 27 avril 2018 18:02

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Petit changement à prévoir dans le fichier "stock" géocodé en début de mois...

J'avais éliminé certaines colonnes redondantes (les libellés des catégories, les liens entre commune, département, région, EPCI).
J'ai tout remis pour être cohérent avec les fichiers quotidiens et rester au plus proche des fichiers d'origine, même si ça gonfle un peu au final la taille des fichiers.

Si vous voulez voir ce que ça donne, c'est sur: http://data.cquest.org/temp/

A partir du prochain stock, ça sera publié à l'emplacement habituel.


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#17 mer. 02 mai 2018 09:48

Jean-Michel
#jesuischarlie
Lieu: An Oriant /Lorient
Date d'inscription: 3 oct. 2005
Messages: 3718
Site web

Re: SIRENE géocodée... infos et discussions

Bonjour et Merci Christian,
Voir également cette initiative : https://github.com/ColinMaudry/sirene-ld
(Transformation du répertoire SIRENE (CSV) au format RDF pour publication en Linked Data )


Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#18 jeu. 21 juin 2018 08:21

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Petit changement à partir d'aujourdhui...

Depuis le 21 juin 2018, l'INSEE n'effectuant plus de traitement RNVP sur la base SIRENE, deux colonnes (geo_l4 et geo_l5) issues du géocodage ont été ajoutées pour partiellement pallier ce changement.
Ces colonnes contiennent une version conforme à la norme AFNOR NF Z10-011 correspondant aux lignes 4 et 5 du libellé d'adresse trouvé par le géocodage.
Ce traitement ne remplace toutefois pas un véritable traitement RNVP, car il n'effectue aucune validation dans les bases postales.

Dernière modification par cquest (jeu. 21 juin 2018 09:26)


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#19 jeu. 21 juin 2018 16:07

Robin
GeoRezo Team
Lieu: France
Date d'inscription: 31 août 2005
Messages: 13597
Site web

Re: SIRENE géocodée... infos et discussions

Pour ceux qui se demandent : "Un traitement RNVP (Restructuration, Normalisation, Validation Postale) est une suite d’opérations effectuée sur un fichier qui permet de s’assurer de l’existence des adresses présentes dans un fichier et de leur caractère normalisé."


Association GeoRezo.net

Hors ligne

 

#20 jeu. 21 juin 2018 19:44

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

Oups, effectivement, j'ai pas précisé !

C'est nécessaire essentiellement pour l'envoi en masse de courriers, afin de bénéficier des meilleurs tarifs. Sinon... pas vraiment indispensable wink


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#21 ven. 12 octobre 2018 19:01

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

L'INSEE modifie le format de diffusion des données de la base SIRENE... et les premiers fichiers "stock" au nouveau format sont disponibles sur:

https://www.data.gouv.fr/fr/datasets/5b … 9d30727e0/

J'ai mis à jour mes scripts de géocodage et géocodé ces nouveaux fichiers qui sont disponibles sur http://data.cquest.org/geo_sirene/v2019/

Quoi de neuf ?

Seul le fichier StockEtablissement est traité, vu que c'est le seul fichier parmis les 4 diffusés par l'INSEE qui contient des adresses.

Les changements:
- les fichiers départementaux sont désormais compressés en gzip (plus de 7z)
- le stock national est disponible pour les établissements Actifs et pour l'ensemble des établissements (Actifs ou Fermés)
- un traitement supplémentaire prends en compte les anciennes communes qui n'existent plus (fusions) et leur fait correspondre le code INSEE actuel afin de permettre le géocodage. Certaines "adresses" ne sont plus géocodables (ex: "GALERIE MARCHANDE MAMMOUTH")

Fichiers générés

- StockEtablissement_geo.csv.gz : fichier national complet (29 millions)
- StockEtablissementActif_geo.csv.gz : fichier national des établissements Actifs (11 millions)
- geo_siret_DDD.csv.gz : stock complet pour un département (et découpé par arrondissements de Paris)
- communes/{codeINSEEcommune}.csv : stock complet pour une commune
- logs.tgz : logs complet de géocodage (un fichier par département)
- stats.json : statistiques finales du géocodage par département

N'hésitez pas à me signaler toute anomalie, ça sent encore un peu la peinture fraîche même si la partie géocodage est très proche de ce qui a été fait jusqu'à maintenant.


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

#22 ven. 19 octobre 2018 09:33

cquest
Membre
Date d'inscription: 6 janv. 2013
Messages: 346

Re: SIRENE géocodée... infos et discussions

J'ai refait une passe de géocodage sur ces nouveaux fichiers... car le géocodage avec BANO n'était pas pris en compte.
Il permet de gagner 1% environ d'adresses supplémentaires géocodées.

http://data.cquest.org/geo_sirene/v2019/last en cours d'upload


Christian Quest
membre d'OpenStreetMap France
@cq94 sur twitter

Hors ligne

 

Pied de page des forums

Powered by FluxBB

Partagez  |