#1 Tue 24 October 2017 15:20
- MP911
- Participant occasionnel
- Date d'inscription: 4 May 2017
- Messages: 26
Aide Geolocalisation Bd Sirene Insee
Bonjour à tous,
Je retrouve un gros problème : comment la BD SIRENE de l'INSEE peut être géolocalisée? Est-ce que des travaux sur ce sujet ont déjà étaient fait?
Quels sont les points positifs et négatifs de cette base de données?
Je vous remercie à tous.
Cordialement,
Maria
Hors ligne
#2 Tue 24 October 2017 16:41
- Pierre
- DesCartesPourUnMondeMeilleur
- Date d'inscription: 22 Sep 2005
- Messages: 1643
Re: Aide Geolocalisation Bd Sirene Insee
Aloha,
Confère le travail remarquable de CQuest.
La base dispo ici est géocodée automatiquement par CQuest.
Une simple recherche sur data.gouv.fr (voire, ici), vous l'aurait dit.
Cordialement
art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.
Hors ligne
#3 Tue 24 October 2017 16:58
- MP911
- Participant occasionnel
- Date d'inscription: 4 May 2017
- Messages: 26
Re: Aide Geolocalisation Bd Sirene Insee
Aloha,
Confère le travail remarquable de CQuest.
La base dispo ici est géocodée automatiquement par CQuest.
Une simple recherche sur data.gouv.fr (voire, ici), vous l'aurait dit.
Cordialement
Merci pour votre réponse. J'avais trouvé ce lien mais je n'arrive pas à ouvrir bien le fichier excel? Savez-vous comment je peux le faire? je vous mets une capture d'écran
Merci beaucoup.
Hors ligne
#4 Tue 24 October 2017 17:59
- Sylvain M.
- Participant assidu
- Lieu: Saint-Pierre-des-Nids (53)
- Date d'inscription: 8 Sep 2005
- Messages: 995
Re: Aide Geolocalisation Bd Sirene Insee
mais je n'arrive pas à ouvrir bien le fichier excel
Ce n'est pas vraiment un fichier Excel, mais un fichier CSV (qu'Excel sait lire).
Mais si vous souhaitez une données Geolocalisée (le cas de ces CSV), un SIG serait plus adapté. QGis lit très bien les CSV.
je vous mets une capture d'écran
Il n'y a pas de capture d'écran dans votre message ?
Sylvain M.
Hors ligne
#5 Wed 25 October 2017 09:38
- MP911
- Participant occasionnel
- Date d'inscription: 4 May 2017
- Messages: 26
Re: Aide Geolocalisation Bd Sirene Insee
Merci pour votre réponse Pierre et Sylvain.
J'ai réussi à ouvrir le fichier sur excel en le changeant au format .txt
Le seul endroit pour trouver la BD SIRENE géocodée est le travail fait par CQuest? Savez-vous pourquoi les données de la BD SIRENE n'ont pas était géocodée avant?
Merci à nouveau
Hors ligne
#6 Wed 25 October 2017 10:04
- n314
- Participant assidu
- Date d'inscription: 6 Sep 2005
- Messages: 705
Re: Aide Geolocalisation Bd Sirene Insee
Savez-vous pourquoi les données de la BD SIRENE n'ont pas était géocodée avant?
Surement parce que le producteur ne l'avait pas conçue ainsi, peut être également pour laisser la main à l'utilisateur sur le référentiel et la méthode de géocodage à adopter. On peut vouloir démocratiser l'accès à la donnée en proposant du clé en main, mais ce faisant on a nécessairement des choix techniques ou logistiques à faire et l'on restreint donc alors le panel d'usages...
Hors ligne
#7 Wed 25 October 2017 14:25
- MP911
- Participant occasionnel
- Date d'inscription: 4 May 2017
- Messages: 26
Re: Aide Geolocalisation Bd Sirene Insee
Merci pour vos réponse!
La base dispo ici est géocodée automatiquement par CQuest.
Savez-vous comment cette base comment les mises à jour seront faites?
Vous saviez s'il y a d'autres méthodes de géolocalisation ou géocodage qui ont étaient faites pour ces établissements? Ou Christian est le seul à avoir fait ce travail de géocodage de la BDD SIRENE?
En lisant les autres posts, il me semble qu'il y a beaucoup de limites par rapport au géocodage de la BDD SIRENE.
Je suis nouvelle dans la géomatique du coup j'essaye de bien comprendre
Hors ligne
#8 Wed 25 October 2017 16:36
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 874
Re: Aide Geolocalisation Bd Sirene Insee
J'effectue ce géocodage chaque mois pour éviter que ce travail fastidieux soit fait en silo par de multiples utilisateurs des données SIRENE.
Les scripts que j'utilise pour géocoder SIRENE sont sur https://github.com/cquest/geocodage-spd … see-sirene
Ces scripts utilisent 2 géocodeurs basés sur addok, l'un avec la BAN, l'autre avec BANO. Ils tournent en local sur ma workstation un peu gonflée. Le traitement complet prend en 2 et 6h.
Les principales limites sont entre autre les limites habituelles de tout géocodage:
- qualité des adresses à géocoder
- complétude des référentiels dans lesquelles on les cherche
- efficacité de l'algorithme permettant de rétablir le lien entre l'adresse cherchée et celle du référentiel
En plus des données SIRENE géocodées, je publie le log complet de géocodage, avec les adresses non trouvées, ainsi que des statistiques département par département pour voir la proportion d'adresses au numéro, extrapolées, à la voie, au lieu dit, à la commune.
Je vais ajouter les positions des mairies pour améliorer les nombreuses adresses indiquées juste à "MAIRIE" (cas des associations, ou de services municipaux).
Ensuite il y a la qualité de la géolocalisation de l'adresse elle même qui peut avoir un impact sur certains usages et pas du tout sur d'autres...
N'hésitez pas à me remonter les anomalies et problèmes que vous détectez !
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#9 Wed 25 October 2017 17:05
- MP911
- Participant occasionnel
- Date d'inscription: 4 May 2017
- Messages: 26
Re: Aide Geolocalisation Bd Sirene Insee
Merci beaucoup! Ce sont des informations très importantes.
Est-ce que vous savez si sur QGIS il y a un outil ou plugin qui permet de faire de la géolocalisation en masse?
Merci.
Hors ligne
#10 Thu 26 October 2017 10:11
- Jean-Michel
- Membre
- Lieu: An Oriant /Lorient
- Date d'inscription: 3 Oct 2005
- Messages: 3909
Re: Aide Geolocalisation Bd Sirene Insee
Bonjour,
Est-ce que vous savez si sur QGIS il y a un outil ou plugin qui permet de faire de la géolocalisation en masse?
Christian vous a donné la réponse dans son message précédent :
J'effectue ce géocodage chaque mois pour éviter que ce travail fastidieux soit fait en silo par de multiples utilisateurs des données SIRENE.
Mutualisation, gain d'échelles, etc...
Pour l'instant, il n'y a pas mieux ! Et comme vous êtes "nouvelle dans la géomatique", çà va vous prendre un certain temps avant de pouvoir tutoyer ce niveau de qualité.
En lisant les autres posts, il me semble qu'il y a beaucoup de limites par rapport au géocodage de la BDD SIRENE.
Les limites sont inhérentes à la qualité des données (quelles que soient les données) : dans notre cas, qualité du fichier SIRENE, qualité des bases adresses utilisées pour le géocodage. L'erreur humaine est toujours présente, et il faut faire avec.
Christian a bien décrit tout çà.
Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !
Hors ligne
#11 Thu 26 October 2017 10:23
- MP911
- Participant occasionnel
- Date d'inscription: 4 May 2017
- Messages: 26
Re: Aide Geolocalisation Bd Sirene Insee
Merci beaucoup pour toutes ces réponses!
oui je suis nouvelle dans ce domaine, merci par ce coup de main
Hors ligne
#12 Thu 26 October 2017 10:56
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 874
Re: Aide Geolocalisation Bd Sirene Insee
Les limites sont inhérentes à la qualité des données (quelles que soient les données) : dans notre cas, qualité du fichier SIRENE, qualité des bases adresses utilisées pour le géocodage. L'erreur humaine est toujours présente, et il faut faire avec.
Christian a bien décrit tout çà.
Pour améliorer cela, il faut à terme faire évoluer les Système d'Information pour qu'ils s'appuient le plus systématiquement possible sur les données de référence.
Lorsqu'on saisit une adresse, on ne devrait jamais le faire dans un (ou plusieurs) champs de texte souvent libres. C'est un abérration de procéder ainsi, mais elle s'explique par la non diffusion libre d'un référentiel national, donc beaucoup de monde bricole et fait un peu n'importe quoi.
Il faudrait faire une autocomplétion sur le référentiel national (unique mais alimenté par tous !) et avoir ainsi immédiatement une aide à la saisie doublée d'un contrôle de la validité et récupérer l'identifiant de l'adresse qui permet de ne plus se prendre la tête ensuite à faire correspondre "BVD DU GEN DE GAULE" avec "Bouleverd du Général de Gaulle"...
garbage in / garbage out
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne
#13 Thu 26 October 2017 11:11
- MP911
- Participant occasionnel
- Date d'inscription: 4 May 2017
- Messages: 26
Re: Aide Geolocalisation Bd Sirene Insee
Donc si j'ai bien compris le système de géocodage fait par Christian fonctionne comme ceci:
Quand la base SIRENE fait référence à un lieux dit (adresse non numérotée, cas en milieu rural) -> la BAN n’est pas suffisante -> il faut aller chercher sur la BANO ;
Quand SIRENE fait référence à un point d’intérêt, la BAN et la BANO ne sont pas suffisantes, il faut aller chercher sur une base de points d'intérêts
C'est bien ça?
Hors ligne
#14 Thu 26 October 2017 15:39
- MP911
- Participant occasionnel
- Date d'inscription: 4 May 2017
- Messages: 26
Re: Aide Geolocalisation Bd Sirene Insee
je publie le log complet de géocodage, avec les adresses non trouvées, ainsi que des statistiques département par département pour voir la proportion d'adresses au numéro, extrapolées, à la voie, au lieu dit, à la commune.
Où est ce que je peux trouver ces fichiers?
Merci!
Hors ligne
#15 Thu 26 October 2017 17:02
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 874
Re: Aide Geolocalisation Bd Sirene Insee
Oups... je viens de voir que j'avais uniquement uploadé le json de statistiques et pas les logs complets.
Je viens de les ajouter, exemple: http://212.47.238.202/geo_sirene/2017-09/log_2017_09.7z
La bonne nouvelle c'est que leur taille diminue, ce qui veut dire qu'il y a de moins en moins d'adresses non géocodées
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax
Hors ligne