banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Rencontres QGIS 2025

L'appel à participation est ouvert jusqu'au 19 janvier 2025!

#1 Tue 24 October 2017 15:20

MP911
Participant occasionnel
Date d'inscription: 4 May 2017
Messages: 26

Aide Geolocalisation Bd Sirene Insee

Bonjour à tous,

Je retrouve un gros problème : comment la BD SIRENE de l'INSEE peut être géolocalisée? Est-ce que des travaux sur ce sujet ont déjà étaient fait?
Quels sont les points positifs et négatifs de cette base de données?

Je vous remercie à tous.

Cordialement,

Maria

Hors ligne

 

#2 Tue 24 October 2017 16:41

Pierre
DesCartesPourUnMondeMeilleur
Date d'inscription: 22 Sep 2005
Messages: 1643

Re: Aide Geolocalisation Bd Sirene Insee

Aloha,

Confère le travail remarquable de CQuest.
La base dispo ici est géocodée automatiquement par CQuest.

Une simple recherche sur data.gouv.fr (voire, ici), vous l'aurait dit.

Cordialement


art X I. Déclaration des Droits de l’Homme et du Citoyen 1789
La libre communication des pensées et des opinions est un des droits les plus précieux de l’Homme : tout Citoyen peut donc parler, écrire, imprimer librement, sauf à répondre de l’abus de cette liberté, dans les cas déterminés par la Loi.

Hors ligne

 

#3 Tue 24 October 2017 16:58

MP911
Participant occasionnel
Date d'inscription: 4 May 2017
Messages: 26

Re: Aide Geolocalisation Bd Sirene Insee

Pierre a écrit:

Aloha,

Confère le travail remarquable de CQuest.
La base dispo ici est géocodée automatiquement par CQuest.

Une simple recherche sur data.gouv.fr (voire, ici), vous l'aurait dit.

Cordialement


Merci pour votre réponse. J'avais trouvé ce lien mais je n'arrive pas à ouvrir bien le fichier excel? Savez-vous comment je peux le faire? je vous mets une capture d'écran

Merci beaucoup.

Hors ligne

 

#4 Tue 24 October 2017 17:59

Sylvain M.
Participant assidu
Lieu: Saint-Pierre-des-Nids (53)
Date d'inscription: 8 Sep 2005
Messages: 995

Re: Aide Geolocalisation Bd Sirene Insee

MP911 a écrit:

mais je n'arrive pas à ouvrir bien le fichier excel


Ce n'est pas vraiment un fichier Excel, mais un fichier CSV (qu'Excel sait lire).
Mais si vous souhaitez une données Geolocalisée (le cas de ces CSV), un SIG serait plus adapté. QGis lit très bien les CSV.

MP911 a écrit:

je vous mets une capture d'écran


Il n'y a pas de capture d'écran dans votre message ?


Sylvain M.

Hors ligne

 

#5 Wed 25 October 2017 09:38

MP911
Participant occasionnel
Date d'inscription: 4 May 2017
Messages: 26

Re: Aide Geolocalisation Bd Sirene Insee

Merci pour votre réponse Pierre et Sylvain.

J'ai réussi à ouvrir le fichier sur excel en le changeant au format .txt

Le seul endroit pour trouver la BD SIRENE géocodée est le travail fait par CQuest? Savez-vous pourquoi les données de la BD SIRENE n'ont pas était géocodée avant?


Merci à nouveau smile

Hors ligne

 

#6 Wed 25 October 2017 10:04

n314
Participant assidu
Date d'inscription: 6 Sep 2005
Messages: 705

Re: Aide Geolocalisation Bd Sirene Insee

MP911 a écrit:

Savez-vous pourquoi les données de la BD SIRENE n'ont pas était géocodée avant?


Surement parce que le producteur ne l'avait pas conçue ainsi, peut être également pour laisser la main à l'utilisateur sur le référentiel et la méthode de géocodage à adopter. On peut vouloir démocratiser l'accès à la donnée en proposant du clé en main, mais ce faisant on a nécessairement des choix techniques ou logistiques à faire et l'on restreint donc alors le panel d'usages...

Hors ligne

 

#7 Wed 25 October 2017 14:25

MP911
Participant occasionnel
Date d'inscription: 4 May 2017
Messages: 26

Re: Aide Geolocalisation Bd Sirene Insee

Merci pour vos réponse! smile

La base dispo ici est géocodée automatiquement par CQuest.


Savez-vous comment cette base comment les mises à jour seront faites?
Vous saviez s'il y a d'autres méthodes de géolocalisation ou géocodage qui ont étaient faites pour ces établissements? Ou Christian est le seul à avoir fait ce travail de géocodage de la BDD SIRENE?

En lisant les autres posts, il me semble qu'il y a beaucoup de limites par rapport au géocodage de la BDD SIRENE.

Je suis nouvelle dans la géomatique du coup j'essaye de bien comprendre smile

Hors ligne

 

#8 Wed 25 October 2017 16:36

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 874

Re: Aide Geolocalisation Bd Sirene Insee

J'effectue ce géocodage chaque mois pour éviter que ce travail fastidieux soit fait en silo par de multiples utilisateurs des données SIRENE.

Les scripts que j'utilise pour géocoder SIRENE sont sur https://github.com/cquest/geocodage-spd … see-sirene

Ces scripts utilisent 2 géocodeurs basés sur addok, l'un avec la BAN, l'autre avec BANO. Ils tournent en local sur ma workstation un peu gonflée. Le traitement complet prend en 2 et 6h.

Les principales limites sont entre autre les limites habituelles de tout géocodage:
- qualité des adresses à géocoder
- complétude des référentiels dans lesquelles on les cherche
- efficacité de l'algorithme permettant de rétablir le lien entre l'adresse cherchée et celle du référentiel

En plus des données SIRENE géocodées, je publie le log complet de géocodage, avec les adresses non trouvées, ainsi que des statistiques département par département pour voir la proportion d'adresses au numéro, extrapolées, à la voie, au lieu dit, à la commune.

Je vais ajouter les positions des mairies pour améliorer les nombreuses adresses indiquées juste à "MAIRIE" (cas des associations, ou de services municipaux).

Ensuite il y a la qualité de la géolocalisation de l'adresse elle même qui peut avoir un impact sur certains usages et pas du tout sur d'autres...


N'hésitez pas à me remonter les anomalies et problèmes que vous détectez !


Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#9 Wed 25 October 2017 17:05

MP911
Participant occasionnel
Date d'inscription: 4 May 2017
Messages: 26

Re: Aide Geolocalisation Bd Sirene Insee

Merci beaucoup! Ce sont des informations très importantes.

Est-ce que vous savez si sur QGIS il y a un outil ou plugin qui permet de faire de la géolocalisation en masse?

Merci.

Hors ligne

 

#10 Thu 26 October 2017 10:11

Jean-Michel
Membre
Lieu: An Oriant /Lorient
Date d'inscription: 3 Oct 2005
Messages: 3909

Re: Aide Geolocalisation Bd Sirene Insee

Bonjour,

Est-ce que vous savez si sur QGIS il y a un outil ou plugin qui permet de faire de la géolocalisation en masse?


Christian vous a donné la réponse dans son message précédent :

J'effectue ce géocodage chaque mois pour éviter que ce travail fastidieux soit fait en silo par de multiples utilisateurs des données SIRENE.


Mutualisation, gain d'échelles, etc...
Pour l'instant, il n'y a pas mieux ! Et comme vous êtes "nouvelle dans la géomatique", çà va vous prendre un certain temps avant de pouvoir tutoyer ce niveau de qualité.

En lisant les autres posts, il me semble qu'il y a beaucoup de limites par rapport au géocodage de la BDD SIRENE.


Les limites sont inhérentes à la qualité des données (quelles que soient les données) : dans notre cas, qualité du fichier SIRENE, qualité des bases adresses utilisées pour le géocodage. L'erreur humaine est toujours présente, et il faut faire avec.
Christian a bien décrit tout çà.


Jean-Michel
GeoRezo, c'est des blogs, un wiki, un Netvibes ...
GeoRezo vous aide ==> Aidez GeoRezo !

Hors ligne

 

#11 Thu 26 October 2017 10:23

MP911
Participant occasionnel
Date d'inscription: 4 May 2017
Messages: 26

Re: Aide Geolocalisation Bd Sirene Insee

Merci beaucoup pour toutes ces réponses!

oui je suis nouvelle dans ce domaine, merci par ce coup de main smile

Hors ligne

 

#12 Thu 26 October 2017 10:56

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 874

Re: Aide Geolocalisation Bd Sirene Insee

Jean-Michel a écrit:

Les limites sont inhérentes à la qualité des données (quelles que soient les données) : dans notre cas, qualité du fichier SIRENE, qualité des bases adresses utilisées pour le géocodage. L'erreur humaine est toujours présente, et il faut faire avec.
Christian a bien décrit tout çà.


Pour améliorer cela, il faut à terme faire évoluer les Système d'Information pour qu'ils s'appuient le plus systématiquement possible sur les données de référence.

Lorsqu'on saisit une adresse, on ne devrait jamais le faire dans un (ou plusieurs) champs de texte souvent libres. C'est un abérration de procéder ainsi, mais elle s'explique par la non diffusion libre d'un référentiel national, donc beaucoup de monde bricole et fait un peu n'importe quoi.

Il faudrait faire une autocomplétion sur le référentiel national (unique mais alimenté par tous !) et avoir ainsi immédiatement une aide à la saisie doublée d'un contrôle de la validité et récupérer l'identifiant de l'adresse qui permet de ne plus se prendre la tête ensuite à faire correspondre "BVD DU GEN DE GAULE" avec "Bouleverd du Général de Gaulle"...

garbage in / garbage out wink


Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

#13 Thu 26 October 2017 11:11

MP911
Participant occasionnel
Date d'inscription: 4 May 2017
Messages: 26

Re: Aide Geolocalisation Bd Sirene Insee

Donc si j'ai bien compris le système de géocodage fait par Christian fonctionne comme ceci:

Quand la base SIRENE fait référence à un lieux dit (adresse non numérotée, cas en milieu rural) -> la BAN n’est pas suffisante -> il faut aller chercher sur la BANO ;
Quand SIRENE fait référence à un point d’intérêt, la BAN et la BANO ne sont pas suffisantes, il faut aller chercher sur une base de points d'intérêts

C'est bien ça?

Hors ligne

 

#14 Thu 26 October 2017 15:39

MP911
Participant occasionnel
Date d'inscription: 4 May 2017
Messages: 26

Re: Aide Geolocalisation Bd Sirene Insee

je publie le log complet de géocodage, avec les adresses non trouvées, ainsi que des statistiques département par département pour voir la proportion d'adresses au numéro, extrapolées, à la voie, au lieu dit, à la commune.


Où est ce que je peux trouver ces fichiers?

Merci!

Hors ligne

 

#15 Thu 26 October 2017 17:02

cquest
Participant assidu
Date d'inscription: 6 Jan 2013
Messages: 874

Re: Aide Geolocalisation Bd Sirene Insee

Oups... je viens de voir que j'avais uniquement uploadé le json de statistiques et pas les logs complets.

Je viens de les ajouter, exemple: http://212.47.238.202/geo_sirene/2017-09/log_2017_09.7z

La bonne nouvelle c'est que leur taille diminue, ce qui veut dire qu'il y a de moins en moins d'adresses non géocodées wink


Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
Initiateur de opendatArchives, OpenEventDatabase, Panoramax

Hors ligne

 

Pied de page des forums

Powered by FluxBB