Le portail francophone de la géomatique

La version 1.0 a été mise en production (avant hier, jeudi)... si vous rencontrez un problème, vous pouvez le signaler sur https://forum.etalab.gouv.fr/t/nouvelle … er/3458/20

Quel problème rencontrez-vous ?

Il n'est pas en panne pour tout le monde, plus de 33000 géocodages de fichiers CSV ont été faits depuis ce matin 6h25...

Dans ce cas, envoyez votre CSV qui ne passe pas à adresse@texte-a-enlever.data.gouv.fr pour permettre de reproduire et corriger le problème.

Le milliard, le milliard !

L'API de géocodage https://adresse.data.gouv.fr/api mise en place par Etalab a franchit le cap symbolique du milliard de requêtes traitées depuis le début de l'année.

Temps moyen... 32.7ms !

Données disponibles sur https://www.data.gouv.fr/fr/datasets/st … a-gouv-fr/

Une nouvelle version d'addok (le moteur de l'API de géocodage d'Etalab) est en préparation, actuellement en v1.1.0-rc1 (RC pour Release Candidate).

Vous pouvez la tester sur http://devapi-adresse.data.gouv.fr son fonctionnement est en principe identique à api-adresse.data.gouv.fr

Principaux changements:
- les valeurs des scores retournées (d'où un besoin de retour en particulier sur ce point)
- des temps de réponse améliorés en moyenne de 30 à 40%


Quoi de neuf ?

- des améliorations dans l'algo de recherche
  - il peut désormais éliminer jusqu'à deux mots formant un bruit potentiel pour élargir la recherche, ex: "Quai Jules Verne St Cyprie Plage"
  - corrections de petits bugs ou défaut de logique (par exemple un comportement plus cohérent entre version avec et sans autocomplétion)

- un nouvel algorithme de scoring
  - en moyenne 5 fois plus plus rapide (principale source d'amélioration des temps de réponse)
  - le score prend essentiellement en compte la portion du texte cherché présente dans l'adresse du référentiel + un peu de levenshtein pour tenir compte de l'ordre (gère mieux les cas comme "Avenue de Paris Saint-Mandé" / "Avenue de Saint Mande Paris")
  - le score est mieux ajusté en cas de préférence géographique (lat/lon) en réduisant la valeur "importance"

- un meilleur nettoyage des adresses soumises au géocodage
  - suppression étendue des mentions postales (BP, CS, TSA, CIDEX)
  - traitement spécifique pour les CEDEX, dans ce cas on ne garde que le début du code postal
  - suppression des numéros de téléphone/fax (et oui, on en retrouve dans les logs !)
  - concaténation des initiales de sigles (S N C F > SNCF, F F I > FFI)

- ajout d'un log pour les requêtes lentes


Le détail est bien sûr visible dans la liste des commit sur github: https://github.com/addok/addok/commits/1.1.0-rc1

Nous attendons vos retours en issues sur github... https://github.com/addok/addok/issues

Par ici, non?

La documentation de l'API se trouve sur: https://adresse.data.gouv.fr/api

Pour le géocodage de CSV, voici ce qui est indiqué (les exemples de requête utilisent httpie)...

Le fichier csv, encodé en UTF-8 et limité actuellement à 8Mo, doit être passé via le paramètre data:

http --timeout 600 -f POST https://api-adresse.data.gouv.fr/search/csv/ data@path/to/file.csv

Par défaut, toutes les colonnes sont concaténées pour constituer l’adresse qui sera géocodée. On peut définir les colonnes à utiliser via de multiples paramètres columns:

http -f POST https://api-adresse.data.gouv.fr/search/csv/ columns='voie' columns='ville' data@path/to/file.csv

Il est possible de préciser le nom d’une colonne contenant le code INSEE ou le code Postal pour limiter les recherches, exemple :

http -f POST https://api-adresse.data.gouv.fr/search/csv/ columns='voie' columns='ville' citycode='ma_colonne_code_insee' data@path/to/file.csv

http -f POST https://api-adresse.data.gouv.fr/search/csv/ columns='voie' columns='ville' postcode='colonne_code_postal’ data@path/to/file.csv



Donc pour le code insee, il doit être présent dans chaque ligne du CSV, et il suffit d'indiquer le nom de la colonne où il se trouve. Son usage est très efficace et permet d'améliorer considérablement les résultats et empêchant addok d'aller chercher des réponses en dehors de la commune.

Par contre, je déconseille le filtrage sur le code postal. L'API ne connaît que le code postal générique présent dans la BAN, les codes postaux liés au CEDEX et boites postales sont inconnus et les résultats seront vides.

Question bête... httpie est bien installé ?

data indique à httpie le fichier à envoyer dans le corps (body) de la requête HTTP

Je sèche. Je viens de tester avec un fichier au chemin d'accès complet et je n'ai pas eu de problème.

Plan B... curl ?

Il faut encoder les paramètres de votre requête avec urlencode().

cf la note de la page d'aide de la fonction file_get_contents:
https://secure.php.net/manual/en/functi … ntents.php

Typiquement dans l'exemple, urlencode remplacera les espaces par %20.

Dernière modification par tumasgiu (Mon 19 March 2018 11:50)

Bonjour,
J'ai pu avancer

    $url_geocodeurban = 'https://api-adresse.data.gouv.fr/search/?q=%s&autocomplete=0';
        $url = vsprintf($url_geocodeurban, urlencode($adresse_concat));
        $response = json_decode(file_get_contents($url));
        echo $url;

Avec ce bout de code, je ne pars pas en erreur. La question reste donc comment récupérer les coordonnées ?

En revanche j'ai essayé la syntaxe suivante

    $url_geocodeurban = 'https://api-adresse.data.gouv.fr/search/?q=%s&citycode=%s';
        $url = vsprintf($url_geocodeurban, urlencode($adresse_concat), urlencode(insee_url));
        $response = json_decode(file_get_contents($url));
        echo $url;

Dans ce code j'ai deux chaines de caractères que je veux remplir, c'est pour cela qu'on retrouve deux fois "%s" qui signale une chaîne de caractères. J'indique ensuite le format puis mes deux arguments dans la fonction vsprintf() mais la syntaxe n'est pas acceptée.  Si vous avez une solution à me proposer je suis preneur... mais c'est la première question qui m'intéresse vraiment ( faut que ca marche j'arrive à cours de temps )

Merci grandement dans tous les cas !

Petit ajout de fonctionnalité sur l'API de géocodage proposée par Etalab: les filtres par région et département sont venus compléter les filtres par commune et code postal.

Exemple sur l'URL sur une instance de test contenant les données à jour:

http://devapi-adresse.data.gouv.fr/sear … necode=R25 (Région Normandie)

http://devapi-adresse.data.gouv.fr/sear … necode=D14 (Département du Calvados)


D'autres zonages pourraient être ajoutés si besoin, selon les retours. Je pense aux EPCI (la demande est venue plusieurs fois) et pourquoi pas aux académies.
Comme toujours avec addok, c'est très paramétrable si vous déployez votre instance locale.

Bonjour à tous,

Notre API de géocodage bénéficie depuis peu d'une nouvelle infrastructure technique.
Cette dernière dispose d'une plus grande capacité, et pourra suivre facilement la croissance de l'utilisation de l'API.

En conséquence, nous relevons les limitations qui étaient en vigueur :

- Passage de 10 à 50 requêtes par seconde et par IP en géocodage simple
- Passage de 1 à 2 requêtes simultanées en géocodage CSV

Il est toujours possible de s'affranchir de ces limites si vous êtes un service public, ou si vous déployez vos propres instances.

À noter que le temps de réponse moyen de l'API est plus court, ce qui permet une auto-complétion plus fluide.

Quelques difficultés subsistent sur le géocodage CSV (qui étaient déjà présentes sur l'ancienne infrastructure) mais nous avons bon espoir de corriger cela rapidement.

Notre FAQ a été mise à jour en conséquence.

N'hésitez pas à nous faire des retours.

Dernière modification par jdesboeufs (Mon 29 April 2019 12:29)

Bonjour,

L'instance de test a été retirée lors de la bascule vers notre nouvelle infrastructure.

L'utilisation de ces filtres posait quelques problèmes de pertinence des résultats, et nous devons évaluer l'impact de leur correction sur le moteur de géocodage en lui-même.

Bonne journée.