Pages: 1
- Sujet précédent - Extraction de données GML depuis l'export .xml de Telepac - Sujet suivant
#1 Tue 29 November 2022 14:08
- map
- Juste Inscrit !
- Lieu: cournonsec (34)
- Date d'inscription: 24 Feb 2006
- Messages: 8
Extraction de données GML depuis l'export .xml de Telepac
Bonjour à tous et toutes,
Comme plusieurs membres du forum, l'agriculture m'a happée et ça fait quelques années que je cours après un troupeau... Sauf que la géomatique n'est jamais loin et là je me retrouve con : ça fait trop longtemps que j'ai débranché et le format xml... c'est pas mon truc !
NOTE : Celui / celle qui trouvera le moyen d'automatiser cet export (plugin QGis ?), se verra cannonisé(e) par bon nombre de paysans et un paquet de structures en accompagnement agricole... ça fait du monde !
Ce post prend en compte les qques messages de ce forum et autres forums/sites. Les solutions existantes (rares) sont propriétaires et payantes (cher) avec une faible interopérabilité. Pour ce qui est de la synthèse des connaissances accessibles, il y a des infos généralistes sur les formats et standards numériques en agriculture (https://www.aspexit.com/standards-et-ec … -agricole/). Avant que l'on me redemande : NON le fournisseur de données ne communique pas les spécifications de format et encore moins d'outils d'extractions. Le dépositaire des données est la préfecture (DDT) et l'ASP est relai de l'état sur la structuration, stockage des données (si j'ai bien compris).
Contexte : Un fichier est mis à la disposition de chaque paysan lors de sa déclaration annuelle de demande d'aide sur la plateforme TéléPac. Ce fichier contient tous les éléments de sa déclaration : identification (nom, numéro d'exploitation, contact email, nom des associés, etc) / effectif animaux / déclaration d'estive / puis des données spatiales : îlots, parcelles, zones de densité homogène, surfaces non agricoles
L'ensemble de ses informations permettent à l'administration d'instruire puis de calculer le montant des aides, soit directement, soit en croisant ces infos avec d'autres sources de données. Afin de se réapproprier cette demande d'aide, il nous faut pouvoir disposer de ses données à un format exploitable...
Besoin : Extraire toutes les données spatiales du fichier .xml
Les données minimales à extraire (polygones avec toutes les données attributaires) :
- les îlots
- les parcelles
- les ZDH (Zones de densité homogène)
- les SNA (Surfaces non Agricoles)
Dans l'idéal, extraire l'ensemble des informations en fichiers distincts par thème (ils peuvent être cartographiques ou non).
Si vous souhaitez être vénéré comme un dieu et non comme un saint : permettre une conversion dans les deux sens !
Pour information (compréhension du fichier), la structure des données :
- chaque îlot est entièrement couvert de 1 à n parcelle
- chaque parcelle appartient à 1 et 1 seul îlot
- chaque ZDH intersecte 1 à n parcelle
- chaque SNA intersecte 1 à n parcelle
Merci mille fois à celles ou ceux qui oseront mettre les doigts là dedans !
Je me tiens à dispo pour donner toutes infos utiles !
Patrick.
PS joint : un exemple d'export TéléPac anonymisé (c'est moi ;+)
Dernière modification par map (Tue 29 November 2022 14:09)
Hors ligne
#2 Thu 01 December 2022 01:56
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonsoir,
Ce que cela peut donner https://labs.webgeodatavore.com/partage … c_w900.png
. Encore en cours. Il reste à parser du non-géographique puis à faire des liens (relations et jointures dans QGIS)
J'avais joué il y a quelques années avec un fichier Télépac d'une de mes relations mais je n'étais pas allé au bout.
L'occasion de se remettre dedans
Thomas
Hors ligne
#3 Thu 01 December 2022 19:20
- map
- Juste Inscrit !
- Lieu: cournonsec (34)
- Date d'inscription: 24 Feb 2006
- Messages: 8
Re: Extraction de données GML depuis l'export .xml de Telepac
Nom de D!!!
Saint Thomas est en route ! ;+)
Patrick
Hors ligne
#4 Sat 03 December 2022 16:27
Re: Extraction de données GML depuis l'export .xml de Telepac
Salut Thomas,
Bravo, même si je crains que tu ne te fasses pas que des amis dans l'écosystème de ceux qui proposent des services numériques aux agriculteurs (moi aussi je préfère le mot paysan, mais c'est un autre débat).
Sur le fond, les données du RPG appartiennent-elles aux agriculteurs?
J'imagine que ce débat a progressé depuis 20 ans, même si j'ai un doute quand je lis l'objet de ce sujet.
Hors ligne
#5 Sun 04 December 2022 18:35
- map
- Juste Inscrit !
- Lieu: cournonsec (34)
- Date d'inscription: 24 Feb 2006
- Messages: 8
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonsoir Bruno, bonsoir à tous,
Ceci pourrait faire l'objet d'un billet d'information à lui tout seul : quels sont les droits et responsabilités des données à caractère personnel fournies à l'administration...
Comme le souligne Bruno les droits autour du RPG (Registre Parcellaire Graphique) ne sont pas évidents :
- Tout d'abord, les exports TéléPac en .xml ne sont pas comparable avec le RPG : le RPG ne comporte pas toutes les informations de nos déclarations PAC, par exemple, pour les données spatialisées les SNA (Surf Non Agricoles) ou les ZDH (Zones de Densité Homogène) sont absentes, pour les données nos spatialisées, rien du tout (voir : https://fr.wikipedia.org/wiki/Registre_ … _graphique) !
- Le RPG est le résultat d'un travail par l'administration de compilation et de synthèse de nos données à caractère personnel... en toute logique, les données c'est à nous, mais le travail et le résultat du travail est à eux...
Mon analyse en ce qui concerne ce fichier (basée sur ma seule interprétation de la situation et sur les mentions légales de TéléPac : https://www.telepac.agriculture.gouv.fr … gales.html. Si qqu'un souhaite documenter/réfuter c'est avec plaisir ! ) :
- Selon le RGPD, je dispose d'un droit de propriété sur les données personnelles qui me concernent, de plus j'en suis l'inventeur puisque l'intégralité du contenu du fichier est de ma "production intellectuelle". Donc a double titre j'ai tous les droits sur ces données ;
- L'administration a l'obligation de nous laisser l'accès aux données que nous leur fournissons, ce qu'elle fait sous la forme de ce fichier généré par le même outil qui sert à la saisie ;
- Dans tous les cas l'administration (ASP) nous notifie son droit de publier nos données : "L'Agence de services et de paiement est susceptible de communiquer certaines données à d'autres administrations dans le cadre de leurs attributions. Conformément au droit européen, certaines données peuvent également faire l'objet d'une publication." --> RPG.
- LE HIC : nous avons un droit de regard sur l'utilisation de nos données("Vous disposez d'un droit d'accès, de rectification et d'effacement sur les données vous concernant."), cependant, une formulation laconique menace "En cas d'opposition au traitement de vos données, aucune aide ne pourra être versée."... cqfd :+(
- L'outil en ligne "TéléPac", qui a généré le fichier contenant les données dont je suis propriétaire, est réputé être la propriété de l'administration. Cependant aucune information, lors du téléchargement du fichier, ne mentionne de restrictions dues aux droits de l'administration découlant de leur propriété du logiciel. Je considère donc pouvoir disposer librement du contenant (fichier formaté) comme du contenu (mes données, ma propriété).
- le choix de l'administration du format ouvert et documenté ".xml/.gml" ne permet pas à l'administration de poser des restrictions, comme ce pourrait être le cas pour un format propriétaire, quand à la dissection (et à l'utilisation) du format de son fichier... il me semble même que le souhait est justement l'interopérabilité des systèmes, notamment avec la politique d'agriculture numérique actuelle pour laquelle le gouvernement dépense actuellement des millions (milliards?)...
En ce qui concerne le fait d'irriter les hautes sphères des applis propriétaires... perso ça me plaît un peu ;+)
Droite ligne de la philosophie des logiciels libres, du partage des savoirs et des compétences... Et puis la motivation première est « Si vous ne contrôlez pas le logiciel, le logiciel vous contrôle » ou plutôt ici « Si vous ne contrôlez pas vos données, l'administration vous contrôle »...
Merci
Patrick
Dernière modification par map (Sun 04 December 2022 19:40)
Hors ligne
#6 Tue 06 December 2022 03:31
- cquest
- Participant assidu
- Date d'inscription: 6 Jan 2013
- Messages: 867
Re: Extraction de données GML depuis l'export .xml de Telepac
La "production intellectuelle" je ne sais pas trop ce que c'est.
En droit, il n'y a que la "propriété intellectuelle" et pour exister, il faut que cela reflète une oeuvre de l'esprit et avoir un caractère original.
Pour télépac, on saisit des données selon un cahier des charges, on ne le fait pas par choix non plus, c'est une obligation. Il n'y a donc aucune propriété intellectuelle sur les données saisies.
Pareil quand nous remplissons chaque printemps notre cerfa 2042, cela ne fait pas de nous des auteurs, l'originalité en la matière étant d'ailleurs peu appréciée par notre administration fiscale
Le reste du raisonnement tombe donc pour l'essentiel. Désolé.
Ensuite il y a les "données à caractère personnel" (DCP), et là la géométrie d'une parcelle cultivée n'a rien de personnelle, c'est donc communicable à tous.
A contrario, l'information sur le propriétaire ou l'exploitant de cette parcelle relève bien de la DCP si c'est une personne physique (pas de DCP pour les personnes morales, pour cela que la DGFiP diffuse le fichier des parcelles cadastrales détenues par des personnes morales avec leur SIREN et nom).
Je pense même que le RPG pourrait d'ailleurs inclure les SIREN/nom des exploitants si ce sont des personnes morales non uni-personnelle... mais vu d'où l'on vient c'est pas gagné !
Ceci dit, le besoin d'information du public pourrait très bien rendre ces DCP communicables à tous.
Il y a un décret très important à ce sujet (le 2018-1117 dit décret "fourmisanté"). Dans ce décret, rien ne concerne directement le RPG mais cela peut relever d'une des dispositions plus globale comme "Les documents nécessaires à l'information du public relatifs aux activités soumises à des formalités prévues par des dispositions législatives ou réglementaires".
Il y a cependant des risques de voir le secret des affaires sortir de sa boite par certains !
Je passe vite sur le XML en rappelant juste qu'une administration a obligation de fournir des données informatiques dans un format libre et ouvert et ne peut se prévaloir non plus d'un droit sui-generis sur les bases de données (encore le CRPA à l'oeuvre... le Code des Relations entre le Public et l'Administration que nous devrions tous potasser au moins une fois).
Christian Quest - https://amicale.net/@cquest sur Mastodon (terminé twitter/X)
Membre fondateur et porte parole d'OpenStreetMap France
A l'origine de opendatArchives, OpenEventDatabase
Hors ligne
#7 Tue 06 December 2022 06:41
- map
- Juste Inscrit !
- Lieu: cournonsec (34)
- Date d'inscription: 24 Feb 2006
- Messages: 8
Re: Extraction de données GML depuis l'export .xml de Telepac
Super intéressant !
Je vais potasser les références citées... en gardant le troupeau !
Suite à notre sujet, j'ai posé la question directement à protectiondesdonnees@, je ne manquerai pas de vous faire part de la réponse ! asp-public.fr
Edit : réponse partielle :
"Monsieur,
Nous vous informons que, a propos du fichier [NDLR .xml] contenant vos données de déclaration, vous en êtes le propriétaire.
S'agissant de la structure technique du fichier, je ne suis pas en mesure de vous répondre.
J'ai transmis votre message à notre service en charge du téléservice Telepac."
Suite au prochain épisode !
Merci
Dernière modification par map (Fri 09 December 2022 23:32)
Hors ligne
#8 Fri 10 March 2023 08:39
- Librius
- Participant actif
- Lieu: Créteil
- Date d'inscription: 9 Nov 2012
- Messages: 67
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonjour Patrick,
Je découvre cette discussion un peu tardivement et je remercie Bruno de me l'avoir soufflé
Si on a bien le point d'entrée (fichier .xml), je n'ai pas très bien compris quelles étaient les sorties attendus en attente après traitement des données ?
Est-ce que le sujet est toujours d'actualité chez vous ?
@cquest : vu que la moitié des agriculteurs sont en entreprises unipersonnelles (j'ai ce chiffre en tête.. il n'est peut-être pas exact mais il faut bien voir l'ordre de grandeur), c'est plutôt la méthode du tout ou rien qui a été retenue - il n'est pas possible d'afficher le SIREN sur tous, donc on affiche rien.
Théo-Paul
Hors ligne
#9 Fri 10 March 2023 11:05
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonjour,
Voir ce dépôt de code https://github.com/ThomasG77/telepac-script-parser. Mon script récupère toutes les données géographiques comme attributaires.
Un projet QGIS est associé. J'avais commencé un plugin QGIS mais je n'ai pas trouvé le temps pour avancer. Le code est dans le dépôt pour mémoire de mon côté mais pas encore utilisable en l'état.
Thomas
Hors ligne
#10 Sun 12 March 2023 10:38
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonjour,
Merci Thomas pour ce partage.
Je ne connais plus assez bien l'écosystème des ESN géomatiques qui travaillent dans la filière agricole, mais espérons que l'une d'entres elles nous lise pour étudier le sujet et ton travail.
Hors ligne
#11 Wed 15 March 2023 18:21
- Librius
- Participant actif
- Lieu: Créteil
- Date d'inscription: 9 Nov 2012
- Messages: 67
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonjour Bruno,
Les différentes ESN agricoles ont déjà leurs parser TelePAC ... pour leurs outils
Hors ligne
#12 Tue 26 September 2023 16:13
- Librius
- Participant actif
- Lieu: Créteil
- Date d'inscription: 9 Nov 2012
- Messages: 67
Re: Extraction de données GML depuis l'export .xml de Telepac
Hello,
Je suis à la recherche des spécifications XML des fichiers TéléPAC.
Ma recherche a été infructueuse sur le site de l'ASP ..
Si vous avez des input, je suis preneur !
Lib'
Hors ligne
#13 Thu 28 September 2023 00:24
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonjour,
J'ai généré depuis le fichier exemple fourni dans cette discussion un schéma xsd https://github.com/ThomasG77/telepac-sc … schema.xsd
La recette utilisée est indiquée sur https://github.com/ThomasG77/telepac-sc … 9veloppeur
Je n'ai pas connaissance de documentation XML de Telepac. Comme vous, preneur d'autres infos d'autres tiers mieux informés.
Thomas
Hors ligne
#14 Fri 12 January 2024 22:49
- Alain FELER
- Participant occasionnel
- Lieu: Lorient
- Date d'inscription: 8 May 2008
- Messages: 10
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonjour,
Le dossier exemple fourni par map commence par un paragraphe de description du demandeur propre à une exploitation de type personne morale, complètement différent du paragraphe de description d'un demandeur de type personne physique.
Le programme de ThomasG fonctionne très bien là-dessus (à part un pb d'encodage sur les pièces jointes).
En revanche il plante sur un dossier de type exploitation individuelle, dont la description du demandeur est complètement, comme on le voit sur la pj.
Il plante sur la ligne 86 : identification_societe = demandeur.find('identification-societe'), et plantera de même sur les autres find d'attributs de la société, et réciproquement ne recherchera pas les attributs individuels comme civilité, nom, prénom, qui sont rattachés à identification-individuelle et non à associes.
C'est dommage, car les sorties du programme sur le dossier test sont vraiment complètes (et avec des trucs que je n'avais jamais vus, comme les cheptels, même s'ils ne sont pas localisés)... et ce programme est bien mieux que le mien : plus complet et mieux écrit.
Thomas, vous serait-il possible de le compléter ?
PJ. je ne sais pas mettre d'image, alors une transcription en texte du début du xml d'un dossier 2023 d'exploitation individuelle :
(en off je peux envoyer un vrai dossier)
<?xml version="1.0" encoding="ISO-8859-1"?>
-<producteurs xmlns:gml="http://www.opengis.net/gml" xmlns="urn:x-telepac:fr.gouv.agriculture.telepac:echange-producteur">
-<producteur fichier-xsd="Echanges-producteur-export-2023-V3" campagne="Courante" numero-pacage="xxxxxxxx">
-<demandeur dossier-sans-demande-aides="false" certificat-environnemental="false">
-<identification-individuelle numero-fiscal="xxxxxxxxxxxxx">
-<identite>
<civilite>Monsieur</civilite>
<nom>TTTTTTTTTTT</nom>
<prenoms>Dominique</prenoms>
</identite>
</identification-individuelle>
<siret>4xxxxxxxxxxxx5</siret>
<iban titulaire="M TTTTTTTTTTT DOMINIQUE" bic="Axxxxxxxxxx" compte-iban="FRxxxxxxxxxxxxxxxxxxxxxxxxx"/>
<courriel>dominique.ttttttttttt@</courriel> sfr.fr
</demandeur>
-<rpg>
-<ilot numero-ilot="1" numero-ilot-reference="037013333815">
<commune>37xxx</commune>
-<geometrie>
-<gml:Polygon>
Hors ligne
#15 Sat 13 January 2024 20:04
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonjour,
J'ai mis à jour le code sur le dépôt https://github.com/ThomasG77/telepac-script-parser pour cela en testant avec un exemple où j'ai remplacé le bloc demandeur par celui de votre extrait.
Thomas
Hors ligne
#16 Mon 15 January 2024 10:47
- Alain FELER
- Participant occasionnel
- Lieu: Lorient
- Date d'inscription: 8 May 2008
- Messages: 10
Re: Extraction de données GML depuis l'export .xml de Telepac
Merci beaucoup, mais ça plante plus loin. Je vous ai mis le détail sur github. Cordialement, AF
Hors ligne
#17 Tue 16 January 2024 23:14
- Librius
- Participant actif
- Lieu: Créteil
- Date d'inscription: 9 Nov 2012
- Messages: 67
Re: Extraction de données GML depuis l'export .xml de Telepac
Bonjour
Nous avons avec une connaissance mis en œuvre une IHM web pour faciliter la visualisation et téléchargement en GeoJSON des données.
https://telepacviz.farm-connect.eu/
Ca se limite aux parcelles (et ça ne prend pas en compte les fichiers 2023 - car le référentiel culture / groupes de culture n'était pas sorti) mais ça continue à rendre ces données plus accesibles.
Au plaisir d'en rediscuter,
Lib'
Dernière modification par Librius (Tue 16 January 2024 23:15)
Hors ligne
Pages: 1
- Sujet précédent - Extraction de données GML depuis l'export .xml de Telepac - Sujet suivant