#1 Fri 08 July 2022 16:56
- fbecir
- Participant assidu
- Lieu: Saint-Mandé
- Date d'inscription: 16 Sep 2008
- Messages: 516
Ressources IA pour l'OCS GE
Bonjour
Suite au séminaire de la semaine dernière sur la production d'OCS GE assistée par des méthodes d'intelligence artificielle, l'IGN met à disposition des ressources (annotations pour l'apprentissage, modèles entraînés, prédictions ...) :
https://geoservices.ign.fr/ressources-i … ure-du-sol
Le code source des outils utilisés est aussi disponible : https://github.com/IGNF/odeon-landcover
Donc de quoi s'occuper pour le weekend ...
Cordialement
Hors ligne
#2 Fri 12 August 2022 08:13
- RazIMAG
- Juste Inscrit !
- Date d'inscription: 11 Aug 2022
- Messages: 3
Re: Ressources IA pour l'OCS GE
Bonjour,
Vous avez su comment utiliser le code (github) avec le jeux de données publiées par l'IGN?
Parce que je ne comprends pas qu'est ce qu'on doit utiliser parmi les données (annotations, jeux de données...) pour chaque programme outil (sample_grid, sample_sys ...)
Par exemple, la configuration JSON du sample_sys nécessite un chemin d'un fichier .shp contenant un mask et je ne sais pas si on doit créer nous même ces fichiers où sont-ils dans les données.
Pourriez-vous m'aider s'il vous plait?
Hors ligne
#3 Fri 12 August 2022 11:59
- nicolas david
- Participant occasionnel
- Date d'inscription: 24 Feb 2014
- Messages: 28
Re: Ressources IA pour l'OCS GE
Bonjour
Désolé de répondre à une question par une autre question mais pour vous indiquer plus précisément comment utiliser le code et les données IA/OCSGE pouvez-vous préciser quel est votre cas d'utilisation et ce que vous souhaitez faire ?
Plus précisément :
* Est-ce que vous voulez entraîner un modèle IA deep learning à partir du jeu d'apprentissage déjà fourni ?
* Ou bien êtes-vous seulement intéressé par utiliser un modèle IA déjà entraîné pour prédire sur des données images/ortho ?
* Ou alors est-ce que vous souhaitez dérouler l'ensemble des étapes : préparation de données IA / Entraînement de modèle / Inférence à partir d'un modèle entraîné ?
Selon les cas il n'est pas nécessaire d'utiliser tout les outils disponibles dans odeon-landcover.
En attendant que vous précisiez plus votre besoin voici déjà quelques informations sur les outils odeon-landcover et données IA disponibles en téléchargement correspondant au déroulé d'un processus complet : préparation de données IA , entraînement de modèle deep learning puis inférence.
Préparation des données
En entrée on dispose :
a - de données images (images ortho rvb et/ou IRC )
b- d'une données vérité terrain correspondante (fichiers vecteurs sur les différentes zones d'intérêt par classes de la nomenclature à apprendre)
En sortie :
ensemble de couples de vignettes (petites images de 256*256 pixel par exemple) avec une vignette correspondant aux données images et une autre au masques de segmentation (classe) en format raster.
Pour cette étapes on utilise :
1 - un des outils Grid Sampling ou Systematic Sampling pour échantillonner les emprises des vignettes
2 - "dataset génération" pour préparer les vignettes (découpages des images et rastersation des données vecteur en masque raster).
Pour récupérer les données en entrée de cette étape il faut télécharger : "Annotation Gers 2019" et les données ortho correspondantes (BDOrtho 2019 gers). Les données en sortie (vignettes) peuvent être téléchargées directement : "Jeu de données Deep Learning 2019" partie 1 et 2. Cette étape est donc facultative si vous êtes simplement intéressé par entraîner un modèle deep learning mais nécessaire si vous voulez préparer des données d'apprentissage différentes (regroupement de classes etc..)
Entraînement d'un modèle deep learning
En entré : jeux d'apprentissage sur forme de couple de vignette image+masque segmentation.
En sortie : fichier de paramètres pour modèle deep learning (fichier *.pth).
L'outil odeon-landcover correspondant est "Training".
Pour récupérer les données en entrée de cette étape il faut télécharger "Jeu de données Deep Learning 2019" partie 1 et 2 ou bien effectuer l'étape précédente soit même. Un exemple de données en sortie de cette étape est disponible en téléchargement dans : "Modèle Deep learning départemental 2019".
REM : le format du jeux d'apprentissage n'est pas spécifique à odeon-landcover et peut probablement être adapté assez simplement pour utiliser un autre code d’entraînement deep learning si vous préférez. Ce format de type couple de vignettes est un format assez standard pour les jeux d'apprentissage deep learning (en tâches de segmentation image).
REM : pour cette partie il faut avoir accès à un GPU compatible entraînement deep learning.
Utilisation d'un modèle deep learning/inférence
En entré : fichier de paramètres pour modèle deep learning (fichier *.pth) et données images sur la zone on on souhaite avoir la segmentation deep learning
En sortie : données raster du résultats de segmentation deep learning (format vignnette/patch) ou bien zone (dalle kilométrique par exemple).
L'outil odeon-landcover correspondant est "Detection".
Les données résultantes sur le Gers sont disponibles en téléchargement dans "Predictions complète Deep learning 2019 - 2016".
REM : Les modèles deep learning fournis sont entraînés seulement sur les données du département GERS et il y a donc très peu de chance que leur utilisation sur des départements différents donne d'aussi bons résultats (type de paysages et dates de prise de vue différentes)
Le code odeon-landcover est seulement utilisé pour la partie deep learning et il n'y a donc pas les données/codes correspondants aux post-traitements de ces résultats et à la génération de données OCSGE vecteur.
Dernière modification par nicolas david (Fri 12 August 2022 12:05)
Hors ligne
#4 Fri 12 August 2022 12:06
- RazIMAG
- Juste Inscrit !
- Date d'inscription: 11 Aug 2022
- Messages: 3
Re: Ressources IA pour l'OCS GE
Merci beaucoup, grâce à votre réposne j'ai bien compris les étapes.
Bonne journée
Dernière modification par RazIMAG (Fri 12 August 2022 13:08)
Hors ligne
#5 Fri 19 August 2022 15:22
- RazIMAG
- Juste Inscrit !
- Date d'inscription: 11 Aug 2022
- Messages: 3
Re: Ressources IA pour l'OCS GE
Rebonjour, pour l'étape prédiction, j'ai constaté que tous les modèles que j'ai entraîné je constate genèrent des images à 1 channel alors que vos modèles génèrent des prédictions avec 1 seul canal (que je suppose censé représenter l'argmax) alors que vos modèles en télèchargement contiennent 15 canaux. Comment je peux faire pour obtenir 15 canaux ? (car avec un seul canal j'arrive pas à retrouver des bonnes prédictions).
Merci
Hors ligne
#6 Fri 26 August 2022 09:08
- nicolas david
- Participant occasionnel
- Date d'inscription: 24 Feb 2014
- Messages: 28
Re: Ressources IA pour l'OCS GE
Bonjour
Le problème peut avoir différentes origines selon les données desquelles vous êtes partis et les fichiers de configurations utilisés. Quelques cas qui pourraient expliquer votre problème sont :
* En partant du "jeux de données deep learning" sur geoservice.
Une explication peut être l'utilisation des masques raster de label ayant un seul canaux (de type argmax) directement dans le train, alors que odeon train attend des masques de labels avec une bande (un canal raster) par classe. Il faut donc au préalable convertir les labels mono-bande vers des raster multi bande en utilisant une transformation de type one-hot encoding.
L'entrée du train est du type multi-bande pour permettre un entraînement multi classe par pixel mais cela n'est pas le cas dans les données ocsge diffusées.
la transformation one-hot encoding peut être faite assez facilement avec les librairies numpy ou sklearn ou autre. https://www.delftstack.com/howto/numpy/ … ing-numpy/
Un autre cas peut être de n'avoir spécifier qu'une seule bande dans la configuration du train et dans ce cas l’entraînement est fait en mono-classe sur une seule catégorie.
* En partant des "Annotations Gers 2019" :
Comme pour l'outil odeon train. L'outil de génération des patchs attend un fichier shapefile par classes et non un seul fichier vecteur avec un attribut indiquant la classe. Il peut donc être nécessaire de d'abord séparer/splitter les données annotations fournies en plusieurs fichiers vecteurs (via qgis ou fiona en python).
Nous allons essayer d'ajouter un tutoriel plus détaillé pour l'utilisation de ces données avec le code odeon landcover dans les prochaines semaines.
Hors ligne
#7 Fri 07 April 2023 07:24
Re: Ressources IA pour l'OCS GE
Bonjour,
Les travaux de l'IGN semblent avancer correctement:
https://preprod-cosia.ign.fr/
Ce petit site est très pédagogique.
Bonne journée!
Hors ligne
#8 Fri 07 April 2023 17:54
- borisa92
- Juste Inscrit !
- Date d'inscription: 7 Apr 2023
- Messages: 1
Re: Ressources IA pour l'OCS GE
Bonjour,
Merci pour cette belle remarque. Quelques précisions :
CoSIA = Couverture du Sol par Intelligence Artificielle
Dalles disponibles
Afin de vous permettre de visualiser et travailler sur ces données, vous pouvez déjà télécharger les zones suivantes :
Couverture par IA sur Soustons (40) 2021.zip
Couverture par IA sur Tours (37) 2021.zip
D'autres dalles vont prochainement arriver
Dalles à la demande
Vous êtes intéressé(e) par les données CoSIA ? Contactez-nous à cosia@ pour demander des dalles déjà disponibles (taille max une dalle de 10 km10 km ou plusieurs dalles de 2 km2 km, délai 1 semaine environs). ign.fr
Pour l’instant, nous essayons d’avoir d’abord des retours sur des zones réduites, avant de mettre en place une chaîne de production industrielle. Nous voulons nous assurer de l’utilité des données et montrer leur valeur au-delà l’OSC-GE.
Si vous avez des cas d’usage, sur des zones particulières dans un des départements disponibles ou pour toute question relative à ces données, vous pouvez envoyer un mail à l’adresse cosia@ ign.fr
Dernière modification par borisa92 (Mon 10 April 2023 17:32)
Hors ligne