banniere

Le portail francophone de la géomatique


Toujours pas inscrit ? Mot de passe oublié ?
Nom d'utilisateur    Mot de passe              Toujours pas inscrit ?   Mot de passe oublié ?

Annonce

Rencontres QGIS 2025

L'appel à participation est ouvert jusqu'au 19 janvier 2025!

#1 Mon 21 April 2008 16:24

Emilien
Juste Inscrit !
Date d'inscription: 21 Apr 2008
Messages: 3

évaluation de classif par des ROIs

Bonjour,

Je commence à me demander si l'utilisation de ROIs de validation (différents des ROIs d'entrainement) pour l'évaluation des classifs supervisées est une bonne chose :
- après avoir fait des tests sur une quinzaine de classifs (méthode SVM), je me rends compte qu'il n'y a aucune corrélation entre la séparabilité des ROIs d'entrainement (qui traduit pourtant, dans une certaine mesure, la possibilité de réaliser une bonne séparation des classes) et les résultats de la matrice de confusion (coeff Kappa, Overall Accuracy) si cette dernière est basée sur des ROIs de validation ( c à d différents de ceux d'entrainement). En revanche, cette corrélation est assez logiquement bonne (entre 0,8 et 1) si l'on base la matrice de confusion sur les ROIs d'entraînement.
- de plus, j'ai l'impression que les résultats d'une matrice de confusion basée sur des ROIs de validation ne dépendent finalement que de la façon dont l'utilisateur a choisi ces derniers. Si ils ressemblent aux ROIs d'entrainement, le résultat est bon...

Je voulais savoir si quelqu'un s'était déjà penché sur le sujet ou si il existe des articles là-dessus.

Merci

Emilien

Hors ligne

 

#2 Mon 21 April 2008 16:49

Jeirhome
Membre
Lieu: Liverion
Date d'inscription: 22 Aug 2006
Messages: 4298
Site web

Re: évaluation de classif par des ROIs

Sous ERDAS, utiliser les ROIs d'entrainement, cela s'appelle une matrice de confusion a priori. Le but est différent de la matrice a posteriori qui utilise des ROI de validation.

Si vous avez des problèmes entre le résultat de séparabilité et les résultats de validation, il y a peut-être un soucis du côté des ROI d'entrainement. D'après mes travaux, je pense que c'est vraiment le test de séparabilité qui est à utiliser avec précaution.

Je n'ai pas trop le temps de développer, mais pouvez-vous de votre côté décrire rapidement comment vous sélectionnez vos ROI. Si vous faites beaucoup de sélection visuelle de vos ROI, ce problème de validation peut simplement traduire un défaut réel de la classification.


Jérôme Cuinet
L'avantage de la Chine, c'est que le soleil se couche plus tard !

Hors ligne

 

#3 Mon 21 April 2008 17:24

Emilien
Juste Inscrit !
Date d'inscription: 21 Apr 2008
Messages: 3

Re: évaluation de classif par des ROIs

Bonjour,

Concernant mes ROIs, je les crée d'après des observations de terrain pour les distinctions complexes (différentes essences forestières par exemple) et de manière visuelle pour ce qui paraît plus simple (lacs, labours...).
Le problème vient peut-être du fait que mes ROIs représentent une trop faible partie de l'image (moins de 0,5 %), je vais réessayer avec davantage de surface et je vous tiens au courant.

à bientôt

Emilien

Hors ligne

 

#4 Thu 24 April 2008 10:21

aurelie12
Juste Inscrit !
Lieu: Arzal
Date d'inscription: 20 Oct 2007
Messages: 3

Re: évaluation de classif par des ROIs

Bonjour,

Je suis tout à fait d'accord avec vous, Emilien. En effet, j'avais déjà remarqué que les résultats d'une matrice de confusion dépendent du choix des ROIs de validation. Malheureusement, je pense qu'il n'existe aucune méthode fiable pour avoir des ROIs de validation objectifs.
J'ai déjà lu quelques articles sur le sujet il y a longtemps, je vous tiens au courant si je retrouve les sources. Il me semble que c'était dans l'International Journal of Remote Sensing.

Aurélie

Hors ligne

 

#5 Thu 24 April 2008 19:12

Jeirhome
Membre
Lieu: Liverion
Date d'inscription: 22 Aug 2006
Messages: 4298
Site web

Re: évaluation de classif par des ROIs

Le problème de la matrice de confusion, c'est que c'est une matrice, et donc que le nombre de valeur potentiellement exploitable correspond au carré du nombre de classes. Le nombre de ROIs à prendre pour que les nombres présents dans la matrice soient significatifs est démesuré.

La première solution est de ne pas vouloir interpréter la totalité de la matrice, mais seulement ses éléments qui peuvent l'être. Lorsque j'ai sur mes 2980 parcelles de tournesol sur l'image, je me trouve avec effectivement sur le terrain 2150 parcelles de tournesol ; ou quand j'ai 2630 parcelles de tournesol sur le terrain, et que la carte indique que 2150 d'entre elles sont effectivement du tournesol ; alors je peux affirmer que j'ai une bonne estimation de mon tournesol (bonne, pas excellente, mais c'est bien), pour le reste où les chiffres s'élèvent à quelques dizaines, je peux faire certaines hypothèses, mais je n'en fait pas grand chose.

Rejeter cette splendide matrices de confusion peut être une seconde solution. Il n'y a pas vraiment de méthode fiable parce que la dispersion est très importante dans ces méthodes de classification. J'ai été surpris par mes premiers résultats de classification d'image satellite. Or j'ai pu améliorer l'exactitude de mes résultats en affinant la méthode. Le satellite, c'est magique, mais si un estimateur nous dit que c'est mauvais, si on a fait son travail d'estimation correctement, cela veut dire que la classification est mauvaise, malgré l'estimation a priori. Un contrôle, c'est extérieur, c'est pas interne. Une certification ISO9001, c'est pas avec un audit interne qu'on l'a, la classif, c'est pareil !


Jérôme Cuinet
L'avantage de la Chine, c'est que le soleil se couche plus tard !

Hors ligne

 

#6 Fri 25 April 2008 16:20

Emilien
Juste Inscrit !
Date d'inscription: 21 Apr 2008
Messages: 3

Re: évaluation de classif par des ROIs

Bonjour,

Merci à Aurélie et Jérôme pour leurs réponses, j'ai refait quelques tests avec plus de 60.000 pixels de validation (ce qui ne fait toutefois que 0,4 % du total de la scène ). Conclusions :
- beaucoup de temps passé à déterminer les ROIs de validation (près de 300 polygones, ça use la souris)
- ... pour un résultat pas franchement plus convaincant puisque je continue à avoir - quelle que soit la qualité de la classif (qu'on peut apprécier en comparant cette dernière à la BDOrtho par exemple), le résultat est toujours très optimiste (plus de 95 % ! )

Il est peut-être plus intéressant de vérifier soi-même la classif avec une image à très haute résolution sur une petite partie de la scène que d'éparpiller des ROIs de validation sur cette dernière. En effet, c'est plus souvent sur les transitions spatiales (type lisières, cours d'eau, haies...) que se font les confusions... En regardant tous les éléments, ainsi que leur agencement, sur une fraction de la scène, la validation est peut-être plus pertinente... Le problème reste, évidemment, la quantification.

à bientôt

Emilien

Hors ligne

 

#7 Mon 28 April 2008 10:04

Clovis
Participant occasionnel
Lieu: France
Date d'inscription: 26 Jul 2006
Messages: 21

Re: évaluation de classif par des ROIs

Bonjour,

Pour compléter un peu le sujet, une bonne référence:

Foody G.M. 2002. Status of land cover classification accuracy assessment, Remote Sensing of Environnement, 80, 185-201

C'est une synthèse sur l'évaluation de la qualité des classifications d'occupation du sol. L'auteur fait un petit topo de l'histoire de l'évaluation des résultats de classification d'images satellites, de l'évaluation "visuelle" jusqu'à l'indice Kappa et la suite. Ca explique bien toutes les difficultés liée aux classifications. Le papier est bien évidement centrée sur ces fameuses matrices de confusion...

C'est un peu dense et un peu en anglais mais ça vaut le coup d'oeil!

Un résultat de 95% c'est beaucoup! Les ROI de validation sont vraiment différent des ROI de calibration?

A mon avis c'est pas le nombre de pixel de validation qui est le plus important mais le nombre de sites (ROI) total (calibration + validation) et le pourcentage de séparation utilisé :
Exemple: on a 300 sites au total et on en prend 150 pour la calibration et 150 pour la validation de manière aléatoire (ratio C/V de 50/50 ou moit moit!). La précision globale ou l'indice Kappa devrait en prendre un coup et devenir plus "réaliste".

C'est là que la distribution des sites va devenir primordiale. Si les sites de C sont proches des sites de V, tu auras, a priori, des meilleurs résultats que si les sites sont éloignés. La matrice de confusion traduit mieux la manière dont l'algorithme de classification à prédit ou "extrapolé" les classes au delà des sites d'entrainements.

Clovis

Hors ligne

 

#8 Wed 15 June 2011 15:27

navi
Participant occasionnel
Date d'inscription: 21 Sep 2010
Messages: 14

Re: évaluation de classif par des ROIs

Bonjour,

Quelqu'un pourrait-il m'éclairer sur ce qu'on entend par séparabilité en SIG? Quelle est la définition de ce terme?

Merci d'avance.

Bonne journée

Navi

Hors ligne

 

#9 Wed 15 June 2011 15:39

Jeirhome
Membre
Lieu: Liverion
Date d'inscription: 22 Aug 2006
Messages: 4298
Site web

Re: évaluation de classif par des ROIs

On peut dire que la séparabilité est une précision sémantique, elle mesure la probabilité qu'un pixel d'une certaine classe soit bien classé.


Jérôme Cuinet
L'avantage de la Chine, c'est que le soleil se couche plus tard !

Hors ligne

 

Pied de page des forums

Powered by FluxBB