Sensibilité des indices de qualité d'un classifieur probabiliste - Cnam - Conservatoire national des arts et métiers Accéder directement au contenu
Poster De Conférence Année : 2024

Sensibilité des indices de qualité d'un classifieur probabiliste

Résumé

In binary supervised classification, we have a sample of n observations described by a set of explanatory variables and a response variable y ∈ {0, 1}. A probabilistic classifier estimates the probability π of the event for each observation. A classifier is evaluated by examining its discriminating power, its calibration or both. Discriminant power is the ability to classify individuals correctly, while calibration measures the reliability of the estimate of the probability of class membership. The discriminating ability is commonly evaluated with the area under the ROC curve (AUC). To assess calibration (Huang et al. (2020)), we distinguish between calibration in the small, often measured by the Expected Calibration Error (ECE), and calibration in the large, measured by comparing the event rate and the average estimated probability. The Brier score, on the other hand, is used to measure the overall quality of the classifier. In this work we show that the sensitivity of these indices to different levels of deviation from perfect fit varies according to the shape of the probability distribution π and the distribution of deviations from these probabilities.
En classification supervisée binaire, nous disposons d’un échantillon de n observations décrites par un ensemble de variables explicatives et une variable de réponse y ∈ {0, 1}. Un classifieur probabiliste estime la probabilité π de l’évènement pour chaque observation. L’évaluation d’un classifieur se fait en examinant son pouvoir discriminant, sa calibration ou les deux à la fois. Le pouvoir discriminant est la capacité à bien classer les individus et sa calibration mesure la fiabilité de l’estimation de la probabilité d’appartenance aux classes. La capacité discriminante est communément évaluée avec l’aire sous la courbe ROC (AUC). Pour l’évaluation de la calibration (Huang et al. (2020)), on distingue la calibration in the small, souvent mesurée par l’Expected Calibration Error (ECE) de la calibration in the large, mesurée en comparant le taux de l’évènement et la probabilité estimée moyenne. Le score de Brier est par contre utilisé pour mesurer la qualité globale du classifieur. Dans ce travail nous montrons que la sensibilité de ces indices à différents niveaux d’écarts à l’ajustement parfait varie selon la forme de distribution des probabilités π et de la distribution des écarts à ces probabilités.
Fichier principal
Vignette du fichier
Poster conférence.pdf (394.11 Ko) Télécharger le fichier
Article.pdf (251.01 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04587468 , version 1 (24-05-2024)

Licence

Domaine public

Identifiants

  • HAL Id : hal-04587468 , version 1

Citer

Ndeye Awa Dieye, Ndèye Niang, Giorgio Russolillo. Sensibilité des indices de qualité d'un classifieur probabiliste. Extraction et la Gestion des Connaissances 2024, Jan 2024, Dijon, France. Revue des Nouvelles Technologies de l'Information, Extraction et Gestion des Connaissances, RNTI-E-40, pp.339-340, 2024. ⟨hal-04587468⟩
17 Consultations
8 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More