En classification supervisée binaire, nous disposons d’un échantillon de n observations décrites par un ensemble de variables explicatives et une variable de réponse y ∈ {0, 1}. Un classifieur probabiliste estime la probabilité π de l’évènement pour chaque observation. L’évaluation d’un classifieur se fait en examinant son pouvoir discriminant, sa calibration ou les deux à la fois. Le pouvoir discriminant est la capacité à bien classer les individus et sa calibration mesure la fiabilité de l’estimation de la probabilité d’appartenance aux classes. La capacité discriminante est communément évaluée avec l’aire sous la courbe ROC (AUC). Pour l’évaluation de la calibration (Huang et al. (2020)), on distingue la calibration in the small, souvent mesurée par l’Expected Calibration Error (ECE) de la calibration in the large, mesurée en comparant le taux de l’évènement et la probabilité estimée moyenne. Le score de Brier est par contre utilisé pour mesurer la qualité globale du classifieur. Dans ce travail nous montrons que la sensibilité de ces indices à différents niveaux d’écarts à l’ajustement parfait varie selon la forme de distribution des probabilités π et de la distribution des écarts à ces probabilités.