Aller au contenu
Data science

Mesurer une classification

⏱ 45 min

Prérequis : La classification et la régression logistique · Probabilités et échantillonnage

À la fin de ce chapitre, vous saurez :
  • lire une matrice de confusion ;
  • calculer et interpréter l'exactitude, la précision, le rappel et le F1 ;
  • expliquer pourquoi l'exactitude trompe avec des classes déséquilibrées ;
  • comparer un classifieur à un modèle de référence.

Un test de dépistage qui rate un cancer, et un test qui alerte à tort une personne saine, font tous deux une erreur. Mais leurs conséquences n’ont rien à voir. En régression, on mesurait de combien on se trompe ; en classification, la question est sur quoi on se trompe. Une seule métrique ne peut pas tout résumer : il faut choisir ce qu’on mesure en fonction du problème.

En classification binaire, on appelle positive la classe qu’on cherche à détecter (la maladie, la fraude, le spam). Quatre cas sont possibles :

prédit positif prédit négatif
vraiment positif vrai positif (VP) faux négatif (FN) : un cas manqué
vraiment négatif faux positif (FP) : une fausse alerte vrai négatif (VN)

On en tire les métriques principales :

  • exactitude (accuracy) =VP+VNtotal= \dfrac{VP + VN}{\text{total}} : la part de bonnes réponses ;
  • précision =VPVP+FP= \dfrac{VP}{VP + FP} : parmi les alertes, combien sont justes ?
  • rappel (sensibilité) =VPVP+FN= \dfrac{VP}{VP + FN} : parmi les vrais positifs, combien sont détectés ?
  • F1 =2 preˊcision×rappelpreˊcision+rappel= 2\,\dfrac{\text{précision} \times \text{rappel}}{\text{précision} + \text{rappel}} : un compromis entre les deux.

Deux autres noms à connaître, surtout en médecine : la sensibilité (c’est le rappel) et la spécificité =VNVN+FP= \dfrac{VN}{VN + FP}, le « rappel des négatifs ».

Un classifieur donne un score, et prédit « positif » au-dessus d’un seuil. Les deux courbes montrent la répartition des scores des négatifs (bleu) et des positifs (orange) ; les zones rouges sont les erreurs. Le seuil fait l’objet du chapitre suivant ; ici, regardez surtout la matrice et les métriques.

  1. Déplacez le seuil. Plus bas, on attrape plus de positifs (le rappel monte), mais on déclenche plus de fausses alertes (la précision baisse). Précision et rappel tirent en sens contraires.
  2. Dégradez le modèle (qualité vers 0) : les deux distributions se superposent ; toutes les métriques chutent vers celles du hasard.
  3. Réduisez la part de positifs à 2 % : c’est le paradoxe ci-dessous.

Avec 2 % de positifs (une maladie rare, une fraude), l’exactitude dépasse facilement 95 %… alors que beaucoup de positifs sont manqués. Un modèle qui répondrait toujours « négatif » aurait 98 % d’exactitude, et ne servirait à rien. Avec une classe rare, l’exactitude ment.

D’où deux réflexes :

  • comparer à un modèle de référence : la classe majoritaire (DummyClassifier(strategy="most_frequent")) ; un modèle doit la battre nettement ;
  • regarder la classe qui compte : le rappel et la précision de la classe positive, ou le F1.
🔬Le paradoxe de l'exactitude, sur données réelles

Cancer du sein, avec 90 % des tumeurs malignes retirées : comparez l’exactitude, l’exactitude équilibrée et le rappel dans « Au-delà de la précision ».

→
Situation Erreur grave Métrique
dépistage médical, détection de fraude manquer un positif (FN) rappel
filtre anti-spam, recommandation fausse alerte (FP) précision
les deux comptent, classe rare — F1
classes équilibrées, erreurs de même coût — exactitude
🎓 Pour aller plus loin : le F-bêta, le coefficient de Matthews et la perte logistique

F-bêta. Le F1 donne autant de poids à la précision qu’au rappel. Le FβF_\beta donne β\beta fois plus d’importance au rappel :

Fβ=(1+β2) preˊcision×rappelβ2 preˊcision+rappel.F_\beta = (1 + \beta^2)\,\frac{\text{précision} \times \text{rappel}}{\beta^2\,\text{précision} + \text{rappel}} .

F2F_2 pour un dépistage (le rappel compte double), F0,5F_{0,5} pour un filtre anti-spam.

Pourquoi une moyenne harmonique ? Le F1 est la moyenne harmonique de la précision et du rappel : elle est tirée vers la plus petite des deux. Un modèle à 100 % de rappel et 2 % de précision (il signale tout) a un F1 de 4 %, alors que la moyenne ordinaire donnerait 51 %.

Coefficient de corrélation de Matthews (MCC). Il utilise les quatre cases de la matrice :

MCC=VP⋅VN−FP⋅FN(VP+FP)(VP+FN)(VN+FP)(VN+FN).\text{MCC} = \frac{VP \cdot VN - FP \cdot FN}{\sqrt{(VP+FP)(VP+FN)(VN+FP)(VN+FN)}} .

Il vaut 1 pour un modèle parfait, 0 pour le hasard, −1 pour un modèle toujours faux, et reste fiable avec des classes déséquilibrées.

Perte logistique. Les métriques ci-dessus ne regardent que la classe prédite. La perte logistique −1n∑log⁡pi(vraie classe)-\frac{1}{n}\sum \log p_i(\text{vraie classe}) juge aussi la confiance : se tromper avec 99 % de certitude coûte bien plus que se tromper à 55 %.

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay, classification_report
from sklearn.dummy import DummyClassifier
y_pred = modele.predict(X_test)
print(confusion_matrix(y_test, y_pred))
ConfusionMatrixDisplay.from_predictions(y_test, y_pred)
print(classification_report(y_test, y_pred)) # précision, rappel, F1 pour chaque classe
reference = DummyClassifier(strategy="most_frequent").fit(X_train, y_train)
print("référence :", reference.score(X_test, y_test))

✅ Vérifiez vos acquis

1. Un modèle de détection de fraude a 99,5 % d'exactitude. Les fraudes représentent 0,5 % des transactions. Que peut-on en dire ?
2. Parmi 100 alertes d'un détecteur, 20 sont de vraies fraudes. Que vaut sa précision ?
3. Sur 50 malades, un test en détecte 45. Que vaut son rappel ?
4. Pour un filtre anti-spam, quelle erreur est la plus grave, et quelle métrique surveiller ?
5. Un modèle signale tous les exemples comme positifs. Son rappel est de 100 %. Que vaut son F1 si 2 % des exemples sont positifs ?