Mesurer une classification
Prérequis : La classification et la régression logistique · Probabilités et échantillonnage
- lire une matrice de confusion ;
- calculer et interpréter l'exactitude, la précision, le rappel et le F1 ;
- expliquer pourquoi l'exactitude trompe avec des classes déséquilibrées ;
- comparer un classifieur à un modèle de référence.
Toutes les erreurs ne se valent pas
Section intitulée « Toutes les erreurs ne se valent pas »Un test de dépistage qui rate un cancer, et un test qui alerte à tort une personne saine, font tous deux une erreur. Mais leurs conséquences n’ont rien à voir. En régression, on mesurait de combien on se trompe ; en classification, la question est sur quoi on se trompe. Une seule métrique ne peut pas tout résumer : il faut choisir ce qu’on mesure en fonction du problème.
La matrice de confusion
Section intitulée « La matrice de confusion »En classification binaire, on appelle positive la classe qu’on cherche à détecter (la maladie, la fraude, le spam). Quatre cas sont possibles :
| prédit positif | prédit négatif | |
|---|---|---|
| vraiment positif | vrai positif (VP) | faux négatif (FN) : un cas manqué |
| vraiment négatif | faux positif (FP) : une fausse alerte | vrai négatif (VN) |
On en tire les métriques principales :
- exactitude (accuracy) : la part de bonnes réponses ;
- précision : parmi les alertes, combien sont justes ?
- rappel (sensibilité) : parmi les vrais positifs, combien sont détectés ?
- F1 : un compromis entre les deux.
Deux autres noms à connaître, surtout en médecine : la sensibilité (c’est le rappel) et la spécificité , le « rappel des négatifs ».
À vous de jouer
Section intitulée « À vous de jouer »Un classifieur donne un score, et prédit « positif » au-dessus d’un seuil. Les deux courbes montrent la répartition des scores des négatifs (bleu) et des positifs (orange) ; les zones rouges sont les erreurs. Le seuil fait l’objet du chapitre suivant ; ici, regardez surtout la matrice et les métriques.
- Déplacez le seuil. Plus bas, on attrape plus de positifs (le rappel monte), mais on déclenche plus de fausses alertes (la précision baisse). Précision et rappel tirent en sens contraires.
- Dégradez le modèle (qualité vers 0) : les deux distributions se superposent ; toutes les métriques chutent vers celles du hasard.
- Réduisez la part de positifs à 2 % : c’est le paradoxe ci-dessous.
Le paradoxe de l’exactitude
Section intitulée « Le paradoxe de l’exactitude »Avec 2 % de positifs (une maladie rare, une fraude), l’exactitude dépasse facilement 95 %… alors que beaucoup de positifs sont manqués. Un modèle qui répondrait toujours « négatif » aurait 98 % d’exactitude, et ne servirait à rien. Avec une classe rare, l’exactitude ment.
D’où deux réflexes :
- comparer à un modèle de référence : la classe majoritaire (
DummyClassifier(strategy="most_frequent")) ; un modèle doit la battre nettement ; - regarder la classe qui compte : le rappel et la précision de la classe positive, ou le F1.
Cancer du sein, avec 90 % des tumeurs malignes retirées : comparez l’exactitude, l’exactitude équilibrée et le rappel dans « Au-delà de la précision ».
→Quelle métrique privilégier ?
Section intitulée « Quelle métrique privilégier ? »| Situation | Erreur grave | Métrique |
|---|---|---|
| dépistage médical, détection de fraude | manquer un positif (FN) | rappel |
| filtre anti-spam, recommandation | fausse alerte (FP) | précision |
| les deux comptent, classe rare | — | F1 |
| classes équilibrées, erreurs de même coût | — | exactitude |
🎓 Pour aller plus loin : le F-bêta, le coefficient de Matthews et la perte logistique
F-bêta. Le F1 donne autant de poids à la précision qu’au rappel. Le donne fois plus d’importance au rappel :
pour un dépistage (le rappel compte double), pour un filtre anti-spam.
Pourquoi une moyenne harmonique ? Le F1 est la moyenne harmonique de la précision et du rappel : elle est tirée vers la plus petite des deux. Un modèle à 100 % de rappel et 2 % de précision (il signale tout) a un F1 de 4 %, alors que la moyenne ordinaire donnerait 51 %.
Coefficient de corrélation de Matthews (MCC). Il utilise les quatre cases de la matrice :
Il vaut 1 pour un modèle parfait, 0 pour le hasard, −1 pour un modèle toujours faux, et reste fiable avec des classes déséquilibrées.
Perte logistique. Les métriques ci-dessus ne regardent que la classe prédite. La perte logistique juge aussi la confiance : se tromper avec 99 % de certitude coûte bien plus que se tromper à 55 %.
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay, classification_reportfrom sklearn.dummy import DummyClassifier
y_pred = modele.predict(X_test)print(confusion_matrix(y_test, y_pred))ConfusionMatrixDisplay.from_predictions(y_test, y_pred)print(classification_report(y_test, y_pred)) # précision, rappel, F1 pour chaque classe
reference = DummyClassifier(strategy="most_frequent").fit(X_train, y_train)print("référence :", reference.score(X_test, y_test))✅ Vérifiez vos acquis