Seuil, courbes ROC et précision-rappel
Prérequis : Mesurer une classification
- choisir un seuil de décision selon le coût des erreurs ;
- interpréter une courbe ROC et son AUC ;
- expliquer quand préférer la courbe précision-rappel ;
- vérifier et corriger la calibration des probabilités.
Un score, puis un seuil
Section intitulée « Un score, puis un seuil »Une régression logistique ne répond pas « malade » ou « sain » : elle donne une probabilité. C’est nous qui décidons de prédire « positif » au-dessus d’un seuil. Par défaut, scikit-learn prend 0,5 ; ce n’est presque jamais le meilleur choix.
Le seuil se choisit selon le coût des erreurs :
- pour un dépistage, rater un malade est grave : on baisse le seuil (rappel élevé), quitte à multiplier les examens complémentaires ;
- pour un filtre anti-spam, perdre un vrai courriel est grave : on monte le seuil (précision élevée).
Si une fausse alerte coûte et un cas manqué , et que les probabilités sont fiables, le seuil qui minimise le coût moyen est
Un cas manqué coûte 9 fois plus qu’une fausse alerte ? Seuil de 0,1.
Juger un modèle à tous les seuils
Section intitulée « Juger un modèle à tous les seuils »Plutôt que de juger un modèle à un seul seuil, on trace ses performances pour tous les seuils :
- la courbe ROC (bleue) : le taux de vrais positifs (rappel) en fonction du taux de faux positifs. Le hasard suit la diagonale ; un modèle parfait passe par le coin en haut à gauche. Son aire, l’AUC, résume le modèle : 0,5 pour le hasard, 1 pour un modèle parfait ;
- la courbe précision-rappel (orange) : plus parlante quand la classe positive est rare. La ligne pointillée orange est la précision du hasard (la part de positifs).
Le point sur chaque courbe correspond au seuil actuel : déplacez le seuil et regardez-le glisser. Réduisez ensuite la part de positifs à 2 % : la courbe ROC et l’AUC ne bougent pas, alors que la courbe précision-rappel s’effondre. Avec une classe rare, la ROC peut rester belle alors que la précision est catastrophique.
🎓 Pour aller plus loin : ce que mesure l'AUC
L’AUC a une interprétation simple : c’est la probabilité qu’un positif tiré au hasard ait un score supérieur à un négatif tiré au hasard. Elle mesure la capacité du modèle à ordonner les exemples, indépendamment de tout seuil.
Dans le widget, les scores des négatifs suivent et ceux des positifs (à un décalage près, qui dépend de la part de positifs). La différence d’un positif et d’un négatif suit , d’où
où est la fonction de répartition de la loi normale centrée réduite. Avec : .
L’AUC ROC ne dépend pas de la proportion de positifs ; la précision, si. Pour la part de positifs, : quand est petit, même un faible taux de faux positifs l’emporte sur les vrais positifs. C’est l’effet de la règle de Bayes vu dans le chapitre sur les probabilités. L’aire sous la courbe précision-rappel (la précision moyenne, average_precision_score) tient compte de cette rareté.
Cancer du sein : ouvrez la carte « Seuil de décision » et trouvez le seuil qui détecte toutes les tumeurs malignes. Combien de fausses alertes cela coûte-t-il ? (C’est aussi une mission.)
→Des probabilités fiables : la calibration
Section intitulée « Des probabilités fiables : la calibration »Choisir un seuil par la formule des coûts suppose que les probabilités sont fiables : quand le modèle annonce 80 %, l’événement doit se produire 8 fois sur 10. C’est la calibration. Un modèle peut très bien ordonner les exemples (bonne AUC) tout en annonçant des probabilités fausses.
On le vérifie avec un diagramme de fiabilité : on regroupe les exemples par probabilité annoncée, et on compare à la fréquence réelle des positifs dans chaque groupe.
- assurance > 1 : le modèle est trop sûr de lui ; la courbe est plus plate que la diagonale (ses « 95 % » ne se réalisent pas 95 fois sur 100). Fréquent avec le boosting et les réseaux de neurones ;
- assurance < 1 : il est trop prudent, la courbe est plus raide que la diagonale ; typique d’une forêt aléatoire ;
- recalibrer (méthode de Platt) : on ajuste une petite régression logistique sur les scores du modèle, avec des données mises de côté. Les points rejoignent la diagonale, et l’AUC ne change pas : l’ordre des exemples est conservé.
La régression logistique est en général bien calibrée d’office, puisqu’elle est entraînée sur la perte logistique.
from sklearn.metrics import roc_auc_score, RocCurveDisplay, PrecisionRecallDisplay, average_precision_scorefrom sklearn.calibration import CalibratedClassifierCV, CalibrationDisplay
p = modele.predict_proba(X_test)[:, 1]print("AUC :", roc_auc_score(y_test, p), " précision moyenne :", average_precision_score(y_test, p))RocCurveDisplay.from_predictions(y_test, p)PrecisionRecallDisplay.from_predictions(y_test, p)
y_pred_prudent = (p >= 0.2).astype(int) # un seuil abaisséCalibrationDisplay.from_predictions(y_test, p, n_bins=10) # le diagramme de fiabilitécalibre = CalibratedClassifierCV(modele, method="sigmoid", cv=5).fit(X_train, y_train) # Plattscikit-learn propose aussi TunedThresholdClassifierCV, qui choisit le seuil par validation croisée pour optimiser une métrique donnée.
✅ Vérifiez vos acquis