Aller au contenu
Data science

Seuil, courbes ROC et précision-rappel

⏱ 1 h

Prérequis : Mesurer une classification

À la fin de ce chapitre, vous saurez :
  • choisir un seuil de décision selon le coût des erreurs ;
  • interpréter une courbe ROC et son AUC ;
  • expliquer quand préférer la courbe précision-rappel ;
  • vérifier et corriger la calibration des probabilités.

Une régression logistique ne répond pas « malade » ou « sain » : elle donne une probabilité. C’est nous qui décidons de prédire « positif » au-dessus d’un seuil. Par défaut, scikit-learn prend 0,5 ; ce n’est presque jamais le meilleur choix.

Le seuil se choisit selon le coût des erreurs :

  • pour un dépistage, rater un malade est grave : on baisse le seuil (rappel élevé), quitte à multiplier les examens complémentaires ;
  • pour un filtre anti-spam, perdre un vrai courriel est grave : on monte le seuil (précision élevée).

Si une fausse alerte coûte cFPc_{FP} et un cas manqué cFNc_{FN}, et que les probabilités sont fiables, le seuil qui minimise le coût moyen est

seuil=cFPcFP+cFN.\text{seuil} = \frac{c_{FP}}{c_{FP} + c_{FN}} .

Un cas manqué coûte 9 fois plus qu’une fausse alerte ? Seuil de 0,1.

Plutôt que de juger un modèle à un seul seuil, on trace ses performances pour tous les seuils :

  • la courbe ROC (bleue) : le taux de vrais positifs (rappel) en fonction du taux de faux positifs. Le hasard suit la diagonale ; un modèle parfait passe par le coin en haut à gauche. Son aire, l’AUC, résume le modèle : 0,5 pour le hasard, 1 pour un modèle parfait ;
  • la courbe précision-rappel (orange) : plus parlante quand la classe positive est rare. La ligne pointillée orange est la précision du hasard (la part de positifs).

Le point sur chaque courbe correspond au seuil actuel : déplacez le seuil et regardez-le glisser. Réduisez ensuite la part de positifs à 2 % : la courbe ROC et l’AUC ne bougent pas, alors que la courbe précision-rappel s’effondre. Avec une classe rare, la ROC peut rester belle alors que la précision est catastrophique.

🎓 Pour aller plus loin : ce que mesure l'AUC

L’AUC a une interprétation simple : c’est la probabilité qu’un positif tiré au hasard ait un score supérieur à un négatif tiré au hasard. Elle mesure la capacité du modèle à ordonner les exemples, indépendamment de tout seuil.

Dans le widget, les scores des négatifs suivent N(−d/2,1)\mathcal{N}(-d/2, 1) et ceux des positifs N(+d/2,1)\mathcal{N}(+d/2, 1) (à un décalage près, qui dépend de la part de positifs). La différence d’un positif et d’un négatif suit N(d,2)\mathcal{N}(d, 2), d’où

AUC=P(S+>S−)=Φ ⁣(d2),\text{AUC} = P(S_+ > S_-) = \Phi\!\left(\frac{d}{\sqrt 2}\right),

où Φ\Phi est la fonction de répartition de la loi normale centrée réduite. Avec d=2d = 2 : Φ(1,41)≈0,92\Phi(1{,}41) \approx 0{,}92.

L’AUC ROC ne dépend pas de la proportion de positifs ; la précision, si. Pour qq la part de positifs, preˊcision=q TVPq TVP+(1−q) TFP\text{précision} = \dfrac{q\,\text{TVP}}{q\,\text{TVP} + (1-q)\,\text{TFP}} : quand qq est petit, même un faible taux de faux positifs l’emporte sur les vrais positifs. C’est l’effet de la règle de Bayes vu dans le chapitre sur les probabilités. L’aire sous la courbe précision-rappel (la précision moyenne, average_precision_score) tient compte de cette rareté.

🔬Régler le seuil sur des données réelles

Cancer du sein : ouvrez la carte « Seuil de décision » et trouvez le seuil qui détecte toutes les tumeurs malignes. Combien de fausses alertes cela coûte-t-il ? (C’est aussi une mission.)

→

Choisir un seuil par la formule des coûts suppose que les probabilités sont fiables : quand le modèle annonce 80 %, l’événement doit se produire 8 fois sur 10. C’est la calibration. Un modèle peut très bien ordonner les exemples (bonne AUC) tout en annonçant des probabilités fausses.

On le vérifie avec un diagramme de fiabilité : on regroupe les exemples par probabilité annoncée, et on compare à la fréquence réelle des positifs dans chaque groupe.

  • assurance > 1 : le modèle est trop sûr de lui ; la courbe est plus plate que la diagonale (ses « 95 % » ne se réalisent pas 95 fois sur 100). Fréquent avec le boosting et les réseaux de neurones ;
  • assurance < 1 : il est trop prudent, la courbe est plus raide que la diagonale ; typique d’une forêt aléatoire ;
  • recalibrer (méthode de Platt) : on ajuste une petite régression logistique sur les scores du modèle, avec des données mises de côté. Les points rejoignent la diagonale, et l’AUC ne change pas : l’ordre des exemples est conservé.

La régression logistique est en général bien calibrée d’office, puisqu’elle est entraînée sur la perte logistique.

from sklearn.metrics import roc_auc_score, RocCurveDisplay, PrecisionRecallDisplay, average_precision_score
from sklearn.calibration import CalibratedClassifierCV, CalibrationDisplay
p = modele.predict_proba(X_test)[:, 1]
print("AUC :", roc_auc_score(y_test, p), " précision moyenne :", average_precision_score(y_test, p))
RocCurveDisplay.from_predictions(y_test, p)
PrecisionRecallDisplay.from_predictions(y_test, p)
y_pred_prudent = (p >= 0.2).astype(int) # un seuil abaissé
CalibrationDisplay.from_predictions(y_test, p, n_bins=10) # le diagramme de fiabilité
calibre = CalibratedClassifierCV(modele, method="sigmoid", cv=5).fit(X_train, y_train) # Platt

scikit-learn propose aussi TunedThresholdClassifierCV, qui choisit le seuil par validation croisée pour optimiser une métrique donnée.

✅ Vérifiez vos acquis

1. Pour un dépistage où rater un malade est très grave, on choisit…
2. Une AUC de 0,5 signifie que le modèle…
3. La part de positifs passe de 50 % à 1 %, le modèle restant le même. Que devient l'AUC ROC ?
4. Une fausse alerte coûte 10 €, un cas manqué 90 €. Avec des probabilités bien calibrées, quel seuil choisir ?
5. Un modèle a une excellente AUC, mais quand il annonce 95 %, l'événement ne se produit que 70 % du temps. Il est…