Plusieurs classes et classes déséquilibrées
Prérequis : Mesurer une classification · Seuil · courbes ROC et précision-rappel
- lire une matrice de confusion à plusieurs classes ;
- distinguer les moyennes macro et pondérée, et l'exactitude équilibrée ;
- citer et mettre en œuvre trois remèdes au déséquilibre : pondération, rééchantillonnage, seuil.
La matrice à K classes
Section intitulée « La matrice à K classes »Avec classes, la matrice de confusion devient un tableau : chaque ligne est une vraie classe, chaque colonne une prédiction. La diagonale compte les bonnes réponses ; les autres cases montrent quelles classes sont confondues (le chiffre 3 avec le 8, le chien avec le loup). C’est souvent l’information la plus utile pour améliorer un modèle : on sait où chercher.
La précision, le rappel et le F1 se calculent pour chaque classe, en considérant cette classe comme « positive » et toutes les autres comme « négatives ». Puis on les résume :
- moyenne macro : la moyenne simple des scores par classe. Chaque classe compte pareil ; une classe rare mal reconnue fait baisser le score ;
- moyenne pondérée : chaque classe compte selon son effectif. Elle est dominée par les classes fréquentes ;
- exactitude équilibrée (balanced accuracy) : la moyenne des rappels par classe.
Avec 5 % de lapins dont seulement 30 % sont reconnus, l’exactitude et le F1 pondéré restent au-dessus de 85 %. Le F1 macro et l’exactitude équilibrée, eux, signalent le problème. Augmentez le rappel des lapins, puis leur part : quand les classes sont équilibrées, toutes les moyennes se rapprochent.
Dix chiffres manuscritsUne régression logistique sur les chiffres 0 à 9 : quelles paires de chiffres sont le plus souvent confondues ?
→Que faire face au déséquilibre ?
Section intitulée « Que faire face au déséquilibre ? »Un modèle entraîné sur 98 % de négatifs apprend surtout… à dire « négatif ». Trois familles de remèdes, à évaluer avec une métrique adaptée (rappel, F1, précision moyenne, jamais l’exactitude seule) :
- Déplacer le seuil. Souvent le plus simple et le plus efficace : le modèle ordonne peut-être bien les exemples, seul le seuil de 0,5 est inadapté (chapitre précédent).
- Pondérer les classes. On donne plus de poids aux erreurs sur la classe rare dans la fonction de perte :
class_weight="balanced"dans la plupart des modèles de scikit-learn. Chaque exemple rare compte comme plusieurs exemples fréquents. - Rééchantillonner les données d’entraînement : retirer des exemples de la classe fréquente (sous-échantillonnage) ou dupliquer, voire synthétiser, des exemples de la classe rare (sur-échantillonnage, SMOTE).
Et dans tous les cas : stratifier les découpages (stratify=y, StratifiedKFold), pour que chaque pli contienne des exemples rares.
90 % des tumeurs malignes retirées. Comparez l’exactitude et l’exactitude équilibrée de chaque modèle dans « Au-delà de la précision ».
→🎓 Pour aller plus loin : ce que change vraiment la pondération
Avec class_weight="balanced", l’exemple de la classe reçoit le poids , et la perte devient . Pour la régression logistique, cela revient (à peu de choses près) à décaler la constante du modèle de : la frontière se déplace vers la classe fréquente, exactement comme si l’on avait baissé le seuil.
Conséquence : pondérer ou rééchantillonner décalibre les probabilités. Le modèle surestime désormais la probabilité de la classe rare. Si l’on a besoin de probabilités fiables (pour un calcul de coût, par exemple), mieux vaut entraîner sans pondération et déplacer le seuil, ou recalibrer ensuite.
SMOTE crée des exemples synthétiques en interpolant entre un exemple rare et l’un de ses voisins rares. Il aide parfois les modèles simples, mais apporte souvent peu aux forêts et au boosting, qui gagnent davantage à un bon seuil.
from sklearn.metrics import classification_report, balanced_accuracy_score, f1_scorefrom sklearn.linear_model import LogisticRegression
modele = LogisticRegression(class_weight="balanced", max_iter=1000).fit(X_train, y_train)y_pred = modele.predict(X_test)print(classification_report(y_test, y_pred)) # par classe, puis moyennes macro et pondéréeprint(balanced_accuracy_score(y_test, y_pred), f1_score(y_test, y_pred, average="macro"))
# rééchantillonnage dans un pipeline (bibliothèque imbalanced-learn)from imblearn.pipeline import make_pipelinefrom imblearn.over_sampling import SMOTEpipeline = make_pipeline(SMOTE(random_state=0), LogisticRegression(max_iter=1000))✅ Vérifiez vos acquis