Aller au contenu
Data science

Plusieurs classes et classes déséquilibrées

⏱ 45 min

Prérequis : Mesurer une classification · Seuil · courbes ROC et précision-rappel

À la fin de ce chapitre, vous saurez :
  • lire une matrice de confusion à plusieurs classes ;
  • distinguer les moyennes macro et pondérée, et l'exactitude équilibrée ;
  • citer et mettre en œuvre trois remèdes au déséquilibre : pondération, rééchantillonnage, seuil.

Avec KK classes, la matrice de confusion devient un tableau K×KK \times K : chaque ligne est une vraie classe, chaque colonne une prédiction. La diagonale compte les bonnes réponses ; les autres cases montrent quelles classes sont confondues (le chiffre 3 avec le 8, le chien avec le loup). C’est souvent l’information la plus utile pour améliorer un modèle : on sait où chercher.

La précision, le rappel et le F1 se calculent pour chaque classe, en considérant cette classe comme « positive » et toutes les autres comme « négatives ». Puis on les résume :

  • moyenne macro : la moyenne simple des scores par classe. Chaque classe compte pareil ; une classe rare mal reconnue fait baisser le score ;
  • moyenne pondérée : chaque classe compte selon son effectif. Elle est dominée par les classes fréquentes ;
  • exactitude équilibrée (balanced accuracy) : la moyenne des rappels par classe.

Avec 5 % de lapins dont seulement 30 % sont reconnus, l’exactitude et le F1 pondéré restent au-dessus de 85 %. Le F1 macro et l’exactitude équilibrée, eux, signalent le problème. Augmentez le rappel des lapins, puis leur part : quand les classes sont équilibrées, toutes les moyennes se rapprochent.

🔬Dix chiffres manuscrits

Une régression logistique sur les chiffres 0 à 9 : quelles paires de chiffres sont le plus souvent confondues ?

→

Un modèle entraîné sur 98 % de négatifs apprend surtout… à dire « négatif ». Trois familles de remèdes, à évaluer avec une métrique adaptée (rappel, F1, précision moyenne, jamais l’exactitude seule) :

  1. Déplacer le seuil. Souvent le plus simple et le plus efficace : le modèle ordonne peut-être bien les exemples, seul le seuil de 0,5 est inadapté (chapitre précédent).
  2. Pondérer les classes. On donne plus de poids aux erreurs sur la classe rare dans la fonction de perte : class_weight="balanced" dans la plupart des modèles de scikit-learn. Chaque exemple rare compte comme plusieurs exemples fréquents.
  3. Rééchantillonner les données d’entraînement : retirer des exemples de la classe fréquente (sous-échantillonnage) ou dupliquer, voire synthétiser, des exemples de la classe rare (sur-échantillonnage, SMOTE).

Et dans tous les cas : stratifier les découpages (stratify=y, StratifiedKFold), pour que chaque pli contienne des exemples rares.

🔬Le déséquilibre dans la page Comparer

90 % des tumeurs malignes retirées. Comparez l’exactitude et l’exactitude équilibrée de chaque modèle dans « Au-delà de la précision ».

→
🎓 Pour aller plus loin : ce que change vraiment la pondération

Avec class_weight="balanced", l’exemple ii de la classe cc reçoit le poids wc=nK ncw_c = \dfrac{n}{K \, n_c}, et la perte devient ∑iwci ℓ(yi,y^i)\sum_i w_{c_i}\,\ell(y_i, \hat y_i). Pour la régression logistique, cela revient (à peu de choses près) à décaler la constante bb du modèle de log⁡(n+/n−)\log(n_+ / n_-) : la frontière se déplace vers la classe fréquente, exactement comme si l’on avait baissé le seuil.

Conséquence : pondérer ou rééchantillonner décalibre les probabilités. Le modèle surestime désormais la probabilité de la classe rare. Si l’on a besoin de probabilités fiables (pour un calcul de coût, par exemple), mieux vaut entraîner sans pondération et déplacer le seuil, ou recalibrer ensuite.

SMOTE crée des exemples synthétiques en interpolant entre un exemple rare et l’un de ses voisins rares. Il aide parfois les modèles simples, mais apporte souvent peu aux forêts et au boosting, qui gagnent davantage à un bon seuil.

from sklearn.metrics import classification_report, balanced_accuracy_score, f1_score
from sklearn.linear_model import LogisticRegression
modele = LogisticRegression(class_weight="balanced", max_iter=1000).fit(X_train, y_train)
y_pred = modele.predict(X_test)
print(classification_report(y_test, y_pred)) # par classe, puis moyennes macro et pondérée
print(balanced_accuracy_score(y_test, y_pred), f1_score(y_test, y_pred, average="macro"))
# rééchantillonnage dans un pipeline (bibliothèque imbalanced-learn)
from imblearn.pipeline import make_pipeline
from imblearn.over_sampling import SMOTE
pipeline = make_pipeline(SMOTE(random_state=0), LogisticRegression(max_iter=1000))

✅ Vérifiez vos acquis

1. Dans une matrice de confusion, la ligne « chat » contient 80 chats, 15 chiens, 5 lapins. Que signifie le 15 ?
2. Une classe rare est très mal reconnue. Quelle moyenne le révèle le mieux ?
3. Que fait class_weight="balanced" ?
4. On duplique les exemples rares, puis on découpe en entraînement et test. Quel est le problème ?
5. Que vaut l'exactitude équilibrée d'un modèle qui répond toujours la classe majoritaire, avec 3 classes ?