Aller au contenu
Data science

La classification et la régression logistique

⏱ 1 h

Prérequis : La régression linéaire et la descente de gradient

À la fin de ce chapitre, vous saurez :
  • expliquer pourquoi on transforme un score linéaire en probabilité ;
  • utiliser la sigmoïde et la softmax ;
  • expliquer ce que mesure la perte logistique (entropie croisée) ;
  • reconnaître la frontière de décision d'un modèle linéaire et ses limites.

Un étudiant va-t-il réussir son examen, sachant le nombre d’heures qu’il a révisé ? La cible n’est plus un nombre, mais une classe : réussite (1) ou échec (0). Une droite y^=wx+b\hat y = w x + b ne convient pas : elle prédit n’importe quelle valeur, y compris −3 ou 7.

Ce qu’on veut vraiment, c’est une probabilité : un nombre entre 0 et 1. La régression logistique (malgré son nom, c’est un modèle de classification) calcule d’abord un score linéaire, puis l’écrase entre 0 et 1 grâce à la fonction sigmoïde :

z=w x+b,p=σ(z)=11+e−z.z = w\,x + b, \qquad p = \sigma(z) = \frac{1}{1 + e^{-z}} .
  • quand zz est très positif, pp est proche de 1 ;
  • quand zz est très négatif, pp est proche de 0 ;
  • quand z=0z = 0, p=0,5p = 0{,}5 : c’est la frontière de décision.

On prédit la classe 1 si p≥0,5p \geq 0{,}5 (ce seuil peut se régler : voir le chapitre sur les métriques).

Réglez le poids ww (la raideur de la courbe) et le biais bb (sa position), puis laissez la descente de gradient trouver les meilleurs :

  • Un ww plus grand rend la transition plus brutale : le modèle est plus sûr de lui.
  • La frontière est à x=−b/wx = -b/w : en dessous, on prédit l’échec ; au-dessus, la réussite.
  • Les points du « mauvais » côté sont inévitables : certains étudiants réussissent sans réviser, d’autres échouent malgré leurs efforts. Le modèle donne des probabilités, pas des certitudes.

Pour entraîner le modèle, il faut mesurer son erreur. La MSE fonctionne mal ici. On utilise la perte logistique, aussi appelée entropie croisée :

L=−1n∑i=1n[ yilog⁡pi+(1−yi)log⁡(1−pi)].L = -\frac{1}{n}\sum_{i=1}^{n} \Big[\, y_i \log p_i + (1 - y_i)\log(1 - p_i) \Big].

Elle ne regarde que la probabilité donnée à la bonne classe : −log⁡p-\log p si l’étudiant a réussi, −log⁡(1−p)-\log(1-p) s’il a échoué. Si le modèle donne 0,9 à la bonne réponse, la perte est faible (0,1) ; s’il donne 0,01, elle est énorme (4,6). Elle punit donc sévèrement les erreurs commises avec assurance.

Il n’existe pas de formule exacte pour la minimiser : on utilise la descente de gradient, comme pour la régression linéaire.

🎓 Pour aller plus loin : le gradient de la perte logistique, et la softmax

Avec pi=σ(w⊤xi+b)p_i = \sigma(w^\top x_i + b) et σ′(z)=σ(z) (1−σ(z))\sigma'(z) = \sigma(z)\,(1 - \sigma(z)), le gradient de la perte logistique prend une forme remarquablement simple :

∂L∂w=1n∑i(pi−yi) xi,∂L∂b=1n∑i(pi−yi).\frac{\partial L}{\partial w} = \frac{1}{n}\sum_i (p_i - y_i)\, x_i, \qquad \frac{\partial L}{\partial b} = \frac{1}{n}\sum_i (p_i - y_i).

C’est la même forme que pour la régression linéaire : l’erreur (pi−yi)(p_i - y_i) multipliée par l’entrée. La perte est convexe : la descente de gradient ne peut pas rester coincée dans un mauvais minimum local.

Plus de deux classes. Chaque classe kk reçoit son propre score linéaire zk=wk⊤x+bkz_k = w_k^\top x + b_k, et la fonction softmax les transforme en probabilités qui somment à 1 :

pk=ezk∑jezj.p_k = \frac{e^{z_k}}{\sum_j e^{z_j}} .

La perte devient −log⁡pbonne classe-\log p_{\text{bonne classe}}. C’est exactement la dernière couche d’un réseau de neurones de classification, et celle d’un grand modèle de langage qui choisit le mot suivant parmi des dizaines de milliers.

Interprétation des coefficients. log⁡p1−p=w⊤x+b\log\frac{p}{1-p} = w^\top x + b : chaque coefficient wjw_j est l’effet de xjx_j sur le logarithme de la cote (log-odds). Augmenter xjx_j de 1 multiplie la cote p1−p\frac{p}{1-p} par ewje^{w_j}.

Avec deux variables, la frontière w1x1+w2x2+b=0w_1 x_1 + w_2 x_2 + b = 0 est une droite ; avec plus de variables, un hyperplan. La régression logistique est un modèle linéaire : elle ne peut séparer que des classes séparables par une droite. Sur les deux lunes ou le XOR, elle échoue, à moins de lui fournir des variables transformées (partie 2).

🔬La descente de gradient, frontière par frontière

Sur les iris, la frontière pivote et se place à chaque itération. Le panneau « Les poids appris » montre les coefficients.

→
🔬La limite d'un modèle linéaire

Sur les deux lunes, la meilleure droite possible ne suffit pas.

→
from sklearn.linear_model import LogisticRegression
modele = LogisticRegression(C=1.0) # C : inverse de la régularisation
modele.fit(X_train, y_train)
modele.predict_proba(X_test)[:5] # les probabilités de chaque classe
modele.predict(X_test)[:5] # les classes (seuil 0,5)
modele.coef_, modele.intercept_ # les poids w et le biais b

✅ Vérifiez vos acquis

1. La régression logistique est un modèle de…
2. Si z = w·x + b vaut 0, la sigmoïde donne…
3. Le modèle donne une probabilité de 0,02 à la bonne classe d'un exemple. Sa perte logistique pour cet exemple est…
4. Quelle forme a la frontière de décision d'une régression logistique à deux variables ?
5. À quoi sert la fonction softmax ?