La classification et la régression logistique
Prérequis : La régression linéaire et la descente de gradient
- expliquer pourquoi on transforme un score linéaire en probabilité ;
- utiliser la sigmoïde et la softmax ;
- expliquer ce que mesure la perte logistique (entropie croisée) ;
- reconnaître la frontière de décision d'un modèle linéaire et ses limites.
Prédire une catégorie
Section intitulée « Prédire une catégorie »Un étudiant va-t-il réussir son examen, sachant le nombre d’heures qu’il a révisé ? La cible n’est plus un nombre, mais une classe : réussite (1) ou échec (0). Une droite ne convient pas : elle prédit n’importe quelle valeur, y compris −3 ou 7.
Ce qu’on veut vraiment, c’est une probabilité : un nombre entre 0 et 1. La régression logistique (malgré son nom, c’est un modèle de classification) calcule d’abord un score linéaire, puis l’écrase entre 0 et 1 grâce à la fonction sigmoïde :
- quand est très positif, est proche de 1 ;
- quand est très négatif, est proche de 0 ;
- quand , : c’est la frontière de décision.
On prédit la classe 1 si (ce seuil peut se régler : voir le chapitre sur les métriques).
À vous de régler
Section intitulée « À vous de régler »Réglez le poids (la raideur de la courbe) et le biais (sa position), puis laissez la descente de gradient trouver les meilleurs :
- Un plus grand rend la transition plus brutale : le modèle est plus sûr de lui.
- La frontière est à : en dessous, on prédit l’échec ; au-dessus, la réussite.
- Les points du « mauvais » côté sont inévitables : certains étudiants réussissent sans réviser, d’autres échouent malgré leurs efforts. Le modèle donne des probabilités, pas des certitudes.
La perte logistique
Section intitulée « La perte logistique »Pour entraîner le modèle, il faut mesurer son erreur. La MSE fonctionne mal ici. On utilise la perte logistique, aussi appelée entropie croisée :
Elle ne regarde que la probabilité donnée à la bonne classe : si l’étudiant a réussi, s’il a échoué. Si le modèle donne 0,9 à la bonne réponse, la perte est faible (0,1) ; s’il donne 0,01, elle est énorme (4,6). Elle punit donc sévèrement les erreurs commises avec assurance.
Il n’existe pas de formule exacte pour la minimiser : on utilise la descente de gradient, comme pour la régression linéaire.
🎓 Pour aller plus loin : le gradient de la perte logistique, et la softmax
Avec et , le gradient de la perte logistique prend une forme remarquablement simple :
C’est la même forme que pour la régression linéaire : l’erreur multipliée par l’entrée. La perte est convexe : la descente de gradient ne peut pas rester coincée dans un mauvais minimum local.
Plus de deux classes. Chaque classe reçoit son propre score linéaire , et la fonction softmax les transforme en probabilités qui somment à 1 :
La perte devient . C’est exactement la dernière couche d’un réseau de neurones de classification, et celle d’un grand modèle de langage qui choisit le mot suivant parmi des dizaines de milliers.
Interprétation des coefficients. : chaque coefficient est l’effet de sur le logarithme de la cote (log-odds). Augmenter de 1 multiplie la cote par .
Une frontière toujours droite
Section intitulée « Une frontière toujours droite »Avec deux variables, la frontière est une droite ; avec plus de variables, un hyperplan. La régression logistique est un modèle linéaire : elle ne peut séparer que des classes séparables par une droite. Sur les deux lunes ou le XOR, elle échoue, à moins de lui fournir des variables transformées (partie 2).
La descente de gradient, frontière par frontièreSur les iris, la frontière pivote et se place à chaque itération. Le panneau « Les poids appris » montre les coefficients.
→ La limite d'un modèle linéaireSur les deux lunes, la meilleure droite possible ne suffit pas.
→from sklearn.linear_model import LogisticRegression
modele = LogisticRegression(C=1.0) # C : inverse de la régularisationmodele.fit(X_train, y_train)modele.predict_proba(X_test)[:5] # les probabilités de chaque classemodele.predict(X_test)[:5] # les classes (seuil 0,5)modele.coef_, modele.intercept_ # les poids w et le biais b✅ Vérifiez vos acquis