La régression linéaire et la descente de gradient
Prérequis : Qu'est-ce que la data science ? · Corrélation et visualisation
- écrire et interpréter un modèle linéaire (pente, ordonnée à l'origine, coefficients) ;
- expliquer ce que minimise la méthode des moindres carrés ;
- décrire la descente de gradient et le rôle du taux d'apprentissage ;
- entraîner et évaluer une régression linéaire avec scikit-learn.
Le modèle
Section intitulée « Le modèle »On veut prédire un nombre (le prix d’un appartement) à partir d’une variable (sa surface). Le modèle le plus simple est une droite :
- , la pente : de combien la prédiction augmente quand augmente de 1 (le prix d’un m² supplémentaire) ;
- , l’ordonnée à l’origine : la prédiction quand .
Avec plusieurs variables (surface, nombre de pièces, étage…), le modèle devient une somme pondérée :
Chaque coefficient se lit « toutes choses égales par ailleurs » : de combien la prédiction change quand augmente de 1, les autres variables restant fixes. C’est ce qui rend ce modèle si apprécié : il est interprétable.
Les moindres carrés
Section intitulée « Les moindres carrés »Quelle droite choisir ? Pour chaque exemple, l’erreur (le résidu) est l’écart vertical entre le point et la droite : . On choisit et pour minimiser la moyenne des carrés de ces erreurs, la MSE :
Pourquoi des carrés ? Ils rendent toutes les erreurs positives, pénalisent fortement les grosses erreurs, et donnent une fonction lisse, facile à minimiser. Pour la régression linéaire, il existe même une formule exacte de la solution.
La descente de gradient
Section intitulée « La descente de gradient »Pour la plupart des modèles, il n’y a pas de formule : on cherche le minimum pas à pas. Imaginez-vous dans le brouillard sur une colline : vous ne voyez pas le fond de la vallée, mais vous sentez la pente sous vos pieds. Vous faites un pas dans la direction qui descend le plus, et vous recommencez.
Le gradient est cette pente : il indique, pour chaque paramètre, dans quel sens l’erreur augmente. On fait donc un pas dans le sens opposé :
(êta) est le taux d’apprentissage : la longueur du pas. À droite du widget, la couleur indique l’erreur pour chaque couple ; l’étoile verte est la solution exacte. Faites avancer la descente, changez , cliquez ailleurs pour partir d’un autre point :
Trois régimes à observer :
- η trop petit (0,0001) : la descente avance, mais à pas de fourmi ;
- η raisonnable (0,01) : elle file vers le fond de la vallée, puis avance le long de celle-ci ;
- η trop grand (0,04 et plus) : chaque pas dépasse le fond, rebondit sur l’autre versant de plus en plus haut, et diverge.
La vallée est étroite et allongée parce que n’est pas centré : et se compensent (augmenter la pente et baisser l’ordonnée donne presque la même droite). Standardiser les variables arrondit la vallée et accélère la descente : c’est l’une des raisons de la mise à l’échelle (partie 2).
La descente de gradient est le moteur de l’apprentissage automatique moderne : régression logistique, réseaux de neurones, grands modèles de langage s’entraînent tous ainsi, avec parfois des milliards de paramètres au lieu de deux.
🎓 Pour aller plus loin : le gradient, la solution exacte et la descente stochastique
En dérivant la MSE :
En annulant les deux dérivées, on obtient la solution exacte : et . Sous forme matricielle, avec la matrice des variables (plus une colonne de 1) :
C’est ce que calcule LinearRegression de scikit-learn. Pour des millions d’exemples ou de variables, inverser devient trop coûteux : on revient à la descente de gradient.
Convergence. La MSE est une fonction quadratique : sa « courbure » est donnée par la matrice . La descente converge si et sa vitesse dépend du rapport (le conditionnement) : plus la vallée est allongée, plus la descente est lente.
Descente stochastique (SGD). Calculer le gradient sur tous les exemples à chaque pas coûte cher. On l’estime sur un petit paquet (mini-batch) d’exemples tirés au hasard : chaque pas est approximatif mais beaucoup plus rapide. C’est la méthode utilisée pour entraîner les réseaux de neurones (partie 5), avec des variantes comme Adam.
Entraîner et évaluer en Python
Section intitulée « Entraîner et évaluer en Python »from sklearn.linear_model import LinearRegressionfrom sklearn.metrics import root_mean_squared_error, r2_score
modele = LinearRegression().fit(X_train, y_train)print(modele.coef_, modele.intercept_) # les w_j et by_pred = modele.predict(X_test)print("RMSE :", root_mean_squared_error(y_test, y_pred), " R² :", r2_score(y_test, y_pred))La RMSE et le R² mesurent la qualité des prédictions ; le chapitre suivant, Mesurer une régression, explique comment les choisir et les lire.
Les limites, et comment les dépasser
Section intitulée « Les limites, et comment les dépasser »Un modèle linéaire suppose que l’effet de chaque variable est constant et additif. Si la relation est courbe, on peut ajouter des variables transformées (, , ) : le modèle reste linéaire en ses coefficients, donc s’entraîne de la même façon. C’est la régression polynomiale, avec son risque de surapprentissage, et ses remèdes comme la régularisation Ridge (voir Sous-apprentissage et surapprentissage).
Une droite face à une sinusoïdeDegré 1 : la droite ne peut pas suivre la courbe. Augmentez le degré pour voir la régression polynomiale.
→ Données réelles : le diabèteLa progression du diabète en fonction de l’indice de masse corporelle : une tendance nette, mais un R² modeste. Une seule variable n’explique pas tout.
→✅ Vérifiez vos acquis