Aller au contenu
Data science

La régression linéaire et la descente de gradient

⏱ 1 h 15

Prérequis : Qu'est-ce que la data science ? · Corrélation et visualisation

À la fin de ce chapitre, vous saurez :
  • écrire et interpréter un modèle linéaire (pente, ordonnée à l'origine, coefficients) ;
  • expliquer ce que minimise la méthode des moindres carrés ;
  • décrire la descente de gradient et le rôle du taux d'apprentissage ;
  • entraîner et évaluer une régression linéaire avec scikit-learn.

On veut prédire un nombre yy (le prix d’un appartement) à partir d’une variable xx (sa surface). Le modèle le plus simple est une droite :

y^=a x+b\hat y = a\,x + b
  • aa, la pente : de combien la prédiction augmente quand xx augmente de 1 (le prix d’un m² supplémentaire) ;
  • bb, l’ordonnée à l’origine : la prédiction quand x=0x = 0.

Avec plusieurs variables (surface, nombre de pièces, étage…), le modèle devient une somme pondérée :

y^=w1x1+w2x2+⋯+wpxp+b.\hat y = w_1 x_1 + w_2 x_2 + \dots + w_p x_p + b .

Chaque coefficient wjw_j se lit « toutes choses égales par ailleurs » : de combien la prédiction change quand xjx_j augmente de 1, les autres variables restant fixes. C’est ce qui rend ce modèle si apprécié : il est interprétable.

Quelle droite choisir ? Pour chaque exemple, l’erreur (le résidu) est l’écart vertical entre le point et la droite : yi−y^iy_i - \hat y_i. On choisit aa et bb pour minimiser la moyenne des carrés de ces erreurs, la MSE :

MSE(a,b)=1n∑i=1n(yi−a xi−b)2.\text{MSE}(a, b) = \frac{1}{n}\sum_{i=1}^{n} \big(y_i - a\,x_i - b\big)^2 .

Pourquoi des carrés ? Ils rendent toutes les erreurs positives, pénalisent fortement les grosses erreurs, et donnent une fonction lisse, facile à minimiser. Pour la régression linéaire, il existe même une formule exacte de la solution.

Pour la plupart des modèles, il n’y a pas de formule : on cherche le minimum pas à pas. Imaginez-vous dans le brouillard sur une colline : vous ne voyez pas le fond de la vallée, mais vous sentez la pente sous vos pieds. Vous faites un pas dans la direction qui descend le plus, et vous recommencez.

Le gradient est cette pente : il indique, pour chaque paramètre, dans quel sens l’erreur augmente. On fait donc un pas dans le sens opposé :

a←a−η ∂ MSE∂a,b←b−η ∂ MSE∂b.a \leftarrow a - \eta\,\frac{\partial\,\text{MSE}}{\partial a}, \qquad b \leftarrow b - \eta\,\frac{\partial\,\text{MSE}}{\partial b} .

η\eta (êta) est le taux d’apprentissage : la longueur du pas. À droite du widget, la couleur indique l’erreur pour chaque couple (a,b)(a, b) ; l’étoile verte est la solution exacte. Faites avancer la descente, changez η\eta, cliquez ailleurs pour partir d’un autre point :

Trois régimes à observer :

  • η trop petit (0,0001) : la descente avance, mais à pas de fourmi ;
  • η raisonnable (0,01) : elle file vers le fond de la vallée, puis avance le long de celle-ci ;
  • η trop grand (0,04 et plus) : chaque pas dépasse le fond, rebondit sur l’autre versant de plus en plus haut, et diverge.

La vallée est étroite et allongée parce que xx n’est pas centré : aa et bb se compensent (augmenter la pente et baisser l’ordonnée donne presque la même droite). Standardiser les variables arrondit la vallée et accélère la descente : c’est l’une des raisons de la mise à l’échelle (partie 2).

La descente de gradient est le moteur de l’apprentissage automatique moderne : régression logistique, réseaux de neurones, grands modèles de langage s’entraînent tous ainsi, avec parfois des milliards de paramètres au lieu de deux.

🎓 Pour aller plus loin : le gradient, la solution exacte et la descente stochastique

En dérivant la MSE :

∂ MSE∂a=−2n∑ixi (yi−axi−b),∂ MSE∂b=−2n∑i(yi−axi−b).\frac{\partial\,\text{MSE}}{\partial a} = -\frac{2}{n}\sum_i x_i\,(y_i - a x_i - b), \qquad \frac{\partial\,\text{MSE}}{\partial b} = -\frac{2}{n}\sum_i (y_i - a x_i - b).

En annulant les deux dérivées, on obtient la solution exacte : a=cov⁡(x,y)var⁡(x)a = \dfrac{\operatorname{cov}(x, y)}{\operatorname{var}(x)} et b=yˉ−a xˉb = \bar y - a\,\bar x. Sous forme matricielle, avec XX la matrice des variables (plus une colonne de 1) :

w^=(X⊤X)−1X⊤y(eˊquations normales).\hat w = (X^\top X)^{-1} X^\top y \qquad \text{(équations normales)}.

C’est ce que calcule LinearRegression de scikit-learn. Pour des millions d’exemples ou de variables, inverser X⊤XX^\top X devient trop coûteux : on revient à la descente de gradient.

Convergence. La MSE est une fonction quadratique : sa « courbure » est donnée par la matrice H=2nX⊤XH = \frac{2}{n} X^\top X. La descente converge si η<2/λmax⁡(H)\eta < 2/\lambda_{\max}(H) et sa vitesse dépend du rapport λmax⁡/λmin⁡\lambda_{\max}/\lambda_{\min} (le conditionnement) : plus la vallée est allongée, plus la descente est lente.

Descente stochastique (SGD). Calculer le gradient sur tous les exemples à chaque pas coûte cher. On l’estime sur un petit paquet (mini-batch) d’exemples tirés au hasard : chaque pas est approximatif mais beaucoup plus rapide. C’est la méthode utilisée pour entraîner les réseaux de neurones (partie 5), avec des variantes comme Adam.

from sklearn.linear_model import LinearRegression
from sklearn.metrics import root_mean_squared_error, r2_score
modele = LinearRegression().fit(X_train, y_train)
print(modele.coef_, modele.intercept_) # les w_j et b
y_pred = modele.predict(X_test)
print("RMSE :", root_mean_squared_error(y_test, y_pred), " R² :", r2_score(y_test, y_pred))

La RMSE et le R² mesurent la qualité des prédictions ; le chapitre suivant, Mesurer une régression, explique comment les choisir et les lire.

Un modèle linéaire suppose que l’effet de chaque variable est constant et additif. Si la relation est courbe, on peut ajouter des variables transformées (x2x^2, log⁡x\log x, x1×x2x_1 \times x_2) : le modèle reste linéaire en ses coefficients, donc s’entraîne de la même façon. C’est la régression polynomiale, avec son risque de surapprentissage, et ses remèdes comme la régularisation Ridge (voir Sous-apprentissage et surapprentissage).

🔬Une droite face à une sinusoïde

Degré 1 : la droite ne peut pas suivre la courbe. Augmentez le degré pour voir la régression polynomiale.

→
🔬Données réelles : le diabète

La progression du diabète en fonction de l’indice de masse corporelle : une tendance nette, mais un R² modeste. Une seule variable n’explique pas tout.

→

✅ Vérifiez vos acquis

1. Un modèle prédit le prix d'un appartement : prix = 4 200 × surface + 30 000 × nombre de pièces + 15 000. Que signifie 4 200 ?
2. Que minimise la méthode des moindres carrés ?
3. Pendant une descente de gradient, l'erreur augmente à chaque itération et les paramètres deviennent énormes. La cause la plus probable ?
4. Un modèle a un R² de 0 sur le test. Cela signifie qu'il…
5. Pourquoi la descente de gradient est-elle si importante, alors que la régression linéaire a une formule exacte ?