Aller au contenu
Data science

Mesurer une régression

⏱ 45 min

Prérequis : La régression linéaire et la descente de gradient · Les données et leur description

À la fin de ce chapitre, vous saurez :
  • calculer et interpréter la MAE, la RMSE, le R² et la MAPE ;
  • comparer un modèle à un modèle de référence ;
  • choisir une métrique selon le coût réel des erreurs ;
  • lire un graphique des résidus : courbure manquante, bruit croissant, valeur aberrante.

Un modèle prédit le prix d’appartements avec une « erreur de 15 000 € ». Est-ce bien ? Cela dépend : sur des studios à 80 000 €, c’est énorme ; sur des maisons à 900 000 €, c’est excellent. Et une erreur moyenne de 15 000 € peut cacher des erreurs de 200 000 € sur quelques biens.

Mesurer une régression, c’est donc répondre à trois questions :

  1. De combien se trompe-t-on, typiquement ? (MAE, RMSE)
  2. Mieux que quoi ? Le modèle fait-il mieux qu’une prédiction naïve ? (R², modèle de référence)
  3. Où et comment se trompe-t-on ? (les résidus)

Toutes ces mesures se calculent sur des données de test, jamais vues pendant l’entraînement. Le chapitre suivant explique pourquoi.

On note yiy_i la vraie valeur, y^i\hat y_i la prédiction, et ei=yi−y^ie_i = y_i - \hat y_i le résidu (l’erreur).

Métrique Formule Unité Se lit
MAE (erreur absolue moyenne) 1n∑∣ei∣\frac{1}{n}\sum \lvert e_i \rvert celle de yy « on se trompe en moyenne de… »
RMSE (racine de l’erreur quadratique moyenne) 1n∑ei2\sqrt{\frac{1}{n}\sum e_i^2} celle de yy idem, en punissant fort les grosses erreurs
R² (coefficient de détermination) 1−∑ei2∑(yi−yˉ)21 - \dfrac{\sum e_i^2}{\sum (y_i - \bar y)^2} sans unité part de la variance expliquée ; 0 = pas mieux que la moyenne
MAPE (erreur relative moyenne) 1n∑∣ei/yi∣\frac{1}{n}\sum \lvert e_i / y_i \rvert % « on se trompe en moyenne de 8 % »
  • La MAE est la plus facile à expliquer : c’est l’erreur typique.
  • La RMSE est toujours au moins égale à la MAE. Si elle est beaucoup plus grande, quelques erreurs sont énormes.
  • Le R² permet de comparer des problèmes d’échelles différentes. 1 = parfait ; 0 = autant prédire toujours la moyenne ; négatif sur le test = pire que la moyenne.
  • La MAPE parle aux non-spécialistes, mais elle explose quand yy est proche de 0, et pénalise davantage les surestimations que les sous-estimations.

Avant de célébrer un modèle, comparez-le au plus simple possible : prédire toujours la moyenne des yy d’entraînement (ou la médiane, ou la dernière valeur pour une série temporelle). Un modèle qui ne bat pas cette référence n’apporte rien, aussi sophistiqué soit-il. C’est exactement ce que mesure le R² : R2=0R^2 = 0 signifie « aussi bien que la moyenne ».

from sklearn.dummy import DummyRegressor
reference = DummyRegressor(strategy="mean").fit(X_train, y_train)

Les métriques résument les erreurs en un nombre ; le graphique des résidus montre leur structure. On trace eie_i en fonction de la prédiction y^i\hat y_i. Pour un bon modèle, c’est un nuage sans forme, centré sur 0, d’épaisseur constante.

Quatre situations à reconnaître :

  1. Relation linéaire : nuage sans structure. Le modèle a capté tout ce qu’une droite peut capter ; le reste est du bruit.
  2. Relation courbe : les résidus dessinent un U. Le modèle se trompe toujours dans le même sens aux extrémités : il lui manque une variable (x2x^2, log⁡x\log x…) ou un modèle plus souple. Remarquez que le R² reste élevé : il ne voit pas le problème.
  3. Bruit croissant : les résidus s’écartent en entonnoir. L’erreur dépend du niveau de yy (c’est l’hétéroscédasticité) : une seule RMSE ne décrit pas bien le modèle. Prédire log⁡y\log y stabilise souvent l’erreur.
  4. Point aberrant : faites glisser le curseur. La RMSE grimpe bien plus vite que la MAE, et la droite des moindres carrés est tirée vers le point. Décochez « réajuster la droite » pour séparer les deux effets : l’effet sur la mesure, et l’effet sur le modèle.
🔬Données réelles : le diabète

La progression du diabète en fonction de l’indice de masse corporelle. Le R² de test est modeste (une seule variable n’explique pas tout) ; comparez-le avec celui d’un polynôme de degré 2 ou 3.

→
🔬Toutes les métriques, pour tous les modèles

Diabète, 10 variables : comparez la MAE, la RMSE et le R² de chaque modèle à ceux de la référence, puis basculez sur la vue « résidus ».

→

La bonne métrique est celle qui reflète le coût réel des erreurs :

  • une erreur de 20 est « deux fois pire » qu’une erreur de 10 (stocks, temps de livraison) : MAE ;
  • les grosses erreurs sont catastrophiques (dimensionner un réseau électrique, prévoir une crue) : RMSE ;
  • les erreurs comptent en proportion (ventes de produits très différents) : MAPE, ou la RMSE sur log⁡y\log y ;
  • pour comparer des modèles ou des jeux de données entre eux : R².

La métrique choisie sert aussi à régler le modèle (paramètre scoring de la validation croisée). Optimiser la RMSE et annoncer la MAE est incohérent : choisissez-la dès le début du projet.

🎓 Pour aller plus loin : moyenne, médiane, et ce que chaque perte cherche à prédire

Si l’on doit prédire une constante cc pour toutes les valeurs y1,…,yny_1, \dots, y_n :

  • la constante qui minimise ∑(yi−c)2\sum (y_i - c)^2 est la moyenne yˉ\bar y (annulez la dérivée : −2∑(yi−c)=0-2\sum(y_i - c) = 0) ;
  • celle qui minimise ∑∣yi−c∣\sum \lvert y_i - c \rvert est la médiane (autant de points de chaque côté).

Plus généralement, un modèle entraîné à minimiser la MSE apprend la moyenne conditionnelle E[y∣x]\mathbb{E}[y \mid x], un modèle entraîné sur la MAE apprend la médiane conditionnelle. C’est pourquoi la MAE est robuste aux valeurs aberrantes, comme la médiane.

R² négatif. Sur l’entraînement, une régression linéaire avec constante a toujours R2≥0R^2 \geq 0. Sur le test, rien ne l’empêche d’être négatif : il suffit que le modèle fasse pire que la moyenne (surapprentissage, dérive des données).

R² et nombre de variables. Sur l’entraînement, ajouter une variable, même du bruit pur, ne fait jamais baisser le R². Le R² ajusté 1−(1−R2)n−1n−p−11 - (1 - R^2)\frac{n-1}{n-p-1} corrige cet effet ; mais la vraie solution reste de mesurer sur le test.

Prédire un intervalle. En minimisant la perte « pinball » (loss="quantile" dans GradientBoostingRegressor), on prédit un quantile, par exemple le 90ᵉ centile : de quoi annoncer une fourchette plutôt qu’un seul nombre.

from sklearn.metrics import mean_absolute_error, root_mean_squared_error, r2_score, mean_absolute_percentage_error
y_pred = modele.predict(X_test)
print("MAE :", mean_absolute_error(y_test, y_pred))
print("RMSE :", root_mean_squared_error(y_test, y_pred))
print("R² :", r2_score(y_test, y_pred))
print("MAPE :", mean_absolute_percentage_error(y_test, y_pred))
import matplotlib.pyplot as plt
plt.scatter(y_pred, y_test - y_pred); plt.axhline(0, color="k") # le graphique des résidus
plt.xlabel("prédiction"); plt.ylabel("résidu")

✅ Vérifiez vos acquis

1. Un modèle a une MAE de 10 et une RMSE de 45. Qu'en déduire ?
2. Sur le test, un modèle obtient R² = −0,3. Cela signifie qu'il…
3. Les résidus d'une régression forment un U en fonction de la prédiction. Que faire ?
4. On prédit des quantités vendues, parfois égales à 0. Quelle métrique éviter ?
5. Les erreurs de prévision d'une crue coûtent d'autant plus qu'elles sont grandes. Quelle métrique choisir ?
6. Quelle constante minimise la somme des erreurs absolues |y − c| ?