Mesurer une régression
Prérequis : La régression linéaire et la descente de gradient · Les données et leur description
- calculer et interpréter la MAE, la RMSE, le R² et la MAPE ;
- comparer un modèle à un modèle de référence ;
- choisir une métrique selon le coût réel des erreurs ;
- lire un graphique des résidus : courbure manquante, bruit croissant, valeur aberrante.
Un chiffre ne suffit pas
Section intitulée « Un chiffre ne suffit pas »Un modèle prédit le prix d’appartements avec une « erreur de 15 000 € ». Est-ce bien ? Cela dépend : sur des studios à 80 000 €, c’est énorme ; sur des maisons à 900 000 €, c’est excellent. Et une erreur moyenne de 15 000 € peut cacher des erreurs de 200 000 € sur quelques biens.
Mesurer une régression, c’est donc répondre à trois questions :
- De combien se trompe-t-on, typiquement ? (MAE, RMSE)
- Mieux que quoi ? Le modèle fait-il mieux qu’une prédiction naïve ? (R², modèle de référence)
- Où et comment se trompe-t-on ? (les résidus)
Toutes ces mesures se calculent sur des données de test, jamais vues pendant l’entraînement. Le chapitre suivant explique pourquoi.
Les quatre métriques usuelles
Section intitulée « Les quatre métriques usuelles »On note la vraie valeur, la prédiction, et le résidu (l’erreur).
| Métrique | Formule | Unité | Se lit |
|---|---|---|---|
| MAE (erreur absolue moyenne) | celle de | « on se trompe en moyenne de… » | |
| RMSE (racine de l’erreur quadratique moyenne) | celle de | idem, en punissant fort les grosses erreurs | |
| R² (coefficient de détermination) | sans unité | part de la variance expliquée ; 0 = pas mieux que la moyenne | |
| MAPE (erreur relative moyenne) | % | « on se trompe en moyenne de 8 % » |
- La MAE est la plus facile à expliquer : c’est l’erreur typique.
- La RMSE est toujours au moins égale à la MAE. Si elle est beaucoup plus grande, quelques erreurs sont énormes.
- Le R² permet de comparer des problèmes d’échelles différentes. 1 = parfait ; 0 = autant prédire toujours la moyenne ; négatif sur le test = pire que la moyenne.
- La MAPE parle aux non-spécialistes, mais elle explose quand est proche de 0, et pénalise davantage les surestimations que les sous-estimations.
Le modèle de référence
Section intitulée « Le modèle de référence »Avant de célébrer un modèle, comparez-le au plus simple possible : prédire toujours la moyenne des d’entraînement (ou la médiane, ou la dernière valeur pour une série temporelle). Un modèle qui ne bat pas cette référence n’apporte rien, aussi sophistiqué soit-il. C’est exactement ce que mesure le R² : signifie « aussi bien que la moyenne ».
from sklearn.dummy import DummyRegressorreference = DummyRegressor(strategy="mean").fit(X_train, y_train)Lire les résidus
Section intitulée « Lire les résidus »Les métriques résument les erreurs en un nombre ; le graphique des résidus montre leur structure. On trace en fonction de la prédiction . Pour un bon modèle, c’est un nuage sans forme, centré sur 0, d’épaisseur constante.
Quatre situations à reconnaître :
- Relation linéaire : nuage sans structure. Le modèle a capté tout ce qu’une droite peut capter ; le reste est du bruit.
- Relation courbe : les résidus dessinent un U. Le modèle se trompe toujours dans le même sens aux extrémités : il lui manque une variable (, …) ou un modèle plus souple. Remarquez que le R² reste élevé : il ne voit pas le problème.
- Bruit croissant : les résidus s’écartent en entonnoir. L’erreur dépend du niveau de (c’est l’hétéroscédasticité) : une seule RMSE ne décrit pas bien le modèle. Prédire stabilise souvent l’erreur.
- Point aberrant : faites glisser le curseur. La RMSE grimpe bien plus vite que la MAE, et la droite des moindres carrés est tirée vers le point. Décochez « réajuster la droite » pour séparer les deux effets : l’effet sur la mesure, et l’effet sur le modèle.
La progression du diabète en fonction de l’indice de masse corporelle. Le R² de test est modeste (une seule variable n’explique pas tout) ; comparez-le avec celui d’un polynôme de degré 2 ou 3.
→ Toutes les métriques, pour tous les modèlesDiabète, 10 variables : comparez la MAE, la RMSE et le R² de chaque modèle à ceux de la référence, puis basculez sur la vue « résidus ».
→Choisir sa métrique
Section intitulée « Choisir sa métrique »La bonne métrique est celle qui reflète le coût réel des erreurs :
- une erreur de 20 est « deux fois pire » qu’une erreur de 10 (stocks, temps de livraison) : MAE ;
- les grosses erreurs sont catastrophiques (dimensionner un réseau électrique, prévoir une crue) : RMSE ;
- les erreurs comptent en proportion (ventes de produits très différents) : MAPE, ou la RMSE sur ;
- pour comparer des modèles ou des jeux de données entre eux : R².
La métrique choisie sert aussi à régler le modèle (paramètre scoring de la validation croisée). Optimiser la RMSE et annoncer la MAE est incohérent : choisissez-la dès le début du projet.
🎓 Pour aller plus loin : moyenne, médiane, et ce que chaque perte cherche à prédire
Si l’on doit prédire une constante pour toutes les valeurs :
- la constante qui minimise est la moyenne (annulez la dérivée : ) ;
- celle qui minimise est la médiane (autant de points de chaque côté).
Plus généralement, un modèle entraîné à minimiser la MSE apprend la moyenne conditionnelle , un modèle entraîné sur la MAE apprend la médiane conditionnelle. C’est pourquoi la MAE est robuste aux valeurs aberrantes, comme la médiane.
R² négatif. Sur l’entraînement, une régression linéaire avec constante a toujours . Sur le test, rien ne l’empêche d’être négatif : il suffit que le modèle fasse pire que la moyenne (surapprentissage, dérive des données).
R² et nombre de variables. Sur l’entraînement, ajouter une variable, même du bruit pur, ne fait jamais baisser le R². Le R² ajusté corrige cet effet ; mais la vraie solution reste de mesurer sur le test.
Prédire un intervalle. En minimisant la perte « pinball » (loss="quantile" dans GradientBoostingRegressor), on prédit un quantile, par exemple le 90ᵉ centile : de quoi annoncer une fourchette plutôt qu’un seul nombre.
from sklearn.metrics import mean_absolute_error, root_mean_squared_error, r2_score, mean_absolute_percentage_error
y_pred = modele.predict(X_test)print("MAE :", mean_absolute_error(y_test, y_pred))print("RMSE :", root_mean_squared_error(y_test, y_pred))print("R² :", r2_score(y_test, y_pred))print("MAPE :", mean_absolute_percentage_error(y_test, y_pred))
import matplotlib.pyplot as pltplt.scatter(y_pred, y_test - y_pred); plt.axhline(0, color="k") # le graphique des résidusplt.xlabel("prédiction"); plt.ylabel("résidu")✅ Vérifiez vos acquis