Aller au contenu
Data science

Les modèles non linéaires en régression

⏱ 1 h

Prérequis : Sous-apprentissage et surapprentissage · Mesurer une régression

À la fin de ce chapitre, vous saurez :
  • expliquer comment le kNN, l'arbre, la forêt et la SVR prédisent une valeur ;
  • identifier le réglage de complexité de chacun ;
  • expliquer le tube de tolérance ε de la SVR et ses vecteurs de support ;
  • choisir entre ces modèles selon les données.

La régression polynomiale ajoute des puissances de xx pour courber une droite. Elle marche bien en une dimension, mais devient vite ingérable : avec 20 variables et le degré 3, il y a déjà 1 771 termes. D’autres modèles produisent des courbes souples directement, sans fabriquer de nouvelles variables.

Ces modèles servent aussi en classification, où vous les étudierez en détail (fonctionnement interne, forces et faiblesses). Ici, on regarde simplement comment ils prédisent une valeur, et comment se règle leur complexité.

Les k plus proches voisins : la moyenne des voisins

Section intitulée « Les k plus proches voisins : la moyenne des voisins »

Pour prédire en xx, on cherche les kk exemples d’entraînement les plus proches et on fait la moyenne de leurs yy.

  • k=1k = 1 : la courbe recopie chaque point, bruit compris (surapprentissage) ;
  • kk grand : la moyenne porte sur des points lointains, la courbe s’aplatit vers la moyenne générale (sous-apprentissage).

Attention, la complexité diminue quand kk augmente. Variante utile : pondérer les voisins par l’inverse de leur distance (weights="distance").

Un arbre découpe l’axe des xx en intervalles et prédit, dans chaque intervalle, la moyenne des yy d’entraînement. Il choisit chaque coupure pour réduire le plus possible l’erreur quadratique des deux côtés. Le résultat est un escalier, dont le nombre de marches double à chaque niveau de profondeur.

Un arbre profond fait une marche par point : il surapprend. Il ne sait pas non plus extrapoler : au-delà des données, il prédit la valeur de la dernière marche.

Une forêt entraîne des dizaines d’arbres, chacun sur un tirage au hasard des exemples (avec remise), et fait la moyenne de leurs prédictions. Chaque arbre surapprend à sa façon ; leurs erreurs se compensent en partie. Les marches s’adoucissent, et la variance baisse sans augmenter le biais. Le boosting, autre méthode d’ensemble, est souvent encore meilleur sur les données tabulaires (voir les méthodes d’ensemble).

La régression à vecteurs de support (Support Vector Regression) transpose l’idée du SVM :

  • elle entoure la courbe d’un tube de demi-largeur ε\varepsilon ;
  • les points dans le tube ne coûtent rien : une erreur inférieure à ε\varepsilon est jugée acceptable ;
  • les points hors du tube sont pénalisés, proportionnellement à leur distance au tube ;
  • seuls les points sur le bord ou hors du tube déterminent la courbe : ce sont les vecteurs de support (cerclés dans le widget).

Trois réglages : ε\varepsilon (largeur du tube), CC (tolérance aux points hors du tube) et, avec le noyau RBF, γ\gamma (portée de chaque point, donc souplesse de la courbe). Élargissez le tube : de moins en moins de points comptent, et la courbe se raidit.

🎓 Pour aller plus loin : la perte ε-insensible et le problème dual

La SVR minimise

12∥w∥2+C∑i=1nmax⁡(0, ∣yi−f(xi)∣−ε),\frac{1}{2}\lVert w \rVert^2 + C \sum_{i=1}^{n} \max\big(0,\ \lvert y_i - f(x_i) \rvert - \varepsilon\big),

où max⁡(0,∣e∣−ε)\max(0, \lvert e \rvert - \varepsilon) est la perte ε-insensible : nulle dans le tube, linéaire en dehors. Comme pour le SVM, la solution s’écrit

f(x)=∑iβi K(xi,x)+b,−C≤βi≤C,f(x) = \sum_{i} \beta_i\, K(x_i, x) + b, \qquad -C \leq \beta_i \leq C,

et βi=0\beta_i = 0 pour tous les points strictement dans le tube. Le widget résout exactement ce problème dual par descente par coordonnées : chaque βi\beta_i est mis à jour à son tour, en « rétrécissant » de ε\varepsilon le résidu partiel, puis en le bornant à [−C,C][-C, C].

Comparez avec la régression Ridge à noyau (KernelRidge) : même forme de solution, mais avec la perte quadratique, tous les βi\beta_i sont non nuls.

🔬Une marche : l'avantage des arbres

y saute brusquement en x = 0,5. L’arbre trouve la marche en une coupure ; essayez ensuite le polynôme, le kNN et la SVR, et comparez les courbes de complexité.

→
🔬La SVR dans le simulateur

Le curseur de complexité fait varier γ ; la courbe en U apparaît, comme pour le degré d’un polynôme.

→
🔬Comparer tous les modèles de régression

Les six modèles et la référence « toujours la moyenne », sur le même découpage : MAE, RMSE, R², validation croisée, courbes superposées et résidus. Essayez ensuite le diabète avec ses 10 variables.

→
Modèle Réglage principal Atouts Limites
Polynôme / Ridge degré, λ simple, interprétable, extrapole (parfois trop) peu de variables seulement
kNN kk aucune hypothèse sur la forme lent sur de gros jeux ; mise à l’échelle indispensable ; souffre en grande dimension
Arbre profondeur lisible, gère tout type de variables instable, en escalier
Forêt / boosting nombre et profondeur des arbres souvent le meilleur sur données tabulaires moins interprétable ; n’extrapole pas
SVR (RBF) CC, γ\gamma, ε\varepsilon courbes lisses ; robuste aux points aberrants (perte linéaire) lent au-delà de ~10 000 exemples ; mise à l’échelle indispensable
from sklearn.neighbors import KNeighborsRegressor
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor, HistGradientBoostingRegressor
from sklearn.svm import SVR
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
modeles = {
"kNN": make_pipeline(StandardScaler(), KNeighborsRegressor(n_neighbors=10)),
"arbre": DecisionTreeRegressor(max_depth=4),
"forêt": RandomForestRegressor(n_estimators=300),
"boosting": HistGradientBoostingRegressor(),
"SVR": make_pipeline(StandardScaler(), SVR(C=10, epsilon=0.1, gamma="scale")),
}

✅ Vérifiez vos acquis

1. Comment un arbre de régression prédit-il une valeur ?
2. Pour le kNN en régression, augmenter k rend le modèle…
3. Dans une SVR, que se passe-t-il pour un point situé à l'intérieur du tube ε ?
4. On élargit beaucoup le tube (ε grand). La courbe…
5. Les données d'entraînement ont x entre 0 et 10. Que prédit une forêt aléatoire pour x = 20 ?