Les modèles non linéaires en régression
Prérequis : Sous-apprentissage et surapprentissage · Mesurer une régression
- expliquer comment le kNN, l'arbre, la forêt et la SVR prédisent une valeur ;
- identifier le réglage de complexité de chacun ;
- expliquer le tube de tolérance ε de la SVR et ses vecteurs de support ;
- choisir entre ces modèles selon les données.
Au-delà du polynôme
Section intitulée « Au-delà du polynôme »La régression polynomiale ajoute des puissances de pour courber une droite. Elle marche bien en une dimension, mais devient vite ingérable : avec 20 variables et le degré 3, il y a déjà 1 771 termes. D’autres modèles produisent des courbes souples directement, sans fabriquer de nouvelles variables.
Ces modèles servent aussi en classification, où vous les étudierez en détail (fonctionnement interne, forces et faiblesses). Ici, on regarde simplement comment ils prédisent une valeur, et comment se règle leur complexité.
Les k plus proches voisins : la moyenne des voisins
Section intitulée « Les k plus proches voisins : la moyenne des voisins »Pour prédire en , on cherche les exemples d’entraînement les plus proches et on fait la moyenne de leurs .
- : la courbe recopie chaque point, bruit compris (surapprentissage) ;
- grand : la moyenne porte sur des points lointains, la courbe s’aplatit vers la moyenne générale (sous-apprentissage).
Attention, la complexité diminue quand augmente. Variante utile : pondérer les voisins par l’inverse de leur distance (weights="distance").
L’arbre de régression : un escalier
Section intitulée « L’arbre de régression : un escalier »Un arbre découpe l’axe des en intervalles et prédit, dans chaque intervalle, la moyenne des d’entraînement. Il choisit chaque coupure pour réduire le plus possible l’erreur quadratique des deux côtés. Le résultat est un escalier, dont le nombre de marches double à chaque niveau de profondeur.
Un arbre profond fait une marche par point : il surapprend. Il ne sait pas non plus extrapoler : au-delà des données, il prédit la valeur de la dernière marche.
La forêt aléatoire : la moyenne des escaliers
Section intitulée « La forêt aléatoire : la moyenne des escaliers »Une forêt entraîne des dizaines d’arbres, chacun sur un tirage au hasard des exemples (avec remise), et fait la moyenne de leurs prédictions. Chaque arbre surapprend à sa façon ; leurs erreurs se compensent en partie. Les marches s’adoucissent, et la variance baisse sans augmenter le biais. Le boosting, autre méthode d’ensemble, est souvent encore meilleur sur les données tabulaires (voir les méthodes d’ensemble).
La SVR : un tube de tolérance
Section intitulée « La SVR : un tube de tolérance »La régression à vecteurs de support (Support Vector Regression) transpose l’idée du SVM :
- elle entoure la courbe d’un tube de demi-largeur ;
- les points dans le tube ne coûtent rien : une erreur inférieure à est jugée acceptable ;
- les points hors du tube sont pénalisés, proportionnellement à leur distance au tube ;
- seuls les points sur le bord ou hors du tube déterminent la courbe : ce sont les vecteurs de support (cerclés dans le widget).
Trois réglages : (largeur du tube), (tolérance aux points hors du tube) et, avec le noyau RBF, (portée de chaque point, donc souplesse de la courbe). Élargissez le tube : de moins en moins de points comptent, et la courbe se raidit.
🎓 Pour aller plus loin : la perte ε-insensible et le problème dual
La SVR minimise
où est la perte ε-insensible : nulle dans le tube, linéaire en dehors. Comme pour le SVM, la solution s’écrit
et pour tous les points strictement dans le tube. Le widget résout exactement ce problème dual par descente par coordonnées : chaque est mis à jour à son tour, en « rétrécissant » de le résidu partiel, puis en le bornant à .
Comparez avec la régression Ridge à noyau (KernelRidge) : même forme de solution, mais avec la perte quadratique, tous les sont non nuls.
y saute brusquement en x = 0,5. L’arbre trouve la marche en une coupure ; essayez ensuite le polynôme, le kNN et la SVR, et comparez les courbes de complexité.
→ La SVR dans le simulateurLe curseur de complexité fait varier γ ; la courbe en U apparaît, comme pour le degré d’un polynôme.
→Comment choisir ?
Section intitulée « Comment choisir ? »Les six modèles et la référence « toujours la moyenne », sur le même découpage : MAE, RMSE, R², validation croisée, courbes superposées et résidus. Essayez ensuite le diabète avec ses 10 variables.
→| Modèle | Réglage principal | Atouts | Limites |
|---|---|---|---|
| Polynôme / Ridge | degré, λ | simple, interprétable, extrapole (parfois trop) | peu de variables seulement |
| kNN | aucune hypothèse sur la forme | lent sur de gros jeux ; mise à l’échelle indispensable ; souffre en grande dimension | |
| Arbre | profondeur | lisible, gère tout type de variables | instable, en escalier |
| Forêt / boosting | nombre et profondeur des arbres | souvent le meilleur sur données tabulaires | moins interprétable ; n’extrapole pas |
| SVR (RBF) | , , | courbes lisses ; robuste aux points aberrants (perte linéaire) | lent au-delà de ~10 000 exemples ; mise à l’échelle indispensable |
from sklearn.neighbors import KNeighborsRegressorfrom sklearn.tree import DecisionTreeRegressorfrom sklearn.ensemble import RandomForestRegressor, HistGradientBoostingRegressorfrom sklearn.svm import SVRfrom sklearn.pipeline import make_pipelinefrom sklearn.preprocessing import StandardScaler
modeles = { "kNN": make_pipeline(StandardScaler(), KNeighborsRegressor(n_neighbors=10)), "arbre": DecisionTreeRegressor(max_depth=4), "forêt": RandomForestRegressor(n_estimators=300), "boosting": HistGradientBoostingRegressor(), "SVR": make_pipeline(StandardScaler(), SVR(C=10, epsilon=0.1, gamma="scale")),}✅ Vérifiez vos acquis