Sous-apprentissage et surapprentissage
Prérequis : La régression linéaire et la descente de gradient · Mesurer une régression
- distinguer l'erreur d'entraînement de l'erreur de test, et dire laquelle compte ;
- reconnaître le sous-apprentissage et le surapprentissage, sur une courbe et sur des chiffres ;
- expliquer le compromis entre biais et variance ;
- citer et mettre en œuvre quatre remèdes : plus de données, régularisation, validation croisée, arrêt précoce.
Apprendre ou mémoriser ?
Section intitulée « Apprendre ou mémoriser ? »Imaginez deux étudiants qui préparent un examen avec les annales des années précédentes.
- Le premier apprend par cœur les réponses. Sur les annales, il obtient 20/20.
- Le second cherche à comprendre les méthodes. Sur les annales, il fait quelques erreurs.
Le jour de l’examen, les questions sont nouvelles. Le premier est perdu ; le second s’en sort. Un modèle d’apprentissage automatique peut, lui aussi, apprendre par cœur au lieu de comprendre : c’est le surapprentissage (en anglais overfitting). À l’inverse, un modèle trop simple ne comprend même pas les annales : c’est le sous-apprentissage (underfitting).
Tout l’art du métier consiste à trouver le juste milieu. Ce chapitre explique comment le voir, le mesurer et le corriger.
Deux erreurs différentes
Section intitulée « Deux erreurs différentes »Prenons un problème simple : des points où suit une courbe (une sinusoïde, en vert pointillé), plus un peu de bruit. On ne connaît que les points ; on cherche une fonction qui prédit à partir de . Ici, le modèle est un polynôme, et son degré règle sa complexité : degré 1, une droite ; degré 3, une courbe qui peut onduler un peu ; degré 15, une courbe très souple.
On mesure l’erreur d’un modèle par l’erreur quadratique moyenne (MSE) : la moyenne des carrés des écarts entre prédictions et vraies valeurs. On la calcule à deux endroits :
- sur les points qui ont servi à ajuster le modèle (● bleus) : l’erreur d’entraînement ;
- sur des points jamais vus pendant l’ajustement (○ orange) : l’erreur de test.
Essayez les degrés 1, 3 et 15 :
| Degré | Ce qu’on voit | Erreur d’entraînement | Erreur de test | Diagnostic |
|---|---|---|---|---|
| 1 | une droite, incapable de suivre la courbe | grande | grande | sous-apprentissage |
| 3 à 5 | une courbe proche de la vraie fonction | petite | petite | bon modèle |
| 15 | une courbe qui passe par presque tous les points bleus et s’envole entre eux | quasi nulle | énorme | surapprentissage |
Le bruit fixe une limite : même la vraie fonction se trompe d’environ (le carré de l’écart-type du bruit) en moyenne. Une erreur d’entraînement inférieure au bruit est donc suspecte : le modèle a appris le hasard.
La courbe en U
Section intitulée « La courbe en U »Traçons les deux erreurs pour chaque degré possible. Le résultat a toujours la même allure :
- À gauche, les deux erreurs sont grandes : le modèle est trop rigide.
- Au milieu, l’erreur de test atteint son minimum : c’est le meilleur compromis.
- À droite, l’erreur d’entraînement continue de baisser, mais l’erreur de test remonte : le modèle apprend le bruit.
Cliquez sur 🎲 Autre tirage plusieurs fois : la forme en U reste, mais le meilleur degré change un peu. Avec si peu de points, le hasard compte beaucoup.
La même expérience dans le simulateur de régressionPolynôme, arbre, kNN, SVR, réseau : le curseur de complexité et la courbe en U pour chaque modèle.
→Biais et variance
Section intitulée « Biais et variance »Pourquoi un modèle trop complexe se trompe-t-il ? Pour le comprendre, imaginons qu’on puisse refaire l’expérience de nombreuses fois, avec à chaque fois un nouveau jeu de données tiré de la même façon. Chaque entraînement donne un modèle un peu différent. Deux défauts peuvent apparaître :
- le biais : en moyenne, les modèles sont à côté de la vérité. Le modèle est trop simple pour la représenter ;
- la variance : les modèles changent beaucoup d’un jeu de données à l’autre. Le modèle est si souple qu’il épouse les particularités (le bruit) de chaque échantillon.
L’image classique est celle des fléchettes :
Faisons-le vraiment : 30 jeux de 30 points, un polynôme ajusté sur chacun.
- Degré 0 ou 1 : toutes les courbes se ressemblent (variance faible), mais leur moyenne est loin de la vraie fonction (biais fort).
- Degré 10 ou plus : en moyenne, les courbes suivent bien la vraie fonction (biais faible), mais chacune part dans tous les sens (variance forte).
- Le graphique de droite montre le compromis : le biais baisse et la variance monte avec la complexité ; leur somme est minimale au milieu.
🎓 Pour aller plus loin : la décomposition biais-variance
Notons avec et , et le modèle appris sur un jeu de données tiré au hasard. Pour un point fixé, l’erreur attendue sur un nouvel exemple, en moyenne sur les jeux de données possibles, se décompose exactement :
Démonstration. Notons . On écrit , puis on développe le carré. Les termes croisés sont nuls en espérance : est indépendant de et centré, est une constante, et par définition de . Il reste la somme des trois carrés.
Le bruit est irréductible : aucun modèle ne peut prédire le hasard. Le widget estime le biais² et la variance en remplaçant les espérances par des moyennes sur les 30 jeux de données, puis en moyennant sur .
Comment lutter contre le surapprentissage
Section intitulée « Comment lutter contre le surapprentissage »1. Plus de données
Section intitulée « 1. Plus de données »Un modèle très souple a besoin de beaucoup d’exemples pour ne pas se laisser guider par le bruit. Gardons un polynôme de degré 12 et augmentons le nombre de points :
Avec 15 points, la courbe est délirante ; avec 300, elle colle à la vraie fonction. Plus il y a de données, plus on peut se permettre un modèle complexe. C’est l’une des raisons du succès de l’apprentissage profond : des modèles gigantesques, mais aussi des quantités énormes de données.
2. Régulariser
Section intitulée « 2. Régulariser »Quand on ne peut pas avoir plus de données, on peut pénaliser la complexité. Les polynômes qui oscillent follement ont de très grands coefficients ; la régularisation ajoute à l’erreur un terme qui les pénalise. Le modèle doit alors trouver un compromis entre « coller aux points » et « rester calme ».
- : aucune pénalité, surapprentissage ;
- moyen : la courbe se calme et l’erreur de test chute ;
- trop grand : la courbe s’aplatit, c’est du sous-apprentissage.
La régularisation est partout : le paramètre C de la régression logistique et du SVM (qui vaut ), alpha de Ridge, Lasso et des réseaux de scikit-learn, le weight decay et le dropout des réseaux de neurones.
🎓 Pour aller plus loin : la régression Ridge
La régression Ridge minimise l’erreur quadratique plus la somme des carrés des coefficients :
En annulant le gradient, on obtient une formule explicite :
Ajouter rend la matrice toujours inversible, et rétrécit les coefficients. Dans la base des vecteurs propres de (valeurs propres ), chaque composante de la solution sans régularisation est multipliée par : les directions mal déterminées par les données ( petit), celles qui portent surtout le bruit, sont presque effacées.
Avec la pénalité (régression Lasso), certains coefficients deviennent exactement nuls : le modèle sélectionne aussi ses variables.
3. Choisir la complexité par validation croisée
Section intitulée « 3. Choisir la complexité par validation croisée »On a vu que le meilleur degré est celui qui minimise l’erreur de test. Mais si on choisit le degré en regardant le test, le test n’est plus « jamais vu » : son erreur devient optimiste. Le test doit servir une seule fois, à la toute fin.
La solution : la validation croisée. On coupe les données d’entraînement en parts (les plis). Chaque pli sert à son tour de validation, pendant qu’on entraîne le modèle sur les autres. La moyenne des erreurs estime l’erreur de test, sans jamais toucher au test.
La courbe bleue (validation croisée) a la même forme que la courbe orange (le vrai test, inconnu en pratique) : elle permet de choisir le degré honnêtement. C’est ce que font cross_val_score et GridSearchCV dans scikit-learn.
Lancez l’expérience « Fuite de données » : de combien le score annoncé est-il trop optimiste quand on règle un modèle sur le test ?
→4. Arrêter l’entraînement à temps
Section intitulée « 4. Arrêter l’entraînement à temps »Les modèles entraînés par itérations (descente de gradient, réseaux de neurones, boosting) deviennent de plus en plus complexes au fil de l’entraînement. Au début, ils apprennent la forme générale des données ; ensuite, les détails ; enfin, le bruit. On peut donc les arrêter au bon moment : c’est l’arrêt précoce (early stopping).
Cliquez sur ▶ Entraîner : le polynôme de degré 12 commence plat, rejoint la sinusoïde vers quelques dizaines d’époques, puis se déforme pour passer par chaque point. L’erreur de validation (orange) forme à nouveau un U : on garde le modèle de son minimum. Dans Keras, c’est le rôle du callback EarlyStopping(monitor="val_loss", restore_best_weights=True).
🎓 Pour aller plus loin : pourquoi l'arrêt précoce régularise
Pour l’erreur quadratique, la descente de gradient partant de avec un taux se calcule exactement. Dans la base des vecteurs propres de (valeurs propres ), la composante des poids après itérations vaut
où est la solution des moindres carrés. Les directions où est grand (la forme générale, bien déterminée par les données) sont apprises en quelques itérations ; celles où est minuscule (les détails fins, dominés par le bruit) demandent itérations, parfois des milliards. Arrêter tôt revient à effacer ces dernières, comme la régression Ridge, avec un filtre qui joue le rôle de . C’est exactement ce calcul que fait le widget ci-dessus, ce qui lui permet d’aller jusqu’à époques instantanément.
Et les autres modèles ?
Section intitulée « Et les autres modèles ? »Le polynôme n’est qu’un exemple. Chaque famille de modèles a son réglage de complexité : le nombre de voisins du kNN, la profondeur d’un arbre, γ et C d’un SVM, le nombre d’époques d’un réseau de neurones. Le vocabulaire change ; la courbe en U, jamais. Le chapitre Les modèles non linéaires en régression le montre pour quatre d’entre eux, et Choisir un modèle récapitule tous les réglages.
✅ Vérifiez vos acquis
Pour pratiquer
Section intitulée « Pour pratiquer »Le TP guidé « Trouver la bonne complexité » reprend toute la démarche sur un vrai jeu de données : constater le surapprentissage, tracer la courbe de complexité, choisir le réglage par validation croisée, puis l’évaluer une seule fois sur le test. À la fin, vous récupérez le notebook Jupyter de tout ce que vous avez fait.
Les démos et TP guidésChoisissez « Trouver la bonne complexité ».
→