Les méthodes d'ensemble : forêts et boosting
Prérequis : Les arbres de décision · Sous-apprentissage et surapprentissage
- expliquer pourquoi un vote de modèles peut battre chaque modèle ;
- décrire le bagging et la forêt aléatoire, et pourquoi elle rend ses arbres différents ;
- décrire le principe du gradient boosting ;
- choisir entre forêt et boosting et régler leurs hyperparamètres principaux.
La sagesse des foules
Section intitulée « La sagesse des foules »En 1906, le statisticien Francis Galton observe un concours où 800 visiteurs d’une foire estiment le poids d’un bœuf. Aucun ne trouve le bon poids, mais la moyenne des estimations tombe à moins de 1 % de la vérité. Les erreurs individuelles, dans un sens ou dans l’autre, se compensent.
Les méthodes d’ensemble appliquent cette idée aux modèles : on en entraîne beaucoup, et on combine leurs prédictions. Mais à une condition, que le widget met en évidence :
- Avec des modèles indépendants, même médiocres (60 % chacun), le vote de 100 modèles dépasse 97 %.
- Dès que les modèles se trompent ensemble (erreurs corrélées), le gain s’effondre : 100 copies du même modèle votent comme un seul.
- Des modèles pires que le hasard empirent en votant.
Tout l’art est donc de fabriquer des modèles à la fois bons et différents.
Le bagging et la forêt aléatoire
Section intitulée « Le bagging et la forêt aléatoire »Les arbres sont des candidats idéaux : rapides, souples, mais instables. Un petit changement des données produit un arbre très différent. Le bagging (bootstrap aggregating) exploite cette instabilité :
- on tire au hasard, avec remise, exemples parmi les d’entraînement (un échantillon bootstrap, où certains exemples apparaissent plusieurs fois et d’autres jamais) ;
- on entraîne un arbre profond sur cet échantillon ;
- on recommence des centaines de fois ;
- on fait voter les arbres (en régression, on fait la moyenne de leurs prédictions : voir Les modèles non linéaires en régression).
La forêt aléatoire ajoute un second hasard : à chaque nœud, l’arbre ne peut choisir sa question que parmi un tirage de quelques variables (souvent ). Cela empêche tous les arbres de commencer par la même variable dominante, et les rend encore plus différents.
Chaque arbre surapprend, mais leurs erreurs sont en partie indépendantes : le vote garde le signal et moyenne le bruit. Ajouter des arbres ne fait pas surapprendre ; cela coûte seulement du temps de calcul.
Une forêt qui granditRegardez la forêt s’agrandir arbre par arbre : la frontière en escalier d’un arbre seul devient de plus en plus lisse, et la précision se stabilise.
→Le boosting
Section intitulée « Le boosting »Le boosting combine aussi beaucoup d’arbres, mais à la chaîne plutôt qu’en parallèle. Chaque nouvel arbre, volontairement petit (profondeur 1 à 5), se concentre sur ce que les précédents ratent encore :
- on part d’une prédiction simple (la moyenne, ou la proportion de chaque classe) ;
- on calcule les résidus : ce qui reste à corriger ;
- un petit arbre apprend à prédire ces résidus ;
- on ajoute sa correction, multipliée par un taux d’apprentissage (souvent 0,05 à 0,3) ;
- on recommence.
C’est une descente de gradient… où chaque pas est un arbre : d’où le nom de gradient boosting. Ses implémentations rapides (XGBoost, LightGBM, CatBoost, et HistGradientBoostingClassifier dans scikit-learn) dominent les compétitions sur les données tabulaires.
Contrairement à la forêt, le boosting peut surapprendre si on ajoute trop d’arbres : on règle leur nombre par validation croisée, ou par arrêt précoce.
Le boosting étape par étapeLes cercles autour des points montrent ce qui reste à corriger : ils rétrécissent à mesure que les arbres s’ajoutent.
→Forêt ou boosting ?
Section intitulée « Forêt ou boosting ? »| Forêt aléatoire | Gradient boosting | |
|---|---|---|
| construction | arbres indépendants, en parallèle | arbres à la chaîne, chacun corrige les précédents |
| arbres | profonds | petits |
| ce qu’elle réduit surtout | la variance | le biais |
| surapprentissage avec plus d’arbres | non | oui (régler le nombre d’arbres) |
| réglages | peu sensibles, bons par défaut | plus délicats (taux, profondeur, nombre d’arbres) |
| performance | très bonne | souvent la meilleure sur données tabulaires |
En pratique : une forêt aléatoire est un excellent premier modèle, robuste et presque sans réglage ; le gradient boosting, bien réglé, va souvent un peu plus loin.
🎓 Pour aller plus loin : pourquoi le bagging réduit la variance
Soient modèles dont les prédictions ont chacune une variance et une corrélation deux à deux . La variance de leur moyenne vaut
Quand grandit, le second terme disparaît, mais le premier reste : la corrélation fixe un plancher. Le tirage des variables de la forêt aléatoire sert précisément à réduire , au prix d’arbres individuellement un peu moins bons.
Le boosting, lui, minimise une perte en ajoutant des fonctions : , où est un arbre ajusté sur les pseudo-résidus , c’est-à-dire l’opposé du gradient de la perte par rapport à la prédiction. Pour la MSE, ce sont exactement les résidus .
Bonus du bagging : chaque exemple est absent d’environ des échantillons bootstrap. Les arbres qui ne l’ont pas vu peuvent le prédire : c’est l’erreur hors du sac (out-of-bag, oob_score=True), une validation gratuite.
from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier
foret = RandomForestClassifier(n_estimators=300, max_features="sqrt", oob_score=True, random_state=0)boost = HistGradientBoostingClassifier(learning_rate=0.1, max_iter=300, early_stopping=True, random_state=0)✅ Vérifiez vos acquis