Validation croisée et réglage des hyperparamètres
Prérequis : Sous-apprentissage et surapprentissage · Mesurer une régression
- expliquer le rôle des ensembles d'entraînement, de validation et de test ;
- mettre en œuvre une validation croisée à k plis (et ses variantes stratifiée, groupée, temporelle) ;
- régler des hyperparamètres par recherche en grille ou aléatoire ;
- expliquer pourquoi le test ne doit servir qu'une fois.
Trois rôles pour les données
Section intitulée « Trois rôles pour les données »Un modèle sert à prédire des données qu’il n’a jamais vues. Pour estimer honnêtement sa performance, il faut donc le tester sur des exemples mis de côté. Mais on a aussi besoin de données pour choisir entre plusieurs modèles et réglages. D’où trois rôles :
| Ensemble | Sert à | Utilisé |
|---|---|---|
| entraînement | apprendre les paramètres du modèle | à chaque entraînement |
| validation | comparer des modèles, choisir les hyperparamètres | autant de fois qu’on veut |
| test | estimer la performance du modèle final | une seule fois, à la fin |
Si on choisit le modèle d’après le test, le test devient un ensemble de validation : son score est optimiste, et on n’a plus aucune mesure honnête. C’est la fuite de données de la page Comparer : régler un hyperparamètre sur le test gonfle le score annoncé.
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y, random_state=42)# X_test est rangé dans un coin jusqu'à la toute finLa validation croisée
Section intitulée « La validation croisée »Garder un ensemble de validation fixe gaspille des données, et son score dépend du hasard du découpage. La validation croisée à k plis fait mieux :
- on coupe les données d’entraînement en parts égales (les plis, souvent 5 ou 10) ;
- on entraîne fois le modèle, chaque fois sur plis, et on l’évalue sur le pli restant ;
- on fait la moyenne des scores ; leur écart-type indique la stabilité.
Chaque exemple sert une fois de validation et fois d’entraînement. Rien n’est gaspillé.
Faites varier et parcourez les plis. La courbe de validation croisée (bleue) suit la forme de la vraie erreur de test (orange), sans jamais l’utiliser : c’est elle qui permet de choisir le degré.
Les variantes
Section intitulée « Les variantes »- Stratifiée (
StratifiedKFold, par défaut en classification dans scikit-learn) : chaque pli garde la même proportion de chaque classe. Indispensable avec des classes déséquilibrées. - Groupée (
GroupKFold) : quand plusieurs exemples viennent du même patient, du même client, de la même photo, on les garde dans le même pli. Sinon le modèle « reconnaît » le patient au lieu d’apprendre la maladie. - Temporelle (
TimeSeriesSplit) : on entraîne toujours sur le passé et on valide sur la période suivante. - Leave-one-out : autant de plis que d’exemples ; pour de très petits jeux.
Régler les hyperparamètres
Section intitulée « Régler les hyperparamètres »Les hyperparamètres (profondeur d’un arbre, k du kNN, C et γ d’un SVM, taux d’apprentissage…) se choisissent en comparant leurs scores de validation croisée.
La recherche en grille essaie toutes les combinaisons d’une liste de valeurs. La recherche aléatoire tire les combinaisons au hasard. À budget égal, la seconde est souvent meilleure, et le widget montre pourquoi :
Ici, seul le réglage A compte vraiment (c’est fréquent : parmi plusieurs hyperparamètres, un ou deux font l’essentiel). Avec 9 essais, la grille ne teste que 3 valeurs de A, répétées 3 fois. La recherche aléatoire en teste 9 différentes, et a plus de chances de tomber près du pic.
from sklearn.model_selection import GridSearchCV, RandomizedSearchCVfrom sklearn.pipeline import make_pipelinefrom sklearn.preprocessing import PolynomialFeatures, StandardScalerfrom sklearn.linear_model import Ridgefrom scipy.stats import loguniform
modele = make_pipeline(PolynomialFeatures(), StandardScaler(), Ridge())grille = GridSearchCV(modele, {"polynomialfeatures__degree": [1, 3, 5, 9, 12], "ridge__alpha": [1e-4, 1e-2, 1]}, cv=5, scoring="neg_root_mean_squared_error")alea = RandomizedSearchCV(modele, {"polynomialfeatures__degree": range(1, 16), "ridge__alpha": loguniform(1e-6, 1e2)}, n_iter=20, cv=5, scoring="neg_root_mean_squared_error", random_state=0)alea.fit(X_train, y_train)alea.best_params_, -alea.best_score_ # choisis par validation croisée, sur l'entraînementalea.score(X_test, y_test) # le test, une seule foisLe paramètre scoring choisit la métrique optimisée (scikit-learn maximise toujours, d’où les erreurs comptées négativement). En classification, on écrira par exemple scoring="f1" ou "roc_auc".
Pour aller plus loin, l’optimisation bayésienne (bibliothèque Optuna, par exemple) choisit chaque nouvel essai en fonction des résultats des précédents : elle concentre les essais dans les zones prometteuses.
GridSearchCV dans le simulateurSur un problème de classification (que vous verrez juste après), la carte « Recherche d’hyperparamètres » affiche la grille sous forme de carte de chaleur, puis applique la meilleure combinaison en un clic. Le TP guidé « Trouver la bonne complexité » fait toute la démarche.
→🎓 Pour aller plus loin : la validation croisée imbriquée
Le score best_score_ d’une recherche est lui-même un peu optimiste : on a choisi le maximum parmi de nombreux scores bruités, ce qui revient à profiter de la chance (le même phénomène que la fuite par le test, en plus faible).
Pour estimer honnêtement la performance de toute la procédure (« un SVM dont on règle C et γ par validation croisée »), on utilise une validation croisée imbriquée : une boucle externe découpe les données ; dans chaque pli externe, une boucle interne fait la recherche d’hyperparamètres sur la partie entraînement, puis le modèle retenu est évalué sur le pli externe.
from sklearn.model_selection import cross_val_scorescores = cross_val_score(GridSearchCV(modele, grille_ridge, cv=3), X, y, cv=5) # 5 × (recherche à 3 plis)Coût : le nombre d’entraînements est multiplié par le nombre de plis externes. C’est surtout utile pour les petits jeux de données, ou pour publier un résultat.
Écart-type et intervalle : avec plis, l’écart-type des scores sous-estime l’incertitude, car les plis partagent leurs données d’entraînement et ne sont pas indépendants. Comparer deux modèles demande donc de la prudence : des écarts inférieurs à un écart-type ne prouvent rien.
✅ Vérifiez vos acquis