Aller au contenu
Data science

Validation croisée et réglage des hyperparamètres

⏱ 1 h

Prérequis : Sous-apprentissage et surapprentissage · Mesurer une régression

À la fin de ce chapitre, vous saurez :
  • expliquer le rôle des ensembles d'entraînement, de validation et de test ;
  • mettre en œuvre une validation croisée à k plis (et ses variantes stratifiée, groupée, temporelle) ;
  • régler des hyperparamètres par recherche en grille ou aléatoire ;
  • expliquer pourquoi le test ne doit servir qu'une fois.

Un modèle sert à prédire des données qu’il n’a jamais vues. Pour estimer honnêtement sa performance, il faut donc le tester sur des exemples mis de côté. Mais on a aussi besoin de données pour choisir entre plusieurs modèles et réglages. D’où trois rôles :

Ensemble Sert à Utilisé
entraînement apprendre les paramètres du modèle à chaque entraînement
validation comparer des modèles, choisir les hyperparamètres autant de fois qu’on veut
test estimer la performance du modèle final une seule fois, à la fin

Si on choisit le modèle d’après le test, le test devient un ensemble de validation : son score est optimiste, et on n’a plus aucune mesure honnête. C’est la fuite de données de la page Comparer : régler un hyperparamètre sur le test gonfle le score annoncé.

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y, random_state=42)
# X_test est rangé dans un coin jusqu'à la toute fin

Garder un ensemble de validation fixe gaspille des données, et son score dépend du hasard du découpage. La validation croisée à k plis fait mieux :

  1. on coupe les données d’entraînement en kk parts égales (les plis, souvent 5 ou 10) ;
  2. on entraîne kk fois le modèle, chaque fois sur k−1k - 1 plis, et on l’évalue sur le pli restant ;
  3. on fait la moyenne des kk scores ; leur écart-type indique la stabilité.

Chaque exemple sert une fois de validation et k−1k - 1 fois d’entraînement. Rien n’est gaspillé.

Faites varier kk et parcourez les plis. La courbe de validation croisée (bleue) suit la forme de la vraie erreur de test (orange), sans jamais l’utiliser : c’est elle qui permet de choisir le degré.

  • Stratifiée (StratifiedKFold, par défaut en classification dans scikit-learn) : chaque pli garde la même proportion de chaque classe. Indispensable avec des classes déséquilibrées.
  • Groupée (GroupKFold) : quand plusieurs exemples viennent du même patient, du même client, de la même photo, on les garde dans le même pli. Sinon le modèle « reconnaît » le patient au lieu d’apprendre la maladie.
  • Temporelle (TimeSeriesSplit) : on entraîne toujours sur le passé et on valide sur la période suivante.
  • Leave-one-out : autant de plis que d’exemples ; pour de très petits jeux.

Les hyperparamètres (profondeur d’un arbre, k du kNN, C et γ d’un SVM, taux d’apprentissage…) se choisissent en comparant leurs scores de validation croisée.

La recherche en grille essaie toutes les combinaisons d’une liste de valeurs. La recherche aléatoire tire les combinaisons au hasard. À budget égal, la seconde est souvent meilleure, et le widget montre pourquoi :

Ici, seul le réglage A compte vraiment (c’est fréquent : parmi plusieurs hyperparamètres, un ou deux font l’essentiel). Avec 9 essais, la grille ne teste que 3 valeurs de A, répétées 3 fois. La recherche aléatoire en teste 9 différentes, et a plus de chances de tomber près du pic.

from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.linear_model import Ridge
from scipy.stats import loguniform
modele = make_pipeline(PolynomialFeatures(), StandardScaler(), Ridge())
grille = GridSearchCV(modele, {"polynomialfeatures__degree": [1, 3, 5, 9, 12], "ridge__alpha": [1e-4, 1e-2, 1]},
cv=5, scoring="neg_root_mean_squared_error")
alea = RandomizedSearchCV(modele, {"polynomialfeatures__degree": range(1, 16), "ridge__alpha": loguniform(1e-6, 1e2)},
n_iter=20, cv=5, scoring="neg_root_mean_squared_error", random_state=0)
alea.fit(X_train, y_train)
alea.best_params_, -alea.best_score_ # choisis par validation croisée, sur l'entraînement
alea.score(X_test, y_test) # le test, une seule fois

Le paramètre scoring choisit la métrique optimisée (scikit-learn maximise toujours, d’où les erreurs comptées négativement). En classification, on écrira par exemple scoring="f1" ou "roc_auc".

Pour aller plus loin, l’optimisation bayésienne (bibliothèque Optuna, par exemple) choisit chaque nouvel essai en fonction des résultats des précédents : elle concentre les essais dans les zones prometteuses.

🔬GridSearchCV dans le simulateur

Sur un problème de classification (que vous verrez juste après), la carte « Recherche d’hyperparamètres » affiche la grille sous forme de carte de chaleur, puis applique la meilleure combinaison en un clic. Le TP guidé « Trouver la bonne complexité » fait toute la démarche.

→
🎓 Pour aller plus loin : la validation croisée imbriquée

Le score best_score_ d’une recherche est lui-même un peu optimiste : on a choisi le maximum parmi de nombreux scores bruités, ce qui revient à profiter de la chance (le même phénomène que la fuite par le test, en plus faible).

Pour estimer honnêtement la performance de toute la procédure (« un SVM dont on règle C et γ par validation croisée »), on utilise une validation croisée imbriquée : une boucle externe découpe les données ; dans chaque pli externe, une boucle interne fait la recherche d’hyperparamètres sur la partie entraînement, puis le modèle retenu est évalué sur le pli externe.

from sklearn.model_selection import cross_val_score
scores = cross_val_score(GridSearchCV(modele, grille_ridge, cv=3), X, y, cv=5) # 5 × (recherche à 3 plis)

Coût : le nombre d’entraînements est multiplié par le nombre de plis externes. C’est surtout utile pour les petits jeux de données, ou pour publier un résultat.

Écart-type et intervalle : avec kk plis, l’écart-type des scores sous-estime l’incertitude, car les plis partagent leurs données d’entraînement et ne sont pas indépendants. Comparer deux modèles demande donc de la prudence : des écarts inférieurs à un écart-type ne prouvent rien.

✅ Vérifiez vos acquis

1. Pourquoi ne faut-il pas choisir les hyperparamètres d'après le score de test ?
2. Dans une validation croisée à 5 plis, combien de fois le modèle est-il entraîné ?
3. Un jeu de données médical contient plusieurs radiographies par patient. Quelle validation croisée utiliser ?
4. Pourquoi la recherche aléatoire bat-elle souvent la grille à budget égal ?
5. Pour des données de ventes quotidiennes, quel découpage est correct ?