Créer des variables et éviter les fuites
Prérequis : Encoder et mettre à l'échelle
- créer des variables utiles à partir des données brutes (ratios, dates, interactions) ;
- expliquer pourquoi une bonne variable peut rendre un problème simple ;
- reconnaître les trois grandes formes de fuite de données ;
- assembler la préparation et le modèle dans un Pipeline scikit-learn.
Le feature engineering
Section intitulée « Le feature engineering »Le feature engineering consiste à fabriquer, à partir des données brutes, des variables qui rendent le problème plus facile pour le modèle. C’est souvent là que la connaissance du domaine fait la différence. Quelques exemples classiques :
| Données brutes | Variable créée | Pourquoi |
|---|---|---|
| surface, prix | prix au m² | c’est la grandeur que comparent les agents immobiliers |
| date et heure d’une transaction | jour de la semaine, heure, « week-end » | les comportements changent selon le moment |
| date de naissance | âge | la date elle-même n’a pas de sens pour le modèle |
| revenu, dettes | taux d’endettement (dettes / revenu) | un ratio compte plus que les deux montants séparés |
| historique d’achats | nombre d’achats sur 30 jours, montant moyen | résumer une séquence en quelques nombres |
| latitude, longitude | distance au centre-ville | la position brute est difficile à exploiter pour un modèle linéaire |
Une bonne variable change tout
Section intitulée « Une bonne variable change tout »Voici un problème qu’un modèle linéaire ne peut pas résoudre : un disque entouré d’un anneau. Aucune droite ne sépare les deux classes. Mais si l’on ajoute une variable bien choisie, la distance au centre au carré :
Sur la nouvelle variable, un simple seuil sépare parfaitement les classes. Revenu dans le plan d’origine, ce seuil devient un cercle. Le modèle est toujours linéaire, mais dans un espace de variables enrichi.
C’est exactement l’idée des variables polynomiales (PolynomialFeatures) et, en plus élégant, des noyaux des SVM (partie 3, classification). Les réseaux de neurones vont plus loin : leurs couches cachées apprennent elles-mêmes les variables utiles. C’est pourquoi l’apprentissage profond a supplanté le feature engineering manuel pour les images, le texte et le son.
Le SVM à noyau RBF trace le cercle sans qu’on ait créé r² à la main. Essayez aussi la régression logistique : la frontière reste une droite.
→Moins de variables, parfois mieux
Section intitulée « Moins de variables, parfois mieux »Ajouter des variables n’est pas toujours bénéfique. Des variables inutiles (du bruit) gênent certains modèles, surtout ceux fondés sur des distances : dans un espace à 50 dimensions, les vraies différences entre individus sont noyées par les différences aléatoires. C’est une forme du fléau de la dimension.
On peut sélectionner les variables : garder celles qui ont un lien avec la cible (SelectKBest), ou celles qu’un modèle juge importantes (SelectFromModel), ou utiliser une régularisation qui en élimine (Lasso).
Les deux lunes, noyées dans 30 colonnes de bruit pur. Qui résiste ? Calculez ensuite l’importance des variables : retrouve-t-elle les deux vraies ?
→Les fuites de données
Section intitulée « Les fuites de données »Une fuite de données (data leakage) se produit quand le modèle a accès, pendant l’entraînement ou l’évaluation, à une information qu’il n’aura pas au moment de prédire pour de vrai. Le score obtenu est alors trop beau, et le modèle déçoit en production. Il y en a trois grandes formes.
1. Une variable qui contient la réponse. Pour prédire si un client va résilier son abonnement, une colonne « date de résiliation » ou « motif du départ » donne la réponse. Plus subtil : pour prédire une maladie, la variable « a pris tel médicament » peut être une conséquence du diagnostic. Question à se poser pour chaque variable : la connaîtra-t-on au moment de la prédiction ?
2. Le futur qui aide à prédire le passé. Avec des données datées (ventes, cours de bourse, pannes), un découpage au hasard met des exemples de demain dans l’entraînement et des exemples d’hier dans le test. Il faut découper dans le temps : entraîner sur le passé, tester sur la période suivante (TimeSeriesSplit).
3. Le test qui influence la préparation. Standardiser, imputer, sélectionner des variables ou régler des hyperparamètres en utilisant toutes les données, test compris. Chaque décision « voit » un peu le test. L’effet peut être énorme :
L'expérience « Fuite de données »Dans la page « Comparer les modèles en classification », lancez l’expérience : sur des données de pur hasard, sélectionner les variables avant la validation croisée annonce plus de 80 % de précision… pour un problème où personne ne peut dépasser 50 %.
→Les pipelines
Section intitulée « Les pipelines »La protection contre la troisième forme de fuite est un Pipeline : on enchaîne la préparation et le modèle dans un seul objet. Quand on appelle fit, chaque étape apprend sur les données d’entraînement seulement ; en validation croisée, tout est refait dans chaque pli.
from sklearn.compose import ColumnTransformerfrom sklearn.impute import SimpleImputerfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import cross_val_scorefrom sklearn.pipeline import make_pipelinefrom sklearn.preprocessing import OneHotEncoder, StandardScaler
numeriques = ["age", "revenu", "anciennete"]categorielles = ["ville", "type_contrat"]
preparation = ColumnTransformer([ ("num", make_pipeline(SimpleImputer(strategy="median"), StandardScaler()), numeriques), ("cat", make_pipeline(SimpleImputer(strategy="most_frequent"), OneHotEncoder(handle_unknown="ignore")), categorielles),])modele = make_pipeline(preparation, LogisticRegression(max_iter=1000))
scores = cross_val_score(modele, X, y, cv=5) # l'imputation et la mise à l'échelle sont refaites dans chaque plimodele.fit(X_train, y_train)modele.predict(X_nouveaux) # les nouvelles données passent par la même préparationLe pipeline a un autre avantage : on déploie un seul objet, qui contient toute la préparation. Impossible d’oublier une étape ou de la refaire différemment en production.
🎓 Pour aller plus loin : pourquoi une fuite gonfle autant le score
Prenons variables de bruit et exemples dont la classe est tirée à pile ou face. Pour chaque variable, la corrélation avec la cible sur ces 100 exemples fluctue autour de 0 avec un écart-type d’environ . Parmi 2 000 variables, les 20 plus corrélées ont, par pur hasard, des corrélations d’environ , et ce sur tous les exemples, y compris ceux qui serviront de test.
Si on les sélectionne avant la validation croisée, chaque pli de test contient des exemples sur lesquels ces variables ont été choisies pour « marcher » : le modèle les classe bien. Dans un pipeline, la sélection est refaite sur les seuls exemples d’entraînement de chaque pli : les variables choisies sont alors sans rapport avec les exemples de test, et la précision retombe à 50 %. Plus est grand devant , plus l’illusion est forte : c’est un piège classique en génomique, où l’on a des milliers de gènes pour quelques dizaines de patients.
✅ Vérifiez vos acquis