Aller au contenu
Data science

Créer des variables et éviter les fuites

⏱ 1 h

Prérequis : Encoder et mettre à l'échelle

À la fin de ce chapitre, vous saurez :
  • créer des variables utiles à partir des données brutes (ratios, dates, interactions) ;
  • expliquer pourquoi une bonne variable peut rendre un problème simple ;
  • reconnaître les trois grandes formes de fuite de données ;
  • assembler la préparation et le modèle dans un Pipeline scikit-learn.

Le feature engineering consiste à fabriquer, à partir des données brutes, des variables qui rendent le problème plus facile pour le modèle. C’est souvent là que la connaissance du domaine fait la différence. Quelques exemples classiques :

Données brutes Variable créée Pourquoi
surface, prix prix au m² c’est la grandeur que comparent les agents immobiliers
date et heure d’une transaction jour de la semaine, heure, « week-end » les comportements changent selon le moment
date de naissance âge la date elle-même n’a pas de sens pour le modèle
revenu, dettes taux d’endettement (dettes / revenu) un ratio compte plus que les deux montants séparés
historique d’achats nombre d’achats sur 30 jours, montant moyen résumer une séquence en quelques nombres
latitude, longitude distance au centre-ville la position brute est difficile à exploiter pour un modèle linéaire

Voici un problème qu’un modèle linéaire ne peut pas résoudre : un disque entouré d’un anneau. Aucune droite ne sépare les deux classes. Mais si l’on ajoute une variable bien choisie, la distance au centre au carré r2=x12+x22r^2 = x_1^2 + x_2^2 :

Sur la nouvelle variable, un simple seuil sépare parfaitement les classes. Revenu dans le plan d’origine, ce seuil devient un cercle. Le modèle est toujours linéaire, mais dans un espace de variables enrichi.

C’est exactement l’idée des variables polynomiales (PolynomialFeatures) et, en plus élégant, des noyaux des SVM (partie 3, classification). Les réseaux de neurones vont plus loin : leurs couches cachées apprennent elles-mêmes les variables utiles. C’est pourquoi l’apprentissage profond a supplanté le feature engineering manuel pour les images, le texte et le son.

🔬Les cercles dans le simulateur

Le SVM à noyau RBF trace le cercle sans qu’on ait créé r² à la main. Essayez aussi la régression logistique : la frontière reste une droite.

→

Ajouter des variables n’est pas toujours bénéfique. Des variables inutiles (du bruit) gênent certains modèles, surtout ceux fondés sur des distances : dans un espace à 50 dimensions, les vraies différences entre individus sont noyées par les différences aléatoires. C’est une forme du fléau de la dimension.

On peut sélectionner les variables : garder celles qui ont un lien avec la cible (SelectKBest), ou celles qu’un modèle juge importantes (SelectFromModel), ou utiliser une régularisation qui en élimine (Lasso).

🔬30 variables inutiles

Les deux lunes, noyées dans 30 colonnes de bruit pur. Qui résiste ? Calculez ensuite l’importance des variables : retrouve-t-elle les deux vraies ?

→

Une fuite de données (data leakage) se produit quand le modèle a accès, pendant l’entraînement ou l’évaluation, à une information qu’il n’aura pas au moment de prédire pour de vrai. Le score obtenu est alors trop beau, et le modèle déçoit en production. Il y en a trois grandes formes.

1. Une variable qui contient la réponse. Pour prédire si un client va résilier son abonnement, une colonne « date de résiliation » ou « motif du départ » donne la réponse. Plus subtil : pour prédire une maladie, la variable « a pris tel médicament » peut être une conséquence du diagnostic. Question à se poser pour chaque variable : la connaîtra-t-on au moment de la prédiction ?

2. Le futur qui aide à prédire le passé. Avec des données datées (ventes, cours de bourse, pannes), un découpage au hasard met des exemples de demain dans l’entraînement et des exemples d’hier dans le test. Il faut découper dans le temps : entraîner sur le passé, tester sur la période suivante (TimeSeriesSplit).

3. Le test qui influence la préparation. Standardiser, imputer, sélectionner des variables ou régler des hyperparamètres en utilisant toutes les données, test compris. Chaque décision « voit » un peu le test. L’effet peut être énorme :

🔬L'expérience « Fuite de données »

Dans la page « Comparer les modèles en classification », lancez l’expérience : sur des données de pur hasard, sélectionner les variables avant la validation croisée annonce plus de 80 % de précision… pour un problème où personne ne peut dépasser 50 %.

→

La protection contre la troisième forme de fuite est un Pipeline : on enchaîne la préparation et le modèle dans un seul objet. Quand on appelle fit, chaque étape apprend sur les données d’entraînement seulement ; en validation croisée, tout est refait dans chaque pli.

from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler
numeriques = ["age", "revenu", "anciennete"]
categorielles = ["ville", "type_contrat"]
preparation = ColumnTransformer([
("num", make_pipeline(SimpleImputer(strategy="median"), StandardScaler()), numeriques),
("cat", make_pipeline(SimpleImputer(strategy="most_frequent"), OneHotEncoder(handle_unknown="ignore")), categorielles),
])
modele = make_pipeline(preparation, LogisticRegression(max_iter=1000))
scores = cross_val_score(modele, X, y, cv=5) # l'imputation et la mise à l'échelle sont refaites dans chaque pli
modele.fit(X_train, y_train)
modele.predict(X_nouveaux) # les nouvelles données passent par la même préparation

Le pipeline a un autre avantage : on déploie un seul objet, qui contient toute la préparation. Impossible d’oublier une étape ou de la refaire différemment en production.

🎓 Pour aller plus loin : pourquoi une fuite gonfle autant le score

Prenons p=2 000p = 2\,000 variables de bruit et n=100n = 100 exemples dont la classe est tirée à pile ou face. Pour chaque variable, la corrélation avec la cible sur ces 100 exemples fluctue autour de 0 avec un écart-type d’environ 1/n=0,11/\sqrt{n} = 0{,}1. Parmi 2 000 variables, les 20 plus corrélées ont, par pur hasard, des corrélations d’environ ±0,3\pm 0{,}3, et ce sur tous les exemples, y compris ceux qui serviront de test.

Si on les sélectionne avant la validation croisée, chaque pli de test contient des exemples sur lesquels ces variables ont été choisies pour « marcher » : le modèle les classe bien. Dans un pipeline, la sélection est refaite sur les seuls exemples d’entraînement de chaque pli : les variables choisies sont alors sans rapport avec les exemples de test, et la précision retombe à 50 %. Plus pp est grand devant nn, plus l’illusion est forte : c’est un piège classique en génomique, où l’on a des milliers de gènes pour quelques dizaines de patients.

✅ Vérifiez vos acquis

1. Pour prédire le prix d'un appartement, quelle variable créée est la plus utile à partir de « date de construction » ?
2. Pour prédire si un client va résilier dans le mois, on dispose de la colonne « nombre d'appels au service de résiliation ». C'est…
3. On prédit les ventes de la semaine suivante. Comment découper les données ?
4. Quel est l'intérêt principal d'un Pipeline scikit-learn ?
5. Pourquoi une régression logistique sépare-t-elle parfaitement le disque et l'anneau une fois la variable x₁² + x₂² ajoutée ?