Encoder et mettre à l'échelle
Prérequis : Les données et leur description · Nettoyer les données
- encoder une variable qualitative (one-hot, ordinal) sans introduire de faux ordre ;
- expliquer pourquoi l'échelle des variables change le résultat de certains modèles ;
- choisir entre standardisation, min-max et mise à l'échelle robuste ;
- savoir quels modèles ont besoin d'une mise à l'échelle.
Des catégories aux nombres
Section intitulée « Des catégories aux nombres »Les modèles ne manipulent que des nombres. Une variable comme la ville (« Lyon », « Lille », « Nantes ») doit donc être encodée. La tentation est de numéroter : Lyon = 1, Lille = 2, Nantes = 3. C’est une erreur pour une variable nominale : le modèle croirait que Nantes est « plus grande » que Lyon, et que Lille est « entre les deux ».
L’encodage one-hot crée une colonne par modalité, qui vaut 1 si l’individu a cette modalité, 0 sinon :
| ville | ville_Lyon | ville_Lille | ville_Nantes |
|---|---|---|---|
| Lyon | 1 | 0 | 0 |
| Nantes | 0 | 0 | 1 |
| Lille | 0 | 1 | 0 |
Aucun ordre n’est inventé ; chaque ville a son propre poids dans un modèle linéaire.
Pour une variable ordinale (taille S, M, L, XL ; niveau d’études), l’ordre a un sens : on peut garder un seul nombre qui respecte cet ordre (S = 0, M = 1, L = 2, XL = 3).
from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder
OneHotEncoder(handle_unknown="ignore") # une ville jamais vue à l'entraînement → que des 0OrdinalEncoder(categories=[["S", "M", "L", "XL"]]) # on donne l'ordre explicitementpd.get_dummies(df, columns=["ville"]) # l'équivalent pandas, pour explorerPourquoi l’échelle compte
Section intitulée « Pourquoi l’échelle compte »Une base de clients contient l’âge (de 20 à 65 ans) et le salaire (de 1 500 à 6 000 € par mois). Pour un modèle fondé sur des distances, comme les k plus proches voisins, un écart de 1 € compte autant qu’un écart d’un an. Les salaires, qui varient de milliers d’euros, écrasent complètement l’âge.
Dans le widget, l’étoile est un nouveau client ; les traits orange relient ses k plus proches voisins. Cliquez ailleurs pour la déplacer, et changez la mise à l’échelle :
Sans mise à l’échelle, les « voisins » forment une bande horizontale : même salaire, n’importe quel âge. Après standardisation, ils sont proches dans les deux dimensions.
Les trois mises à l’échelle courantes
Section intitulée « Les trois mises à l’échelle courantes »| Méthode | Formule | Résultat | Quand l’utiliser |
|---|---|---|---|
Standardisation (StandardScaler) |
moyenne 0, écart-type 1 | le choix par défaut | |
Min-max (MinMaxScaler) |
entre 0 et 1 | quand on veut des bornes fixes (pixels d’une image) | |
Robuste (RobustScaler) |
médiane 0 | en présence de valeurs aberrantes, qui faussent moyenne, écart-type, min et max |
Comme pour l’imputation, les paramètres (moyenne, écart-type, min, max) s’apprennent sur l’entraînement, puis s’appliquent tels quels au test.
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler().fit(X_train) # apprend moyenne et écart-type de chaque colonneX_train_s = scaler.transform(X_train)X_test_s = scaler.transform(X_test) # mêmes paramètres : on ne « refait » pas la standardisation sur le testQuels modèles en ont besoin ?
Section intitulée « Quels modèles en ont besoin ? »| Sensibles à l’échelle | Insensibles |
|---|---|
| k plus proches voisins, k-means, DBSCAN (distances) | arbres de décision |
| SVM à noyau (distances dans le noyau RBF) | forêts aléatoires, gradient boosting |
| régression linéaire et logistique régularisées (la pénalité traite tous les poids pareil) | Bayes naïf gaussien (une gaussienne par variable) |
| réseaux de neurones (vitesse et stabilité de la descente de gradient) | |
| ACP (elle cherche les directions de plus grande variance) |
Les arbres ne comparent chaque variable qu’à un seuil : multiplier une variable par 1 000 multiplie aussi le seuil, sans rien changer aux décisions.
Wine sans normalisation13 analyses chimiques d’unités très différentes (la proline va jusqu’à 1 680, la teneur en alcool tourne autour de 13). Comparez les modèles, puis cochez « Normaliser » dans le panneau Données.
→🎓 Pour aller plus loin : échelle et descente de gradient
Pour un modèle linéaire entraîné par descente de gradient, la fonction de perte a des courbes de niveau en forme d’ellipses dont l’allongement dépend du rapport des échelles des variables. Si une variable varie 1 000 fois plus qu’une autre, le gradient est dominé par elle : un taux d’apprentissage assez petit pour ne pas diverger dans sa direction est beaucoup trop petit dans l’autre. La descente zigzague et piétine.
Formellement, pour la perte quadratique, la vitesse de convergence dépend du conditionnement de la matrice : le nombre d’itérations nécessaire croît comme . Standardiser les colonnes rapproche les valeurs propres et réduit . On peut le voir dans le simulateur : régression logistique sur Wine sans normalisation, avec la proline en axe vertical.
✅ Vérifiez vos acquis