Aller au contenu
Data science

Encoder et mettre à l'échelle

⏱ 45 min

Prérequis : Les données et leur description · Nettoyer les données

À la fin de ce chapitre, vous saurez :
  • encoder une variable qualitative (one-hot, ordinal) sans introduire de faux ordre ;
  • expliquer pourquoi l'échelle des variables change le résultat de certains modèles ;
  • choisir entre standardisation, min-max et mise à l'échelle robuste ;
  • savoir quels modèles ont besoin d'une mise à l'échelle.

Les modèles ne manipulent que des nombres. Une variable comme la ville (« Lyon », « Lille », « Nantes ») doit donc être encodée. La tentation est de numéroter : Lyon = 1, Lille = 2, Nantes = 3. C’est une erreur pour une variable nominale : le modèle croirait que Nantes est « plus grande » que Lyon, et que Lille est « entre les deux ».

L’encodage one-hot crée une colonne par modalité, qui vaut 1 si l’individu a cette modalité, 0 sinon :

ville ville_Lyon ville_Lille ville_Nantes
Lyon 1 0 0
Nantes 0 0 1
Lille 0 1 0

Aucun ordre n’est inventé ; chaque ville a son propre poids dans un modèle linéaire.

Pour une variable ordinale (taille S, M, L, XL ; niveau d’études), l’ordre a un sens : on peut garder un seul nombre qui respecte cet ordre (S = 0, M = 1, L = 2, XL = 3).

from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder
OneHotEncoder(handle_unknown="ignore") # une ville jamais vue à l'entraînement → que des 0
OrdinalEncoder(categories=[["S", "M", "L", "XL"]]) # on donne l'ordre explicitement
pd.get_dummies(df, columns=["ville"]) # l'équivalent pandas, pour explorer

Une base de clients contient l’âge (de 20 à 65 ans) et le salaire (de 1 500 à 6 000 € par mois). Pour un modèle fondé sur des distances, comme les k plus proches voisins, un écart de 1 € compte autant qu’un écart d’un an. Les salaires, qui varient de milliers d’euros, écrasent complètement l’âge.

Dans le widget, l’étoile est un nouveau client ; les traits orange relient ses k plus proches voisins. Cliquez ailleurs pour la déplacer, et changez la mise à l’échelle :

Sans mise à l’échelle, les « voisins » forment une bande horizontale : même salaire, n’importe quel âge. Après standardisation, ils sont proches dans les deux dimensions.

Méthode Formule Résultat Quand l’utiliser
Standardisation (StandardScaler) z=x−xˉsz = \dfrac{x - \bar x}{s} moyenne 0, écart-type 1 le choix par défaut
Min-max (MinMaxScaler) x−min⁡max⁡−min⁡\dfrac{x - \min}{\max - \min} entre 0 et 1 quand on veut des bornes fixes (pixels d’une image)
Robuste (RobustScaler) x−meˊdianeIQR\dfrac{x - \text{médiane}}{\text{IQR}} médiane 0 en présence de valeurs aberrantes, qui faussent moyenne, écart-type, min et max

Comme pour l’imputation, les paramètres (moyenne, écart-type, min, max) s’apprennent sur l’entraînement, puis s’appliquent tels quels au test.

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler().fit(X_train) # apprend moyenne et écart-type de chaque colonne
X_train_s = scaler.transform(X_train)
X_test_s = scaler.transform(X_test) # mêmes paramètres : on ne « refait » pas la standardisation sur le test
Sensibles à l’échelle Insensibles
k plus proches voisins, k-means, DBSCAN (distances) arbres de décision
SVM à noyau (distances dans le noyau RBF) forêts aléatoires, gradient boosting
régression linéaire et logistique régularisées (la pénalité traite tous les poids pareil) Bayes naïf gaussien (une gaussienne par variable)
réseaux de neurones (vitesse et stabilité de la descente de gradient)
ACP (elle cherche les directions de plus grande variance)

Les arbres ne comparent chaque variable qu’à un seuil : multiplier une variable par 1 000 multiplie aussi le seuil, sans rien changer aux décisions.

🔬Wine sans normalisation

13 analyses chimiques d’unités très différentes (la proline va jusqu’à 1 680, la teneur en alcool tourne autour de 13). Comparez les modèles, puis cochez « Normaliser » dans le panneau Données.

→
🎓 Pour aller plus loin : échelle et descente de gradient

Pour un modèle linéaire entraîné par descente de gradient, la fonction de perte a des courbes de niveau en forme d’ellipses dont l’allongement dépend du rapport des échelles des variables. Si une variable varie 1 000 fois plus qu’une autre, le gradient est dominé par elle : un taux d’apprentissage assez petit pour ne pas diverger dans sa direction est beaucoup trop petit dans l’autre. La descente zigzague et piétine.

Formellement, pour la perte quadratique, la vitesse de convergence dépend du conditionnement κ=λmax⁡/λmin⁡\kappa = \lambda_{\max} / \lambda_{\min} de la matrice 1nX⊤X\frac1n X^\top X : le nombre d’itérations nécessaire croît comme κ\kappa. Standardiser les colonnes rapproche les valeurs propres et réduit κ\kappa. On peut le voir dans le simulateur : régression logistique sur Wine sans normalisation, avec la proline en axe vertical.

✅ Vérifiez vos acquis

1. Comment encoder la variable « couleur de la voiture » (rouge, bleu, noir, blanc) pour une régression logistique ?
2. Pour un kNN sur l'âge (en années) et le revenu (en euros), sans mise à l'échelle, les voisins sont choisis…
3. Quel modèle donne exactement les mêmes prédictions avec ou sans standardisation ?
4. Les données contiennent quelques valeurs aberrantes énormes. Quelle mise à l'échelle choisir ?
5. Pourquoi appliquer au test la moyenne et l'écart-type calculés sur l'entraînement, plutôt que de standardiser le test avec ses propres statistiques ?