Nettoyer les données
Prérequis : Les données et leur description
- repérer les problèmes de qualité courants (types, doublons, incohérences) ;
- distinguer les mécanismes de valeurs manquantes et leurs conséquences ;
- choisir une méthode d'imputation en connaissant ses effets secondaires ;
- détecter les valeurs aberrantes et décider quoi en faire.
« Garbage in, garbage out »
Section intitulée « « Garbage in, garbage out » »Un modèle ne peut pas être meilleur que ses données. Les données réelles sont presque toujours sales : saisies à la main, fusionnées depuis plusieurs systèmes, collectées par des capteurs qui tombent en panne. Le nettoyage n’est pas une corvée à expédier : c’est souvent là que se joue la qualité d’un projet.
Les problèmes courants
Section intitulée « Les problèmes courants »| Problème | Exemple | Que faire |
|---|---|---|
| Mauvais type | un prix lu comme du texte (« 1 200 € ») | convertir : retirer les espaces et le symbole, puis pd.to_numeric |
| Formats incohérents | « Paris », « PARIS », « paris » | normaliser : minuscules, espaces en trop (str.lower().str.strip()) |
| Doublons | le même client saisi deux fois | df.duplicated(), puis drop_duplicates() |
| Valeurs impossibles | un âge de 230 ans, une date de naissance dans le futur | corriger si possible, sinon traiter comme manquante |
| Codes spéciaux | 999 ou −1 pour dire « inconnu » | les remplacer par une vraie valeur manquante (NaN) |
| Valeurs manquantes | un champ facultatif d’un formulaire | voir ci-dessous |
Les valeurs manquantes
Section intitulée « Les valeurs manquantes »Les valeurs manquantes sont la règle plutôt que l’exception. La plupart des modèles de scikit-learn refusent les données qui en contiennent : il faut décider quoi faire. Et la bonne décision dépend de pourquoi elles manquent :
- Au hasard (MCAR, missing completely at random) : un questionnaire papier égaré. Les données présentes restent représentatives.
- Au hasard, sachant les autres variables (MAR) : les jeunes répondent moins souvent à la question sur le revenu. On peut corriger grâce à l’âge.
- Pas au hasard (MNAR) : les personnes aux revenus élevés refusent de les donner. Le fait même de manquer dépend de la valeur manquante.
Le widget simule une enquête où l’on connaît l’âge de tout le monde, mais où une partie des revenus manque. On peut comparer les méthodes de remplacement (imputation) à la vérité, ce qui est impossible en vrai :
Observez :
- Remplacer par la moyenne garde la bonne moyenne mais écrase la dispersion et la corrélation : tous les manquants reçoivent la même valeur, alignés sur une ligne horizontale.
- La régression respecte le lien avec l’âge, mais les valeurs imputées sont toutes exactement sur la droite.
- Les k plus proches voisins donnent des valeurs plus réalistes.
- Passez au mécanisme « surtout les hauts revenus » : aucune méthode ne retrouve la vraie moyenne. Quand les données manquent pas au hasard, l’information a disparu.
Deux réflexes utiles en pratique :
- Ajouter une colonne « la valeur manquait » (0 ou 1) : le fait de ne pas répondre est parfois une information en soi.
- Calculer les valeurs de remplacement (moyenne, médiane…) sur l’entraînement uniquement, puis les appliquer au test. Sinon, le test « fuit » dans la préparation (chapitre suivant).
from sklearn.impute import SimpleImputer, KNNImputer
imputeur = SimpleImputer(strategy="median", add_indicator=True) # médiane + colonne indicatriceX_train_ok = imputeur.fit_transform(X_train) # apprend les médianes sur l'entraînementX_test_ok = imputeur.transform(X_test) # les réutilise sur le test
KNNImputer(n_neighbors=5) # imputation par les plus proches voisinsCertains modèles gèrent les valeurs manquantes d’eux-mêmes, comme HistGradientBoostingClassifier : ils apprennent de quel côté de chaque division envoyer les manquants.
🎓 Pour aller plus loin : pourquoi l'imputation par la moyenne écrase la variance
Soit valeurs dont une part manque. Si l’on remplace les manquants par la moyenne des valeurs observées, ces valeurs ont un écart nul à la moyenne. La variance empirique devient
soit une variance sous-estimée d’un facteur : avec 30 % de manquants, l’écart-type est divisé par environ . De même, la covariance avec toute autre variable est multipliée par environ, et la corrélation diminue.
Les méthodes d’imputation multiple (par exemple IterativeImputer avec sample_posterior=True) tirent les valeurs imputées au hasard autour de la prédiction, plusieurs fois, pour préserver la dispersion et mesurer l’incertitude due aux manquants.
Les valeurs aberrantes
Section intitulée « Les valeurs aberrantes »Une valeur aberrante (outlier) est une valeur très éloignée des autres. Deux critères simples pour les repérer :
- la règle de la boîte à moustaches : en dehors de [Q1 − 1,5 × IQR ; Q3 + 1,5 × IQR] ;
- le z-score : à plus de 3 écarts-types de la moyenne (pour des données à peu près normales).
Repérer n’est pas supprimer. Une valeur aberrante peut être :
- une erreur (un salaire saisi en euros au lieu de milliers d’euros) : on la corrige ou on la traite comme manquante ;
- un cas rare mais réel (un très gros client) : on la garde, quitte à utiliser des méthodes robustes (médiane, arbres) ;
- justement ce qu’on cherche : en détection de fraude, les transactions atypiques sont l’objet même de l’étude.
Les modèles n’y sont pas tous sensibles de la même façon : la régression linéaire et les méthodes fondées sur des moyennes le sont beaucoup ; les arbres et les forêts très peu, car ils ne regardent que l’ordre des valeurs.
Des erreurs dans les étiquettesLes ✕ sont des exemples dont la classe a été changée exprès, comme des erreurs de saisie. Un arbre sans limite les apprend toutes ; essayez une profondeur de 3, ou la forêt.
→✅ Vérifiez vos acquis