Aller au contenu
Data science

Nettoyer les données

⏱ 1 h

Prérequis : Les données et leur description

À la fin de ce chapitre, vous saurez :
  • repérer les problèmes de qualité courants (types, doublons, incohérences) ;
  • distinguer les mécanismes de valeurs manquantes et leurs conséquences ;
  • choisir une méthode d'imputation en connaissant ses effets secondaires ;
  • détecter les valeurs aberrantes et décider quoi en faire.

Un modèle ne peut pas être meilleur que ses données. Les données réelles sont presque toujours sales : saisies à la main, fusionnées depuis plusieurs systèmes, collectées par des capteurs qui tombent en panne. Le nettoyage n’est pas une corvée à expédier : c’est souvent là que se joue la qualité d’un projet.

Problème Exemple Que faire
Mauvais type un prix lu comme du texte (« 1 200 € ») convertir : retirer les espaces et le symbole, puis pd.to_numeric
Formats incohérents « Paris », « PARIS », « paris » normaliser : minuscules, espaces en trop (str.lower().str.strip())
Doublons le même client saisi deux fois df.duplicated(), puis drop_duplicates()
Valeurs impossibles un âge de 230 ans, une date de naissance dans le futur corriger si possible, sinon traiter comme manquante
Codes spéciaux 999 ou −1 pour dire « inconnu » les remplacer par une vraie valeur manquante (NaN)
Valeurs manquantes un champ facultatif d’un formulaire voir ci-dessous

Les valeurs manquantes sont la règle plutôt que l’exception. La plupart des modèles de scikit-learn refusent les données qui en contiennent : il faut décider quoi faire. Et la bonne décision dépend de pourquoi elles manquent :

  • Au hasard (MCAR, missing completely at random) : un questionnaire papier égaré. Les données présentes restent représentatives.
  • Au hasard, sachant les autres variables (MAR) : les jeunes répondent moins souvent à la question sur le revenu. On peut corriger grâce à l’âge.
  • Pas au hasard (MNAR) : les personnes aux revenus élevés refusent de les donner. Le fait même de manquer dépend de la valeur manquante.

Le widget simule une enquête où l’on connaît l’âge de tout le monde, mais où une partie des revenus manque. On peut comparer les méthodes de remplacement (imputation) à la vérité, ce qui est impossible en vrai :

Observez :

  • Remplacer par la moyenne garde la bonne moyenne mais écrase la dispersion et la corrélation : tous les manquants reçoivent la même valeur, alignés sur une ligne horizontale.
  • La régression respecte le lien avec l’âge, mais les valeurs imputées sont toutes exactement sur la droite.
  • Les k plus proches voisins donnent des valeurs plus réalistes.
  • Passez au mécanisme « surtout les hauts revenus » : aucune méthode ne retrouve la vraie moyenne. Quand les données manquent pas au hasard, l’information a disparu.

Deux réflexes utiles en pratique :

  1. Ajouter une colonne « la valeur manquait » (0 ou 1) : le fait de ne pas répondre est parfois une information en soi.
  2. Calculer les valeurs de remplacement (moyenne, médiane…) sur l’entraînement uniquement, puis les appliquer au test. Sinon, le test « fuit » dans la préparation (chapitre suivant).
from sklearn.impute import SimpleImputer, KNNImputer
imputeur = SimpleImputer(strategy="median", add_indicator=True) # médiane + colonne indicatrice
X_train_ok = imputeur.fit_transform(X_train) # apprend les médianes sur l'entraînement
X_test_ok = imputeur.transform(X_test) # les réutilise sur le test
KNNImputer(n_neighbors=5) # imputation par les plus proches voisins

Certains modèles gèrent les valeurs manquantes d’eux-mêmes, comme HistGradientBoostingClassifier : ils apprennent de quel côté de chaque division envoyer les manquants.

🎓 Pour aller plus loin : pourquoi l'imputation par la moyenne écrase la variance

Soit nn valeurs dont une part qq manque. Si l’on remplace les manquants par la moyenne xˉobs\bar x_{\text{obs}} des valeurs observées, ces qnqn valeurs ont un écart nul à la moyenne. La variance empirique devient

simputeˊe2≈(1−q) sobs2,s^2_{\text{imputée}} \approx (1-q)\, s^2_{\text{obs}} ,

soit une variance sous-estimée d’un facteur (1−q)(1-q) : avec 30 % de manquants, l’écart-type est divisé par environ 0,7≈0,84\sqrt{0{,}7} \approx 0{,}84. De même, la covariance avec toute autre variable est multipliée par (1−q)(1-q) environ, et la corrélation diminue.

Les méthodes d’imputation multiple (par exemple IterativeImputer avec sample_posterior=True) tirent les valeurs imputées au hasard autour de la prédiction, plusieurs fois, pour préserver la dispersion et mesurer l’incertitude due aux manquants.

Une valeur aberrante (outlier) est une valeur très éloignée des autres. Deux critères simples pour les repérer :

  • la règle de la boîte à moustaches : en dehors de [Q1 − 1,5 × IQR ; Q3 + 1,5 × IQR] ;
  • le z-score : à plus de 3 écarts-types de la moyenne (pour des données à peu près normales).

Repérer n’est pas supprimer. Une valeur aberrante peut être :

  • une erreur (un salaire saisi en euros au lieu de milliers d’euros) : on la corrige ou on la traite comme manquante ;
  • un cas rare mais réel (un très gros client) : on la garde, quitte à utiliser des méthodes robustes (médiane, arbres) ;
  • justement ce qu’on cherche : en détection de fraude, les transactions atypiques sont l’objet même de l’étude.

Les modèles n’y sont pas tous sensibles de la même façon : la régression linéaire et les méthodes fondées sur des moyennes le sont beaucoup ; les arbres et les forêts très peu, car ils ne regardent que l’ordre des valeurs.

🔬Des erreurs dans les étiquettes

Les ✕ sont des exemples dont la classe a été changée exprès, comme des erreurs de saisie. Un arbre sans limite les apprend toutes ; essayez une profondeur de 3, ou la forêt.

→

✅ Vérifiez vos acquis

1. Dans une colonne « revenu », la valeur 999999 apparaît 300 fois. Que faut-il faire en premier ?
2. On remplace 40 % de valeurs manquantes par la moyenne. Qu'arrive-t-il à l'écart-type de la variable ?
3. Les personnes qui gagnent le plus refusent plus souvent de donner leur revenu. Quelle affirmation est vraie ?
4. Sur quelles données faut-il calculer la médiane utilisée pour l'imputation ?
5. Quel modèle est le moins sensible aux valeurs aberrantes dans les variables ?