Aller au contenu
Data science

Les données et leur description

⏱ 1 h

Prérequis : Qu'est-ce que la data science ?

À la fin de ce chapitre, vous saurez :
  • reconnaître le type d'une variable (quantitative, qualitative, ordinale…) et ce qu'on peut en faire ;
  • calculer et interpréter moyenne, médiane, écart-type, quartiles et écart interquartile ;
  • choisir entre moyenne et médiane selon la forme des données ;
  • lire une boîte à moustaches et un histogramme ;
  • décrire un jeu de données avec pandas.

La plupart des données de la data science « classique » se rangent dans un tableau : une ligne par individu (un client, une fleur, une transaction), une colonne par variable. Avec pandas, c’est un DataFrame :

import pandas as pd
df = pd.read_csv("clients.csv")
df.head() # les 5 premières lignes
df.shape # (nombre de lignes, nombre de colonnes)
df.dtypes # le type de chaque colonne

D’autres données ne rentrent pas directement dans un tableau : des images, des textes, des sons, des séries temporelles. Les parties 6 à 10 du cours montrent comment les transformer en nombres.

Le type d’une variable décide de ce qu’on a le droit de calculer, et de la façon de la donner à un modèle.

Type Exemples Ce qui a un sens
Quantitative continue taille, salaire, température toutes les opérations : moyenne, écart-type…
Quantitative discrète nombre d’enfants, nombre de visites idem, mais seulement des valeurs entières
Qualitative ordinale taille de vêtement (S, M, L), niveau d’études, note de satisfaction un ordre, mais pas de distance : « L − M » n’a pas de sens
Qualitative nominale couleur, pays, espèce ni ordre ni distance : seulement compter les effectifs
Booléenne client fidèle oui / non un cas particulier de nominale
Date, texte, identifiant date d’achat, commentaire, numéro client à transformer avant usage (partie 2)

Pour décrire une variable, on cherche deux choses : où se situent les valeurs (position) et à quel point elles sont étalées (dispersion).

Position

  • la moyenne : la somme des valeurs divisée par leur nombre ;
  • la médiane : la valeur du milieu, quand on les range dans l’ordre (la moitié des valeurs est en dessous, l’autre au-dessus) ;
  • le mode : la valeur la plus fréquente (surtout utile pour les variables qualitatives).

Dispersion

  • l’étendue : maximum − minimum (très sensible aux valeurs extrêmes) ;
  • l’écart-type : l’écart « typique » à la moyenne ;
  • les quartiles : Q1 (25 % des valeurs en dessous), Q2 = la médiane, Q3 (75 % en dessous) ; l’écart interquartile Q3 − Q1 contient la moitié centrale des données.

Explorez ces indicateurs sur trois jeux de données. Ajoutez une valeur extrême et observez qui bouge :

Trois enseignements :

  1. Sur des données symétriques (les tailles), moyenne et médiane sont presque égales.
  2. Sur des données asymétriques (les salaires), quelques très hautes valeurs tirent la moyenne vers le haut : la moyenne des salaires est supérieure au salaire « typique ». C’est pourquoi l’INSEE publie le salaire médian.
  3. Une seule valeur extrême déplace la moyenne et l’écart-type, mais presque pas la médiane ni l’écart interquartile : ces derniers sont robustes.

Sur des données bimodales (deux bosses, comme les temps de trajet en ville ou en périphérie), ni la moyenne ni la médiane ne décrivent un individu typique : il faut regarder l’histogramme.

🎓 Pour aller plus loin : les formules, et pourquoi diviser par n − 1

Pour un échantillon x1,…,xnx_1, \dots, x_n :

xˉ=1n∑i=1nxi,s2=1n−1∑i=1n(xi−xˉ)2,s=s2.\bar x = \frac{1}{n}\sum_{i=1}^{n} x_i, \qquad s^2 = \frac{1}{n-1}\sum_{i=1}^{n} (x_i - \bar x)^2, \qquad s = \sqrt{s^2}.

Pourquoi n−1n-1 ? Les écarts sont mesurés par rapport à xˉ\bar x, calculée sur ce même échantillon, donc toujours un peu plus proche des données que la vraie moyenne μ\mu de la population. On peut montrer que E[∑(xi−xˉ)2]=(n−1) σ2\mathbb{E}\big[\sum (x_i - \bar x)^2\big] = (n-1)\,\sigma^2 : diviser par n−1n-1 (correction de Bessel) donne un estimateur sans biais de la variance.

Attention aux conventions : pandas (df.std()) divise par n−1n-1, numpy (np.std) par nn par défaut (ddof=0). Pour de grands échantillons, la différence est négligeable.

La médiane minimise la somme des écarts absolus ∑∣xi−m∣\sum |x_i - m|, alors que la moyenne minimise la somme des carrés ∑(xi−m)2\sum (x_i - m)^2. Les carrés amplifient les grands écarts : c’est pourquoi la moyenne se laisse tirer par les valeurs extrêmes.

La boîte à moustaches (boxplot) résume une distribution en cinq nombres :

  • la boîte va de Q1 à Q3 : la moitié centrale des données ;
  • le trait dans la boîte est la médiane ;
  • les moustaches s’étendent jusqu’aux valeurs les plus éloignées situées à moins de 1,5 × IQR de la boîte ;
  • au-delà, chaque point est dessiné : ce sont les valeurs atypiques (à vérifier : erreur de saisie, ou cas réellement exceptionnel ?).

Elle est idéale pour comparer plusieurs groupes d’un coup d’œil, par exemple les salaires par région.

Pour une variable qualitative, on compte : effectifs (combien d’individus par modalité) et fréquences (en pourcentage). On les représente par un diagramme en barres, triées par effectif. Pour une variable ordinale, on garde l’ordre naturel (S, M, L, XL).

df.describe() # moyenne, écart-type, quartiles… de chaque colonne numérique
df["salaire"].median()
df["region"].value_counts() # effectifs d'une variable qualitative
df["region"].value_counts(normalize=True) # fréquences
df.isna().sum() # nombre de valeurs manquantes par colonne
import seaborn as sns
sns.histplot(df["salaire"]) # histogramme
sns.boxplot(data=df, x="region", y="salaire") # boîtes à moustaches par région

Cette analyse exploratoire est la première chose à faire avec un nouveau jeu de données. Elle révèle les erreurs (âges négatifs, doublons), les valeurs manquantes, les variables inutiles, et donne une intuition de ce qu’un modèle pourra apprendre.

✅ Vérifiez vos acquis

1. Le numéro de département (75, 13, 69…) est une variable…
2. Dans une entreprise, quelques dirigeants gagnent 20 fois le salaire des autres employés. Quel indicateur décrit le mieux le salaire « typique » ?
3. On ajoute une valeur aberrante très grande à un échantillon. Quels indicateurs changent le plus ?
4. Dans une boîte à moustaches, que représente la boîte ?
5. Pourquoi l'écart-type d'un échantillon divise-t-il par n − 1 plutôt que par n ?