Les données et leur description
Prérequis : Qu'est-ce que la data science ?
- reconnaître le type d'une variable (quantitative, qualitative, ordinale…) et ce qu'on peut en faire ;
- calculer et interpréter moyenne, médiane, écart-type, quartiles et écart interquartile ;
- choisir entre moyenne et médiane selon la forme des données ;
- lire une boîte à moustaches et un histogramme ;
- décrire un jeu de données avec pandas.
Un tableau de données
Section intitulée « Un tableau de données »La plupart des données de la data science « classique » se rangent dans un tableau : une ligne par individu (un client, une fleur, une transaction), une colonne par variable. Avec pandas, c’est un DataFrame :
import pandas as pd
df = pd.read_csv("clients.csv")df.head() # les 5 premières lignesdf.shape # (nombre de lignes, nombre de colonnes)df.dtypes # le type de chaque colonneD’autres données ne rentrent pas directement dans un tableau : des images, des textes, des sons, des séries temporelles. Les parties 6 à 10 du cours montrent comment les transformer en nombres.
Les types de variables
Section intitulée « Les types de variables »Le type d’une variable décide de ce qu’on a le droit de calculer, et de la façon de la donner à un modèle.
| Type | Exemples | Ce qui a un sens |
|---|---|---|
| Quantitative continue | taille, salaire, température | toutes les opérations : moyenne, écart-type… |
| Quantitative discrète | nombre d’enfants, nombre de visites | idem, mais seulement des valeurs entières |
| Qualitative ordinale | taille de vêtement (S, M, L), niveau d’études, note de satisfaction | un ordre, mais pas de distance : « L − M » n’a pas de sens |
| Qualitative nominale | couleur, pays, espèce | ni ordre ni distance : seulement compter les effectifs |
| Booléenne | client fidèle oui / non | un cas particulier de nominale |
| Date, texte, identifiant | date d’achat, commentaire, numéro client | à transformer avant usage (partie 2) |
Résumer une variable quantitative
Section intitulée « Résumer une variable quantitative »Pour décrire une variable, on cherche deux choses : où se situent les valeurs (position) et à quel point elles sont étalées (dispersion).
Position
- la moyenne : la somme des valeurs divisée par leur nombre ;
- la médiane : la valeur du milieu, quand on les range dans l’ordre (la moitié des valeurs est en dessous, l’autre au-dessus) ;
- le mode : la valeur la plus fréquente (surtout utile pour les variables qualitatives).
Dispersion
- l’étendue : maximum − minimum (très sensible aux valeurs extrêmes) ;
- l’écart-type : l’écart « typique » à la moyenne ;
- les quartiles : Q1 (25 % des valeurs en dessous), Q2 = la médiane, Q3 (75 % en dessous) ; l’écart interquartile Q3 − Q1 contient la moitié centrale des données.
Explorez ces indicateurs sur trois jeux de données. Ajoutez une valeur extrême et observez qui bouge :
Trois enseignements :
- Sur des données symétriques (les tailles), moyenne et médiane sont presque égales.
- Sur des données asymétriques (les salaires), quelques très hautes valeurs tirent la moyenne vers le haut : la moyenne des salaires est supérieure au salaire « typique ». C’est pourquoi l’INSEE publie le salaire médian.
- Une seule valeur extrême déplace la moyenne et l’écart-type, mais presque pas la médiane ni l’écart interquartile : ces derniers sont robustes.
Sur des données bimodales (deux bosses, comme les temps de trajet en ville ou en périphérie), ni la moyenne ni la médiane ne décrivent un individu typique : il faut regarder l’histogramme.
🎓 Pour aller plus loin : les formules, et pourquoi diviser par n − 1
Pour un échantillon :
Pourquoi ? Les écarts sont mesurés par rapport à , calculée sur ce même échantillon, donc toujours un peu plus proche des données que la vraie moyenne de la population. On peut montrer que : diviser par (correction de Bessel) donne un estimateur sans biais de la variance.
Attention aux conventions : pandas (df.std()) divise par , numpy (np.std) par par défaut (ddof=0). Pour de grands échantillons, la différence est négligeable.
La médiane minimise la somme des écarts absolus , alors que la moyenne minimise la somme des carrés . Les carrés amplifient les grands écarts : c’est pourquoi la moyenne se laisse tirer par les valeurs extrêmes.
La boîte à moustaches
Section intitulée « La boîte à moustaches »La boîte à moustaches (boxplot) résume une distribution en cinq nombres :
- la boîte va de Q1 à Q3 : la moitié centrale des données ;
- le trait dans la boîte est la médiane ;
- les moustaches s’étendent jusqu’aux valeurs les plus éloignées situées à moins de 1,5 × IQR de la boîte ;
- au-delà, chaque point est dessiné : ce sont les valeurs atypiques (à vérifier : erreur de saisie, ou cas réellement exceptionnel ?).
Elle est idéale pour comparer plusieurs groupes d’un coup d’œil, par exemple les salaires par région.
Résumer une variable qualitative
Section intitulée « Résumer une variable qualitative »Pour une variable qualitative, on compte : effectifs (combien d’individus par modalité) et fréquences (en pourcentage). On les représente par un diagramme en barres, triées par effectif. Pour une variable ordinale, on garde l’ordre naturel (S, M, L, XL).
Décrire un jeu de données avec pandas
Section intitulée « Décrire un jeu de données avec pandas »df.describe() # moyenne, écart-type, quartiles… de chaque colonne numériquedf["salaire"].median()df["region"].value_counts() # effectifs d'une variable qualitativedf["region"].value_counts(normalize=True) # fréquencesdf.isna().sum() # nombre de valeurs manquantes par colonne
import seaborn as snssns.histplot(df["salaire"]) # histogrammesns.boxplot(data=df, x="region", y="salaire") # boîtes à moustaches par régionCette analyse exploratoire est la première chose à faire avec un nouveau jeu de données. Elle révèle les erreurs (âges négatifs, doublons), les valeurs manquantes, les variables inutiles, et donne une intuition de ce qu’un modèle pourra apprendre.
✅ Vérifiez vos acquis