Aller au contenu
Data science

Corrélation et visualisation

⏱ 1 h

Prérequis : Les données et leur description

À la fin de ce chapitre, vous saurez :
  • calculer et interpréter un coefficient de corrélation ;
  • reconnaître ce que la corrélation ne mesure pas (liens non linéaires) et ce qui la fausse (valeurs aberrantes) ;
  • distinguer corrélation et causalité, et reconnaître une variable confondante ;
  • choisir un graphique adapté à la question posée.

Pour savoir si deux variables quantitatives sont liées, le premier réflexe est de dessiner un nuage de points : une variable en abscisse, l’autre en ordonnée, un point par individu. On y voit d’un coup d’œil la forme du lien, sa force, et les points qui sortent du lot.

Le coefficient de corrélation de Pearson, noté rr, résume en un nombre la force d’un lien linéaire :

  • rr est toujours entre −1 et 1 ;
  • r=1r = 1 : les points sont exactement alignés sur une droite qui monte ; r=−1r = -1 : sur une droite qui descend ;
  • r=0r = 0 : aucune tendance linéaire.

Faites varier la force du lien, puis essayez les deux pièges :

  • Relation en parabole : yy dépend entièrement de xx, et pourtant r≈0r \approx 0. La corrélation ne voit que les droites.
  • Un point aberrant : un seul point bien placé peut faire passer rr de 0,7 à une valeur négative. La corrélation n’est pas robuste.

Le carré r2r^2 s’interprète comme la part de la variance de yy « expliquée » par une droite en xx : avec r=0,7r = 0{,}7, la droite n’en explique que la moitié (0,490{,}49).

🎓 Pour aller plus loin : formule, Spearman et matrice de corrélation
r=∑i(xi−xˉ)(yi−yˉ)∑i(xi−xˉ)2  ∑i(yi−yˉ)2=cov⁡(x,y)sx sy.r = \frac{\sum_i (x_i - \bar x)(y_i - \bar y)}{\sqrt{\sum_i (x_i - \bar x)^2}\;\sqrt{\sum_i (y_i - \bar y)^2}} = \frac{\operatorname{cov}(x, y)}{s_x\, s_y}.

C’est la covariance « normalisée » : elle ne dépend pas des unités. La pente de la droite des moindres carrés vaut a=r sy/sxa = r\, s_y / s_x.

La corrélation de Spearman applique la même formule aux rangs des valeurs (1ᵉʳ, 2ᵉ, 3ᵉ…) plutôt qu’aux valeurs elles-mêmes. Elle mesure un lien monotone (qui monte ou descend toujours, sans être forcément une droite) et résiste aux valeurs extrêmes.

Avec pandas : df.corr() (Pearson) ou df.corr(method="spearman"), et sns.heatmap(df.corr(), annot=True) pour visualiser toutes les paires d’un coup. C’est un outil classique d’exploration : deux variables très corrélées apportent presque la même information.

En 1973, le statisticien Francis Anscombe a construit quatre jeux de 11 points qui ont les mêmes moyennes, variances, corrélation et droite de régression, à deux décimales près. Devinez à quoi ils ressemblent, puis affichez-les :

Un seul des quatre (le jeu I) correspond à ce qu’on imagine en lisant « r=0,82r = 0{,}82 ». Le jeu II est une courbe, le III une droite parfaite dérangée par un point, le IV ne doit sa corrélation qu’à un seul point. Les résumés ne remplacent pas les graphiques.

Dans les stations balnéaires, les ventes de glaces et le nombre de noyades sont fortement corrélées. Les glaces provoquent-elles des noyades ? Non : la chaleur fait augmenter les deux. La chaleur est une variable confondante.

Une variable confondante peut même inverser une tendance. Dans l’exemple suivant, sur l’ensemble des personnes, plus on fait de sport, plus le cholestérol semble élevé :

En séparant par tranche d’âge, la tendance s’inverse dans chaque groupe. Les personnes âgées font en moyenne plus de sport (elles ont plus de temps) et ont plus de cholestérol (à cause de l’âge). C’est le paradoxe de Simpson.

Pour la data science, deux leçons :

  • Un modèle prédictif exploite les corrélations, causales ou non. C’est suffisant pour prédire, mais pas pour décider d’agir : si le modèle a appris « les clients qui reçoivent l’offre achètent plus », ce n’est peut-être pas l’offre qui les fait acheter, mais le fait qu’on l’envoie aux meilleurs clients.
  • Pour établir une cause, il faut une expérience contrôlée (un essai randomisé, un test A/B) ou des méthodes d’inférence causale qui dépassent ce cours.
Question Graphique
Comment se répartit une variable quantitative ? histogramme, boîte à moustaches
Comment se répartit une variable qualitative ? diagramme en barres (triées)
Deux variables quantitatives sont-elles liées ? nuage de points
Une variable quantitative diffère-t-elle selon les groupes ? boîtes à moustaches côte à côte
Comment évolue une grandeur dans le temps ? courbe
Toutes les paires de variables d’un coup ? matrice de corrélation (heatmap), sns.pairplot

Quelques règles de bonne pratique : un axe vertical de barres commence à zéro ; une couleur a une signification (une classe, un groupe) et une seule ; on évite les camemberts au-delà de 3 ou 4 parts ; chaque graphique a un titre et des axes nommés, avec leurs unités.

import seaborn as sns
sns.scatterplot(data=df, x="surface", y="prix", hue="ville") # nuage coloré par groupe
sns.pairplot(df, hue="espece") # toutes les paires de variables
sns.heatmap(df.corr(numeric_only=True), annot=True, cmap="coolwarm", vmin=-1, vmax=1)
🔬Voir 13 variables d'un coup

L’ACP résume les 13 variables des vins en 2 axes ; les flèches montrent quelles variables vont ensemble (corrélées).

→

✅ Vérifiez vos acquis

1. Deux variables ont une corrélation de Pearson r = 0. On peut en conclure que…
2. Quelle affirmation sur le quartet d'Anscombe est juste ?
3. Le nombre de pompiers envoyés sur un incendie est corrélé aux dégâts causés. Pourquoi ?
4. Pour comparer la distribution des salaires dans 5 régions, le graphique le plus adapté est…
5. r = 0,6 entre la surface et le prix des appartements. Quelle part de la variance des prix une droite en fonction de la surface explique-t-elle ?