Aller au contenu
Data science

Probabilités et échantillonnage

⏱ 1 h

Prérequis : Les données et leur description

À la fin de ce chapitre, vous saurez :
  • expliquer pourquoi un résultat calculé sur un échantillon varie d'un échantillon à l'autre ;
  • utiliser la loi normale et la règle 68-95-99,7 ;
  • énoncer la loi des grands nombres et le théorème central limite, et dire pourquoi ils comptent ;
  • appliquer la règle de Bayes pour mettre à jour une probabilité.

Les données sont presque toujours un échantillon : quelques milliers de clients parmi des millions, quelques semaines de mesures parmi des années. Un autre échantillon aurait donné des chiffres un peu différents. Les probabilités servent à mesurer cette part de hasard :

  • une moyenne calculée sur 50 personnes est-elle fiable ?
  • un modèle à 92 % est-il vraiment meilleur qu’un autre à 90 %, ou est-ce la chance du découpage ?
  • quelle est la probabilité qu’un patient soit malade, sachant que son test est positif ?

Une variable aléatoire est une quantité dont la valeur dépend du hasard : le résultat d’un dé, la taille d’une personne tirée au hasard, le temps d’attente d’un bus. Sa loi (ou distribution) décrit les valeurs possibles et leurs probabilités.

Deux nombres résument une loi, comme la moyenne et l’écart-type résument un échantillon :

  • l’espérance E[X]\mathbb{E}[X] : la valeur moyenne qu’on obtiendrait en répétant l’expérience une infinité de fois ;
  • l’écart-type σ\sigma : la dispersion typique autour de l’espérance.

La loi normale (ou gaussienne) est la fameuse « courbe en cloche ». Elle est définie par sa moyenne μ\mu et son écart-type σ\sigma. On la rencontre partout : tailles, erreurs de mesure, notes à un examen… Et, comme on va le voir, elle n’est pas là par hasard.

Avec les boutons μ ± σ, μ ± 2σ, μ ± 3σ, retrouvez la règle 68-95-99,7 : pour une loi normale, environ 68 % des valeurs sont à moins d’un écart-type de la moyenne, 95 % à moins de deux, 99,7 % à moins de trois. Une valeur à plus de 3σ de la moyenne est donc très rare : c’est un critère simple de détection de valeurs aberrantes (le z-score).

f(x)=1σ2πexp⁡ ⁣(−(x−μ)22σ2)f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)

Lancez un dé : le résultat est imprévisible. Lancez-en mille et faites la moyenne : vous obtiendrez presque exactement 3,5. C’est la loi des grands nombres : la moyenne d’un échantillon se rapproche de l’espérance quand la taille de l’échantillon augmente.

C’est elle qui justifie l’apprentissage à partir de données : l’erreur d’un modèle mesurée sur beaucoup d’exemples de test est proche de son erreur « réelle » sur toutes les données possibles.

La loi des grands nombres dit où va la moyenne. Le théorème central limite dit comment elle fluctue autour : quelle que soit la loi de départ (uniforme, très asymétrique, à deux bosses…), la moyenne de nn tirages suit approximativement une loi normale, d’écart-type σ/n\sigma / \sqrt{n}.

Partez de la loi exponentielle (très asymétrique), avec n=1n = 1 : l’histogramme a la forme de la loi de départ. Augmentez nn : dès n=10n = 10 ou 2020, la cloche apparaît, et elle se resserre. Essayez les autres lois de départ : le résultat est le même.

Deux conséquences pratiques :

  1. Une moyenne calculée sur nn valeurs fluctue d’environ σ/n\sigma/\sqrt{n}. Pour diviser cette incertitude par 2, il faut 4 fois plus de données.
  2. Une précision de 90 % mesurée sur 100 exemples de test est incertaine à ± 6 points environ (95 % de confiance). Sur 10 000 exemples, à ± 0,6 point. Deux modèles à 90 % et 92 % sur un petit test ne sont pas départageables : c’est pourquoi la page Comparer affiche la validation croisée avec ses écarts-types.
🔬Des scores qui fluctuent

Sur Iris (150 exemples, test de 30), regardez les points gris : le score de chaque pli de validation croisée varie de plusieurs points.

→
🎓 Pour aller plus loin : l'intervalle de confiance d'une proportion

Un modèle classe correctement kk exemples sur nn. Sa précision observée p^=k/n\hat p = k/n est la moyenne de nn variables valant 1 (succès) ou 0 (échec), de variance p(1−p)p(1-p). D’après le théorème central limite,

p^≈N ⁣(p, p(1−p)n),\hat p \approx \mathcal{N}\!\left(p,\ \frac{p(1-p)}{n}\right),

d’où l’intervalle de confiance à 95 % :

p^±1,96 p^(1−p^)n.\hat p \pm 1{,}96\,\sqrt{\frac{\hat p(1-\hat p)}{n}} .

Avec p^=0,9\hat p = 0{,}9 et n=100n = 100 : 0,9±1,96×0,03=[0,84;0,96]0{,}9 \pm 1{,}96 \times 0{,}03 = [0{,}84 ; 0{,}96]. Le facteur 1,96 est le quantile à 97,5 % de la loi normale centrée réduite (la règle « 95 % à moins de 2σ »). Pour de petits nn ou des p^\hat p proches de 0 ou 1, on préfère l’intervalle de Wilson, plus exact.

Une maladie touche 1 personne sur 1 000. Un test la détecte dans 99 % des cas, et se trompe chez 2 % des personnes saines. Votre test est positif : quelle est la probabilité que vous soyez malade ?

La plupart des gens répondent « 99 % ». La bonne réponse est… environ 5 %. Comptons sur 100 000 personnes :

Malades (100) Saines (99 900)
Test positif 99 1 998
Test négatif 1 97 902

Parmi les 99+1 998=2 09799 + 1\,998 = 2\,097 tests positifs, seuls 99 correspondent à des malades : 99/2 097≈4,7 %99 / 2\,097 \approx 4{,}7\,\%. La maladie est si rare que les faux positifs, même à 2 %, sont bien plus nombreux que les vrais malades.

C’est la règle de Bayes : elle combine ce qu’on savait avant (la maladie est rare : la probabilité a priori) et l’observation (le test est positif) pour obtenir la probabilité a posteriori.

P(malade∣+)=P(+∣malade)  P(malade)P(+)=0,99×0,0010,99×0,001+0,02×0,999≈0,047.P(\text{malade} \mid +) = \frac{P(+ \mid \text{malade})\;P(\text{malade})}{P(+)} = \frac{0{,}99 \times 0{,}001}{0{,}99 \times 0{,}001 + 0{,}02 \times 0{,}999} \approx 0{,}047 .

Elle est au cœur du classifieur Bayes naïf (partie 3) et explique pourquoi, avec des classes rares, la précision d’un modèle peut être trompeuse (partie 4).

🔬Le Bayes naïf dans le simulateur

Cliquez sur la carte : le calcul de la règle de Bayes s’affiche pour chaque classe.

→

✅ Vérifiez vos acquis

1. Pour une loi normale, quelle part des valeurs se trouve à plus de 2 écarts-types de la moyenne ?
2. On mesure la précision d'un modèle sur 100 exemples de test. Pour diviser par 2 l'incertitude sur cette précision, il faut…
3. Que dit le théorème central limite ?
4. Deux modèles obtiennent 91 % et 93 % sur un test de 50 exemples. Que peut-on conclure ?
5. Une fraude touche 1 transaction sur 10 000. Un détecteur signale 99 % des fraudes et 1 % des transactions honnêtes. Une transaction est signalée : la probabilité qu'elle soit frauduleuse est…