Aller au contenu
Data science

Le Bayes naïf

⏱ 45 min

Prérequis : Probabilités et échantillonnage

À la fin de ce chapitre, vous saurez :
  • appliquer la règle de Bayes à la classification ;
  • expliquer l'hypothèse « naïve » d'indépendance et pourquoi elle marche souvent malgré tout ;
  • distinguer les variantes gaussienne et multinomiale ;
  • expliquer le rôle du lissage de Laplace.

Le Bayes naïf applique directement la règle de Bayes (voir Probabilités) : pour un exemple décrit par ses variables xx, il calcule la probabilité de chaque classe et prédit la plus probable :

P(classe∣x)  ∝  P(classe)⏟freˊquence de la classe×P(x∣classe)⏟aˋ quoi ressemblent ses exemples.P(\text{classe} \mid x) \;\propto\; \underbrace{P(\text{classe})}_{\text{fréquence de la classe}} \times \underbrace{P(x \mid \text{classe})}_{\text{à quoi ressemblent ses exemples}} .

Le terme P(x∣classe)P(x \mid \text{classe}) est difficile à estimer quand xx contient beaucoup de variables. D’où l’hypothèse naïve : à l’intérieur de chaque classe, les variables sont indépendantes. La probabilité se décompose alors en un simple produit :

P(x∣classe)=P(x1∣classe)×P(x2∣classe)×⋯×P(xp∣classe).P(x \mid \text{classe}) = P(x_1 \mid \text{classe}) \times P(x_2 \mid \text{classe}) \times \dots \times P(x_p \mid \text{classe}) .

Chaque facteur s’estime facilement, variable par variable, en comptant.

C’est l’usage historique du Bayes naïf : les premiers filtres anti-spam efficaces (années 2000). Chaque variable est la présence d’un mot. Le filtre a appris sur 12 spams et 12 messages normaux ; écrivez votre propre message :

Pour chaque mot, le filtre compare sa fréquence dans les spams et dans les messages normaux. « gratuit » apparaît surtout dans les spams : il pousse vers « spam » ; « réunion » pousse vers « normal ». Le message entier combine tous ces indices en les multipliant. Essayez « gratuit réunion demain » : les indices se contrarient.

Les mots du corpus d’apprentissage :

  • spams : « gagnez un iphone gratuit cliquez ici », « offre exceptionnelle gagnez de l’argent vite », « crédit gratuit sans justificatif offre limitée »…
  • normaux : « réunion demain à dix heures en salle b », « le cours de mardi est reporté à jeudi », « merci pour ton aide sur le projet »…

L’hypothèse d’indépendance est presque toujours fausse : dans un spam, « cliquez » et « ici » apparaissent ensemble. Le modèle compte donc deux fois le même indice, et ses probabilités sont souvent trop tranchées (0,999 au lieu de 0,8).

Pourtant, il classe souvent bien : pour décider, il suffit que la bonne classe ait le plus grand score, même si les probabilités sont mal calibrées. Et il a de vrais atouts :

  • très rapide : l’entraînement se résume à compter ;
  • très peu de données nécessaires, même avec des milliers de variables (les mots d’un vocabulaire) ;
  • un bon point de départ (baseline) en classification de textes.
  • Multinomial (MultinomialNB) : pour des comptages, typiquement le nombre d’occurrences de chaque mot. C’est celui du filtre anti-spam.
  • Bernoulli (BernoulliNB) : pour des variables présentes / absentes.
  • Gaussien (GaussianNB) : pour des variables continues ; chaque variable suit une loi normale dans chaque classe, de moyenne et d’écart-type estimés sur l’entraînement.
🔬Le Bayes naïf gaussien

Une gaussienne par classe et par variable (les ellipses, toujours parallèles aux axes). Sur les cercles, le disque a une petite variance, l’anneau une grande : la frontière devient ronde. Cliquez sur la carte pour voir le calcul.

→
🎓 Pour aller plus loin : le lissage de Laplace et le calcul en logarithmes

Pour le modèle multinomial, la probabilité d’un mot ww dans la classe cc s’estime en comptant :

P(w∣c)=nombre d’occurrences de w dans c+αnombre total de mots dans c+α ∣V∣,P(w \mid c) = \frac{\text{nombre d'occurrences de } w \text{ dans } c + \alpha}{\text{nombre total de mots dans } c + \alpha\,|V|},

où ∣V∣|V| est la taille du vocabulaire. Sans le lissage α\alpha (avec α=1\alpha = 1 : lissage de Laplace), un mot jamais vu dans les spams aurait une probabilité nulle, et un seul mot suffirait à annuler tout le produit, quels que soient les autres indices.

En pratique, on additionne des logarithmes au lieu de multiplier des probabilités, pour éviter que le produit de centaines de petits nombres ne devienne trop petit pour l’ordinateur :

log⁡P(c∣x)=log⁡P(c)+∑jlog⁡P(xj∣c)+constante.\log P(c \mid x) = \log P(c) + \sum_{j} \log P(x_j \mid c) + \text{constante}.

Le widget affiche, pour chaque mot, le rapport P(w∣spam)/P(w∣normal)P(w \mid \text{spam}) / P(w \mid \text{normal}) : le message est classé spam si le produit de ces rapports, multiplié par le rapport des fréquences des classes, dépasse 1.

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import make_pipeline
filtre = make_pipeline(CountVectorizer(), MultinomialNB(alpha=1.0))
filtre.fit(messages_train, etiquettes_train)
filtre.predict_proba(["Gagnez un voyage gratuit, cliquez vite !"])

✅ Vérifiez vos acquis

1. Que suppose l'hypothèse « naïve » du Bayes naïf ?
2. Un mot n'est jamais apparu dans les spams d'entraînement. Sans lissage, que se passerait-il pour un message qui le contient ?
3. Pourquoi le Bayes naïf est-il populaire pour la classification de textes ?
4. Pour des variables continues comme la taille et le poids, on utilise…
5. Pourquoi calcule-t-on avec des logarithmes ?