Le Bayes naïf
Prérequis : Probabilités et échantillonnage
- appliquer la règle de Bayes à la classification ;
- expliquer l'hypothèse « naïve » d'indépendance et pourquoi elle marche souvent malgré tout ;
- distinguer les variantes gaussienne et multinomiale ;
- expliquer le rôle du lissage de Laplace.
Classer avec des probabilités
Section intitulée « Classer avec des probabilités »Le Bayes naïf applique directement la règle de Bayes (voir Probabilités) : pour un exemple décrit par ses variables , il calcule la probabilité de chaque classe et prédit la plus probable :
Le terme est difficile à estimer quand contient beaucoup de variables. D’où l’hypothèse naïve : à l’intérieur de chaque classe, les variables sont indépendantes. La probabilité se décompose alors en un simple produit :
Chaque facteur s’estime facilement, variable par variable, en comptant.
Un filtre anti-spam
Section intitulée « Un filtre anti-spam »C’est l’usage historique du Bayes naïf : les premiers filtres anti-spam efficaces (années 2000). Chaque variable est la présence d’un mot. Le filtre a appris sur 12 spams et 12 messages normaux ; écrivez votre propre message :
Pour chaque mot, le filtre compare sa fréquence dans les spams et dans les messages normaux. « gratuit » apparaît surtout dans les spams : il pousse vers « spam » ; « réunion » pousse vers « normal ». Le message entier combine tous ces indices en les multipliant. Essayez « gratuit réunion demain » : les indices se contrarient.
Les mots du corpus d’apprentissage :
- spams : « gagnez un iphone gratuit cliquez ici », « offre exceptionnelle gagnez de l’argent vite », « crédit gratuit sans justificatif offre limitée »…
- normaux : « réunion demain à dix heures en salle b », « le cours de mardi est reporté à jeudi », « merci pour ton aide sur le projet »…
Pourquoi « naïf », et pourquoi ça marche
Section intitulée « Pourquoi « naïf », et pourquoi ça marche »L’hypothèse d’indépendance est presque toujours fausse : dans un spam, « cliquez » et « ici » apparaissent ensemble. Le modèle compte donc deux fois le même indice, et ses probabilités sont souvent trop tranchées (0,999 au lieu de 0,8).
Pourtant, il classe souvent bien : pour décider, il suffit que la bonne classe ait le plus grand score, même si les probabilités sont mal calibrées. Et il a de vrais atouts :
- très rapide : l’entraînement se résume à compter ;
- très peu de données nécessaires, même avec des milliers de variables (les mots d’un vocabulaire) ;
- un bon point de départ (baseline) en classification de textes.
Les variantes
Section intitulée « Les variantes »- Multinomial (
MultinomialNB) : pour des comptages, typiquement le nombre d’occurrences de chaque mot. C’est celui du filtre anti-spam. - Bernoulli (
BernoulliNB) : pour des variables présentes / absentes. - Gaussien (
GaussianNB) : pour des variables continues ; chaque variable suit une loi normale dans chaque classe, de moyenne et d’écart-type estimés sur l’entraînement.
Une gaussienne par classe et par variable (les ellipses, toujours parallèles aux axes). Sur les cercles, le disque a une petite variance, l’anneau une grande : la frontière devient ronde. Cliquez sur la carte pour voir le calcul.
→🎓 Pour aller plus loin : le lissage de Laplace et le calcul en logarithmes
Pour le modèle multinomial, la probabilité d’un mot dans la classe s’estime en comptant :
où est la taille du vocabulaire. Sans le lissage (avec : lissage de Laplace), un mot jamais vu dans les spams aurait une probabilité nulle, et un seul mot suffirait à annuler tout le produit, quels que soient les autres indices.
En pratique, on additionne des logarithmes au lieu de multiplier des probabilités, pour éviter que le produit de centaines de petits nombres ne devienne trop petit pour l’ordinateur :
Le widget affiche, pour chaque mot, le rapport : le message est classé spam si le produit de ces rapports, multiplié par le rapport des fréquences des classes, dépasse 1.
from sklearn.feature_extraction.text import CountVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.pipeline import make_pipeline
filtre = make_pipeline(CountVectorizer(), MultinomialNB(alpha=1.0))filtre.fit(messages_train, etiquettes_train)filtre.predict_proba(["Gagnez un voyage gratuit, cliquez vite !"])✅ Vérifiez vos acquis