Aller au contenu
Data science

Les SVM et les noyaux

⏱ 1 h

Prérequis : La classification et la régression logistique · Créer des variables et éviter les fuites

À la fin de ce chapitre, vous saurez :
  • expliquer le principe de la marge maximale et le rôle des vecteurs de support ;
  • interpréter l'hyperparamètre C (marge souple) ;
  • expliquer l'idée d'un noyau et l'effet de γ pour le noyau RBF ;
  • savoir quand utiliser un SVM.

Quand deux classes sont séparables par une droite, il en existe une infinité. Laquelle choisir ? La machine à vecteurs de support (support vector machine, SVM) répond : celle qui passe le plus loin possible des points des deux classes. Elle laisse le plus large couloir vide entre elles : la marge.

Intuitivement, une frontière qui frôle les points d’entraînement risque de mal classer un nouveau point un peu décalé ; une frontière bien au milieu est plus robuste.

Tournez et déplacez la droite : beaucoup de positions séparent les classes, avec des couloirs plus ou moins larges. Le bouton 🤖 cherche la plus large. Remarquez les points cerclés sur les bords du couloir : ce sont les vecteurs de support. La droite ne dépend que d’eux : on pourrait supprimer tous les autres points sans rien changer.

Les données réelles se chevauchent : aucune droite ne sépare tout. Le SVM tolère alors des points dans la marge, voire du mauvais côté, moyennant une pénalité. L’hyperparamètre C règle le compromis :

  • C petit : on accepte beaucoup de violations pour garder une marge large ; modèle simple, robuste au bruit.
  • C grand : chaque erreur coûte cher ; la marge rétrécit pour bien classer chaque point ; risque de surapprentissage.

Et si les classes ne sont pas séparables par une droite, comme un disque entouré d’un anneau ? On l’a vu dans Créer des variables : en ajoutant la variable x12+x22x_1^2 + x_2^2, un simple seuil suffit. Plus généralement, on peut envoyer les données dans un espace de plus grande dimension où elles deviennent séparables.

L’astuce du noyau permet de le faire sans jamais calculer ces nouvelles variables. Le SVM n’a besoin que des produits scalaires entre exemples ; un noyau K(x,x′)K(x, x') calcule directement le produit scalaire dans l’espace transformé, même si cet espace a des millions (voire une infinité) de dimensions.

Les noyaux courants :

  • linéaire : pas de transformation, une frontière droite ;
  • polynomial de degré dd : l’équivalent de toutes les variables polynomiales jusqu’au degré dd ;
  • RBF (gaussien) : K(x,x′)=exp⁡(−γ∥x−x′∥2)K(x, x') = \exp(-\gamma \lVert x - x' \rVert^2), le plus utilisé. Chaque vecteur de support crée une « bosse » d’influence autour de lui ; γ règle sa portée.

L’effet de γ est le même que celui de k pour le kNN, à l’envers : γ grand = influence très locale, frontière qui épouse chaque point (surapprentissage) ; γ petit = frontière très lisse.

🔬C et γ en action

Utilisez « Balayer γ » puis « Balayer C » : la marge, les vecteurs de support et la courbe de précision évoluent en direct.

→
🎓 Pour aller plus loin : le problème d'optimisation et le noyau

Pour des étiquettes yi∈{−1,+1}y_i \in \{-1, +1\}, la frontière est w⊤x+b=0w^\top x + b = 0 et la marge vaut 2/∥w∥2 / \lVert w \rVert. Le SVM à marge souple résout

min⁡w,b,ξ  12∥w∥2+C∑i=1nξiavecyi (w⊤xi+b)≥1−ξi,  ξi≥0.\min_{w, b, \xi} \; \frac{1}{2}\lVert w \rVert^2 + C \sum_{i=1}^{n} \xi_i \quad \text{avec} \quad y_i\,(w^\top x_i + b) \geq 1 - \xi_i,\ \ \xi_i \geq 0 .

C’est équivalent à minimiser ∑imax⁡(0, 1−yi(w⊤xi+b))+12C∥w∥2\sum_i \max\big(0,\ 1 - y_i(w^\top x_i + b)\big) + \frac{1}{2C}\lVert w\rVert^2 : la perte charnière (hinge loss) plus une régularisation. Seuls les points dans la marge ou mal classés ont une perte non nulle : ce sont les vecteurs de support. (La page Observer montre cette perte : régression logistique, perte « charnière ».)

Par dualité, la solution s’écrit w=∑iαiyixiw = \sum_i \alpha_i y_i x_i avec αi>0\alpha_i > 0 seulement pour les vecteurs de support, et la fonction de décision devient

f(x)=∑i∈SVαi yi ⟨xi,x⟩+b.f(x) = \sum_{i \in \text{SV}} \alpha_i\, y_i\, \langle x_i, x \rangle + b .

Les données n’apparaissent que par des produits scalaires : il suffit de remplacer ⟨xi,x⟩\langle x_i, x \rangle par K(xi,x)K(x_i, x) pour travailler dans l’espace transformé. Le noyau RBF correspond à un espace de dimension infinie.

Coût : l’entraînement manipule la matrice n×nn \times n des noyaux, d’où une complexité entre n2n^2 et n3n^3. Au-delà de quelques dizaines de milliers d’exemples, on préfère d’autres modèles.

La même idée existe en régression : la SVR remplace la marge vide par un tube de tolérance de demi-largeur ε autour de la courbe. Les points dans le tube ne coûtent rien ; seuls ceux qui en sortent sont des vecteurs de support. Voir Les modèles non linéaires en régression.

  • Atouts : très efficace sur des jeux de taille petite à moyenne, y compris en grande dimension (textes, génomique) ; frontières complexes grâce aux noyaux ; solution unique (pas de minimum local).
  • Limites : lent sur de très grands jeux ; sensible à l’échelle des variables (standardiser !) ; C et γ à régler ensemble (recherche en grille) ; ne donne pas directement de probabilités.
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
modele = make_pipeline(StandardScaler(), SVC(kernel="rbf", C=10, gamma="scale"))
modele.fit(X_train, y_train)
modele[-1].support_vectors_ # les vecteurs de support

✅ Vérifiez vos acquis

1. Parmi toutes les droites qui séparent deux classes, le SVM choisit…
2. On supprime un point d'entraînement qui n'est pas un vecteur de support. La frontière…
3. On augmente fortement C. La marge…
4. Avec un noyau RBF, un γ très grand donne…
5. Quel est l'intérêt de l'astuce du noyau ?