Les SVM et les noyaux
Prérequis : La classification et la régression logistique · Créer des variables et éviter les fuites
- expliquer le principe de la marge maximale et le rôle des vecteurs de support ;
- interpréter l'hyperparamètre C (marge souple) ;
- expliquer l'idée d'un noyau et l'effet de γ pour le noyau RBF ;
- savoir quand utiliser un SVM.
La plus grande marge
Section intitulée « La plus grande marge »Quand deux classes sont séparables par une droite, il en existe une infinité. Laquelle choisir ? La machine à vecteurs de support (support vector machine, SVM) répond : celle qui passe le plus loin possible des points des deux classes. Elle laisse le plus large couloir vide entre elles : la marge.
Intuitivement, une frontière qui frôle les points d’entraînement risque de mal classer un nouveau point un peu décalé ; une frontière bien au milieu est plus robuste.
Tournez et déplacez la droite : beaucoup de positions séparent les classes, avec des couloirs plus ou moins larges. Le bouton 🤖 cherche la plus large. Remarquez les points cerclés sur les bords du couloir : ce sont les vecteurs de support. La droite ne dépend que d’eux : on pourrait supprimer tous les autres points sans rien changer.
La marge souple et C
Section intitulée « La marge souple et C »Les données réelles se chevauchent : aucune droite ne sépare tout. Le SVM tolère alors des points dans la marge, voire du mauvais côté, moyennant une pénalité. L’hyperparamètre C règle le compromis :
- C petit : on accepte beaucoup de violations pour garder une marge large ; modèle simple, robuste au bruit.
- C grand : chaque erreur coûte cher ; la marge rétrécit pour bien classer chaque point ; risque de surapprentissage.
L’astuce du noyau
Section intitulée « L’astuce du noyau »Et si les classes ne sont pas séparables par une droite, comme un disque entouré d’un anneau ? On l’a vu dans Créer des variables : en ajoutant la variable , un simple seuil suffit. Plus généralement, on peut envoyer les données dans un espace de plus grande dimension où elles deviennent séparables.
L’astuce du noyau permet de le faire sans jamais calculer ces nouvelles variables. Le SVM n’a besoin que des produits scalaires entre exemples ; un noyau calcule directement le produit scalaire dans l’espace transformé, même si cet espace a des millions (voire une infinité) de dimensions.
Les noyaux courants :
- linéaire : pas de transformation, une frontière droite ;
- polynomial de degré : l’équivalent de toutes les variables polynomiales jusqu’au degré ;
- RBF (gaussien) : , le plus utilisé. Chaque vecteur de support crée une « bosse » d’influence autour de lui ; γ règle sa portée.
L’effet de γ est le même que celui de k pour le kNN, à l’envers : γ grand = influence très locale, frontière qui épouse chaque point (surapprentissage) ; γ petit = frontière très lisse.
C et γ en actionUtilisez « Balayer γ » puis « Balayer C » : la marge, les vecteurs de support et la courbe de précision évoluent en direct.
→🎓 Pour aller plus loin : le problème d'optimisation et le noyau
Pour des étiquettes , la frontière est et la marge vaut . Le SVM à marge souple résout
C’est équivalent à minimiser : la perte charnière (hinge loss) plus une régularisation. Seuls les points dans la marge ou mal classés ont une perte non nulle : ce sont les vecteurs de support. (La page Observer montre cette perte : régression logistique, perte « charnière ».)
Par dualité, la solution s’écrit avec seulement pour les vecteurs de support, et la fonction de décision devient
Les données n’apparaissent que par des produits scalaires : il suffit de remplacer par pour travailler dans l’espace transformé. Le noyau RBF correspond à un espace de dimension infinie.
Coût : l’entraînement manipule la matrice des noyaux, d’où une complexité entre et . Au-delà de quelques dizaines de milliers d’exemples, on préfère d’autres modèles.
Et en régression ?
Section intitulée « Et en régression ? »La même idée existe en régression : la SVR remplace la marge vide par un tube de tolérance de demi-largeur ε autour de la courbe. Les points dans le tube ne coûtent rien ; seuls ceux qui en sortent sont des vecteurs de support. Voir Les modèles non linéaires en régression.
Quand utiliser un SVM ?
Section intitulée « Quand utiliser un SVM ? »- Atouts : très efficace sur des jeux de taille petite à moyenne, y compris en grande dimension (textes, génomique) ; frontières complexes grâce aux noyaux ; solution unique (pas de minimum local).
- Limites : lent sur de très grands jeux ; sensible à l’échelle des variables (standardiser !) ; C et γ à régler ensemble (recherche en grille) ; ne donne pas directement de probabilités.
from sklearn.pipeline import make_pipelinefrom sklearn.preprocessing import StandardScalerfrom sklearn.svm import SVC
modele = make_pipeline(StandardScaler(), SVC(kernel="rbf", C=10, gamma="scale"))modele.fit(X_train, y_train)modele[-1].support_vectors_ # les vecteurs de support✅ Vérifiez vos acquis