Aller au contenu
Data science

La réduction de dimension : ACP, t-SNE, UMAP

⏱ 1 h

Prérequis : Corrélation et visualisation · Encoder et mettre à l'échelle · Le clustering : k-means, DBSCAN, hiérarchique

À la fin de ce chapitre, vous saurez :
  • expliquer ce que cherche l'analyse en composantes principales ;
  • interpréter la variance expliquée et choisir un nombre de composantes ;
  • expliquer le principe de t-SNE et d'UMAP ;
  • éviter les contresens dans la lecture d'une carte t-SNE ou UMAP.

Un vin est décrit par 13 analyses chimiques, une image de chiffre par 64 pixels, un client par des centaines d’indicateurs. Impossible de voir ces données : on ne dessine que deux ou trois dimensions. Et beaucoup de variables sont redondantes : l’alcool et la densité varient ensemble, deux pixels voisins aussi.

La réduction de dimension remplace les pp variables par un petit nombre de nouvelles variables qui en gardent l’essentiel. Elle sert à :

  • visualiser des données en 2D ;
  • compresser et accélérer les modèles ;
  • débruiter : les dernières dimensions portent souvent surtout du bruit ;
  • lutter contre le fléau de la dimension des méthodes à distances (kNN, clustering).

L’ACP (PCA) cherche la direction le long de laquelle les points sont le plus étalés : la première composante principale. Puis la direction perpendiculaire la plus étalée, et ainsi de suite. Projeter les données sur les premières composantes garde le maximum de variance, c’est-à-dire le maximum de ce qui distingue les points les uns des autres.

Tournez l’axe : quand les points projetés (orange) sont serrés, on a perdu l’information qui les distinguait. Le bouton 🤖 trouve l’axe optimal. Remarquez qu’il rend aussi les traits rouges les plus courts possible : maximiser la variance projetée revient à minimiser l’erreur de reconstruction. C’est la même droite que la régression ? Non : la régression minimise des écarts verticaux (on prédit yy) ; l’ACP, des écarts perpendiculaires (aucune variable n’est privilégiée).

Chaque composante explique une part de la variance totale. On garde souvent assez de composantes pour en expliquer 90 à 95 %, ou on cherche le coude de la courbe des variances expliquées (l’éboulis). Pour visualiser, on prend les deux premières, en vérifiant quelle part de la variance elles portent : une carte qui n’en garde que 30 % montre une vue très partielle.

🔬L'ACP des vins, sans puis avec normalisation

Sans normalisation, la proline (valeurs en centaines) porte presque toute la variance et la carte ne sépare rien. Cochez « normaliser » : les trois cépages apparaissent.

→

Les composantes sont des combinaisons des variables d’origine. Les flèches du simulateur (le « cercle des corrélations ») montrent le poids de chaque variable : on peut parfois les nommer (« taille générale », « acidité »), mais pas toujours.

L’ACP est linéaire : elle projette sur un plan. Des données enroulées (un ruban, des chiffres manuscrits) se superposent alors. t-SNE et UMAP procèdent autrement : ils placent les points dans le plan de façon à préserver les voisinages. Deux points proches dans l’espace d’origine restent proches sur la carte ; les distances lointaines, elles, sont sacrifiées.

Le résultat est souvent spectaculaire : sur les chiffres manuscrits, dix îlots bien séparés apparaissent, quand l’ACP montre un nuage où les classes se chevauchent. Mais ces cartes se lisent avec prudence :

  • la taille d’un îlot ne veut rien dire : t-SNE dilate les groupes denses et contracte les groupes épars ;
  • la distance entre deux îlots ne veut presque rien dire : deux îlots éloignés ne sont pas forcément plus différents que deux îlots proches ;
  • le résultat dépend des réglages (la perplexité de t-SNE, le nombre de voisins d’UMAP) et du hasard : essayez-en plusieurs ;
  • des îlots peuvent apparaître dans du bruit pur, avec une perplexité trop faible ;
  • t-SNE ne sait pas placer un nouveau point : il sert à visualiser, pas à préparer des données pour un modèle. UMAP le peut (transform), et il est bien plus rapide.
ACP t-SNE UMAP
type linéaire non linéaire non linéaire
préserve les grandes distances, la variance les petits voisinages les voisinages, un peu mieux la structure globale
nouveaux points oui non oui
vitesse très rapide lent rapide
usage préparer, compresser, visualiser visualiser visualiser, préparer
🎓 Pour aller plus loin : l'ACP par les valeurs propres, et l'objectif de t-SNE

Soit XX la matrice des données centrées (nn lignes, pp colonnes) et Σ=1nX⊤X\Sigma = \frac{1}{n} X^\top X sa matrice de covariance. La variance des points projetés sur une direction unitaire uu vaut

Var⁡(Xu)=u⊤Σ u.\operatorname{Var}(Xu) = u^\top \Sigma\, u .

La maximiser sous la contrainte ∥u∥=1\lVert u \rVert = 1 (multiplicateur de Lagrange) donne Σu=λu\Sigma u = \lambda u : les composantes principales sont les vecteurs propres de Σ\Sigma, et la variance portée par chacune est sa valeur propre. La part de variance expliquée par la composante jj est λj/∑kλk\lambda_j / \sum_k \lambda_k. En pratique, on calcule la décomposition en valeurs singulières (SVD) de XX, plus stable. Le widget fait exactement ce calcul (méthode de Jacobi) pour placer l’axe optimal.

t-SNE transforme les distances en probabilités de voisinage : pj∣ip_{j \mid i} est grand si xjx_j est proche de xix_i (noyau gaussien dont la largeur est réglée par la perplexité). Il cherche ensuite des positions yiy_i en 2D dont les probabilités qijq_{ij} (calculées avec une loi de Student, à queues lourdes) ressemblent le plus aux pijp_{ij}, en minimisant la divergence de Kullback-Leibler

KL(P ∥ Q)=∑i≠jpijlog⁡pijqij\text{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

par descente de gradient. Cette divergence punit fort les voisins séparés (pp grand, qq petit), très peu les points lointains rapprochés : d’où des voisinages fidèles et des distances globales arbitraires.

  • la variance expliquée (ACP) : la part de l’information gardée ;
  • l’erreur de reconstruction : l’écart entre les données et leur projection « remontée » dans l’espace d’origine (inverse_transform) ;
  • la confiance des voisinages (trustworthiness) : les voisins sur la carte étaient-ils des voisins dans l’espace d’origine ? ;
  • et surtout, quand la réduction prépare un modèle : le score de validation croisée du pipeline complet. C’est lui qui dit combien de composantes garder.
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.manifold import TSNE
acp = make_pipeline(StandardScaler(), PCA(n_components=0.95)) # assez de composantes pour 95 % de la variance
Z = acp.fit_transform(X)
print(acp[-1].n_components_, acp[-1].explained_variance_ratio_)
carte = TSNE(n_components=2, perplexity=30, random_state=0).fit_transform(StandardScaler().fit_transform(X))
# UMAP : pip install umap-learn ; import umap ; umap.UMAP(n_neighbors=15).fit_transform(X)

✅ Vérifiez vos acquis

1. Que cherche la première composante principale ?
2. Les deux premières composantes expliquent 35 % de la variance. La carte 2D…
3. Pourquoi standardiser avant une ACP ?
4. Sur une carte t-SNE, l'îlot A est deux fois plus grand que l'îlot B. On peut en conclure que…
5. On veut réduire la dimension avant d'entraîner un classifieur, et l'appliquer à de nouvelles données. Que choisir ?