La réduction de dimension : ACP, t-SNE, UMAP
Prérequis : Corrélation et visualisation · Encoder et mettre à l'échelle · Le clustering : k-means, DBSCAN, hiérarchique
- expliquer ce que cherche l'analyse en composantes principales ;
- interpréter la variance expliquée et choisir un nombre de composantes ;
- expliquer le principe de t-SNE et d'UMAP ;
- éviter les contresens dans la lecture d'une carte t-SNE ou UMAP.
Trop de variables
Section intitulée « Trop de variables »Un vin est décrit par 13 analyses chimiques, une image de chiffre par 64 pixels, un client par des centaines d’indicateurs. Impossible de voir ces données : on ne dessine que deux ou trois dimensions. Et beaucoup de variables sont redondantes : l’alcool et la densité varient ensemble, deux pixels voisins aussi.
La réduction de dimension remplace les variables par un petit nombre de nouvelles variables qui en gardent l’essentiel. Elle sert à :
- visualiser des données en 2D ;
- compresser et accélérer les modèles ;
- débruiter : les dernières dimensions portent souvent surtout du bruit ;
- lutter contre le fléau de la dimension des méthodes à distances (kNN, clustering).
L’analyse en composantes principales (ACP)
Section intitulée « L’analyse en composantes principales (ACP) »L’ACP (PCA) cherche la direction le long de laquelle les points sont le plus étalés : la première composante principale. Puis la direction perpendiculaire la plus étalée, et ainsi de suite. Projeter les données sur les premières composantes garde le maximum de variance, c’est-à-dire le maximum de ce qui distingue les points les uns des autres.
Tournez l’axe : quand les points projetés (orange) sont serrés, on a perdu l’information qui les distinguait. Le bouton 🤖 trouve l’axe optimal. Remarquez qu’il rend aussi les traits rouges les plus courts possible : maximiser la variance projetée revient à minimiser l’erreur de reconstruction. C’est la même droite que la régression ? Non : la régression minimise des écarts verticaux (on prédit ) ; l’ACP, des écarts perpendiculaires (aucune variable n’est privilégiée).
Combien de composantes ?
Section intitulée « Combien de composantes ? »Chaque composante explique une part de la variance totale. On garde souvent assez de composantes pour en expliquer 90 à 95 %, ou on cherche le coude de la courbe des variances expliquées (l’éboulis). Pour visualiser, on prend les deux premières, en vérifiant quelle part de la variance elles portent : une carte qui n’en garde que 30 % montre une vue très partielle.
L'ACP des vins, sans puis avec normalisationSans normalisation, la proline (valeurs en centaines) porte presque toute la variance et la carte ne sépare rien. Cochez « normaliser » : les trois cépages apparaissent.
→Les composantes sont des combinaisons des variables d’origine. Les flèches du simulateur (le « cercle des corrélations ») montrent le poids de chaque variable : on peut parfois les nommer (« taille générale », « acidité »), mais pas toujours.
t-SNE et UMAP : des cartes de voisinage
Section intitulée « t-SNE et UMAP : des cartes de voisinage »L’ACP est linéaire : elle projette sur un plan. Des données enroulées (un ruban, des chiffres manuscrits) se superposent alors. t-SNE et UMAP procèdent autrement : ils placent les points dans le plan de façon à préserver les voisinages. Deux points proches dans l’espace d’origine restent proches sur la carte ; les distances lointaines, elles, sont sacrifiées.
Le résultat est souvent spectaculaire : sur les chiffres manuscrits, dix îlots bien séparés apparaissent, quand l’ACP montre un nuage où les classes se chevauchent. Mais ces cartes se lisent avec prudence :
- la taille d’un îlot ne veut rien dire : t-SNE dilate les groupes denses et contracte les groupes épars ;
- la distance entre deux îlots ne veut presque rien dire : deux îlots éloignés ne sont pas forcément plus différents que deux îlots proches ;
- le résultat dépend des réglages (la perplexité de t-SNE, le nombre de voisins d’UMAP) et du hasard : essayez-en plusieurs ;
- des îlots peuvent apparaître dans du bruit pur, avec une perplexité trop faible ;
- t-SNE ne sait pas placer un nouveau point : il sert à visualiser, pas à préparer des données pour un modèle. UMAP le peut (
transform), et il est bien plus rapide.
| ACP | t-SNE | UMAP | |
|---|---|---|---|
| type | linéaire | non linéaire | non linéaire |
| préserve | les grandes distances, la variance | les petits voisinages | les voisinages, un peu mieux la structure globale |
| nouveaux points | oui | non | oui |
| vitesse | très rapide | lent | rapide |
| usage | préparer, compresser, visualiser | visualiser | visualiser, préparer |
🎓 Pour aller plus loin : l'ACP par les valeurs propres, et l'objectif de t-SNE
Soit la matrice des données centrées ( lignes, colonnes) et sa matrice de covariance. La variance des points projetés sur une direction unitaire vaut
La maximiser sous la contrainte (multiplicateur de Lagrange) donne : les composantes principales sont les vecteurs propres de , et la variance portée par chacune est sa valeur propre. La part de variance expliquée par la composante est . En pratique, on calcule la décomposition en valeurs singulières (SVD) de , plus stable. Le widget fait exactement ce calcul (méthode de Jacobi) pour placer l’axe optimal.
t-SNE transforme les distances en probabilités de voisinage : est grand si est proche de (noyau gaussien dont la largeur est réglée par la perplexité). Il cherche ensuite des positions en 2D dont les probabilités (calculées avec une loi de Student, à queues lourdes) ressemblent le plus aux , en minimisant la divergence de Kullback-Leibler
par descente de gradient. Cette divergence punit fort les voisins séparés ( grand, petit), très peu les points lointains rapprochés : d’où des voisinages fidèles et des distances globales arbitraires.
Mesurer une réduction de dimension
Section intitulée « Mesurer une réduction de dimension »- la variance expliquée (ACP) : la part de l’information gardée ;
- l’erreur de reconstruction : l’écart entre les données et leur projection « remontée » dans l’espace d’origine (
inverse_transform) ; - la confiance des voisinages (trustworthiness) : les voisins sur la carte étaient-ils des voisins dans l’espace d’origine ? ;
- et surtout, quand la réduction prépare un modèle : le score de validation croisée du pipeline complet. C’est lui qui dit combien de composantes garder.
from sklearn.pipeline import make_pipelinefrom sklearn.preprocessing import StandardScalerfrom sklearn.decomposition import PCAfrom sklearn.manifold import TSNE
acp = make_pipeline(StandardScaler(), PCA(n_components=0.95)) # assez de composantes pour 95 % de la varianceZ = acp.fit_transform(X)print(acp[-1].n_components_, acp[-1].explained_variance_ratio_)
carte = TSNE(n_components=2, perplexity=30, random_state=0).fit_transform(StandardScaler().fit_transform(X))# UMAP : pip install umap-learn ; import umap ; umap.UMAP(n_neighbors=15).fit_transform(X)✅ Vérifiez vos acquis