La détection d'anomalies
Prérequis : Le clustering · Seuil · courbes ROC et précision-rappel
- distinguer valeurs aberrantes, nouveautés et détection supervisée ;
- appliquer un score z, la règle de l'écart interquartile, un score de voisinage et une forêt d'isolement ;
- évaluer un détecteur par la précision et le rappel, et choisir sa part de signalements.
Ce qui ne ressemble à rien
Section intitulée « Ce qui ne ressemble à rien »Une transaction bancaire inhabituelle, un capteur qui dérive, une pièce défectueuse sur une chaîne, une connexion suspecte sur un serveur : la détection d’anomalies repère les exemples qui ne ressemblent pas aux autres. Trois situations :
- valeurs aberrantes (outliers) : nettoyer un jeu de données d’erreurs de saisie ou de mesure (vu dans Nettoyer les données) ;
- détection de nouveautés : apprendre ce qu’est le « normal » sur des données saines, puis signaler ce qui s’en écarte ;
- détection supervisée : quand on dispose d’exemples d’anomalies étiquetés, c’est une classification très déséquilibrée (chapitre Plusieurs classes et classes déséquilibrées).
Le plus souvent, les anomalies sont rares, variées et non étiquetées : on ne peut pas apprendre à quoi elles ressemblent, seulement à quoi ressemble la normalité. C’est un problème non supervisé.
Des scores d’anomalie
Section intitulée « Des scores d’anomalie »Toutes les méthodes calculent un score : plus il est grand, plus l’exemple est suspect. On signale ensuite les exemples au-dessus d’un seuil.
Une variable à la fois.
- le score z : ; on signale . Simple, mais la moyenne et l’écart-type sont eux-mêmes tirés par les anomalies ;
- la règle de l’écart interquartile (celle des boîtes à moustaches) : on signale ce qui sort de . Robuste, car fondée sur des quantiles.
Mais une anomalie peut être normale sur chaque variable prise seule : 1,90 m et 45 kg sont deux valeurs banales, pas leur combinaison. Il faut des méthodes multivariées.
Plusieurs variables à la fois.
- distance au centre (ou distance de Mahalanobis, qui tient compte des corrélations) : bien adaptée à un nuage unique ;
- distance aux voisins : un point est suspect si ses plus proches voisins sont loin. Le LOF (Local Outlier Factor) compare cette distance à celle des voisins eux-mêmes, pour s’adapter aux régions de densités différentes ;
- forêt d’isolement (Isolation Forest) : des arbres coupent l’espace au hasard ; un point isolé se retrouve seul dans une case après très peu de coupures, un point au cœur d’un nuage en demande beaucoup ;
- SVM à une classe et, plus tard dans le cours, autoencodeurs (un réseau qui reconstruit mal ce qu’il n’a jamais vu).
Avec deux nuages, choisissez « distance au centre » : le centre des données tombe entre les nuages, là où se cachent deux anomalies, et ce sont les bords des nuages qui sont signalés. La distance au 5ᵉ voisin, locale, ne tombe pas dans le piège.
Évaluer un détecteur
Section intitulée « Évaluer un détecteur »Quand on dispose de quelques anomalies connues (même a posteriori), on évalue comme une classification très déséquilibrée :
- pas l’exactitude : signaler « rien » donne 99 % si 1 % des exemples sont anormaux ;
- la précision et le rappel à un seuil donné, et la courbe précision-rappel (ou la précision moyenne) pour tous les seuils ;
- la précision parmi les k premiers signalements : si une équipe peut examiner 50 alertes par jour, combien sont de vraies anomalies parmi les 50 plus suspectes ?
La part signalée (le paramètre contamination de scikit-learn) est souvent fixée par la capacité d’investigation : on ne signale pas plus de cas qu’on ne peut en vérifier. Le curseur du widget le montre : signaler davantage fait monter le rappel et baisser la précision.
Sans aucune anomalie connue, on évalue par l’inspection : un expert examine les cas les plus suspects. Si ce sont des erreurs de mesure banales, le détecteur est peut-être bon, mais inutile.
🎓 Pour aller plus loin : le score de la forêt d'isolement
Dans un arbre d’isolement, on choisit au hasard une variable et un seuil entre son minimum et son maximum, et on recommence dans chaque moitié jusqu’à isoler chaque point. La profondeur à laquelle se retrouve seul est courte pour un point isolé.
On moyenne cette profondeur sur de nombreux arbres, et on la compare à , la profondeur moyenne d’une recherche infructueuse dans un arbre binaire de points (). Le score
est proche de 1 pour une anomalie, nettement inférieur à 0,5 pour un point normal. Chaque arbre n’est construit que sur un petit échantillon (256 points par défaut) : la méthode est très rapide, même sur des millions d’exemples, et ne calcule aucune distance.
Les points que DBSCAN refuse de classer (le bruit) sont exactement des points isolés : un clustering par densité est aussi un détecteur d’anomalies.
→from sklearn.ensemble import IsolationForestfrom sklearn.neighbors import LocalOutlierFactorfrom sklearn.metrics import average_precision_score, precision_score, recall_score
foret = IsolationForest(contamination=0.02, random_state=0).fit(X_train) # entraîné sur des données (presque) normalesscore = -foret.score_samples(X_test) # plus c'est grand, plus c'est suspectalerte = foret.predict(X_test) == -1 # −1 = anomalie
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.02)alerte_lof = lof.fit_predict(X) == -1
# si quelques anomalies sont connues (y_anomalie = 1)average_precision_score(y_anomalie, score), precision_score(y_anomalie, alerte), recall_score(y_anomalie, alerte)✅ Vérifiez vos acquis