Aller au contenu
Data science

Augmentation, transfert et au-delà de la classification

⏱ 1 h

Prérequis : Les réseaux convolutifs (CNN)

À la fin de ce chapitre, vous saurez :
  • mettre en œuvre l'augmentation de données, et choisir des transformations qui ne changent pas la classe ;
  • réutiliser un CNN pré-entraîné (extraction de caractéristiques, ajustement fin) ;
  • expliquer les tâches de détection et de segmentation ;
  • évaluer une détection avec l'IoU et la mAP.

Un CNN a besoin de beaucoup d’exemples. Or on dispose rarement de millions d’images étiquetées : quelques centaines de radiographies, quelques milliers de photos de pièces défectueuses. Deux techniques permettent de s’en sortir, et on les combine presque toujours : fabriquer plus d’exemples, et partir d’un réseau qui a déjà appris à voir.

L’augmentation de données fait subir aux images d’entraînement des transformations aléatoires : rotation, décalage, zoom, retournement, variation de luminosité ou de contraste… Elles sont tirées à la volée, à chaque époque : le réseau ne voit jamais deux fois exactement la même image, et doit apprendre ce qui ne change pas. Rien n’est stocké en plus.

Deux règles :

  • jamais sur le test (ni sur la validation) : on évalue sur les vraies images ;
  • des transformations qui ne changent pas la classe. Un chat retourné dans un miroir reste un chat ; mais un « b » retourné devient un « d », un 6 la tête en bas ressemble à un 9. Pour des chiffres, on se limite à de petites rotations et de petits décalages ; pour des photos, le miroir gauche-droite est l’augmentation la plus utile ; pour des images médicales, on demande à un expert ce qui est vraisemblable.

L’augmentation agit comme une régularisation : elle réduit le surapprentissage, surtout quand les données sont rares.

🔬L'augmentation sur 1 000 chiffres

Avec 1 000 images d’entraînement, comparez l’exactitude de test avec et sans augmentation. Les courbes montrent aussi une validation meilleure que l’entraînement : normal, l’entraînement se fait sur des images plus difficiles.

→
import keras
from keras import layers
augmentation = keras.Sequential([ # actives à l'entraînement seulement (model.fit)
layers.RandomFlip("horizontal"), # pas pour des chiffres ou du texte !
layers.RandomRotation(0.05), # ± 18°
layers.RandomZoom(0.1),
layers.RandomContrast(0.2),
])
modele = keras.Sequential([keras.Input((160, 160, 3)), layers.Rescaling(1 / 255), augmentation, ...])
# les images d'un dossier (un sous-dossier par classe)
entrainement = keras.utils.image_dataset_from_directory("images/train", image_size=(160, 160), batch_size=32)

Entraîner un grand CNN à partir de zéro demande des millions d’images et des jours de calcul. Mais les premières couches d’un réseau entraîné sur ImageNet (1,2 million de photos, 1 000 classes) détectent des bords, des textures, des formes : des motifs utiles pour presque toutes les images. L’apprentissage par transfert réutilise ce savoir :

  1. on charge un réseau pré-entraîné (ResNet, EfficientNet, MobileNet…) sans sa dernière couche ;
  2. on gèle ses poids, et on ajoute une petite tête adaptée à notre problème (par exemple 3 classes) ;
  3. on entraîne seulement la tête : c’est l’extraction de caractéristiques, rapide, et efficace avec quelques centaines d’images ;
  4. éventuellement, on dégèle les dernières couches du réseau et on poursuit avec un taux d’apprentissage très petit : c’est l’ajustement fin (fine-tuning).
base = keras.applications.MobileNetV2(input_shape=(160, 160, 3), include_top=False, weights="imagenet")
base.trainable = False # on gèle les 2,2 millions de poids appris sur ImageNet
modele = keras.Sequential([
keras.Input((160, 160, 3)),
augmentation,
layers.Rescaling(1 / 127.5, offset=-1), # la normalisation attendue par MobileNetV2
base,
layers.GlobalAveragePooling2D(),
layers.Dropout(0.2),
layers.Dense(3, activation="softmax"), # notre problème : 3 classes
])
modele.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])
modele.fit(entrainement, validation_data=validation, epochs=10)
# ajustement fin : on dégèle la fin du réseau, avec un taux 100 fois plus petit
base.trainable = True
for couche in base.layers[:-30]: couche.trainable = False
modele.compile(optimizer=keras.optimizers.Adam(1e-5), loss="sparse_categorical_crossentropy", metrics=["accuracy"])
modele.fit(entrainement, validation_data=validation, epochs=5)

Avec quelques centaines d’images par classe, le transfert atteint souvent des exactitudes qu’aucun réseau entraîné de zéro n’approcherait. C’est aujourd’hui la façon normale de traiter un problème d’images, et la même idée (pré-entraîner sur énormément de données, puis adapter) est au cœur des grands modèles de langage (partie 9).

🎓 Pour aller plus loin : quand le transfert marche moins bien

Le transfert suppose que les images de départ (des photos du quotidien) ressemblent aux vôtres. Plus les domaines s’éloignent (images satellites multispectrales, coupes de microscope, spectrogrammes sonores), moins les couches profondes sont réutilisables : on dégèle alors davantage de couches, ou l’on choisit un modèle pré-entraîné sur un domaine proche.

Deux précautions : appliquer exactement la normalisation attendue par le réseau pré-entraîné (chaque famille a la sienne), et, pendant l’ajustement fin, garder les couches de normalisation par lots en mode inférence (training=False), sous peine de détruire ce qu’elles ont appris.

La classification répond à « qu’y a-t-il dans l’image ? ». D’autres tâches vont plus loin :

Tâche Question Sortie Exemples de modèles
classification qu’y a-t-il ? une classe (ou des probabilités) ResNet, EfficientNet
détection d’objets quoi, et où ? des boîtes avec une classe et un score YOLO, Faster R-CNN, DETR
segmentation sémantique à quelle classe appartient chaque pixel ? une carte de classes U-Net, DeepLab
segmentation d’instances quel objet, pixel par pixel ? un masque par objet Mask R-CNN, SAM

Pour juger une boîte prédite, on la compare à la vraie boîte par l’intersection sur l’union (IoU) : la surface commune divisée par la surface totale couverte par les deux boîtes.

Une détection compte comme juste (vrai positif) si son IoU dépasse un seuil (souvent 0,5) et si la classe est bonne ; sinon, c’est un faux positif, et l’objet non détecté est un faux négatif. On retrouve alors la précision et le rappel de la classification, et la courbe précision-rappel. La mAP (mean Average Precision), la métrique standard des concours de détection, est la moyenne sur toutes les classes de l’aire sous cette courbe ; la version « COCO » la moyenne en plus sur des seuils d’IoU de 0,5 à 0,95.

Pour la segmentation, on calcule l’IoU pixel par pixel pour chaque classe (ou le coefficient de Dice, très utilisé en imagerie médicale).

Depuis 2020, les transformers (partie 9), nés pour le texte, s’appliquent aussi aux images : le Vision Transformer (ViT) découpe l’image en petits carrés traités comme des mots. Pré-entraînés sur d’immenses collections d’images, ils égalent ou dépassent les CNN, et permettent des modèles qui relient images et textes (CLIP). Les CNN restent très utilisés, notamment quand les données ou les ressources sont limitées.

✅ Vérifiez vos acquis

1. Sur quelles données applique-t-on l'augmentation ?
2. Pour reconnaître des lettres manuscrites, quelle augmentation éviter ?
3. Dans l'extraction de caractéristiques par transfert, que réentraîne-t-on ?
4. Pourquoi utilise-t-on un taux d'apprentissage très petit pendant l'ajustement fin ?
5. Deux boîtes ont une intersection de 30 et une union de 100. Que vaut l'IoU, et la détection est-elle juste avec un seuil de 0,5 ?
6. Quelle tâche attribue une classe à chaque pixel de l'image ?