Augmentation, transfert et au-delà de la classification
Prérequis : Les réseaux convolutifs (CNN)
- mettre en œuvre l'augmentation de données, et choisir des transformations qui ne changent pas la classe ;
- réutiliser un CNN pré-entraîné (extraction de caractéristiques, ajustement fin) ;
- expliquer les tâches de détection et de segmentation ;
- évaluer une détection avec l'IoU et la mAP.
Le manque d’images
Section intitulée « Le manque d’images »Un CNN a besoin de beaucoup d’exemples. Or on dispose rarement de millions d’images étiquetées : quelques centaines de radiographies, quelques milliers de photos de pièces défectueuses. Deux techniques permettent de s’en sortir, et on les combine presque toujours : fabriquer plus d’exemples, et partir d’un réseau qui a déjà appris à voir.
L’augmentation de données
Section intitulée « L’augmentation de données »L’augmentation de données fait subir aux images d’entraînement des transformations aléatoires : rotation, décalage, zoom, retournement, variation de luminosité ou de contraste… Elles sont tirées à la volée, à chaque époque : le réseau ne voit jamais deux fois exactement la même image, et doit apprendre ce qui ne change pas. Rien n’est stocké en plus.
Deux règles :
- jamais sur le test (ni sur la validation) : on évalue sur les vraies images ;
- des transformations qui ne changent pas la classe. Un chat retourné dans un miroir reste un chat ; mais un « b » retourné devient un « d », un 6 la tête en bas ressemble à un 9. Pour des chiffres, on se limite à de petites rotations et de petits décalages ; pour des photos, le miroir gauche-droite est l’augmentation la plus utile ; pour des images médicales, on demande à un expert ce qui est vraisemblable.
L’augmentation agit comme une régularisation : elle réduit le surapprentissage, surtout quand les données sont rares.
L'augmentation sur 1 000 chiffresAvec 1 000 images d’entraînement, comparez l’exactitude de test avec et sans augmentation. Les courbes montrent aussi une validation meilleure que l’entraînement : normal, l’entraînement se fait sur des images plus difficiles.
→import kerasfrom keras import layers
augmentation = keras.Sequential([ # actives à l'entraînement seulement (model.fit) layers.RandomFlip("horizontal"), # pas pour des chiffres ou du texte ! layers.RandomRotation(0.05), # ± 18° layers.RandomZoom(0.1), layers.RandomContrast(0.2),])modele = keras.Sequential([keras.Input((160, 160, 3)), layers.Rescaling(1 / 255), augmentation, ...])
# les images d'un dossier (un sous-dossier par classe)entrainement = keras.utils.image_dataset_from_directory("images/train", image_size=(160, 160), batch_size=32)L’apprentissage par transfert
Section intitulée « L’apprentissage par transfert »Entraîner un grand CNN à partir de zéro demande des millions d’images et des jours de calcul. Mais les premières couches d’un réseau entraîné sur ImageNet (1,2 million de photos, 1 000 classes) détectent des bords, des textures, des formes : des motifs utiles pour presque toutes les images. L’apprentissage par transfert réutilise ce savoir :
- on charge un réseau pré-entraîné (ResNet, EfficientNet, MobileNet…) sans sa dernière couche ;
- on gèle ses poids, et on ajoute une petite tête adaptée à notre problème (par exemple 3 classes) ;
- on entraîne seulement la tête : c’est l’extraction de caractéristiques, rapide, et efficace avec quelques centaines d’images ;
- éventuellement, on dégèle les dernières couches du réseau et on poursuit avec un taux d’apprentissage très petit : c’est l’ajustement fin (fine-tuning).
base = keras.applications.MobileNetV2(input_shape=(160, 160, 3), include_top=False, weights="imagenet")base.trainable = False # on gèle les 2,2 millions de poids appris sur ImageNet
modele = keras.Sequential([ keras.Input((160, 160, 3)), augmentation, layers.Rescaling(1 / 127.5, offset=-1), # la normalisation attendue par MobileNetV2 base, layers.GlobalAveragePooling2D(), layers.Dropout(0.2), layers.Dense(3, activation="softmax"), # notre problème : 3 classes])modele.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])modele.fit(entrainement, validation_data=validation, epochs=10)
# ajustement fin : on dégèle la fin du réseau, avec un taux 100 fois plus petitbase.trainable = Truefor couche in base.layers[:-30]: couche.trainable = Falsemodele.compile(optimizer=keras.optimizers.Adam(1e-5), loss="sparse_categorical_crossentropy", metrics=["accuracy"])modele.fit(entrainement, validation_data=validation, epochs=5)Avec quelques centaines d’images par classe, le transfert atteint souvent des exactitudes qu’aucun réseau entraîné de zéro n’approcherait. C’est aujourd’hui la façon normale de traiter un problème d’images, et la même idée (pré-entraîner sur énormément de données, puis adapter) est au cœur des grands modèles de langage (partie 9).
🎓 Pour aller plus loin : quand le transfert marche moins bien
Le transfert suppose que les images de départ (des photos du quotidien) ressemblent aux vôtres. Plus les domaines s’éloignent (images satellites multispectrales, coupes de microscope, spectrogrammes sonores), moins les couches profondes sont réutilisables : on dégèle alors davantage de couches, ou l’on choisit un modèle pré-entraîné sur un domaine proche.
Deux précautions : appliquer exactement la normalisation attendue par le réseau pré-entraîné (chaque famille a la sienne), et, pendant l’ajustement fin, garder les couches de normalisation par lots en mode inférence (training=False), sous peine de détruire ce qu’elles ont appris.
Au-delà de la classification
Section intitulée « Au-delà de la classification »La classification répond à « qu’y a-t-il dans l’image ? ». D’autres tâches vont plus loin :
| Tâche | Question | Sortie | Exemples de modèles |
|---|---|---|---|
| classification | qu’y a-t-il ? | une classe (ou des probabilités) | ResNet, EfficientNet |
| détection d’objets | quoi, et où ? | des boîtes avec une classe et un score | YOLO, Faster R-CNN, DETR |
| segmentation sémantique | à quelle classe appartient chaque pixel ? | une carte de classes | U-Net, DeepLab |
| segmentation d’instances | quel objet, pixel par pixel ? | un masque par objet | Mask R-CNN, SAM |
Évaluer une détection : l’IoU
Section intitulée « Évaluer une détection : l’IoU »Pour juger une boîte prédite, on la compare à la vraie boîte par l’intersection sur l’union (IoU) : la surface commune divisée par la surface totale couverte par les deux boîtes.
Une détection compte comme juste (vrai positif) si son IoU dépasse un seuil (souvent 0,5) et si la classe est bonne ; sinon, c’est un faux positif, et l’objet non détecté est un faux négatif. On retrouve alors la précision et le rappel de la classification, et la courbe précision-rappel. La mAP (mean Average Precision), la métrique standard des concours de détection, est la moyenne sur toutes les classes de l’aire sous cette courbe ; la version « COCO » la moyenne en plus sur des seuils d’IoU de 0,5 à 0,95.
Pour la segmentation, on calcule l’IoU pixel par pixel pour chaque classe (ou le coefficient de Dice, très utilisé en imagerie médicale).
Et les transformers ?
Section intitulée « Et les transformers ? »Depuis 2020, les transformers (partie 9), nés pour le texte, s’appliquent aussi aux images : le Vision Transformer (ViT) découpe l’image en petits carrés traités comme des mots. Pré-entraînés sur d’immenses collections d’images, ils égalent ou dépassent les CNN, et permettent des modèles qui relient images et textes (CLIP). Les CNN restent très utilisés, notamment quand les données ou les ressources sont limitées.
✅ Vérifiez vos acquis