Les images et la convolution
Prérequis : Du neurone au réseau · Entraîner un réseau
- décrire une image comme un tableau hauteur × largeur × canaux ;
- expliquer pourquoi un réseau dense est mal adapté aux images ;
- calculer à la main la sortie d'une convolution, et sa taille selon le padding et le pas ;
- expliquer le rôle des filtres, du partage des poids et de la fonction ReLU.
Une image, pour un ordinateur
Section intitulée « Une image, pour un ordinateur »Une photo n’est qu’un tableau de nombres. Pour une image en niveaux de gris, une valeur par pixel, de 0 (noir) à 255 (blanc) : un tableau à 2 dimensions, hauteur × largeur. Une image en couleur en a trois, superposées : le rouge, le vert et le bleu. Ce sont les canaux, et l’image devient un tableau hauteur × largeur × 3. On ramène souvent les valeurs entre 0 et 1 (en divisant par 255), et un lot d’images ajoute une 4ᵉ dimension : (nombre d’images, hauteur, largeur, canaux).
Les chiffres manuscrits de MNIST, utilisés dans ce chapitre et dans le simulateur, font 28 × 28 pixels en niveaux de gris : 784 nombres par image.
Pourquoi pas un réseau dense ?
Section intitulée « Pourquoi pas un réseau dense ? »On pourrait aplatir l’image en un vecteur de 784 valeurs et la donner à un réseau dense, comme dans la partie précédente. Cela marche… mal, pour deux raisons.
- Trop de poids. Une couche dense relie chaque pixel à chaque neurone. Pour une photo de 224 × 224 en couleur (150 528 valeurs) et une couche de 1 000 neurones, cela fait 150 millions de poids, pour la seule première couche. Il faudrait d’énormes quantités d’images pour les régler sans surapprendre.
- La structure est perdue. Pour un réseau dense, le pixel (3, 5) et le pixel (3, 6) ne sont pas plus « voisins » que le pixel (3, 5) et le pixel (27, 1). Et si le chiffre est décalé de deux pixels, toutes ses entrées changent : ce qu’il a appris à reconnaître en haut à gauche, il doit le réapprendre en bas à droite.
Or une image a une structure forte : les pixels voisins sont liés, et un même motif (un bord, un coin, un œil) a le même sens où qu’il se trouve. La convolution exploite exactement ces deux propriétés.
La convolution
Section intitulée « La convolution »On prend un petit filtre (ou noyau), par exemple une grille de 3 × 3 poids, et on le fait glisser sur toute l’image. À chaque position, on multiplie terme à terme les 9 pixels sous le filtre par les 9 poids, et on additionne (plus un biais) : on obtient une valeur. L’ensemble de ces valeurs forme une nouvelle image, la carte de caractéristiques (feature map).
Avancez pas à pas : la fenêtre bleue parcourt l’image, et la carte se remplit. Avec le filtre du support et le smiley 7 × 7, on obtient une carte 5 × 5, dont le 4 marque l’endroit où le motif diagonal du filtre se retrouve le mieux dans l’image. Choisissez ensuite le filtre « bords verticaux » sur le 7 : la carte s’allume (positif d’un côté, négatif de l’autre) le long des traits verticaux.
Une carte dit où se trouve un motif. Une valeur élevée signifie : « ici, l’image ressemble au filtre ». C’est pourquoi on parle aussi de détecteur de caractéristiques.
Padding et pas
Section intitulée « Padding et pas »- Sans précaution, l’image rétrécit : un filtre 3 × 3 ne peut pas se centrer sur les pixels du bord. 7 × 7 devient 5 × 5. C’est le mode
padding="valid". - On peut entourer l’image d’une bordure de zéros pour garder sa taille :
padding="same". - Le pas (stride) est le décalage entre deux positions du filtre. Avec un pas de 2, on saute une position sur deux : la sortie est deux fois plus petite dans chaque direction.
Pour une image de côté , un filtre de côté , un padding et un pas :
Vérifiez-le dans le widget avec les deux réglages.
Des filtres pour voir les contours
Section intitulée « Des filtres pour voir les contours »Bien avant l’apprentissage profond, le traitement d’image utilisait des filtres conçus à la main : détection de contours, flou, netteté.
Le filtre de Sobel vertical compare la colonne de gauche à celle de droite : sur une zone uniforme, les deux s’annulent (sortie 0) ; sur un bord vertical, la différence est grande. Modifiez les poids pour inventer vos propres filtres.
L’idée clé des réseaux convolutifs : on ne choisit pas les filtres, on les apprend. Les 9 poids d’un filtre sont des paramètres du réseau, réglés par rétropropagation comme n’importe quels autres. Et l’on constate que les filtres appris par la première couche ressemblent souvent à ces détecteurs de bords (vous le verrez dans le simulateur).
Plusieurs filtres, plusieurs cartes
Section intitulée « Plusieurs filtres, plusieurs cartes »Une couche de convolution applique non pas un, mais plusieurs filtres (souvent 32 ou 64), chacun produisant sa carte : une pile de cartes, une par motif recherché.
Sur une image en couleur, chaque filtre couvre les trois canaux : un filtre « 3 × 3 » a en réalité 3 × 3 × 3 = 27 poids (plus un biais), et additionne les trois canaux en une seule carte. De même, la couche suivante reçoit autant de canaux d’entrée que la précédente avait de filtres. Le nombre de paramètres d’une couche de convolution est donc
Exemple : 32 filtres 3 × 3 sur une image RVB : paramètres, quelle que soit la taille de l’image. Comparez avec les 150 millions de la couche dense. Deux principes expliquent cette économie :
- les connexions locales : chaque valeur de sortie ne dépend que d’une petite fenêtre de l’image ;
- le partage des poids : le même filtre sert à toutes les positions. Un détecteur de bord appris en haut à gauche fonctionne aussi en bas à droite.
La fonction ReLU
Section intitulée « La fonction ReLU »Après chaque convolution, on applique la fonction ReLU, , à chaque valeur des cartes, comme dans un réseau dense. Elle a deux rôles :
- elle introduit de la non-linéarité : sans elle, plusieurs convolutions successives se réduiraient à une seule (une convolution de convolution est encore une convolution) ;
- elle met à 0 les réponses négatives : on ne garde que les endroits où le motif est présent. Cochez « appliquer ReLU » dans le widget des filtres : un seul sens de bord subsiste.
🎓 Pour aller plus loin : convolution ou corrélation, et équivariance
Un détail de vocabulaire. En mathématiques, la convolution retourne le filtre avant de le faire glisser : . Ce que font les réseaux (et ce widget) est en toute rigueur une corrélation croisée, sans retournement : . Comme les filtres sont appris, cela ne change rien : le réseau apprendrait simplement le filtre retourné.
Équivariance par translation. Décaler l’image décale la carte de caractéristiques d’autant : la convolution est équivariante par translation. C’est ce qui permet de détecter un motif où qu’il soit. Elle n’est pas équivariante par rotation ni par changement d’échelle : un 7 penché ou plus gros produit d’autres réponses, d’où l’intérêt de l’augmentation de données (chapitre 3).
Une couche dense déguisée. Une convolution est une couche dense particulière : sa matrice de poids est presque partout nulle (connexions locales) et ses lignes non nulles sont des copies décalées du même filtre (partage des poids). C’est un a priori fort sur les images, et c’est pour cela qu’elle apprend avec si peu de paramètres.
Entraînez d’abord le réseau dense, puis le CNN (bouton « CNN ») avec les mêmes données : comparez le nombre de paramètres et l’exactitude de test.
→import kerasfrom keras import layers
couche = layers.Conv2D(filters=32, kernel_size=3, strides=1, padding="same", activation="relu")x = keras.random.normal((1, 28, 28, 1)) # une image 28 × 28 × 1print(couche(x).shape) # (1, 28, 28, 32) : 32 cartes de 28 × 28print(couche.count_params()) # (3 × 3 × 1 + 1) × 32 = 320✅ Vérifiez vos acquis