Aller au contenu
Data science

Les images et la convolution

⏱ 1 h

Prérequis : Du neurone au réseau · Entraîner un réseau

À la fin de ce chapitre, vous saurez :
  • décrire une image comme un tableau hauteur × largeur × canaux ;
  • expliquer pourquoi un réseau dense est mal adapté aux images ;
  • calculer à la main la sortie d'une convolution, et sa taille selon le padding et le pas ;
  • expliquer le rôle des filtres, du partage des poids et de la fonction ReLU.

Une photo n’est qu’un tableau de nombres. Pour une image en niveaux de gris, une valeur par pixel, de 0 (noir) à 255 (blanc) : un tableau à 2 dimensions, hauteur × largeur. Une image en couleur en a trois, superposées : le rouge, le vert et le bleu. Ce sont les canaux, et l’image devient un tableau hauteur × largeur × 3. On ramène souvent les valeurs entre 0 et 1 (en divisant par 255), et un lot d’images ajoute une 4ᵉ dimension : (nombre d’images, hauteur, largeur, canaux).

Les chiffres manuscrits de MNIST, utilisés dans ce chapitre et dans le simulateur, font 28 × 28 pixels en niveaux de gris : 784 nombres par image.

On pourrait aplatir l’image en un vecteur de 784 valeurs et la donner à un réseau dense, comme dans la partie précédente. Cela marche… mal, pour deux raisons.

  • Trop de poids. Une couche dense relie chaque pixel à chaque neurone. Pour une photo de 224 × 224 en couleur (150 528 valeurs) et une couche de 1 000 neurones, cela fait 150 millions de poids, pour la seule première couche. Il faudrait d’énormes quantités d’images pour les régler sans surapprendre.
  • La structure est perdue. Pour un réseau dense, le pixel (3, 5) et le pixel (3, 6) ne sont pas plus « voisins » que le pixel (3, 5) et le pixel (27, 1). Et si le chiffre est décalé de deux pixels, toutes ses entrées changent : ce qu’il a appris à reconnaître en haut à gauche, il doit le réapprendre en bas à droite.

Or une image a une structure forte : les pixels voisins sont liés, et un même motif (un bord, un coin, un œil) a le même sens où qu’il se trouve. La convolution exploite exactement ces deux propriétés.

On prend un petit filtre (ou noyau), par exemple une grille de 3 × 3 poids, et on le fait glisser sur toute l’image. À chaque position, on multiplie terme à terme les 9 pixels sous le filtre par les 9 poids, et on additionne (plus un biais) : on obtient une valeur. L’ensemble de ces valeurs forme une nouvelle image, la carte de caractéristiques (feature map).

Avancez pas à pas : la fenêtre bleue parcourt l’image, et la carte se remplit. Avec le filtre du support et le smiley 7 × 7, on obtient une carte 5 × 5, dont le 4 marque l’endroit où le motif diagonal du filtre se retrouve le mieux dans l’image. Choisissez ensuite le filtre « bords verticaux » sur le 7 : la carte s’allume (positif d’un côté, négatif de l’autre) le long des traits verticaux.

Une carte dit où se trouve un motif. Une valeur élevée signifie : « ici, l’image ressemble au filtre ». C’est pourquoi on parle aussi de détecteur de caractéristiques.

  • Sans précaution, l’image rétrécit : un filtre 3 × 3 ne peut pas se centrer sur les pixels du bord. 7 × 7 devient 5 × 5. C’est le mode padding="valid".
  • On peut entourer l’image d’une bordure de zéros pour garder sa taille : padding="same".
  • Le pas (stride) est le décalage entre deux positions du filtre. Avec un pas de 2, on saute une position sur deux : la sortie est deux fois plus petite dans chaque direction.

Pour une image de côté nn, un filtre de côté kk, un padding pp et un pas ss :

taille de sortie=n−k+2ps+1.\text{taille de sortie} = \frac{n - k + 2p}{s} + 1 .

Vérifiez-le dans le widget avec les deux réglages.

Bien avant l’apprentissage profond, le traitement d’image utilisait des filtres conçus à la main : détection de contours, flou, netteté.

Le filtre de Sobel vertical (10−120−210−1)\begin{pmatrix} 1 & 0 & -1 \\ 2 & 0 & -2 \\ 1 & 0 & -1 \end{pmatrix} compare la colonne de gauche à celle de droite : sur une zone uniforme, les deux s’annulent (sortie 0) ; sur un bord vertical, la différence est grande. Modifiez les poids pour inventer vos propres filtres.

L’idée clé des réseaux convolutifs : on ne choisit pas les filtres, on les apprend. Les 9 poids d’un filtre sont des paramètres du réseau, réglés par rétropropagation comme n’importe quels autres. Et l’on constate que les filtres appris par la première couche ressemblent souvent à ces détecteurs de bords (vous le verrez dans le simulateur).

Une couche de convolution applique non pas un, mais plusieurs filtres (souvent 32 ou 64), chacun produisant sa carte : une pile de cartes, une par motif recherché.

Sur une image en couleur, chaque filtre couvre les trois canaux : un filtre « 3 × 3 » a en réalité 3 × 3 × 3 = 27 poids (plus un biais), et additionne les trois canaux en une seule carte. De même, la couche suivante reçoit autant de canaux d’entrée que la précédente avait de filtres. Le nombre de paramètres d’une couche de convolution est donc

(k×k×canaux d’entreˊe+1)×nombre de filtres.(k \times k \times \text{canaux d'entrée} + 1) \times \text{nombre de filtres} .

Exemple : 32 filtres 3 × 3 sur une image RVB : (3×3×3+1)×32=896(3 \times 3 \times 3 + 1) \times 32 = 896 paramètres, quelle que soit la taille de l’image. Comparez avec les 150 millions de la couche dense. Deux principes expliquent cette économie :

  • les connexions locales : chaque valeur de sortie ne dépend que d’une petite fenêtre de l’image ;
  • le partage des poids : le même filtre sert à toutes les positions. Un détecteur de bord appris en haut à gauche fonctionne aussi en bas à droite.

Après chaque convolution, on applique la fonction ReLU, max⁡(0,x)\max(0, x), à chaque valeur des cartes, comme dans un réseau dense. Elle a deux rôles :

  • elle introduit de la non-linéarité : sans elle, plusieurs convolutions successives se réduiraient à une seule (une convolution de convolution est encore une convolution) ;
  • elle met à 0 les réponses négatives : on ne garde que les endroits où le motif est présent. Cochez « appliquer ReLU » dans le widget des filtres : un seul sens de bord subsiste.
🎓 Pour aller plus loin : convolution ou corrélation, et équivariance

Un détail de vocabulaire. En mathématiques, la convolution retourne le filtre avant de le faire glisser : (I∗F)(i,j)=∑a,bI(i−a,j−b) F(a,b)(I * F)(i, j) = \sum_{a, b} I(i - a, j - b)\,F(a, b). Ce que font les réseaux (et ce widget) est en toute rigueur une corrélation croisée, sans retournement : ∑a,bI(i+a,j+b) F(a,b)\sum_{a, b} I(i + a, j + b)\,F(a, b). Comme les filtres sont appris, cela ne change rien : le réseau apprendrait simplement le filtre retourné.

Équivariance par translation. Décaler l’image décale la carte de caractéristiques d’autant : la convolution est équivariante par translation. C’est ce qui permet de détecter un motif où qu’il soit. Elle n’est pas équivariante par rotation ni par changement d’échelle : un 7 penché ou plus gros produit d’autres réponses, d’où l’intérêt de l’augmentation de données (chapitre 3).

Une couche dense déguisée. Une convolution est une couche dense particulière : sa matrice de poids est presque partout nulle (connexions locales) et ses lignes non nulles sont des copies décalées du même filtre (partage des poids). C’est un a priori fort sur les images, et c’est pour cela qu’elle apprend avec si peu de paramètres.

🔬Réseau dense contre CNN, sur MNIST

Entraînez d’abord le réseau dense, puis le CNN (bouton « CNN ») avec les mêmes données : comparez le nombre de paramètres et l’exactitude de test.

→
import keras
from keras import layers
couche = layers.Conv2D(filters=32, kernel_size=3, strides=1, padding="same", activation="relu")
x = keras.random.normal((1, 28, 28, 1)) # une image 28 × 28 × 1
print(couche(x).shape) # (1, 28, 28, 32) : 32 cartes de 28 × 28
print(couche.count_params()) # (3 × 3 × 1 + 1) × 32 = 320

✅ Vérifiez vos acquis

1. Quelle est la forme d'une image couleur de 64 × 64 pixels ?
2. Quelle taille de sortie donne un filtre 3 × 3, sans padding, pas de 1, sur une image 28 × 28 ?
3. Combien de paramètres a une couche de 16 filtres 5 × 5 sur une image en niveaux de gris ?
4. Pourquoi une convolution a-t-elle si peu de paramètres ?
5. Dans un CNN, qui choisit les poids des filtres ?
6. Que vaut la sortie du filtre de Sobel vertical sur une zone uniforme (tous les pixels égaux) ?