Aller au contenu
Data science

Du neurone au réseau

⏱ 1 h 15

Prérequis : La classification et la régression logistique · Sous-apprentissage et surapprentissage

À la fin de ce chapitre, vous saurez :
  • décrire le calcul d'un neurone artificiel (somme pondérée, biais, activation) ;
  • expliquer pourquoi un neurone seul ne sépare pas le OU exclusif ;
  • expliquer comment une couche cachée combine des frontières simples ;
  • choisir les activations, la couche de sortie et la perte selon la tâche ;
  • compter les paramètres d'un réseau dense.

Les réseaux de neurones sont à l’origine de presque tous les progrès récents de l’intelligence artificielle : reconnaissance d’images, traduction, synthèse vocale, grands modèles de langage. Leur brique de base est pourtant très simple.

Un neurone artificiel reçoit des entrées x1,…,xpx_1, \dots, x_p, les multiplie par des poids w1,…,wpw_1, \dots, w_p, ajoute un biais bb, puis applique une fonction d’activation ff :

y^=f(w1x1+w2x2+⋯+wpxp+b)=f(z).\hat y = f(w_1 x_1 + w_2 x_2 + \dots + w_p x_p + b) = f(z) .

L’idée vient de loin (le neurone biologique, qui « s’active » quand ses signaux d’entrée dépassent un seuil), mais l’analogie s’arrête là : un neurone artificiel n’est qu’un calcul. Avec la sigmoïde comme activation, c’est exactement une régression logistique.

Avec l’activation « seuil », c’est le perceptron de Frank Rosenblatt (1958) : il répond 1 si z≥0z \geq 0, sinon 0. Sa frontière w1x1+w2x2+b=0w_1 x_1 + w_2 x_2 + b = 0 est une droite. Réglez les curseurs pour réaliser le ET logique, puis le OU ; ou laissez la règle du perceptron chercher : à chaque exemple mal classé, elle déplace la droite vers lui (w←w+η (y−y^) xw \leftarrow w + \eta\,(y - \hat y)\,x).

Choisissez maintenant le OU exclusif (XOR) : 1 si une seule des deux entrées vaut 1. Aucune droite ne met (0, 1) et (1, 0) d’un côté, (0, 0) et (1, 1) de l’autre : le perceptron tourne en rond. En 1969, Marvin Minsky et Seymour Papert publient cette limite, et l’intérêt pour les réseaux de neurones s’effondre pour plus d’une décennie.

La solution était connue : empiler des neurones. Un premier neurone détecte « au moins une entrée vaut 1 » (le OU), un second « les deux valent 1 » (le ET), et un troisième combine : « OU mais pas ET ». Ce qui manquait en 1969, c’était une méthode pour entraîner les neurones intermédiaires : ce sera la rétropropagation (chapitre suivant), popularisée en 1986.

Un réseau de neurones (ou perceptron multicouche, MLP) organise les neurones en couches :

  • la couche d’entrée contient les variables ;
  • une ou plusieurs couches cachées : chaque neurone reçoit toutes les sorties de la couche précédente (couches denses) ;
  • la couche de sortie donne la prédiction.

Entraînez le réseau, puis regardez les petites cartes : chaque neurone de la première couche cachée trace sa propre frontière droite (la transition entre ses deux couleurs). Le neurone de sortie combine ces frontières en une frontière courbe. Avec 2 neurones, le OU exclusif est résolu ; le cercle en demande au moins 3 (un triangle) ; la spirale, beaucoup plus, ou une deuxième couche qui combine des combinaisons.

C’est la grande idée de l’apprentissage profond : chaque couche construit des variables nouvelles à partir des précédentes. On n’a plus besoin d’inventer x12+x22x_1^2 + x_2^2 comme dans le chapitre Créer des variables : le réseau apprend lui-même les variables utiles. Sur des images, les premières couches apprennent des bords, les suivantes des motifs, puis des parties d’objets.

🎓 Pour aller plus loin : l'approximation universelle, et pourquoi aller en profondeur

Théorème d’approximation universelle (Cybenko, 1989 ; Hornik, 1991). Un réseau à une seule couche cachée, avec une activation non linéaire comme la sigmoïde, peut approcher n’importe quelle fonction continue sur un domaine borné, avec la précision voulue, pourvu qu’il ait assez de neurones.

Ce théorème dit que la représentation existe, pas qu’on saura la trouver par descente de gradient, ni combien de neurones il faudra (parfois exponentiellement trop), ni qu’elle généralisera.

Pourquoi la profondeur ? Certaines fonctions s’écrivent avec un petit réseau profond mais demandent un réseau peu profond gigantesque. Un réseau ReLU découpe l’espace en régions où il est linéaire ; le nombre de ces régions peut croître exponentiellement avec la profondeur, mais seulement polynomialement avec la largeur. Et en pratique, les réseaux profonds composent des motifs simples en motifs complexes, ce qui correspond à la structure de nombreuses données (pixels → bords → formes → objets).

Pourquoi une activation non linéaire ? Sans elle, chaque couche est une application linéaire, et une composition d’applications linéaires reste linéaire : un réseau de 100 couches sans activation ne vaut pas mieux qu’une régression linéaire.

Activation Formule Sortie Usage
sigmoïde σ(z)=11+e−z\sigma(z) = \dfrac{1}{1 + e^{-z}} entre 0 et 1 sortie d’une classification binaire ; rarement en couche cachée
tanh tanh⁡z\tanh z entre −1 et 1 couches cachées de petits réseaux, réseaux récurrents
ReLU max⁡(0,z)\max(0, z) 0 ou zz le choix par défaut des couches cachées
Leaky ReLU, GELU variantes de ReLU évitent les neurones « morts » ; GELU dans les transformers
softmax ezk∑jezj\dfrac{e^{z_k}}{\sum_j e^{z_j}} des probabilités qui somment à 1 sortie d’une classification à plusieurs classes

La ReLU s’est imposée vers 2010 : elle est très rapide à calculer et, surtout, sa dérivée vaut 1 pour z>0z > 0, ce qui laisse passer le gradient à travers de nombreuses couches (chapitre suivant). Son défaut : un neurone dont zz reste toujours négatif ne reçoit plus aucun gradient, il est « mort ».

La dernière couche et la fonction de perte dépendent de ce qu’on prédit, exactement comme pour les modèles des parties précédentes :

Tâche Couche de sortie Perte Métriques
régression 1 neurone, sans activation erreur quadratique (MSE) ou absolue MAE, RMSE, R²
classification binaire 1 neurone, sigmoïde entropie croisée binaire précision, rappel, F1, AUC
classification à KK classes KK neurones, softmax entropie croisée catégorielle exactitude, F1 macro, matrice de confusion

Tout ce que vous savez de l’évaluation reste vrai : découpage entraînement / validation / test, modèle de référence, surapprentissage. Les réseaux, très souples, y sont même particulièrement exposés.

Une couche dense qui relie nn neurones à mm neurones a n×mn \times m poids et mm biais. Le réseau 2→8→8→12 \to 8 \to 8 \to 1 a donc (2×8+8)+(8×8+8)+(8×1+1)=105(2 \times 8 + 8) + (8 \times 8 + 8) + (8 \times 1 + 1) = 105 paramètres. Une image de 28 × 28 pixels (784 entrées) reliée à une couche de 512 neurones : déjà plus de 400 000. C’est ce qui pousse, pour les images, vers des couches plus économes : les convolutions (partie 6).

🔬Un réseau Keras, poids en direct

Le OU exclusif avec une couche de 4 neurones : regardez les poids changer à chaque mise à jour, et la frontière se former. Essayez ensuite une seule couche de 1 neurone : le réseau n’y arrive plus.

→
import keras
from keras import layers
modele = keras.Sequential([
keras.Input(shape=(2,)),
layers.Dense(8, activation="relu"), # couche cachée : 2 × 8 + 8 = 24 paramètres
layers.Dense(8, activation="relu"), # 8 × 8 + 8 = 72
layers.Dense(1, activation="sigmoid"), # sortie binaire : 8 + 1 = 9
])
modele.compile(optimizer="adam", loss="binary_crossentropy", metrics=["accuracy"])
modele.summary() # 105 paramètres
modele.fit(X_train, y_train, epochs=100, batch_size=32, validation_split=0.2)
# l'équivalent scikit-learn, pour de petits problèmes tabulaires
from sklearn.neural_network import MLPClassifier
MLPClassifier(hidden_layer_sizes=(8, 8), activation="relu", max_iter=1000)

✅ Vérifiez vos acquis

1. Que calcule un neurone artificiel ?
2. Pourquoi un perceptron seul ne peut-il pas apprendre le OU exclusif ?
3. Que se passe-t-il si l'on retire toutes les fonctions d'activation d'un réseau de 10 couches ?
4. Pour classer des images en 10 catégories, quelle couche de sortie et quelle perte ?
5. Combien de paramètres a une couche dense de 100 entrées vers 10 neurones ?
6. Pourquoi ReLU est-elle l'activation par défaut des couches cachées ?