Du neurone au réseau
Prérequis : La classification et la régression logistique · Sous-apprentissage et surapprentissage
- décrire le calcul d'un neurone artificiel (somme pondérée, biais, activation) ;
- expliquer pourquoi un neurone seul ne sépare pas le OU exclusif ;
- expliquer comment une couche cachée combine des frontières simples ;
- choisir les activations, la couche de sortie et la perte selon la tâche ;
- compter les paramètres d'un réseau dense.
Un neurone artificiel
Section intitulée « Un neurone artificiel »Les réseaux de neurones sont à l’origine de presque tous les progrès récents de l’intelligence artificielle : reconnaissance d’images, traduction, synthèse vocale, grands modèles de langage. Leur brique de base est pourtant très simple.
Un neurone artificiel reçoit des entrées , les multiplie par des poids , ajoute un biais , puis applique une fonction d’activation :
L’idée vient de loin (le neurone biologique, qui « s’active » quand ses signaux d’entrée dépassent un seuil), mais l’analogie s’arrête là : un neurone artificiel n’est qu’un calcul. Avec la sigmoïde comme activation, c’est exactement une régression logistique.
Avec l’activation « seuil », c’est le perceptron de Frank Rosenblatt (1958) : il répond 1 si , sinon 0. Sa frontière est une droite. Réglez les curseurs pour réaliser le ET logique, puis le OU ; ou laissez la règle du perceptron chercher : à chaque exemple mal classé, elle déplace la droite vers lui ().
Le mur du OU exclusif
Section intitulée « Le mur du OU exclusif »Choisissez maintenant le OU exclusif (XOR) : 1 si une seule des deux entrées vaut 1. Aucune droite ne met (0, 1) et (1, 0) d’un côté, (0, 0) et (1, 1) de l’autre : le perceptron tourne en rond. En 1969, Marvin Minsky et Seymour Papert publient cette limite, et l’intérêt pour les réseaux de neurones s’effondre pour plus d’une décennie.
La solution était connue : empiler des neurones. Un premier neurone détecte « au moins une entrée vaut 1 » (le OU), un second « les deux valent 1 » (le ET), et un troisième combine : « OU mais pas ET ». Ce qui manquait en 1969, c’était une méthode pour entraîner les neurones intermédiaires : ce sera la rétropropagation (chapitre suivant), popularisée en 1986.
Les couches cachées
Section intitulée « Les couches cachées »Un réseau de neurones (ou perceptron multicouche, MLP) organise les neurones en couches :
- la couche d’entrée contient les variables ;
- une ou plusieurs couches cachées : chaque neurone reçoit toutes les sorties de la couche précédente (couches denses) ;
- la couche de sortie donne la prédiction.
Entraînez le réseau, puis regardez les petites cartes : chaque neurone de la première couche cachée trace sa propre frontière droite (la transition entre ses deux couleurs). Le neurone de sortie combine ces frontières en une frontière courbe. Avec 2 neurones, le OU exclusif est résolu ; le cercle en demande au moins 3 (un triangle) ; la spirale, beaucoup plus, ou une deuxième couche qui combine des combinaisons.
C’est la grande idée de l’apprentissage profond : chaque couche construit des variables nouvelles à partir des précédentes. On n’a plus besoin d’inventer comme dans le chapitre Créer des variables : le réseau apprend lui-même les variables utiles. Sur des images, les premières couches apprennent des bords, les suivantes des motifs, puis des parties d’objets.
🎓 Pour aller plus loin : l'approximation universelle, et pourquoi aller en profondeur
Théorème d’approximation universelle (Cybenko, 1989 ; Hornik, 1991). Un réseau à une seule couche cachée, avec une activation non linéaire comme la sigmoïde, peut approcher n’importe quelle fonction continue sur un domaine borné, avec la précision voulue, pourvu qu’il ait assez de neurones.
Ce théorème dit que la représentation existe, pas qu’on saura la trouver par descente de gradient, ni combien de neurones il faudra (parfois exponentiellement trop), ni qu’elle généralisera.
Pourquoi la profondeur ? Certaines fonctions s’écrivent avec un petit réseau profond mais demandent un réseau peu profond gigantesque. Un réseau ReLU découpe l’espace en régions où il est linéaire ; le nombre de ces régions peut croître exponentiellement avec la profondeur, mais seulement polynomialement avec la largeur. Et en pratique, les réseaux profonds composent des motifs simples en motifs complexes, ce qui correspond à la structure de nombreuses données (pixels → bords → formes → objets).
Pourquoi une activation non linéaire ? Sans elle, chaque couche est une application linéaire, et une composition d’applications linéaires reste linéaire : un réseau de 100 couches sans activation ne vaut pas mieux qu’une régression linéaire.
Les fonctions d’activation
Section intitulée « Les fonctions d’activation »| Activation | Formule | Sortie | Usage |
|---|---|---|---|
| sigmoïde | entre 0 et 1 | sortie d’une classification binaire ; rarement en couche cachée | |
| tanh | entre −1 et 1 | couches cachées de petits réseaux, réseaux récurrents | |
| ReLU | 0 ou | le choix par défaut des couches cachées | |
| Leaky ReLU, GELU | variantes de ReLU | évitent les neurones « morts » ; GELU dans les transformers | |
| softmax | des probabilités qui somment à 1 | sortie d’une classification à plusieurs classes |
La ReLU s’est imposée vers 2010 : elle est très rapide à calculer et, surtout, sa dérivée vaut 1 pour , ce qui laisse passer le gradient à travers de nombreuses couches (chapitre suivant). Son défaut : un neurone dont reste toujours négatif ne reçoit plus aucun gradient, il est « mort ».
La sortie et la perte selon la tâche
Section intitulée « La sortie et la perte selon la tâche »La dernière couche et la fonction de perte dépendent de ce qu’on prédit, exactement comme pour les modèles des parties précédentes :
| Tâche | Couche de sortie | Perte | Métriques |
|---|---|---|---|
| régression | 1 neurone, sans activation | erreur quadratique (MSE) ou absolue | MAE, RMSE, R² |
| classification binaire | 1 neurone, sigmoïde | entropie croisée binaire | précision, rappel, F1, AUC |
| classification à classes | neurones, softmax | entropie croisée catégorielle | exactitude, F1 macro, matrice de confusion |
Tout ce que vous savez de l’évaluation reste vrai : découpage entraînement / validation / test, modèle de référence, surapprentissage. Les réseaux, très souples, y sont même particulièrement exposés.
Combien de paramètres ?
Section intitulée « Combien de paramètres ? »Une couche dense qui relie neurones à neurones a poids et biais. Le réseau a donc paramètres. Une image de 28 × 28 pixels (784 entrées) reliée à une couche de 512 neurones : déjà plus de 400 000. C’est ce qui pousse, pour les images, vers des couches plus économes : les convolutions (partie 6).
Un réseau Keras, poids en directLe OU exclusif avec une couche de 4 neurones : regardez les poids changer à chaque mise à jour, et la frontière se former. Essayez ensuite une seule couche de 1 neurone : le réseau n’y arrive plus.
→import kerasfrom keras import layers
modele = keras.Sequential([ keras.Input(shape=(2,)), layers.Dense(8, activation="relu"), # couche cachée : 2 × 8 + 8 = 24 paramètres layers.Dense(8, activation="relu"), # 8 × 8 + 8 = 72 layers.Dense(1, activation="sigmoid"), # sortie binaire : 8 + 1 = 9])modele.compile(optimizer="adam", loss="binary_crossentropy", metrics=["accuracy"])modele.summary() # 105 paramètresmodele.fit(X_train, y_train, epochs=100, batch_size=32, validation_split=0.2)
# l'équivalent scikit-learn, pour de petits problèmes tabulairesfrom sklearn.neural_network import MLPClassifierMLPClassifier(hidden_layer_sizes=(8, 8), activation="relu", max_iter=1000)✅ Vérifiez vos acquis