Programme Leçon 100 sur 250 · L'intuition des réseaux de neurones, les LLM et le projet final IA
L'intuition des réseaux de neurones, les LLM et le projet final IA

Une passe avant à deux couches

Un neurone, c'est une droite. Empile-en une couche, ajoute une non-linéarité, puis envoie le tout dans une autre couche, et le réseau peut se plier pour s'ajuster à presque n'importe quoi. Faire passer les données à travers les couches pour obtenir une sortie s'appelle la passe avant (forward pass).

Une couche, c'est juste une multiplication de matrices : chaque colonne de la matrice de poids contient les poids d'un neurone. Avec numpy, toute la couche s'écrit x @ W + b (l'opérateur @ est la multiplication matricielle).

Entre les couches, on applique une activation non linéaire. Les réseaux modernes préfèrent ReLU (Rectified Linear Unit), qui vaut simplement max(0, z) : garde les positifs, met les négatifs à zéro. Sans non-linéarité, empiler des couches reviendrait à une seule droite.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Pourquoi on fait ça en numpy ici

Les vrais frameworks pour ça sont TensorFlow et PyTorch. Ils ne peuvent pas tourner dans cette leçon : Pyodide est CPython compilé en WebAssembly dans ton navigateur, et ces bibliothèques contiennent du lourd code natif C++ et CUDA/GPU qui n'a pas de version WebAssembly. On obtient donc l'intuition avec quelques lignes de numpy, ce qui est exactement ce qu'est une passe avant sous le capot. Les frameworks ajoutent l'autograd, les GPU et l'échelle, pas de nouvelles idées sur cette étape.

Surveille les formes : une entrée de longueur 3 à travers une matrice de poids 3x4 donne 4 valeurs cachées ; à travers une matrice 4x1, ça devient une seule sortie.

À ton tour

Termine la passe avant. Écris relu(z) avec np.maximum, puis calcule la couche cachée h = relu(x @ W1 + b1) et la sortie out = h @ W2 + b2 avec les poids fournis.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.