Programme Leçon 44 sur 246 · Module 3 : Du neurone au MLP
Module 3 : Du neurone au MLP

Activations : la courbure entre les couches

Pourquoi c'est important Sans courbure entre les couches, dix couches ne sont pas plus malines qu'une seule. Le choix de la courbure décide aussi si les gradients peuvent circuler.

Trois activations que tu rencontreras partout :

  • ReLU : max(0, z). Bon marché, et sa pente vaut exactement 1 pour les entrées positives, donc les gradients passent sans être atténués. Pente 0 pour les négatives.
  • tanh : écrase entre -1 et 1, centrée sur 0. Pente 1 en 0 mais presque 0 pour les grandes entrées : elle sature.
  • GELU : une ReLU lisse utilisée dans les transformers, à peu près z fois sigmoid(1.702 z).

Pourquoi la pente compte

La rétropropagation multiplie par la pente de chaque activation. Une pente proche de 0 (une tanh saturée, ou ReLU sur une entrée négative) bloque le gradient. Tu verras ça causer de vrais échecs d'entraînement au module 6.

Saturer : se trouver dans une partie plate de la courbe, où la pente, et donc le gradient qui la traverse, est presque nulle.

Récap Une activation courbe ; sa pente décide combien de gradient revient.

Mots et symboles de cette leçon
sigmoïde
1 / (1 + exp(-z)) : écrase n'importe quel nombre entre 0 et 1
ReLU
max(0, z) : garde les positifs, met à zéro les négatifs
rétropropagation
la règle de dérivation en chaîne exécutée à rebours pour obtenir le gradient de chaque poids
À ton tour

Écris chaque activation et sa pente : relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, toutes sur des tableaux. Utilise l'approximation de GELU z * sigmoid(1.702 z). Sa pente demande deux règles ensemble : la règle du produit (la pente de u × v vaut u' × v + u × v') et la règle de dérivation en chaîne dans la sigmoïde (la pente de sigmoid(1.702 z) vaut 1.702 × s(1 - s), avec s = sigmoid(1.702 z)). Pour la pente de ReLU exactement en 0, utilise 0. Le test caché vérifie chaque pente par rapport à une poussée.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.