Programma Les 44 van 246 · Module 3: Neuron naar MLP
Module 3: Neuron naar MLP

Activaties: de bocht tussen lagen

Waarom dit ertoe doet Zonder een bend tussen lagen zijn tien lagen niet slimmer dan één. De keuze van de bend bepaalt ook of gradiënten kunnen stromen.

Drie activaties die je overal tegenkomt:

  • ReLU: max(0, z). Goedkoop, en de helling is precies 1 voor positieve inputs, dus gradiënten gaan ongedempt door. Helling 0 voor negatieven.
  • tanh: drukt samen tot -1 tot 1, gecentreerd op 0. Hellingshoek 1 bij 0 maar bijna 0 voor grote inputs: het saturates.
  • GELU: een gladde ReLU gebruikt in transformers, ongeveer z keer sigmoid(1.702 z).

Waarom de helling ertoe doet

Backpropagation vermenigvuldigt met de helling van elke activatie. Een helling dicht bij 0 (een verzadigde tanh, of ReLU op een negatieve input) blokkeert de gradiënt. Je zult zien dat dit echte trainingsfouten veroorzaakt in Module 6.

Saturate: om in een vlak deel van de curve te zitten, waar de helling, en dus de gradiënt erdoorheen, bijna nul is.

Samenvatting Een activatie buigt; zijn helling bepaalt hoeveel gradient terugvloeit.

Woorden en symbolen in deze les
sigmoid
1 / (1 + exp(-z)): drukt elk getal in 0 tot 1
ReLU
max(0, z): houdt positieven vast, maakt negatieven nul
backpropagation
de kettingregel achterwaarts uitvoeren om de gradiënt van elk gewicht te krijgen
Jij bent aan de beurt

Schrijf elke activatie en de helling ervan: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, allemaal op arrays. Gebruik de GELU benadering z * sigmoid(1.702 z). De helling heeft twee regels nodig samen: de productregel (de helling van u × v is u' × v + u × v') en de kettingregel binnen de sigmoid (de helling van sigmoid(1.702 z) is 1.702 × s(1 - s), met s = sigmoid(1.702 z)). Gebruik 0 voor de helling van ReLU bij precies 0. De verborgen test controleert elke helling tegen een zetje.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.