Activaties: de bocht tussen lagen
Waarom dit ertoe doet Zonder een bend tussen lagen zijn tien lagen niet slimmer dan één. De keuze van de bend bepaalt ook of gradiënten kunnen stromen.
Drie activaties die je overal tegenkomt:
- ReLU: max(0, z). Goedkoop, en de helling is precies 1 voor positieve inputs, dus gradiënten gaan ongedempt door. Helling 0 voor negatieven.
- tanh: drukt samen tot -1 tot 1, gecentreerd op 0. Hellingshoek 1 bij 0 maar bijna 0 voor grote inputs: het saturates.
- GELU: een gladde ReLU gebruikt in transformers, ongeveer z keer sigmoid(1.702 z).
Waarom de helling ertoe doet
Backpropagation vermenigvuldigt met de helling van elke activatie. Een helling dicht bij 0 (een verzadigde tanh, of ReLU op een negatieve input) blokkeert de gradiënt. Je zult zien dat dit echte trainingsfouten veroorzaakt in Module 6.
Saturate: om in een vlak deel van de curve te zitten, waar de helling, en dus de gradiënt erdoorheen, bijna nul is.
Samenvatting Een activatie buigt; zijn helling bepaalt hoeveel gradient terugvloeit.
Woorden en symbolen in deze les
- sigmoid
- 1 / (1 + exp(-z)): drukt elk getal in 0 tot 1
- ReLU
- max(0, z): houdt positieven vast, maakt negatieven nul
- backpropagation
- de kettingregel achterwaarts uitvoeren om de gradiënt van elk gewicht te krijgen
Schrijf elke activatie en de helling ervan: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, allemaal op arrays. Gebruik de GELU benadering z * sigmoid(1.702 z). De helling heeft twee regels nodig samen: de productregel (de helling van u × v is u' × v + u × v') en de kettingregel binnen de sigmoid (de helling van sigmoid(1.702 z) is 1.702 × s(1 - s), met s = sigmoid(1.702 z)). Gebruik 0 voor de helling van ReLU bij precies 0. De verborgen test controleert elke helling tegen een zetje.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.