Attivazioni: la piega tra i layer
Perché è importante Senza una piega tra i layer, dieci layer non sono più intelligenti di uno. La scelta della piega decide anche se i gradienti possono scorrere.
Tre attivazioni che incontrerai ovunque:
- ReLU: max(0, z). Economica, e la sua pendenza è esattamente 1 per gli input positivi, quindi i gradienti passano senza smorzarsi. Pendenza 0 per i negativi.
- tanh: schiaccia tra -1 e 1, centrata su 0. Pendenza 1 in 0 ma quasi 0 per input grandi: si satura.
- GELU: una ReLU liscia usata nei transformer, più o meno z per sigmoid(1.702 z).
Perché conta la pendenza
La backpropagation moltiplica per la pendenza di ogni attivazione. Una pendenza vicina a 0 (una tanh saturata, o ReLU su un input negativo) blocca il gradiente. Vedrai che causa veri fallimenti di addestramento nel Modulo 6.
Saturarsi: stare in una parte piatta della curva, dove la pendenza, e quindi il gradiente che la attraversa, è quasi zero.
Riepilogo Un'attivazione piega; la sua pendenza decide quanto gradiente torna indietro.
Parole e simboli di questa lezione
- sigmoide
- 1 / (1 + exp(-z)): schiaccia qualsiasi numero tra 0 e 1
- ReLU
- max(0, z): tiene i positivi, azzera i negativi
- backpropagation
- la regola della catena eseguita all'indietro per ottenere il gradiente di ogni peso
Scrivi ogni attivazione e la sua pendenza: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, tutte su array. Usa l'approssimazione della GELU z * sigmoid(1.702 z). La sua pendenza richiede due regole insieme: la regola del prodotto (la pendenza di u × v è u' × v + u × v') e la regola della catena dentro la sigmoide (la pendenza di sigmoid(1.702 z) è 1.702 × s(1 - s), con s = sigmoid(1.702 z)). Per la pendenza di ReLU esattamente in 0, usa 0. Il test nascosto controlla ogni pendenza con uno spostamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.