Programma Lezione 44 di 246 · Modulo 3: Dal neurone all'MLP
Modulo 3: Dal neurone all'MLP

Attivazioni: la piega tra i layer

Perché è importante Senza una piega tra i layer, dieci layer non sono più intelligenti di uno. La scelta della piega decide anche se i gradienti possono scorrere.

Tre attivazioni che incontrerai ovunque:

  • ReLU: max(0, z). Economica, e la sua pendenza è esattamente 1 per gli input positivi, quindi i gradienti passano senza smorzarsi. Pendenza 0 per i negativi.
  • tanh: schiaccia tra -1 e 1, centrata su 0. Pendenza 1 in 0 ma quasi 0 per input grandi: si satura.
  • GELU: una ReLU liscia usata nei transformer, più o meno z per sigmoid(1.702 z).

Perché conta la pendenza

La backpropagation moltiplica per la pendenza di ogni attivazione. Una pendenza vicina a 0 (una tanh saturata, o ReLU su un input negativo) blocca il gradiente. Vedrai che causa veri fallimenti di addestramento nel Modulo 6.

Saturarsi: stare in una parte piatta della curva, dove la pendenza, e quindi il gradiente che la attraversa, è quasi zero.

Riepilogo Un'attivazione piega; la sua pendenza decide quanto gradiente torna indietro.

Parole e simboli di questa lezione
sigmoide
1 / (1 + exp(-z)): schiaccia qualsiasi numero tra 0 e 1
ReLU
max(0, z): tiene i positivi, azzera i negativi
backpropagation
la regola della catena eseguita all'indietro per ottenere il gradiente di ogni peso
Tocca a te

Scrivi ogni attivazione e la sua pendenza: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, tutte su array. Usa l'approssimazione della GELU z * sigmoid(1.702 z). La sua pendenza richiede due regole insieme: la regola del prodotto (la pendenza di u × v è u' × v + u × v') e la regola della catena dentro la sigmoide (la pendenza di sigmoid(1.702 z) è 1.702 × s(1 - s), con s = sigmoid(1.702 z)). Per la pendenza di ReLU esattamente in 0, usa 0. Il test nascosto controlla ogni pendenza con uno spostamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.