Conteúdo do curso Lição 44 de 246 · Módulo 3: Neurônio para MLP
Módulo 3: Neurônio para MLP

Ativações: a curva entre as camadas

Por que isso importa Sem uma curva entre as camadas, dez camadas não são mais inteligentes que uma. A escolha da curva também decide se os gradientes podem fluir.

Três ativações que você encontrará em todo lugar:

  • ReLU: max(0, z). Barato, e sua inclinação é exatamente 1 para entradas positivas, então os gradientes passam sem amortecimento. Inclinação 0 para negativos.
  • tanh: esmaga para -1 a 1, centrado em 0. Inclinação 1 em 0 mas quase 0 para entradas grandes: ele saturates.
  • GELU: uma ReLU suave usada em transformers, aproximadamente z vezes sigmoid(1.702 z).

Por que a inclinação importa

Backpropagation multiplica pela inclinação de cada ativação. Uma inclinação perto de 0 (um tanh saturado, ou ReLU em uma entrada negativa) bloqueia o gradiente. Você verá que isso causa falhas reais no treinamento no Módulo 6.

Saturate: ficar em uma parte plana da curva, onde a inclinação, e assim o gradiente através dela, é quase zero.

Resumo Uma ativação se curva; sua inclinação decide quanto gradiente flui de volta.

Palavras e símbolos nesta lição
sigmoid
1 / (1 + exp(-z)): esmaga qualquer número para 0 a 1
ReLU
max(0, z): mantém positivos, zera negativos
backpropagation
a regra da cadeia executada de trás para frente para obter o gradiente de cada peso
Sua vez

Escreva cada ativação e sua inclinação: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, tudo em arrays. Use a aproximação GELU z * sigmoid(1.702 z). Sua inclinação precisa de duas regras juntas: a regra do produto (a inclinação de u × v é u' × v + u × v') e a regra da cadeia dentro do sigmoid (a inclinação de sigmoid(1.702 z) é 1.702 × s(1 - s), com s = sigmoid(1.702 z)). Para a inclinação da ReLU exatamente em 0, use 0. O teste oculto verifica cada inclinação contra um pequeno ajuste.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.