Ativações: a curva entre as camadas
Por que isso importa Sem uma curva entre as camadas, dez camadas não são mais inteligentes que uma. A escolha da curva também decide se os gradientes podem fluir.
Três ativações que você encontrará em todo lugar:
- ReLU: max(0, z). Barato, e sua inclinação é exatamente 1 para entradas positivas, então os gradientes passam sem amortecimento. Inclinação 0 para negativos.
- tanh: esmaga para -1 a 1, centrado em 0. Inclinação 1 em 0 mas quase 0 para entradas grandes: ele saturates.
- GELU: uma ReLU suave usada em transformers, aproximadamente z vezes sigmoid(1.702 z).
Por que a inclinação importa
Backpropagation multiplica pela inclinação de cada ativação. Uma inclinação perto de 0 (um tanh saturado, ou ReLU em uma entrada negativa) bloqueia o gradiente. Você verá que isso causa falhas reais no treinamento no Módulo 6.
Saturate: ficar em uma parte plana da curva, onde a inclinação, e assim o gradiente através dela, é quase zero.
Resumo Uma ativação se curva; sua inclinação decide quanto gradiente flui de volta.
Palavras e símbolos nesta lição
- sigmoid
- 1 / (1 + exp(-z)): esmaga qualquer número para 0 a 1
- ReLU
- max(0, z): mantém positivos, zera negativos
- backpropagation
- a regra da cadeia executada de trás para frente para obter o gradiente de cada peso
Escreva cada ativação e sua inclinação: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, tudo em arrays. Use a aproximação GELU z * sigmoid(1.702 z). Sua inclinação precisa de duas regras juntas: a regra do produto (a inclinação de u × v é u' × v + u × v') e a regra da cadeia dentro do sigmoid (a inclinação de sigmoid(1.702 z) é 1.702 × s(1 - s), com s = sigmoid(1.702 z)). Para a inclinação da ReLU exatamente em 0, use 0. O teste oculto verifica cada inclinação contra um pequeno ajuste.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.