Atalhos (conexões residuais)
Por que isso importa Conexões residuais são o motivo pelo qual redes com centenas de camadas treinam. Cada bloco transformer as usa.
A camada simples substitui sua entrada: h = f(h). Um bloco residual soma a ela: h = h + f(h). Se f não aprende nada útil, o bloco simplesmente passa h sem alterações, então profundidade extra nunca pode piorar as coisas no início. E no caminho de volta, o gradiente tem uma rota direta pelo caminho "+ h", pulando a camada inteira, então ele não pode sumir.
Um aviso justo sobre o experimento abaixo: ambas as redes começam com os mesmos pesos deliberadamente pequenos, N(0, 0.1). Esse início é o que afunda a rede simples. Com os pesos iniciais de He vistos antes neste módulo, a rede simples de 30 camadas também treina (5 de 6 seeds nas execuções do curso). O que os atalhos adicionam é robustez: eles treinam mesmo a partir de um início ruim, e continuam funcionando em profundidades onde apenas pesos iniciais cuidadosos deixam de ser suficientes.
Aqui a contribuição de cada bloco também é escalonada por 1 / depth, um truque comum para que 30 adições não explodam o sinal.
Conexão residual (ou skip connection, shortcut): adicionar a entrada de um bloco à sua saída.
Chame a Curva: adivinhe a perda final após 150 steps para a rede simples e para aquela com atalhos. (Uma perda de 0.693 significa um cara ou coroa nesta tarefa de duas classes.)
Palavras e símbolos nesta lição
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
- conexão residual
- adicionando a entrada de um bloco à sua saída: h + f(h)
Preencha my_guess. Depois escreva block(h, W, b, shortcuts, depth): sem atalhos retorne relu(h @ W + b); com atalhos retorne h + relu(h @ W + b) * (1 / depth). O teste treina ambas as redes de 30 camadas a partir dos mesmos pesos iniciais pequenos.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.