Conteúdo do curso Lição 84 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

Atalhos (conexões residuais)

Por que isso importa Conexões residuais são o motivo pelo qual redes com centenas de camadas treinam. Cada bloco transformer as usa.

A camada simples substitui sua entrada: h = f(h). Um bloco residual soma a ela: h = h + f(h). Se f não aprende nada útil, o bloco simplesmente passa h sem alterações, então profundidade extra nunca pode piorar as coisas no início. E no caminho de volta, o gradiente tem uma rota direta pelo caminho "+ h", pulando a camada inteira, então ele não pode sumir.

Um aviso justo sobre o experimento abaixo: ambas as redes começam com os mesmos pesos deliberadamente pequenos, N(0, 0.1). Esse início é o que afunda a rede simples. Com os pesos iniciais de He vistos antes neste módulo, a rede simples de 30 camadas também treina (5 de 6 seeds nas execuções do curso). O que os atalhos adicionam é robustez: eles treinam mesmo a partir de um início ruim, e continuam funcionando em profundidades onde apenas pesos iniciais cuidadosos deixam de ser suficientes.

Aqui a contribuição de cada bloco também é escalonada por 1 / depth, um truque comum para que 30 adições não explodam o sinal.

Conexão residual (ou skip connection, shortcut): adicionar a entrada de um bloco à sua saída.

Chame a Curva: adivinhe a perda final após 150 steps para a rede simples e para aquela com atalhos. (Uma perda de 0.693 significa um cara ou coroa nesta tarefa de duas classes.)

Palavras e símbolos nesta lição
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
conexão residual
adicionando a entrada de um bloco à sua saída: h + f(h)
Sua vez

Preencha my_guess. Depois escreva block(h, W, b, shortcuts, depth): sem atalhos retorne relu(h @ W + b); com atalhos retorne h + relu(h @ W + b) * (1 / depth). O teste treina ambas as redes de 30 camadas a partir dos mesmos pesos iniciais pequenos.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.