Conteúdo do curso Lição 28 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

Por que o modo reverso é barato (reverse mode)

Por que isso importa Uma rede tem milhões de pesos. Se cada gradiente precisasse de sua própria passagem, o treinamento seria impossível. Ir para trás obtém todos eles pelo preço de cerca de mais uma passagem.

Números pequenos

Pegue L = f3(f2(f1(x))) onde x tem 3 números e L é um número. Indo forward com nudges, você dá um nudge em uma entrada, passa por todos os três steps e aprende um gradient. Três entradas significam três viagens completas.

Indo para trás, você começa de L, que é um número, e empurra "o quanto L se importa com isso?" de volta através de f3, depois f2, depois f1. Uma viagem dá o gradiente para cada entrada de uma vez.

Com 3 entradas você faz 1 viagem em vez de 3. Com um milhão de pesos, 1 viagem em vez de um milhão. Uma viagem de volta não é de graça, porém: ela custa cerca de 2 a 3 passagens para frente, porque cada step deve multiplicar por suas inclinações locais. Então no trabalho real a economia é cerca de n / 3, que para um milhão de pesos ainda é em torno de 300,000 vezes. É por isso que toda biblioteca de deep learning funciona para trás.

Modo reverso: computando gradientes varrendo da saída de volta para as entradas. Seu bloco de construção é chamado de produto vetor-Jacobiano; a próxima lição o desmonta.

Resumo Uma saída, muitas entradas: vá para trás.

Palavras e símbolos nesta lição
vector
uma lista de números, um por característica
Sua vez

Preencha as contagens de operações para uma rede com n pesos e uma perda. forward_trips(n): quantas passagens completas o método nudge-each-input precisa (uma passagem com nudge por peso; deixe de fora a única passagem sem nudge que você também executaria). backward_trips(n): quantas varreduras de volta o modo reverso precisa. Depois, defina saving_for_a_million para a razão de viagens (não de trabalho) para n = 1,000,000.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.