Por que o modo reverso é barato (reverse mode)
Por que isso importa Uma rede tem milhões de pesos. Se cada gradiente precisasse de sua própria passagem, o treinamento seria impossível. Ir para trás obtém todos eles pelo preço de cerca de mais uma passagem.
Números pequenos
Pegue L = f3(f2(f1(x))) onde x tem 3 números e L é um número. Indo forward com nudges, você dá um nudge em uma entrada, passa por todos os três steps e aprende um gradient. Três entradas significam três viagens completas.
Indo para trás, você começa de L, que é um número, e empurra "o quanto L se importa com isso?" de volta através de f3, depois f2, depois f1. Uma viagem dá o gradiente para cada entrada de uma vez.
Com 3 entradas você faz 1 viagem em vez de 3. Com um milhão de pesos, 1 viagem em vez de um milhão. Uma viagem de volta não é de graça, porém: ela custa cerca de 2 a 3 passagens para frente, porque cada step deve multiplicar por suas inclinações locais. Então no trabalho real a economia é cerca de n / 3, que para um milhão de pesos ainda é em torno de 300,000 vezes. É por isso que toda biblioteca de deep learning funciona para trás.
Modo reverso: computando gradientes varrendo da saída de volta para as entradas. Seu bloco de construção é chamado de produto vetor-Jacobiano; a próxima lição o desmonta.
Resumo Uma saída, muitas entradas: vá para trás.
Palavras e símbolos nesta lição
- vector
- uma lista de números, um por característica
Preencha as contagens de operações para uma rede com n pesos e uma perda. forward_trips(n): quantas passagens completas o método nudge-each-input precisa (uma passagem com nudge por peso; deixe de fora a única passagem sem nudge que você também executaria). backward_trips(n): quantas varreduras de volta o modo reverso precisa. Depois, defina saving_for_a_million para a razão de viagens (não de trabalho) para n = 1,000,000.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.