Gravando o gráfico e ordenando ele
Por que isso importa O Backward deve visitar cada caixa apenas depois de cada caixa que depende dela. Obter essa ordem errada gera gradientes errados silenciosamente.
Veja isso
Picture x usada duas vezes: a = x * 2, b = x * 3, L = a + b. Isso é um diamante. Indo para trás a partir de L, devemos terminar com ambos a e b antes de lidar com x, porque o gradiente de x é a soma do que volta através de ambos.
A correção é listar os nós em ordem topológica: cada nó depois de todos os seus pais. Depois, ele percorre essa lista de trás para frente. Uma busca em profundidade cria a lista: visite os pais de um nó primeiro, depois adicione o nó e pule os nós já vistos.
Ordem topológica: uma ordenação de um grafo onde cada nó vem depois dos nós de que ele depende.
Palavras e símbolos nesta lição
- Tensor
- Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
- ordem topológica
- cada nó listado após os nós de que ele depende
- .grad
- o gradiente da perda final em relação a este Tensor
- unbroadcast
- somando um gradiente de volta para a forma original de onde ele foi esticado
Escreva o método topo: retorne cada nó self depende (incluindo ele mesmo), cada um depois de todos os seus pais, sem duplicatas.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.