Conteúdo do curso Lição 54 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Gravando o gráfico e ordenando ele

Por que isso importa O Backward deve visitar cada caixa apenas depois de cada caixa que depende dela. Obter essa ordem errada gera gradientes errados silenciosamente.

Veja isso

Picture x usada duas vezes: a = x * 2, b = x * 3, L = a + b. Isso é um diamante. Indo para trás a partir de L, devemos terminar com ambos a e b antes de lidar com x, porque o gradiente de x é a soma do que volta através de ambos.

A correção é listar os nós em ordem topológica: cada nó depois de todos os seus pais. Depois, ele percorre essa lista de trás para frente. Uma busca em profundidade cria a lista: visite os pais de um nó primeiro, depois adicione o nó e pule os nós já vistos.

Ordem topológica: uma ordenação de um grafo onde cada nó vem depois dos nós de que ele depende.

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
ordem topológica
cada nó listado após os nós de que ele depende
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta para a forma original de onde ele foi esticado
Sua vez

Escreva o método topo: retorne cada nó self depende (incluindo ele mesmo), cada um depois de todos os seus pais, sem duplicatas.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.