Conteúdo do curso Lição 53 de 246 · Módulo 4: Seu próprio motor de autograd
Módulo 4: Seu próprio motor de autograd

Um Tensor: um array que lembra

Por que isso importa O único tipo de dado do motor é um Tensor: um array mais um espaço para seu gradiente mais uma nota de onde ele veio.

A Tensor guarda três coisas:

  • data: o array NumPy de valores.
  • grad: um array do mesmo shape, começando em zeros, que será preenchido de trás para frente.
  • parents: os Tensors a partir dos quais ele foi computado (vazio para inputs e weights).

Cada operação cria um novo Tensor e registra seus pais. Hoje, apenas a parte forward de + e *: calcule os valores e lembre os pais.

Tensor: em deep learning, apenas um array n-dimensional. Aqui, um array que também carrega um gradiente e seu histórico.

Palavras e símbolos nesta lição
Tensor
Aqui: um array mais seu gradiente mais os Tensors de onde ele veio
.grad
o gradiente da perda final em relação a este Tensor
unbroadcast
somando um gradiente de volta para a forma de onde ele foi esticado
Sua vez

Preencha __add__ e __mul__ para que eles retornem um novo Tensor cujo data é a soma ou produto, e cujo parents é (self, other). Números simples também devem funcionar, via Tensor.lift. Deixe _backward de lado por enquanto.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.