Conteúdo do curso Lição 24 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

Multiplicação de matriz: uma camada inteira de uma vez

Por que isso importa Uma camada são muitos neurônios, e um batch são muitas entradas. Uma única multiplicação de matrizes calcula todos os neurônios em todas as entradas em uma linha.

Empilhe as entradas como linhas de X (formato: entradas por features). Empilhe os pesos de cada neurônio como uma coluna de W (formato: features por neurônios). Então X @ W tem uma linha por entrada e uma coluna por neurônio: a entrada (i, j) é o produto escalar da entrada i com os pesos do neurônio j.

Números pequenos

X = [[1, 2],      W = [[1, 0, -1],
     [3, 4]]           [0, 1,  1]]
X @ W = [[1, 2, 1],
         [3, 4, 1]]

Linha 1, coluna 3: 1 vezes -1 mais 2 vezes 1 é igual a 1. Os formatos se encadeiam: (2, 2) @ (2, 3) dá (2, 3). Os números de dentro precisam bater.

Multiplicação de matrizes: cada linha da esquerda vezes cada coluna da direita, como produtos escalares.

Resumo (batch, in) @ (in, out) = (batch, out). Essa única regra de formatos move o curso inteiro.

Palavras e símbolos nesta lição
produto escalar (a . b)
multiplique os itens correspondentes e some; é grande quando os vetores concordam
Sua vez

Escreva layer(X, W, b) retornando X @ W + b, e layer_shape(batch, n_in, n_out) retornando o shape da saída como uma tupla sem construir nenhum array.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.