Multiplicação de matriz: uma camada inteira de uma vez
Por que isso importa Uma camada são muitos neurônios, e um batch são muitas entradas. Uma única multiplicação de matrizes calcula todos os neurônios em todas as entradas em uma linha.
Empilhe as entradas como linhas de X (formato: entradas por features). Empilhe os pesos de cada neurônio como uma coluna de W (formato: features por neurônios). Então X @ W tem uma linha por entrada e uma coluna por neurônio: a entrada (i, j) é o produto escalar da entrada i com os pesos do neurônio j.
Números pequenos
X = [[1, 2], W = [[1, 0, -1],
[3, 4]] [0, 1, 1]]
X @ W = [[1, 2, 1],
[3, 4, 1]]
Linha 1, coluna 3: 1 vezes -1 mais 2 vezes 1 é igual a 1. Os formatos se encadeiam: (2, 2) @ (2, 3) dá (2, 3). Os números de dentro precisam bater.
Multiplicação de matrizes: cada linha da esquerda vezes cada coluna da direita, como produtos escalares.
Resumo (batch, in) @ (in, out) = (batch, out). Essa única regra de formatos move o curso inteiro.
Palavras e símbolos nesta lição
- produto escalar (a . b)
- multiplique os itens correspondentes e some; é grande quando os vetores concordam
Escreva layer(X, W, b) retornando X @ W + b, e layer_shape(batch, n_in, n_out) retornando o shape da saída como uma tupla sem construir nenhum array.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.