Um embedding é uma busca, e uma busca é uma multiplicação
Por que isso importa Uma rede só faz aritmética, mas texto é feito de símbolos. Todo modelo de linguagem começa transformando cada símbolo em uma pequena lista de números, seu embedding.
Dê a cada símbolo um número de 0 a V menos 1 (o id dele). A tabela de embeddings E tem uma linha por símbolo, com d números cada. Transformar um id em números é simplesmente ler a linha dele: E[id].
Por que isso ainda é uma camada
Escreva o id como um vetor one-hot: V zeros com um único 1 na posição id. Então one-hot vezes E seleciona exatamente aquela linha. Logo, um embedding é uma camada linear cuja entrada acontece de ser one-hot. Fazemos a consulta direta porque ela pula V vezes d multiplicações por zero.
Isso também mostra como ele treina: o gradiente só chega às linhas que foram usadas. Um símbolo que nunca aparece em um batch mantém sua linha sem mudança.
Números pequenos
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. O id 1 como one-hot é [0, 1, 0], e [0, 1, 0] vezes E = [3, 4], o mesmo que E[1].
Palavras e símbolos nesta lição
- embedding
- a linha de números aprendidos que representa um símbolo
- one-hot
- V zeros com um único 1; vezes a tabela, seleciona uma linha
Escreva onehot(ids, V) retornando um array de formato (len(ids), V). Depois, defina rows_with_gradient como o número de linhas da tabela de embedding que recebem um gradiente diferente de zero após o backward pass mostrado.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.