Conteúdo do curso Lição 134 de 246 · Módulo 12: Palavras como números (embeddings)
Módulo 12: Palavras como números (embeddings)

Um embedding é uma busca, e uma busca é uma multiplicação

Por que isso importa Uma rede só faz aritmética, mas texto é feito de símbolos. Todo modelo de linguagem começa transformando cada símbolo em uma pequena lista de números, seu embedding.

Dê a cada símbolo um número de 0 a V menos 1 (o id dele). A tabela de embeddings E tem uma linha por símbolo, com d números cada. Transformar um id em números é simplesmente ler a linha dele: E[id].

Por que isso ainda é uma camada

Escreva o id como um vetor one-hot: V zeros com um único 1 na posição id. Então one-hot vezes E seleciona exatamente aquela linha. Logo, um embedding é uma camada linear cuja entrada acontece de ser one-hot. Fazemos a consulta direta porque ela pula V vezes d multiplicações por zero.

Isso também mostra como ele treina: o gradiente só chega às linhas que foram usadas. Um símbolo que nunca aparece em um batch mantém sua linha sem mudança.

Números pequenos

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. O id 1 como one-hot é [0, 1, 0], e [0, 1, 0] vezes E = [3, 4], o mesmo que E[1].

Palavras e símbolos nesta lição
embedding
a linha de números aprendidos que representa um símbolo
one-hot
V zeros com um único 1; vezes a tabela, seleciona uma linha
Sua vez

Escreva onehot(ids, V) retornando um array de formato (len(ids), V). Depois, defina rows_with_gradient como o número de linhas da tabela de embedding que recebem um gradiente diferente de zero após o backward pass mostrado.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.