Conteúdo do curso Lição 138 de 246 · Módulo 12: Palavras como números (embeddings)
Módulo 12: Palavras como números (embeddings)

Aprendendo vetores de palavras (skip-gram)

Por que isso importa Contagem precisa de uma tabela V por V, o que é impossível para um milhão de palavras. Word2vec aprende vetores curtos diretamente por gradient descent em vez disso, e a mesma ideia, aprender vetores prevendo o contexto, está dentro de cada modelo de linguagem.

Skip-gram com amostragem negativa. Cada palavra tem dois vetores: v (como ela mesma) e u (como o contexto de alguém). Para um par real (uma palavra e uma palavra da sua frase), aumente a pontuação v dot u; para k palavras "negativas" aleatórias, diminua a pontuação:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Os gradientes, pela regra da cadeia

Com p = sigmoid(v . u_pos) e q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Leia eles: se o par real já tem uma pontuação alta, p está perto de 1 e quase nada muda. Erros produzem grandes impulsos, exatamente como a cross-entropy.

Batched, com None

Para um lote, p tem o formato (B,) e u_pos tem o formato (B, d). Para escalar cada linha de u_pos pelo seu próprio (p - 1), adicione uma direção: (p - 1)[:, None] * u_pos, formato (B, 1) vezes (B, d). Para os negativos, q tem o formato (B, k) e v tem o formato (B, d); q[:, :, None] * v[:, None, :] os alinha como (B, k, 1) vezes (B, 1, d), dando (B, k, d): uma cópia escalonada de v por negativo. (A lição de formatos do módulo Python introduziu None.)

Palavras e símbolos nesta lição
PPMI
com que frequência duas palavras se encontram a mais do que o acaso daria, com negativos definidos como 0
skip-gram, negative sampling
aprenda vetores dando pontuações altas para pares reais (palavra, contexto) e baixas para pares aleatórios
Sua vez

Escreva sgns_grads(v, u_pos, u_neg) para um lote: v e u_pos têm formato (B, d), u_neg tem formato (B, k, d). Retorne (g_v, g_pos, g_neg) com os mesmos formatos. O training loop usa isso; então as 72 analogias devem estar pelo menos 90% corretas.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.