Aprendendo vetores de palavras (skip-gram)
Por que isso importa Contagem precisa de uma tabela V por V, o que é impossível para um milhão de palavras. Word2vec aprende vetores curtos diretamente por gradient descent em vez disso, e a mesma ideia, aprender vetores prevendo o contexto, está dentro de cada modelo de linguagem.
Skip-gram com amostragem negativa. Cada palavra tem dois vetores: v (como ela mesma) e u (como o contexto de alguém). Para um par real (uma palavra e uma palavra da sua frase), aumente a pontuação v dot u; para k palavras "negativas" aleatórias, diminua a pontuação:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
Os gradientes, pela regra da cadeia
Com p = sigmoid(v . u_pos) e q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
Leia eles: se o par real já tem uma pontuação alta, p está perto de 1 e quase nada muda. Erros produzem grandes impulsos, exatamente como a cross-entropy.
Batched, com None
Para um lote, p tem o formato (B,) e u_pos tem o formato (B, d). Para escalar cada linha de u_pos pelo seu próprio (p - 1), adicione uma direção: (p - 1)[:, None] * u_pos, formato (B, 1) vezes (B, d). Para os negativos, q tem o formato (B, k) e v tem o formato (B, d); q[:, :, None] * v[:, None, :] os alinha como (B, k, 1) vezes (B, 1, d), dando (B, k, d): uma cópia escalonada de v por negativo. (A lição de formatos do módulo Python introduziu None.)
Palavras e símbolos nesta lição
- PPMI
- com que frequência duas palavras se encontram a mais do que o acaso daria, com negativos definidos como 0
- skip-gram, negative sampling
- aprenda vetores dando pontuações altas para pares reais (palavra, contexto) e baixas para pares aleatórios
Escreva sgns_grads(v, u_pos, u_neg) para um lote: v e u_pos têm formato (B, d), u_neg tem formato (B, k, d). Retorne (g_v, g_pos, g_neg) com os mesmos formatos. O training loop usa isso; então as 72 analogias devem estar pelo menos 90% corretas.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.