Conteúdo do curso Lição 137 de 246 · Módulo 12: Palavras como números (embeddings)
Módulo 12: Palavras como números (embeddings)

O significado que uma palavra mantém da empresa

Por que isso importa "Você conhecerá uma palavra pela companhia que ela mantém." Conte quais palavras aparecem perto de quais, e as contagens sozinhas colocam king perto de queen e deixam você fazer aritmética como king menos man mais woman.

Para testar isso honestamente nós precisamos saber as respostas certas, então esta lição usa um pequeno mundo inventadocom estrutura planejada: cada pessoa é nobre ou comum, ele ou ela, adulto ou jovem, e cada um desses aparece como outras palavras na mesma frase ("a rainha governa no palácio e ela lê"). O texto real é muito mais bagunçado, mas o mecanismo é o mesmo.

De contagens para vetores

Count, para cada par de palavras, quantas vezes elas aparecem dentro de uma window de w palavras uma da outra. A linha de contagens de cada palavra é o seu vetor. Um auxiliar transforma as contagens brutas em "o quanto mais frequentemente que o acaso" (PPMI), para que "the" não domine tudo.

Uma analogia a : b = c : ? é respondida pela palavra mais próxima a b menos a mais c. Existem 72 tais perguntas neste mundo.

Predict: com uma janela de 2 palavras, e com uma janela cobrindo a frase inteira de 9 palavras, qual parte estará correta?

Palavras e símbolos nesta lição
window
quantas palavras de cada lado contam como a companhia de uma palavra
PPMI
com que frequência duas palavras se encontram além do que o acaso daria, com negativos definidos como 0
Sua vez

Defina my_guess para suas duas previsões. Escreva cooccurrence(sents, win): uma matriz V por V de contagens, adicionando 1 a [word, other] para cada outra palavra dentro de win posições na mesma frase. Depois preencha acc para as janelas 2 e 8 com score(ppmi(...)).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.