Conteúdo do curso Lição 139 de 246 · Módulo 12: Palavras como números (embeddings)
Módulo 12: Palavras como números (embeddings)

Vetores copiam seus dados, incluindo skews.

Por que isso importa Embeddings aprendem quaisquer padrões que o texto contém, incluindo aqueles que ninguém quer. Vetores de palavras treinados em notícias reais colocam alguns empregos mais próximos de "she" e outros mais próximos de "he". Você pode medir isso, e você deve.

Crie uma direção de gênero a partir de pares que diferem apenas em gênero: queen menos king, woman menos man, princess menos prince, girl menos boy, somados e escalonados para comprimento 1. A posição de uma palavra ao longo dela é o seu vetor (unitário) pontuado com a direção: positivo pende para "ela", negativo pende para "ele".

O mundo de brinquedo pode adicionar um skew: com skew 0.4, frases de enfermeira dizem "ela" 90% das vezes e frases de engenheiro dizem "ele" 90% das vezes. Médicos e professores ficam 50:50. Nada mais muda.

Removendo isso, e a armadilha

Você pode subtrair o componente de cada trabalho ao longo da direção, o que define sua posição para exatamente 0. Neste mundo de brinquedo isso funciona quase completamente: medido após a remoção, enfermeiro e engenheiro ficam quase igualmente próximos de "ela" e "ele" (cossenos 0.114 e 0.118 em ambos os casos). Isso acontece porque aqui o viés vive em uma palavra, o pronome. Em vetores de palavras treinados em texto real, pesquisadores encontraram o oposto: o viés está espalhado por milhares de palavras que uma direção não consegue capturar, então após a remoção os vizinhos de um trabalho ainda o entregam. Assim, uma leitura limpa da régua não é prova de que o viés sumiu, e a correção honesta começa com os dados.

Palavras e símbolos nesta lição
embedding
a linha de números aprendidos que representa um símbolo
window
quantas palavras de cada lado contam como companhia de uma palavra
PPMI
com que frequência duas palavras se encontram a mais do que o acaso daria, com negativos definidos como 0
toy mundo
a texto inventado com estrutura plantada, então as respostas certas são conhecidas
skew
a padrão desequilibrado nos dados que os vetores copiam
Sua vez

Escreva gender_direction(X) e position(X, word, g). Ambos funcionam em vetores unitários: divida o vetor de cada palavra pelo seu comprimento primeiro, depois pegue as quatro diferenças (queen menos king, woman menos man, princess menos prince, girl menos boy), some elas e ajuste a soma para comprimento 1. Uma posição é o vetor unitário da palavra pontuado com g. Preencha pos: skew (0.0 e 0.4) para um dicionário das posições das quatro tarefas, usando vetores de contagem com a frase inteira como a janela. Depois escreva remove(x, g) que remove a componente ao longo de g.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.