Vetores copiam seus dados, incluindo skews.
Por que isso importa Embeddings aprendem quaisquer padrões que o texto contém, incluindo aqueles que ninguém quer. Vetores de palavras treinados em notícias reais colocam alguns empregos mais próximos de "she" e outros mais próximos de "he". Você pode medir isso, e você deve.
Crie uma direção de gênero a partir de pares que diferem apenas em gênero: queen menos king, woman menos man, princess menos prince, girl menos boy, somados e escalonados para comprimento 1. A posição de uma palavra ao longo dela é o seu vetor (unitário) pontuado com a direção: positivo pende para "ela", negativo pende para "ele".
O mundo de brinquedo pode adicionar um skew: com skew 0.4, frases de enfermeira dizem "ela" 90% das vezes e frases de engenheiro dizem "ele" 90% das vezes. Médicos e professores ficam 50:50. Nada mais muda.
Removendo isso, e a armadilha
Você pode subtrair o componente de cada trabalho ao longo da direção, o que define sua posição para exatamente 0. Neste mundo de brinquedo isso funciona quase completamente: medido após a remoção, enfermeiro e engenheiro ficam quase igualmente próximos de "ela" e "ele" (cossenos 0.114 e 0.118 em ambos os casos). Isso acontece porque aqui o viés vive em uma palavra, o pronome. Em vetores de palavras treinados em texto real, pesquisadores encontraram o oposto: o viés está espalhado por milhares de palavras que uma direção não consegue capturar, então após a remoção os vizinhos de um trabalho ainda o entregam. Assim, uma leitura limpa da régua não é prova de que o viés sumiu, e a correção honesta começa com os dados.
Palavras e símbolos nesta lição
- embedding
- a linha de números aprendidos que representa um símbolo
- window
- quantas palavras de cada lado contam como companhia de uma palavra
- PPMI
- com que frequência duas palavras se encontram a mais do que o acaso daria, com negativos definidos como 0
- toy mundo
- a texto inventado com estrutura plantada, então as respostas certas são conhecidas
- skew
- a padrão desequilibrado nos dados que os vetores copiam
Escreva gender_direction(X) e position(X, word, g). Ambos funcionam em vetores unitários: divida o vetor de cada palavra pelo seu comprimento primeiro, depois pegue as quatro diferenças (queen menos king, woman menos man, princess menos prince, girl menos boy), some elas e ajuste a soma para comprimento 1. Uma posição é o vetor unitário da palavra pontuado com g. Preencha pos: skew (0.0 e 0.4) para um dicionário das posições das quatro tarefas, usando vetores de contagem com a frase inteira como a janela. Depois escreva remove(x, g) que remove a componente ao longo de g.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.