Intuição de Embeddings (Mock Embedder Determinístico)
Bag-of-words tem um ponto cego fatal: "dog" e "puppy" são palavras diferentes, então seus vetores de contagem não compartilham nada e seu cosseno é 0, embora eles signifiquem quase a mesma coisa. Os reais embeddings corrigem isso colocando palavras (ou frases inteiras) em um espaço vetorial onde coisas usadas de formas similares ficam próximas uma da outra. A ideia central é a distributional hypothesis: uma palavra é conhecida pela companhia que ela mantém. Palavras que aparecem nos mesmos contextos recebem vetores similares.
Embeddings de produção vêm de uma rede neural treinada (sentence-transformers) ou de uma API hospedada. Não podemos rodar essas aqui: não há GPU nem rede nesta sandbox. Então você vai construir um mock embedder determinístico que captura a geometria da coisa real sem os pesos treinados. Ele é honesto sobre seus limites e perfeito para aprender o mecanismo.
O truque é um vetor de co-ocorrência. Dado um pequeno corpus curado, o embedding de uma palavra é uma contagem de quais outras palavras aparecem nos mesmos documentos que ela. Se dog e puppy ambos acompanham park, runs e nap, seus vetores de contexto se alinham e o cosseno é alto. invoice acompanha pay e due em vez disso, então ele aponta para outro lugar.
No corpus enviado com esta lição, o retorno é concreto:
cosine(embed("dog"), embed("puppy")) # high, around 0.9
cosine(embed("dog"), embed("invoice")) # low, around 0.37Essa desigualdade, cosine(dog, puppy) > cosine(dog, invoice), é o ponto principal de embeddings expressos em uma linha.
Para contraste, é assim que uma chamada real se parece (ela NÃO vai rodar aqui, é mostrada apenas para contexto):
# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog") # 384-dim learned vectorBuild embed(word, corpus, vocab) que retorna o vetor de co-ocorrência para uma palavra: uma lista de comprimento fixo (um espaço por palavra do vocabulário) onde o espaço j conta quantas vezes a palavra do vocabulário j co-ocorre com a palavra alvo em todos os documentos do corpus que contêm a palavra alvo. Não conte a palavra alvo contra ela mesma. A mesma palavra sempre retorna o mesmo vetor.
Escreva embed(word, corpus, vocab), um mock embedder determinístico. Para a palavra dada, percorra cada documento em corpus (cada um uma string em minúsculas). Nos documentos que contêm a palavra, conte as outras palavras (pule a própria palavra alvo) em um vetor do tamanho do vocabulário, retornado como uma lista na ordem vocab. O resultado é um vetor de contexto de coocorrência: palavras usadas em contextos similares recebem vetores similares, assim no corpus da lição cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). A mesma palavra sempre gera o mesmo vetor, e o comprimento sempre é igual a len(vocab). Mantenha o CORPUS e o VOCAB do iniciante como estão: a verificação os lê.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.