Conteúdo do curso Lição 145 de 250 · Embeddings e Busca Semântica do Zero
Embeddings e Busca Semântica do Zero

Intuição de Embeddings (Mock Embedder Determinístico)

Bag-of-words tem um ponto cego fatal: "dog" e "puppy" são palavras diferentes, então seus vetores de contagem não compartilham nada e seu cosseno é 0, embora eles signifiquem quase a mesma coisa. Os reais embeddings corrigem isso colocando palavras (ou frases inteiras) em um espaço vetorial onde coisas usadas de formas similares ficam próximas uma da outra. A ideia central é a distributional hypothesis: uma palavra é conhecida pela companhia que ela mantém. Palavras que aparecem nos mesmos contextos recebem vetores similares.

Embeddings de produção vêm de uma rede neural treinada (sentence-transformers) ou de uma API hospedada. Não podemos rodar essas aqui: não há GPU nem rede nesta sandbox. Então você vai construir um mock embedder determinístico que captura a geometria da coisa real sem os pesos treinados. Ele é honesto sobre seus limites e perfeito para aprender o mecanismo.

O truque é um vetor de co-ocorrência. Dado um pequeno corpus curado, o embedding de uma palavra é uma contagem de quais outras palavras aparecem nos mesmos documentos que ela. Se dog e puppy ambos acompanham park, runs e nap, seus vetores de contexto se alinham e o cosseno é alto. invoice acompanha pay e due em vez disso, então ele aponta para outro lugar.

No corpus enviado com esta lição, o retorno é concreto:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Essa desigualdade, cosine(dog, puppy) > cosine(dog, invoice), é o ponto principal de embeddings expressos em uma linha.

Para contraste, é assim que uma chamada real se parece (ela NÃO vai rodar aqui, é mostrada apenas para contexto):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Build embed(word, corpus, vocab) que retorna o vetor de co-ocorrência para uma palavra: uma lista de comprimento fixo (um espaço por palavra do vocabulário) onde o espaço j conta quantas vezes a palavra do vocabulário j co-ocorre com a palavra alvo em todos os documentos do corpus que contêm a palavra alvo. Não conte a palavra alvo contra ela mesma. A mesma palavra sempre retorna o mesmo vetor.

Sua vez

Escreva embed(word, corpus, vocab), um mock embedder determinístico. Para a palavra dada, percorra cada documento em corpus (cada um uma string em minúsculas). Nos documentos que contêm a palavra, conte as outras palavras (pule a própria palavra alvo) em um vetor do tamanho do vocabulário, retornado como uma lista na ordem vocab. O resultado é um vetor de contexto de coocorrência: palavras usadas em contextos similares recebem vetores similares, assim no corpus da lição cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). A mesma palavra sempre gera o mesmo vetor, e o comprimento sempre é igual a len(vocab). Mantenha o CORPUS e o VOCAB do iniciante como estão: a verificação os lê.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.