Conteúdo do curso Lição 155 de 250 · Construa um pipeline de RAG
Construa um pipeline de RAG

Faça o embedding dos chunks

Você tem chunks de texto. O recuperador, porém, compara vetores, não palavras, então a etapa que falta é o embedding: transformar cada chunk em uma lista de números de tamanho fixo, para que textos com conteúdo parecido caiam em coordenadas parecidas. Este é o "embed" prometido no pipeline (chunk -> embed -> store -> retrieve -> prompt), e é ele que alimenta VectorStore.add(id, text, vector) na próxima lição.

Sistemas em produção chamam um modelo neural de embedding (OpenAI, Cohere, um sentence-transformer) pela rede, mas o contrato é idêntico, e você pode construir um embedder real e determinístico offline para aprendê-lo: um vetor bag-of-words. Fixe um vocab (as palavras que interessam) e represente um texto pelo número de vezes que cada palavra do vocabulário aparece nele.

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

Mais uma etapa os torna úteis para busca por cosseno: normalize pela norma L2 o vetor (divida-o pelo próprio comprimento, np.linalg.norm). Depois disso todo vetor tem comprimento 1, então a similaridade de cosseno vira um simples produto escalar e chunks longos param de dominar os curtos só por terem mais palavras. Um chunk que não contém nenhuma palavra do vocabulário não tem o que normalizar, então deixe esse vetor todo zero como está (nunca divida por zero).

Construa duas funções.

  • build_vocab(chunks) -> a lista ordenada das palavras únicas de todos os chunks. Tokenize cada chunk com text.lower().split() (minúsculas, dividindo nos espaços).
  • embed(text, vocab) -> um array float do numpy de tamanho len(vocab): a contagem de cada palavra do vocabulário em text (mesmo tokenizador), depois normalizada pela norma L2. Se as contagens forem todas zero, retorne o vetor zero sem mudança.

Clique em Run para fazer o embedding de alguns chunks e confirmar que textos relacionados apontam para o mesmo lado.

Sua vez

Escreva build_vocab(chunks), que retorna as palavras únicas ordenadas de todos os chunks (tokenize com text.lower().split()), e embed(text, vocab), que retorna um array float do numpy de tamanho len(vocab) com a contagem de cada palavra do vocabulário em text (mesmo tokenizador), normalizado pela norma L2 com np.linalg.norm. Se toda contagem for zero, retorne o vetor todo zero sem mudança (não divida por zero).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.