Faça o embedding dos chunks
Você tem chunks de texto. O recuperador, porém, compara vetores, não palavras, então a etapa que falta é o embedding: transformar cada chunk em uma lista de números de tamanho fixo, para que textos com conteúdo parecido caiam em coordenadas parecidas. Este é o "embed" prometido no pipeline (chunk -> embed -> store -> retrieve -> prompt), e é ele que alimenta VectorStore.add(id, text, vector) na próxima lição.
Sistemas em produção chamam um modelo neural de embedding (OpenAI, Cohere, um sentence-transformer) pela rede, mas o contrato é idêntico, e você pode construir um embedder real e determinístico offline para aprendê-lo: um vetor bag-of-words. Fixe um vocab (as palavras que interessam) e represente um texto pelo número de vezes que cada palavra do vocabulário aparece nele.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)Mais uma etapa os torna úteis para busca por cosseno: normalize pela norma L2 o vetor (divida-o pelo próprio comprimento, np.linalg.norm). Depois disso todo vetor tem comprimento 1, então a similaridade de cosseno vira um simples produto escalar e chunks longos param de dominar os curtos só por terem mais palavras. Um chunk que não contém nenhuma palavra do vocabulário não tem o que normalizar, então deixe esse vetor todo zero como está (nunca divida por zero).
Construa duas funções.
build_vocab(chunks)-> a lista ordenada das palavras únicas de todos os chunks. Tokenize cada chunk comtext.lower().split()(minúsculas, dividindo nos espaços).embed(text, vocab)-> um array float do numpy de tamanholen(vocab): a contagem de cada palavra do vocabulário emtext(mesmo tokenizador), depois normalizada pela norma L2. Se as contagens forem todas zero, retorne o vetor zero sem mudança.
Clique em Run para fazer o embedding de alguns chunks e confirmar que textos relacionados apontam para o mesmo lado.
Escreva build_vocab(chunks), que retorna as palavras únicas ordenadas de todos os chunks (tokenize com text.lower().split()), e embed(text, vocab), que retorna um array float do numpy de tamanho len(vocab) com a contagem de cada palavra do vocabulário em text (mesmo tokenizador), normalizado pela norma L2 com np.linalg.norm. Se toda contagem for zero, retorne o vetor todo zero sem mudança (não divida por zero).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.