Conteúdo do curso Lição 156 de 250 · Construa um pipeline de RAG
Construa um pipeline de RAG

Um pequeno banco vetorial

Depois que um documento é dividido em chunks e cada chunk vira um vetor, você precisa de um lugar para guardar esses vetores e de um jeito de perguntar "quais vetores guardados apontam mais parecido com esta consulta?". Isso é um banco vetorial. Pinecone, Chroma, FAISS e pgvector são versões de produção dessa ideia, mas o núcleo é pequeno o bastante para construir à mão, e construí-lo uma vez significa entender o que esses serviços realmente fazem.

A métrica de recuperação é a similaridade de cosseno: o cosseno do ângulo entre dois vetores, a . b / (|a| |b|). Ela recompensa vetores que apontam na mesma direção e ignora o comprimento deles, que é o que você quer para texto, em que um trecho longo e um curto podem falar da mesma coisa. Uma pontuação perto de 1 significa "direção muito parecida"; perto de 0 significa "sem relação".

Você vai construir uma classe para que o banco tenha memória entre as chamadas. O portão que protege estas lições não simula métodos de classe, então a proteção aqui é que seu search precisa retornar a ordem correta de vizinhos mais próximos para várias consultas diferentes: só a matemática de cosseno de verdade acerta todas.

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

O que construir. Implemente class VectorStore com:

  • add(id, text, vector), que guarda o id, o texto e o vetor (guarde o vetor como um array de floats do numpy).
  • __len__, para que len(store) retorne quantos itens estão guardados.
  • um atributo ids (uma lista), para que quem chama possa ver o que foi adicionado.
  • search(query_vec, k), que retorna os k vizinhos mais próximos como uma lista de tuplas (id, similarity) ordenada por similaridade decrescente, com tamanho limitado a k.

Use numpy.argsort ou uma ordenação simples das pontuações. Clique em Run para adicionar alguns vetores rotulados e ver quais uma consulta traz primeiro.

Sua vez

Implemente class VectorStore com add(id, text, vector) (guarde o id, o texto e o vetor como um array float do numpy), __len__ retornando a quantidade de itens, uma lista pública ids e search(query_vec, k), que retorna as k melhores tuplas (id, similarity) por similaridade de cosseno, da maior para a menor, limitadas a k. Um vetor zero precisa marcar 0.0, não quebrar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.