Um pequeno banco vetorial
Depois que um documento é dividido em chunks e cada chunk vira um vetor, você precisa de um lugar para guardar esses vetores e de um jeito de perguntar "quais vetores guardados apontam mais parecido com esta consulta?". Isso é um banco vetorial. Pinecone, Chroma, FAISS e pgvector são versões de produção dessa ideia, mas o núcleo é pequeno o bastante para construir à mão, e construí-lo uma vez significa entender o que esses serviços realmente fazem.
A métrica de recuperação é a similaridade de cosseno: o cosseno do ângulo entre dois vetores, a . b / (|a| |b|). Ela recompensa vetores que apontam na mesma direção e ignora o comprimento deles, que é o que você quer para texto, em que um trecho longo e um curto podem falar da mesma coisa. Uma pontuação perto de 1 significa "direção muito parecida"; perto de 0 significa "sem relação".
Você vai construir uma classe para que o banco tenha memória entre as chamadas. O portão que protege estas lições não simula métodos de classe, então a proteção aqui é que seu search precisa retornar a ordem correta de vizinhos mais próximos para várias consultas diferentes: só a matemática de cosseno de verdade acerta todas.
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]O que construir. Implemente class VectorStore com:
add(id, text, vector), que guarda o id, o texto e o vetor (guarde o vetor como um array de floats do numpy).__len__, para quelen(store)retorne quantos itens estão guardados.- um atributo
ids(uma lista), para que quem chama possa ver o que foi adicionado. search(query_vec, k), que retorna os k vizinhos mais próximos como uma lista de tuplas(id, similarity)ordenada por similaridade decrescente, com tamanho limitado ak.
Use numpy.argsort ou uma ordenação simples das pontuações. Clique em Run para adicionar alguns vetores rotulados e ver quais uma consulta traz primeiro.
Implemente class VectorStore com add(id, text, vector) (guarde o id, o texto e o vetor como um array float do numpy), __len__ retornando a quantidade de itens, uma lista pública ids e search(query_vec, k), que retorna as k melhores tuplas (id, similarity) por similaridade de cosseno, da maior para a menor, limitadas a k. Um vetor zero precisa marcar 0.0, não quebrar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.