Een kleine Vector Store
Zodra een document is opgedeeld in chunks en elke chunk is omgezet in een vector, heb je ergens een plek nodig om die vectoren op te slaan en een manier om te vragen "welke opgeslagen vectoren lijken het meest op deze query?". Dat is een vector store. Pinecone, Chroma, FAISS en pgvector zijn productieversies van dit idee, maar de kern is klein genoeg om met de hand te bouwen. Het eenmaal bouwen betekent dat je begrijpt wat die diensten echt doen.
De retrieval metric is cosine similarity: de cosinus van de hoek tussen twee vectoren, a . b / (|a| |b|). Het beloont vectoren die in dezelfde richting wijzen en negeert hun lengte, wat je wilt voor tekst, waar een lange passage en een korte passage over hetzelfde kunnen gaan. Een score dicht bij 1 betekent "zeer vergelijkbare richting"; dicht bij 0 betekent "niet gerelateerd".
Je bouwt een class zodat de store geheugen heeft tussen calls. De gate die deze lessen beschermt stubt geen class methods, dus de safeguard hier is dat je search het correct nearest-neighbour order moet retourneren voor verschillende queries: alleen echte cosine wiskunde krijgt ze allemaal goed.
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]Wat je moet bouwen. Implementeer class VectorStore met:
add(id, text, vector)sla de id, de tekst en de vector op (sla de vector op als een numpy array van floats).__len__duslen(store)geeft terug hoeveel items er zijn opgeslagen.- an
idsattribuut (een lijst) zodat aanroepers kunnen zien wat er is toegevoegd. search(query_vec, k)geeft de top-k dichtstbijzijnde buren terug als een lijst van(id, similarity)tuples gesorteerd op gelijkenis aflopend, lengte beperkt totk.
Gebruik numpy.argsort of een gewone sort op de scores. Druk op Run om een paar gelabelde vectoren toe te voegen en zie welke een query als eerste ophaalt.
Implementeer class VectorStore met add(id, text, vector) (sla id, text en de vector op als een numpy float array), __len__ die het aantal items retourneert, een publieke ids list, en search(query_vec, k) die de top-k (id, similarity) tuples retourneert op basis van cosine similarity, het hoogste eerst, beperkt tot k. Een nulvector moet 0.0 scoren en mag niet crashen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.