Programma Les 156 van 250 · Bouw een RAG Pipeline
Bouw een RAG Pipeline

Een kleine Vector Store

Zodra een document is opgedeeld in chunks en elke chunk is omgezet in een vector, heb je ergens een plek nodig om die vectoren op te slaan en een manier om te vragen "welke opgeslagen vectoren lijken het meest op deze query?". Dat is een vector store. Pinecone, Chroma, FAISS en pgvector zijn productieversies van dit idee, maar de kern is klein genoeg om met de hand te bouwen. Het eenmaal bouwen betekent dat je begrijpt wat die diensten echt doen.

De retrieval metric is cosine similarity: de cosinus van de hoek tussen twee vectoren, a . b / (|a| |b|). Het beloont vectoren die in dezelfde richting wijzen en negeert hun lengte, wat je wilt voor tekst, waar een lange passage en een korte passage over hetzelfde kunnen gaan. Een score dicht bij 1 betekent "zeer vergelijkbare richting"; dicht bij 0 betekent "niet gerelateerd".

Je bouwt een class zodat de store geheugen heeft tussen calls. De gate die deze lessen beschermt stubt geen class methods, dus de safeguard hier is dat je search het correct nearest-neighbour order moet retourneren voor verschillende queries: alleen echte cosine wiskunde krijgt ze allemaal goed.

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

Wat je moet bouwen. Implementeer class VectorStore met:

  • add(id, text, vector) sla de id, de tekst en de vector op (sla de vector op als een numpy array van floats).
  • __len__ dus len(store) geeft terug hoeveel items er zijn opgeslagen.
  • an ids attribuut (een lijst) zodat aanroepers kunnen zien wat er is toegevoegd.
  • search(query_vec, k) geeft de top-k dichtstbijzijnde buren terug als een lijst van (id, similarity) tuples gesorteerd op gelijkenis aflopend, lengte beperkt tot k.

Gebruik numpy.argsort of een gewone sort op de scores. Druk op Run om een paar gelabelde vectoren toe te voegen en zie welke een query als eerste ophaalt.

Jij bent aan de beurt

Implementeer class VectorStore met add(id, text, vector) (sla id, text en de vector op als een numpy float array), __len__ die het aantal items retourneert, een publieke ids list, en search(query_vec, k) die de top-k (id, similarity) tuples retourneert op basis van cosine similarity, het hoogste eerst, beperkt tot k. Een nulvector moet 0.0 scoren en mag niet crashen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.