Kurrikulum Leson 156 van 250 · Bou 'n RAG Pipeline
Bou 'n RAG Pipeline

'n Klein Vector Store

Sodra 'n dokument in stukke verdeel is en elke stuk in 'n vektor verander word, het jy 'n plek nodig om daardie vektore te hou en 'n manier om te vra "watter gestoorde vektore stem die meeste ooreen met hierdie query?" Dit is 'n vector store. Pinecone, Chroma, FAISS, en pgvector is produksieversies van hierdie idee, maar die kern is klein genoeg om by hand te bou, en om dit een keer te bou beteken jy verstaan wat daardie dienste werklik doen.

Die ophaalmetriek is cosine similarity: die kosinus van die hoek tussen twee vektore, a . b / (|a| |b|). Dit beloon vektore wat in dieselfde rigting wys en ignoreer hulle lengte, wat is wat jy vir teks wil hê, waar 'n lang gedeelte en 'n kort een oor dieselfde ding kan gaan. 'n Telling naby 1 beteken "baie soortgelyke rigting"; naby 0 beteken "onverwant".

Jy gaan 'n class bou sodat die winkel geheue tussen oproepe het. Die hek wat hierdie lesse beskerm, stub nie class methods nie, so die veiligheidsmaatregel hier is dat jou search die correct nearest-neighbour order vir verskeie verskillende navrae moet teruggee. Slegs regte cosine wiskunde kry al hulle een korrek.

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

Wat om te bou. Implementeer class VectorStore met:

  • add(id, text, vector) stoor die id, die teks, en die vektor (stoor die vektor as 'n numpy array van floats).
  • __len__ so len(store) gee terug hoeveel items gestoor is.
  • an ids attribute ( 'n lys) sodat roepers kan sien wat bygevoeg is.
  • search(query_vec, k) gee die top-k naaste bure terug as 'n lys van (id, similarity) tuples gesorteer volgens ooreenstemming afnemend, lengte beperk tot k.

Gebruik numpy.argsort of 'n eenvoudige sorteer op die punte. Druk Run om 'n paar gelabelde vektore by te voeg en sien watter een 'n query eerste terugtrek.

Jou beurt

Implementeer class VectorStore met add(id, text, vector) (stoor id, teks, en die vektor as 'n numpy float array), __len__ wat die itemtelling teruggee, 'n publieke ids lys, en search(query_vec, k) wat die top-k (id, similarity) tuples volgens cosinus-ooreenstemming teruggee, hoogste eerste, beperk tot k. 'n Nulvektor moet 0.0 tel, nie vasloop nie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.