Programme Leçon 156 sur 250 · Construire une chaîne RAG
Construire une chaîne RAG

Une toute petite base vectorielle

Une fois un document découpé et chaque morceau transformé en vecteur, il te faut un endroit où garder ces vecteurs et un moyen de demander « quels vecteurs stockés pointent le plus comme cette requête ? ». C'est une base vectorielle (vector store). Pinecone, Chroma, FAISS et pgvector en sont des versions de production, mais le cœur est assez petit pour être construit à la main, et le construire une fois, c'est comprendre ce que font vraiment ces services.

La métrique de recherche est la similarité cosinus : le cosinus de l'angle entre deux vecteurs, a . b / (|a| |b|). Elle récompense les vecteurs qui pointent dans le même sens et ignore leur longueur, ce qu'on veut pour du texte, où un long passage et un court peuvent parler de la même chose. Un score proche de 1 veut dire « sens très proche » ; proche de 0, « sans rapport ».

Tu vas construire une classe pour que la base ait une mémoire entre les appels. La barrière qui protège ces leçons ne simule pas les méthodes de classe, donc la protection ici, c'est que ton search doit renvoyer le bon ordre des plus proches voisins pour plusieurs requêtes différentes : seuls de vrais calculs de cosinus les réussissent toutes.

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

À construire. Code class VectorStore avec :

  • add(id, text, vector) qui range l'id, le texte et le vecteur (range le vecteur comme un tableau numpy de floats).
  • __len__ pour que len(store) renvoie le nombre d'éléments stockés.
  • un attribut ids (une liste) pour que les appelants voient ce qui a été ajouté.
  • search(query_vec, k) qui renvoie les k plus proches voisins sous forme de liste de tuples (id, similarity) triés par similarité décroissante, de longueur au plus k.

Utilise numpy.argsort ou un simple tri sur les scores. Appuie sur Run pour ajouter quelques vecteurs étiquetés et voir lesquels une requête ramène en premier.

À ton tour

Code class VectorStore avec add(id, text, vector) (range l'id, le texte et le vecteur comme un tableau numpy de floats), __len__ qui renvoie le nombre d'éléments, une liste publique ids, et search(query_vec, k) qui renvoie les k meilleurs tuples (id, similarity) selon la similarité cosinus, le plus haut d'abord, au plus k. Un vecteur nul doit obtenir 0.0, sans plantage.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.