Une toute petite base vectorielle
Une fois un document découpé et chaque morceau transformé en vecteur, il te faut un endroit où garder ces vecteurs et un moyen de demander « quels vecteurs stockés pointent le plus comme cette requête ? ». C'est une base vectorielle (vector store). Pinecone, Chroma, FAISS et pgvector en sont des versions de production, mais le cœur est assez petit pour être construit à la main, et le construire une fois, c'est comprendre ce que font vraiment ces services.
La métrique de recherche est la similarité cosinus : le cosinus de l'angle entre deux vecteurs, a . b / (|a| |b|). Elle récompense les vecteurs qui pointent dans le même sens et ignore leur longueur, ce qu'on veut pour du texte, où un long passage et un court peuvent parler de la même chose. Un score proche de 1 veut dire « sens très proche » ; proche de 0, « sans rapport ».
Tu vas construire une classe pour que la base ait une mémoire entre les appels. La barrière qui protège ces leçons ne simule pas les méthodes de classe, donc la protection ici, c'est que ton search doit renvoyer le bon ordre des plus proches voisins pour plusieurs requêtes différentes : seuls de vrais calculs de cosinus les réussissent toutes.
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]À construire. Code class VectorStore avec :
add(id, text, vector)qui range l'id, le texte et le vecteur (range le vecteur comme un tableau numpy de floats).__len__pour quelen(store)renvoie le nombre d'éléments stockés.- un attribut
ids(une liste) pour que les appelants voient ce qui a été ajouté. search(query_vec, k)qui renvoie les k plus proches voisins sous forme de liste de tuples(id, similarity)triés par similarité décroissante, de longueur au plusk.
Utilise numpy.argsort ou un simple tri sur les scores. Appuie sur Run pour ajouter quelques vecteurs étiquetés et voir lesquels une requête ramène en premier.
Code class VectorStore avec add(id, text, vector) (range l'id, le texte et le vecteur comme un tableau numpy de floats), __len__ qui renvoie le nombre d'éléments, une liste publique ids, et search(query_vec, k) qui renvoie les k meilleurs tuples (id, similarity) selon la similarité cosinus, le plus haut d'abord, au plus k. Un vecteur nul doit obtenir 0.0, sans plantage.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.