Un piccolo archivio di vettori
Una volta che un documento è diviso in pezzi e ogni pezzo è diventato un vettore, ti serve un posto dove tenere quei vettori e un modo per chiedere "quali vettori salvati puntano di più come questa query?". Questo è un archivio di vettori (vector store). Pinecone, Chroma, FAISS e pgvector ne sono le versioni di produzione, ma il nucleo è abbastanza piccolo da costruirlo a mano, e costruirlo una volta significa capire che cosa fanno davvero quei servizi.
La metrica di recupero è la similarità del coseno: il coseno dell'angolo tra due vettori, a . b / (|a| |b|). Premia i vettori che puntano nella stessa direzione e ignora la loro lunghezza, ed è ciò che vuoi per il testo, dove un passaggio lungo e uno corto possono parlare della stessa cosa. Un punteggio vicino a 1 significa "direzione molto simile"; vicino a 0 significa "non c'entra".
Costruirai una classe così l'archivio ha memoria tra una chiamata e l'altra. Il controllo che protegge queste lezioni non sostituisce i metodi delle classi, quindi la garanzia qui è che il tuo search deve restituire il giusto ordine dei vicini più prossimi per diverse query: solo una vera matematica del coseno le azzecca tutte.
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]Che cosa costruire. Implementa class VectorStore con:
add(id, text, vector)che salva l'id, il testo e il vettore (salva il vettore come array numpy di float).__len__cosìlen(store)restituisce quanti elementi sono salvati.- un attributo
ids(una lista) così chi chiama può vedere che cosa è stato aggiunto. search(query_vec, k)che restituisce i primi k vicini più prossimi come lista di tuple(id, similarity)ordinate per similarità decrescente, con lunghezza limitata ak.
Usa numpy.argsort o un semplice ordinamento sui punteggi. Premi Run per aggiungere qualche vettore con etichetta e vedere quali riporta per primi una query.
Implementa class VectorStore con add(id, text, vector) (salva id, testo e il vettore come array numpy di float), __len__ che restituisce il numero di elementi, una lista pubblica ids, e search(query_vec, k) che restituisce le prime k tuple (id, similarity) per similarità del coseno, dalla più alta, limitate a k. Un vettore zero deve ottenere 0.0, non andare in crash.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.