Küçük Bir Vektör Deposu
Bir belge parçalara ayrıldığında ve her parça bir vektöre dönüştüğünde, bu vektörleri saklayacak bir yere ve "hangi saklanan vektörler bu sorguya en çok benziyor?" diye soracak bir yola ihtiyacın olur. Bu bir vector store'dir. Pinecone, Chroma, FAISS ve pgvector bu fikrin üretim versiyonlarıdır, ancak çekirdek kısmı elle inşa edilecek kadar küçüktür ve onu bir kez inşa etmek, bu servislerin aslında ne yaptığını anlaman demektir.
Getirme metriği cosine similarity: iki vektör arasındaki açının kosinüsüdür a . b / (|a| |b|). Aynı yöne bakan vektörleri ödüllendirir ve uzunluklarını görmezden gelir. Bu, uzun ve kısa bir pasajın aynı konu hakkında olabildiği metinler için istediğin şeydir. 1'e yakın bir puan "çok benzer yön" anlamına gelir; 0'a yakın bir puan ise "alakasız" demektir.
Mağazanın çağrılar arasında hafızası olması için bir class oluşturacaksın. Bu dersleri koruyan kapı class metodlarını stublamaz, bu yüzden buradaki önlem search değerinin birkaç farklı sorgu için doğru en yakın komşu sırasını döndürmesidir: sadece gerçek kosinüs matematiği hepsini doğru yapar.
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]Ne yapacağın. Şunu uygula:class VectorStore ile:
add(id, text, vector)id, metin ve vektörü saklıyor (vektörü float tipinde bir numpy array olarak sakla).__len__öyleyselen(store)kaç tane öğein saklandığını döndürür.- an
idsözniteliğini (bir liste) ekle ki çağıranlar neyin eklendiğini görebilsin. search(query_vec, k)benzerliğe göre azalan sırada sıralanmış, uzunluğukile sınırlandırılmış bir(id, similarity)tuple listesi olarak en yakın k komşuyu döndürür.
Skorlar üzerinde numpy.argsort veya düz bir sıralama kullan. Birkaç etiketli vektör eklemek ve bir sorgunun hangilerini önce getirdiğini görmek için Run tuşuna bas.
class VectorStore'yi add(id, text, vector) ile uygula (id, text ve vektörü bir numpy float dizisi olarak sakla), öğe sayısını döndüren __len__, halka açık bir ids listesi ve kosinüs benzerliğine göre en yüksekten başlayarak en iyi k (id, similarity) demetini k ile sınırlı şekilde döndüren search(query_vec, k) ekle. Sıfır vektörü çökmemeli, 0.0 puan almalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.