Müfredat 250 dersinden 156. · Bir RAG Pipeline oluştur.
Bir RAG Pipeline oluştur.

Küçük Bir Vektör Deposu

Bir belge parçalara ayrıldığında ve her parça bir vektöre dönüştüğünde, bu vektörleri saklayacak bir yere ve "hangi saklanan vektörler bu sorguya en çok benziyor?" diye soracak bir yola ihtiyacın olur. Bu bir vector store'dir. Pinecone, Chroma, FAISS ve pgvector bu fikrin üretim versiyonlarıdır, ancak çekirdek kısmı elle inşa edilecek kadar küçüktür ve onu bir kez inşa etmek, bu servislerin aslında ne yaptığını anlaman demektir.

Getirme metriği cosine similarity: iki vektör arasındaki açının kosinüsüdür a . b / (|a| |b|). Aynı yöne bakan vektörleri ödüllendirir ve uzunluklarını görmezden gelir. Bu, uzun ve kısa bir pasajın aynı konu hakkında olabildiği metinler için istediğin şeydir. 1'e yakın bir puan "çok benzer yön" anlamına gelir; 0'a yakın bir puan ise "alakasız" demektir.

Mağazanın çağrılar arasında hafızası olması için bir class oluşturacaksın. Bu dersleri koruyan kapı class metodlarını stublamaz, bu yüzden buradaki önlem search değerinin birkaç farklı sorgu için doğru en yakın komşu sırasını döndürmesidir: sadece gerçek kosinüs matematiği hepsini doğru yapar.

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

Ne yapacağın. Şunu uygula:class VectorStore ile:

  • add(id, text, vector) id, metin ve vektörü saklıyor (vektörü float tipinde bir numpy array olarak sakla).
  • __len__ öyleyse len(store) kaç tane öğein saklandığını döndürür.
  • an ids özniteliğini (bir liste) ekle ki çağıranlar neyin eklendiğini görebilsin.
  • search(query_vec, k) benzerliğe göre azalan sırada sıralanmış, uzunluğu k ile sınırlandırılmış bir (id, similarity) tuple listesi olarak en yakın k komşuyu döndürür.

Skorlar üzerinde numpy.argsort veya düz bir sıralama kullan. Birkaç etiketli vektör eklemek ve bir sorgunun hangilerini önce getirdiğini görmek için Run tuşuna bas.

Senin sıran

class VectorStore'yi add(id, text, vector) ile uygula (id, text ve vektörü bir numpy float dizisi olarak sakla), öğe sayısını döndüren __len__, halka açık bir ids listesi ve kosinüs benzerliğine göre en yüksekten başlayarak en iyi k (id, similarity) demetini k ile sınırlı şekilde döndüren search(query_vec, k) ekle. Sıfır vektörü çökmemeli, 0.0 puan almalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.