Silabus Pelajaran 156 dari 250 · Bangun Pipeline RAG
Bangun Pipeline RAG

Penyimpanan Vektor Kecil

Setelah dokumen di-chunk dan setiap chunk diubah menjadi vektor, kamu butuh tempat untuk menyimpan vektor tersebut dan cara untuk bertanya "vektor mana yang paling mirip dengan query ini?" Itu adalah vector store. Pinecone, Chroma, FAISS, dan pgvector adalah versi produksi dari ide ini, tapi intinya cukup kecil untuk dibangun sendiri, dan membangunnya sekali berarti kamu paham apa yang sebenarnya dilakukan layanan tersebut.

Metrik pengambilannya adalah cosine similarity: kosinus dari sudut antara dua vektor, a . b / (|a| |b|). Ini memberi nilai pada vektor yang mengarah ke arah yang sama dan mengabaikan panjangnya, yang kamu butuhkan untuk teks, di mana paragraf panjang dan pendek bisa membahas hal yang sama. Skor mendekati 1 berarti "arah sangat mirip"; mendekati 0 berarti "tidak berhubungan".

Kamu akan membangun sebuah class agar toko memiliki memori antar panggilan. Gerbang yang melindungi pelajaran ini tidak melakukan stub pada method class, jadi pengamannya di sini adalah search kamu harus mengembalikan urutan tetangga terdekat yang benar untuk beberapa kueri yang berbeda: hanya perhitungan kosinus asli yang bisa menjawab semuanya dengan benar.

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

Apa yang akan dibangun. Implementasi class VectorStore dengan:

  • add(id, text, vector) menyimpan id, teks, dan vektor (simpan vektor sebagai numpy array dari floats).
  • __len__ jadi len(store) mengembalikan berapa banyak item yang disimpan.
  • an atribut ids (sebuah list) supaya pemanggil bisa melihat apa yang ditambahkan.
  • search(query_vec, k) mengembalikan k tetangga terdekat sebagai daftar (id, similarity) tuple yang diurutkan berdasarkan kemiripan menurun, panjang dibatasi k.

Gunakan numpy.argsort atau sort biasa pada skor. Tekan Run untuk menambah beberapa vektor berlabel dan lihat mana yang ditarik pertama oleh query.

Giliranku

Implement class VectorStore dengan add(id, text, vector) (simpan id, text, dan vektor sebagai numpy float array), __len__ mengembalikan jumlah item, daftar ids publik, dan search(query_vec, k) mengembalikan top-kZ (id, similarity) tuple berdasarkan cosine similarity, tertinggi pertama, dibatasi k. Vektor nol harus bernilai 0.0, jangan sampai crash.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.