سرفصل‌ها درس 156 از 250 · ساخت یک خط لوله RAG
ساخت یک خط لوله RAG

یک فروشگاه کوچک وکتور

وقتی یک سند به بخش‌های کوچک تقسیم می‌شود و هر بخش به یک بردار تبدیل می‌شود، باید جایی برای نگهداری آن بردارها و روشی برای پرسیدن «کدام بردارهای ذخیره‌شده بیشترین شباهت را به این پرس‌وجو دارند؟» داشته باشید. این همان انبار بردار است. Pinecone، Chroma، FAISS و pgvector نسخه‌های تولیدی این ایده هستند، اما هسته آن به اندازه کافی کوچک است که بتوان آن را به‌صورت دستی ساخت و ساختن آن یک‌بار به این معناست که شما متوجه می‌شوید آن سرویس‌ها در واقع چه کاری انجام می‌دهند.

مقیاس بازیابی شباهت کسینوسی است: کسینوس زاویه بین دو بردار، a . b / (|a| |b|). این معیار، بردارهایی را که در یک جهت قرار دارند پاداش می‌دهد و طول آن‌ها را نادیده می‌گیرد، که دقیقاً همان چیزی است که برای متن می‌خواهید، جایی که یک متن طولانی و یک متن کوتاه می‌توانند درباره یک موضوع باشند. نمره‌ای نزدیک به ۱ به معنای «جهت بسیار مشابه» و نزدیک به ۰ به معنای «بی‌ارتباط» است.

شما یک کلاس خواهید ساخت تا فروشگاه بین فراخوانی‌ها حافظه داشته باشد. دروازه‌ای که از این درس‌ها محافظت می‌کند، متدهای کلاس را stub نمی‌کند، بنابراین تضمین ایمنی در اینجا این است که ... search باید ترتیب صحیح همسایه نزدیک را برای چندین پرس‌وجوی مختلف بازگرداند: تنها محاسبه کسینوس واقعی است که همه آن‌ها را به درستی انجام می‌دهد.

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

چه چیزی باید ساخته شود. پیاده‌سازی کنید class VectorStore با:

  • add(id, text, vector) ذخیره کردن id، متن و بردار (بردار را به صورت آرایه numpy از اعداد اعشاری ذخیره کنید).
  • __len__ پس len(store) تعداد آیتم‌های ذخیره‌شده را برمی‌گرداند.
  • یک ids ویژگی (یک لیست) تا فراخوان‌ها بتوانند ببینند چه چیزی اضافه شده است.
  • search(query_vec, k) بازگرداندن نزدیک‌ترین همسایه‌های top-k به صورت یک لیست از (id, similarity) تُپل‌ها مرتب‌شده بر اساس شباهت نزولی، با طول محدود به k.

استفاده کنید numpy.argsort یا مرتب‌سازی ساده بر اساس امتیازها. دکمه Run را فشار دهید تا چند بردار برچسب‌خورده اضافه شود و ببینید کدام یک را پرس‌وجو اول بازمی‌گرداند.

نوبت شما

پیاده‌سازی class VectorStore با add(id, text, vector) (شناسه فروشگاه، متن و بردار به صورت آرایهٔ float در numpy)، __len__ بازگرداندن تعداد آیتم‌ها، یک public ids لیست، و search(query_vec, k) بازگرداندن top-k (id, similarity) تُپل‌ها را بر اساس شباهت کسینوس، از بالاترین به پایین‌ترین، با سقف محدود به k. یک بردار صفر باید نمره 0.0 بگیرد، نه اینکه کرش کند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.