पाठ्यक्रम 250 में से पाठ 156 · एक RAG pipeline बनाएँ
एक RAG pipeline बनाएँ

एक छोटा vector store

दस्तावेज़ के chunk हो जाने और हर chunk के vector बनने के बाद, आपको उन vectors को रखने की जगह और यह पूछने का तरीका चाहिए कि "कौन-से रखे vectors इस query जैसी दिशा में सबसे ज़्यादा इशारा करते हैं?" यह एक vector store है। Pinecone, Chroma, FAISS, और pgvector इस विचार के production रूप हैं, पर मूल इतना छोटा है कि हाथ से बन जाए, और इसे एक बार बनाना मतलब आप समझते हैं कि वे सेवाएँ असल में क्या कर रही हैं।

retrieval metric cosine similarity है: दो vectors के बीच के कोण का cosine, a . b / (|a| |b|)। यह एक ही दिशा में इशारा करने वाले vectors को इनाम देता है और उनकी लंबाई नज़रअंदाज़ करता है, जो टेक्स्ट के लिए आप चाहते हैं, जहाँ एक लंबा हिस्सा और एक छोटा एक ही बात के बारे में हो सकते हैं। 1 के पास का score मतलब "बहुत मिलती-जुलती दिशा"; 0 के पास मतलब "असंबंधित"।

आप एक क्लास बनाएँगे ताकि store के पास calls के बीच memory हो। इन पाठों की रक्षा करने वाला द्वार क्लास मेथड का stub नहीं बनाता, इसलिए यहाँ सुरक्षा यह है कि आपके search को कई अलग queries के लिए सही सबसे-पास-पड़ोसी क्रम लौटाना होगा: सिर्फ़ असली cosine गणित ही सब सही करता है।

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

क्या बनाना है। class VectorStore लागू करें जिसमें:

  • add(id, text, vector) जो id, टेक्स्ट, और vector रखे (vector को floats के numpy ऐरे के रूप में रखें)।
  • __len__ ताकि len(store) लौटाए कि कितनी चीज़ें रखी हैं।
  • एक ids attribute (एक सूची) ताकि कॉल करने वाले देख सकें क्या जोड़ा गया।
  • search(query_vec, k) जो top-k सबसे पास के पड़ोसी (id, similarity) tuples की सूची के रूप में लौटाए, similarity के घटते क्रम में sort, लंबाई k तक सीमित।

scores पर numpy.argsort या सादा sort इस्तेमाल करें। कुछ labelled vectors जोड़ने और देखने के लिए कि query पहले कौन-से वापस खींचती है Run दबाएँ।

आपकी बारी

class VectorStore लागू करें जिसमें add(id, text, vector) (id, टेक्स्ट, और vector को numpy float ऐरे के रूप में रखें), item गिनती लौटाने वाला __len__, एक सार्वजनिक ids सूची, और search(query_vec, k) हो जो cosine similarity से top-k (id, similarity) tuples लौटाए, सबसे ऊँचा पहले, k तक सीमित। शून्य vector को 0.0 score करना होगा, क्रैश नहीं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।