chunks को embed करें
आपके पास टेक्स्ट के chunks हैं। पर retriever शब्दों की नहीं, vectors की तुलना करता है, इसलिए छूटा क़दम embedding है: हर chunk को संख्याओं की एक तय लंबाई वाली सूची में बदलें ताकि मिलती-जुलती सामग्री वाला टेक्स्ट मिलते-जुलते निर्देशांकों पर आए। यही pipeline (chunk -> embed -> store -> retrieve -> prompt) में वादा किया "embed" है, और यही अगले पाठ के VectorStore.add(id, text, vector) को खिलाता है।
production सिस्टम network पर एक neural embedding मॉडल (OpenAI, Cohere, एक sentence-transformer) बुलाते हैं, पर अनुबंध एक जैसा है और आप इसे सीखने के लिए offline एक असली, निश्चित embedder बना सकते हैं: एक bag-of-words vector। एक vocab तय करें (जिन शब्दों की आपको परवाह है), फिर किसी टेक्स्ट को इससे दर्शाएँ कि उसमें हर vocab शब्द कितनी बार आता है।
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)एक और क़दम इन्हें cosine search के लायक बनाता है: vector को L2-normalize करें (उसे उसकी अपनी लंबाई, np.linalg.norm, से भाग दें)। उसके बाद हर vector की लंबाई 1 होती है, इसलिए cosine similarity एक सादा dot product बन जाती है और लंबे chunks बस ज़्यादा शब्द होने के लिए छोटों पर हावी होना बंद कर देते हैं। जिस chunk में कोई vocab शब्द नहीं उसमें normalize करने को कुछ नहीं, इसलिए वह सब-शून्य vector जैसा है वैसा छोड़ दें (कभी शून्य से भाग न दें)।
दो फ़ंक्शन बनाएँ।
build_vocab(chunks)-> सभी chunks के अनोखे शब्दों की sort की हुई सूची। हर chunk कोtext.lower().split()से tokenize करें (छोटे अक्षर, ख़ाली जगह पर split)।embed(text, vocab)->len(vocab)लंबाई का numpy float ऐरे:textमें हर vocab शब्द की गिनती (वही tokenizer), फिर L2-normalize किया। अगर गिनतियाँ सब शून्य हैं, तो शून्य vector बिना बदले लौटाएँ।
कुछ chunks embed करने और पक्का करने के लिए कि संबंधित टेक्स्ट एक ही ओर इशारा करता है Run दबाएँ।
build_vocab(chunks) लिखें जो सभी chunks के अनोखे शब्द sort करके लौटाए (text.lower().split() से tokenize करें), और embed(text, vocab) जो len(vocab) लंबाई का numpy float ऐरे लौटाए जिसमें text में हर vocab शब्द की गिनती हो (वही tokenizer), np.linalg.norm से L2-normalize किया। अगर हर गिनती शून्य है, तो सब-शून्य vector बिना बदले लौटाएँ (शून्य से भाग न दें)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।