knowledge base का index बनाएँ
अपने मुख्य portfolio निर्माण में स्वागत है: एक ग्राहक support copilot। चार पाठों में आप एक retrieval-augmented (RAG) support सहायक शुरू से अंत तक बनाएँगे और परखेंगे -- ठीक वह सिस्टम जो उस chat widget के पीछे है जो "मैं अपना password कैसे reset करूँ?" का जवाब अंदाज़ा लगाने के बजाय कंपनी के help लेखों से देता है। पूरा करने पर resume पंक्ति अपने आप लिखी जाती है: एक RAG pipeline और eval ढाँचा बनाया और परखा।
एक RAG सिस्टम का एक सुनहरा नियम है: मॉडल सिर्फ़ उन दस्तावेज़ों से जवाब देता है जो आपने सचमुच लाए। इसलिए किसी भी भाषा मॉडल के शामिल होने से पहले आपको तेज़, सटीक retrieval चाहिए। यही यह पाठ है। यहाँ आपका कोड पढ़ने वाला hiring manager एक चीज़ जाँच रहा है: क्या आप टेक्स्ट के ढेर को ऐसी चीज़ में बदल सकते हैं जिसे अच्छी तरह खोजा जा सके? TF-IDF एक शाब्दिक तरीका है: यह उन शब्दों का मिलान करता है जो query किसी लेख से साझा करती है, इस भार के साथ कि हर शब्द कितना बताता है। इसे नहीं पता कि "refund" और "money back" का मतलब एक है; embeddings यही जोड़ते हैं (अगले पाठ)। शाब्दिक search अब भी वह तेज़, सस्ता baseline है जिसे हर retrieval सिस्टम को हराना चाहिए।
आप एक छोटा TF-IDF retriever बनाएँगे। एक साँस में विचार: हर लेख को शब्द भारों के vector के रूप में दर्शाएँ, जहाँ कोई शब्द ज़्यादा गिना जाता है अगर वह इस लेख में बार-बार आता है (term frequency) पर सभी लेखों में दुर्लभ है (inverse document frequency)। एक query की हर लेख से cosine similarity से तुलना करें और सबसे पास वाले लौटाएँ।
तीन चालें इसे काम कराती हैं:
- Tokenize -- छोटे अक्षर, शब्दों में split, और "the" और "is" जैसे छोटे stopwords हटाएँ जो हर चीज़ से मेल खाते हैं और कुछ मतलब नहीं रखते।
re.findall(r"[a-z0-9]+", text.lower())फिर stopword set छाँटें। - भार -- हर लेख के लिए term frequency गुणा IDF, फिर vector को इकाई लंबाई तक normalize करें ताकि लंबे और छोटे लेख निष्पक्ष तुलना हों।
- Score -- query vector और हर लेख vector के बीच cosine similarity। इकाई vectors के साथ यह बस dot product है। घटते क्रम में rank करें।
लेख सूची पर दो फ़ंक्शन बनाएँ:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) जो भी ढाँचा आपको चाहिए लौटाता है (एक dict ठीक है)। retrieve docs में पूर्णांक indices की सूची लौटाता है, सबसे अच्छा मिलान पहले, ज़्यादा से ज़्यादा k। आप सादा Python और math, या numpy, या scikit-learn का TfidfVectorizer इस्तेमाल कर सकते हैं -- आप जो भी इस्तेमाल करें, अनुबंध वही है। DOCS को module स्तर पर परिभाषित रखें ताकि ग्रेडर आपका index दोबारा बना सके। कुछ support सवालों को सही लेख तक सुलझते देखने के लिए Run दबाएँ।
8-लेख वाले support knowledge base पर एक TF-IDF retriever बनाएँ। DOCS को module स्तर पर रखें। build_index(docs) (stopword हटाकर tokenize करें, terms को tf*idf से भार दें, इकाई vectors में normalize करें) और retrieve(query, index, k) लिखें जो cosine similarity से top-k सबसे पास के docs के indices लौटाए, सबसे अच्छा पहले, ज़्यादा से ज़्यादा k। सादा Python, numpy, या scikit-learn सब काम करते हैं।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।