दस्तावेज़ों के set पर TF-IDF retriever
कच्ची गिनतियाँ आम शब्दों को ज़्यादा भार देती हैं: the हर जगह आता है और किसी दस्तावेज़ के बारे में कुछ नहीं बताता। TF-IDF इसे ठीक करता है। यह गुणा करता है कि कोई term एक दस्तावेज़ में कितनी बार आता है (term frequency) और वह term पूरे संग्रह में कितना दुर्लभ है (inverse document frequency)। जो शब्द एक दस्तावेज़ में बार-बार आते हैं पर कुल मिलाकर दुर्लभ हैं, वे शब्द जो उसे सचमुच अलग करते हैं, उन्हें सबसे ऊँचा भार मिलता है।
अपने दस्तावेज़ों के TF-IDF vectors को एक matrix में रखें, query को उसी तरह TF-IDF vector में बदलें, और दस्तावेज़ों को query से cosine similarity के हिसाब से rank करें। यह एक पूरा retriever है: लगभग हर RAG सिस्टम का शाब्दिक आधा हिस्सा। scikit-learn आपको दोनों टुकड़े देता है:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docदो बातें जो चलते retriever को टूटे हुए से अलग करती हैं:
- दस्तावेज़ों पर
fit_transformबुलाएँ पर query पर सिर्फ़transform, ताकि query उसी vocabulary और idf weights में रखी जाए। query को अलग से fit करने से वह दूसरे space में होती और scores बेमानी होते। - top-k दस्तावेज़ indices similarity के घटते क्रम में लौटाएँ।
np.argsortबढ़ते क्रम में sort करता है, इसलिए उलटे scores sort करें:np.argsort(-sims)।
बनाएँ retrieve(query, docs, k) जो docs पर एक TfidfVectorizer fit करे, query को हर दस्तावेज़ के सामने cosine similarity से score करे, और top k दस्तावेज़ों के indices ints की सूची के रूप में लौटाए, सबसे मिलता-जुलता पहले।
retrieve(query, docs, k) लिखें जो query से सबसे मिलते-जुलते k दस्तावेज़ों के indices लौटाए। docs पर एक TfidfVectorizer fit करें, query को उसी vectorizer से transform करें, हर दस्तावेज़ को cosine_similarity से score करें, और top k दस्तावेज़ indices को घटते similarity क्रम में ints की सूची के रूप में लौटाएँ। Python के बारे में query को Python वाला दस्तावेज़ पहले लौटाना चाहिए; refunds के बारे में query को refund वाला दस्तावेज़ पहले।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।