पाठ्यक्रम 250 में से पाठ 147 · शुरू से embeddings और semantic search
शुरू से embeddings और semantic search

दस्तावेज़ों के set पर TF-IDF retriever

कच्ची गिनतियाँ आम शब्दों को ज़्यादा भार देती हैं: the हर जगह आता है और किसी दस्तावेज़ के बारे में कुछ नहीं बताता। TF-IDF इसे ठीक करता है। यह गुणा करता है कि कोई term एक दस्तावेज़ में कितनी बार आता है (term frequency) और वह term पूरे संग्रह में कितना दुर्लभ है (inverse document frequency)। जो शब्द एक दस्तावेज़ में बार-बार आते हैं पर कुल मिलाकर दुर्लभ हैं, वे शब्द जो उसे सचमुच अलग करते हैं, उन्हें सबसे ऊँचा भार मिलता है।

अपने दस्तावेज़ों के TF-IDF vectors को एक matrix में रखें, query को उसी तरह TF-IDF vector में बदलें, और दस्तावेज़ों को query से cosine similarity के हिसाब से rank करें। यह एक पूरा retriever है: लगभग हर RAG सिस्टम का शाब्दिक आधा हिस्सा। scikit-learn आपको दोनों टुकड़े देता है:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

दो बातें जो चलते retriever को टूटे हुए से अलग करती हैं:

  • दस्तावेज़ों पर fit_transform बुलाएँ पर query पर सिर्फ़ transform, ताकि query उसी vocabulary और idf weights में रखी जाए। query को अलग से fit करने से वह दूसरे space में होती और scores बेमानी होते।
  • top-k दस्तावेज़ indices similarity के घटते क्रम में लौटाएँ। np.argsort बढ़ते क्रम में sort करता है, इसलिए उलटे scores sort करें: np.argsort(-sims)।

बनाएँ retrieve(query, docs, k) जो docs पर एक TfidfVectorizer fit करे, query को हर दस्तावेज़ के सामने cosine similarity से score करे, और top k दस्तावेज़ों के indices ints की सूची के रूप में लौटाए, सबसे मिलता-जुलता पहले।

आपकी बारी

retrieve(query, docs, k) लिखें जो query से सबसे मिलते-जुलते k दस्तावेज़ों के indices लौटाए। docs पर एक TfidfVectorizer fit करें, query को उसी vectorizer से transform करें, हर दस्तावेज़ को cosine_similarity से score करें, और top k दस्तावेज़ indices को घटते similarity क्रम में ints की सूची के रूप में लौटाएँ। Python के बारे में query को Python वाला दस्तावेज़ पहले लौटाना चाहिए; refunds के बारे में query को refund वाला दस्तावेज़ पहले।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।