पाठ्यक्रम 250 में से पाठ 143 · शुरू से embeddings और semantic search
शुरू से embeddings और semantic search

Bag-of-words vectors

किसी मॉडल के दो टेक्स्ट टुकड़ों की तुलना करने से पहले टेक्स्ट को संख्याएँ बनना होगा। सबसे पुराना, सबसे सादा तरीका bag of words है: शब्दों की एक तय सूची चुनें (vocabulary), फिर किसी भी दस्तावेज़ को इससे बताएँ कि उसमें vocabulary का हर शब्द कितनी बार आता है। शब्दों का क्रम फेंक दिया जाता है, इसीलिए "bag" (थैला) शब्द। यह मोटा है, पर यह वह नींव है जिस पर TF-IDF, BM25, और dense embeddings तक बनते हैं।

मान लें vocabulary ["the", "cat", "sat", "dog", "ran"] है। दस्तावेज़ "the cat sat" गिनती vector [1, 1, 1, 0, 0] बन जाता है: एक the, एक cat, एक sat, शून्य dog, शून्य ran। दस्तावेज़ "the dog ran the dog" [2, 0, 0, 2, 1] बन जाता है।

production में मायने रखने वाले दो नियम:

  • vector की लंबाई हमेशा vocabulary का आकार होती है, दस्तावेज़ कितना भी लंबा हो। यही तय आकार आपको दस्तावेज़ों को एक matrix में रखकर linear algebra करने देता है।
  • vocabulary में न होने वाले शब्द (out of vocabulary, या OOV) बस नज़रअंदाज़ होते हैं। एक असली सिस्टम vocabulary सीमित रखता है, इसलिए अनदेखे शब्द ग़ायब हो जाते हैं।

असली कोड में आप scikit-learn इस्तेमाल करेंगे, जो ठीक यही करता है और आपको एक विरल matrix देता है:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

वह औज़ार अंदर क्या करता है यह समझने के लिए आप counter ख़ुद बनाएँगे।

बनाएँ vectorize(doc, vocab): दस्तावेज़ को छोटे अक्षरों में करें, ख़ाली जगह पर split करें, और गिनतियों की एक सूची लौटाएँ, हर vocabulary शब्द की एक, vocabulary के क्रम में। vocabulary में न होने वाले token नज़रअंदाज़ करें। ख़ाली दस्तावेज़ सब शून्य लौटाता है।

आपकी बारी

vectorize(doc, vocab) लिखें जो एक दस्तावेज़ स्ट्रिंग को तय vocabulary पर bag-of-words गिनती सूची में बदले। दस्तावेज़ को छोटे अक्षरों में करके ख़ाली जगह पर split करें, गिनें कि हर vocab शब्द कितनी बार आता है, और गिनतियाँ vocab क्रम में सूची के रूप में लौटाएँ। vocabulary से बाहर के tokens नज़रअंदाज़ होते हैं; ख़ाली दस्तावेज़ सब शून्य लौटाता है। लौटाई सूची की लंबाई हमेशा len(vocab) के बराबर होती है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।