पाठ्यक्रम 250 में से पाठ 145 · शुरू से embeddings और semantic search
शुरू से embeddings और semantic search

Embeddings की समझ (निश्चित mock embedder)

Bag-of-words में एक घातक अंधा कोना है: "dog" और "puppy" अलग शब्द हैं, इसलिए उनके गिनती vectors कुछ साझा नहीं करते और उनका cosine 0 है, भले ही उनका मतलब लगभग एक ही है। असली embeddings इसे शब्दों (या पूरे वाक्यों) को ऐसे vector space में रखकर ठीक करते हैं जहाँ एक जैसे ढंग से इस्तेमाल होने वाली चीज़ें एक-दूसरे के पास आती हैं। मार्गदर्शक विचार distributional hypothesis है: शब्द अपनी संगत से पहचाना जाता है। एक ही संदर्भों में आने वाले शब्दों को मिलते-जुलते vectors मिलते हैं।

production embeddings एक train किए neural network (sentence-transformers) या एक hosted API से आते हैं। हम उन्हें यहाँ नहीं चला सकते: इस sandbox में न GPU है न network। इसलिए आप एक निश्चित mock embedder बनाएँगे जो train किए weights के बिना असली चीज़ की ज्यामिति पकड़ता है। यह अपनी सीमाओं के बारे में ईमानदार है और तरीका सीखने के लिए एकदम सही।

तरकीब एक co-occurrence vector है। एक छोटे चुने corpus में, किसी शब्द का embedding इसकी गिनती है कि उसके साथ एक ही दस्तावेज़ों में कौन-से दूसरे शब्द आते हैं। अगर dog और puppy दोनों park, runs, और nap की संगत में रहते हैं, तो उनके संदर्भ vectors एक सीध में आते हैं और cosine ऊँचा होता है। invoice इसके बजाय pay और due की संगत में रहता है, इसलिए वह कहीं और इशारा करता है।

इस पाठ के साथ आए corpus पर फ़ायदा ठोस है:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

वह असमानता, cosine(dog, puppy) > cosine(dog, invoice), एक पंक्ति में embeddings का पूरा मतलब है।

तुलना के लिए, एक असली कॉल ऐसी दिखती है (यह यहाँ नहीं चलेगी, सिर्फ़ संदर्भ के लिए दिखाई गई है):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

बनाएँ embed(word, corpus, vocab) जो किसी शब्द का co-occurrence vector लौटाए: एक तय लंबाई की सूची (हर vocabulary शब्द का एक खाना) जहाँ खाना j गिनता है कि लक्ष्य शब्द वाले सभी corpus दस्तावेज़ों में vocabulary शब्द j लक्ष्य शब्द के साथ कितनी बार आता है। लक्ष्य शब्द को उसके ख़ुद के सामने न गिनें। एक ही शब्द हमेशा एक ही vector लौटाता है।

आपकी बारी

embed(word, corpus, vocab) लिखें, एक निश्चित mock embedder। दिए शब्द के लिए corpus के हर दस्तावेज़ (हर एक छोटे अक्षरों वाली स्ट्रिंग) को देखें। जिन दस्तावेज़ों में शब्द है, उनमें दूसरे शब्दों (लक्ष्य शब्द ख़ुद छोड़कर) को vocabulary-लंबाई वाले vector में गिनें, जो vocab क्रम में सूची के रूप में लौटे। नतीजा एक co-occurrence संदर्भ vector है: मिलते-जुलते संदर्भों में इस्तेमाल होने वाले शब्दों को मिलते-जुलते vectors मिलते हैं, इसलिए पाठ के corpus पर cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice"))। एक ही शब्द हमेशा एक ही vector देता है, और लंबाई हमेशा len(vocab) के बराबर है। शुरुआती कोड के CORPUS और VOCAB जैसे हैं वैसे रखें: जाँच उन्हें पढ़ती है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।