पाठ्यक्रम 246 में से पाठ 138 · Module 12: संख्याओं के रूप में शब्द (embeddings)
Module 12: संख्याओं के रूप में शब्द (embeddings)

शब्द vectors सीखना (skip-gram)

यह क्यों मायने रखता है गिनने को एक V गुणा V table चाहिए, जो दस लाख शब्दों के लिए असंभव है। Word2vec इसके बजाय gradient descent से सीधे छोटे vectors सीखता है, और वही विचार, संदर्भ का अनुमान लगाकर vectors सीखना, हर language model के अंदर है।

Negative sampling के साथ skip-gram। हर शब्द के दो vectors हैं: v (ख़ुद के रूप में) और u (किसी के संदर्भ के रूप में)। एक असली जोड़ी के लिए (एक शब्द और उसके वाक्य का एक शब्द), अंक v dot u ऊपर धकेलें; k बेतरतीब "negative" शब्दों के लिए, उसे नीचे धकेलें:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Gradients, chain rule से

p = sigmoid(v . u_pos) और q_k = sigmoid(v . u_neg_k) के साथ:

  • dL/dv = (p - 1) u_pos + sum over k of q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

इन्हें पढ़ें: अगर असली जोड़ी पहले से ऊँचा अंक पाती है, p 1 के पास है और लगभग कुछ नहीं बदलता। ग़लतियाँ बड़े धक्के देती हैं, ठीक cross-entropy की तरह।

Batch में, None के साथ

एक batch के लिए, p का आकार (B,) है और u_pos का आकार (B, d)। u_pos की हर row को उसके अपने (p - 1) से scale करने के लिए, एक दिशा जोड़ें: (p - 1)[:, None] * u_pos, आकार (B, 1) गुणा (B, d)। negatives के लिए, q का आकार (B, k) है और v का आकार (B, d); q[:, :, None] * v[:, None, :] उन्हें (B, k, 1) गुणा (B, 1, d) के रूप में मिलाता है, (B, k, d) देते हुए: हर negative की v की एक scale की copy। (Python module के shapes पाठ ने None पेश किया।)

इस पाठ के शब्द और चिह्न
PPMI
दो शब्द संयोग के मुक़ाबले कितनी ज़्यादा बार मिलते हैं, ऋणात्मक 0 पर सेट
skip-gram, negative sampling
असली (word, context) जोड़ों को ऊँचा और बेतरतीब जोड़ों को नीचा अंक देकर vectors सीखना
आपकी बारी

एक batch के लिए sgns_grads(v, u_pos, u_neg) लिखें: v और u_pos का आकार (B, d) है, u_neg का आकार (B, k, d)। उन्हीं आकारों के साथ (g_v, g_pos, g_neg) लौटाएँ। training loop इसे इस्तेमाल करता है; फिर 72 उपमाओं को कम से कम 90% सही होना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।