पाठ्यक्रम 246 में से पाठ 135 · Module 12: संख्याओं के रूप में शब्द (embeddings)
Module 12: संख्याओं के रूप में शब्द (embeddings)

एक model ने अक्षरों के बारे में क्या सीखा

यह क्यों मायने रखता है कोई एक language model को नहीं बताता कि a और e दोनों स्वर हैं। अगर उसके embeddings फिर भी उन्हें पास-पास रखें, तो model ने यह अकेले टेक्स्ट से खोजा। यह डेटा से सीखे "अर्थ" की पहली झलक है।

दो embeddings की तुलना के लिए, cosine similarity इस्तेमाल करें: dot product दोनों लंबाइयों से भाग। यह 1 है जब दो vectors एक ही ओर इशारा करें, 0 जब वे असंबंधित हों (समकोण पर), और ऋण 1 जब वे उल्टी ओर इशारा करें। यह लंबाई को नज़रअंदाज़ करता है, जो ज़्यादातर दर्शाती है कि एक चिह्न कितनी बार दिखता है।

आप कोर्स के दर्ज छोटे GPT के अंदर देखेंगे (Module 13 इसे बनाता है)। इसने बस इस कोर्स का पाठ टेक्स्ट पढ़ा, एक बार में एक अक्षर, हर अक्षर 64 संख्याओं की एक row के रूप में।

पहले अनुमान लगाएँ: अक्षर जोड़ों का कौन-सा समूह औसतन सबसे मिलता-जुलता होगा: दो स्वर, एक स्वर और एक व्यंजन, या दो अंक?

इस पाठ के शब्द और चिह्न
embedding
सीखी संख्याओं की वह row जो एक चिह्न की जगह खड़ी है
cosine similarity
dot product दोनों लंबाइयों पर: 1 एक ही दिशा, 0 असंबंधित, -1 उल्टी
आपकी बारी

my_prediction को "vowels", "mixed" या "digits" पर सेट करें। cosine(a, b) और nearest(ch, k) लिखें (ch से सबसे ऊँचे cosine वाले k दूसरे अक्षर, सबसे अच्छा पहले)। फिर group को हर समूह के अंदर अलग अक्षरों के सारे जोड़ों पर औसत cosine से भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।