एक model ने अक्षरों के बारे में क्या सीखा
यह क्यों मायने रखता है कोई एक language model को नहीं बताता कि a और e दोनों स्वर हैं। अगर उसके embeddings फिर भी उन्हें पास-पास रखें, तो model ने यह अकेले टेक्स्ट से खोजा। यह डेटा से सीखे "अर्थ" की पहली झलक है।
दो embeddings की तुलना के लिए, cosine similarity इस्तेमाल करें: dot product दोनों लंबाइयों से भाग। यह 1 है जब दो vectors एक ही ओर इशारा करें, 0 जब वे असंबंधित हों (समकोण पर), और ऋण 1 जब वे उल्टी ओर इशारा करें। यह लंबाई को नज़रअंदाज़ करता है, जो ज़्यादातर दर्शाती है कि एक चिह्न कितनी बार दिखता है।
आप कोर्स के दर्ज छोटे GPT के अंदर देखेंगे (Module 13 इसे बनाता है)। इसने बस इस कोर्स का पाठ टेक्स्ट पढ़ा, एक बार में एक अक्षर, हर अक्षर 64 संख्याओं की एक row के रूप में।
पहले अनुमान लगाएँ: अक्षर जोड़ों का कौन-सा समूह औसतन सबसे मिलता-जुलता होगा: दो स्वर, एक स्वर और एक व्यंजन, या दो अंक?
इस पाठ के शब्द और चिह्न
- embedding
- सीखी संख्याओं की वह row जो एक चिह्न की जगह खड़ी है
- cosine similarity
- dot product दोनों लंबाइयों पर: 1 एक ही दिशा, 0 असंबंधित, -1 उल्टी
my_prediction को "vowels", "mixed" या "digits" पर सेट करें। cosine(a, b) और nearest(ch, k) लिखें (ch से सबसे ऊँचे cosine वाले k दूसरे अक्षर, सबसे अच्छा पहले)। फिर group को हर समूह के अंदर अलग अक्षरों के सारे जोड़ों पर औसत cosine से भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।