पाठ्यक्रम 250 में से पाठ 108 · Neural-net की समझ, LLMs और AI कैपस्टोन
Neural-net की समझ, LLMs और AI कैपस्टोन

देखें: attention भार

आपने अभी scaled dot-product attention लागू किया। यहाँ वे matrices असल में क्या करते हैं। Attention हर शब्द को वाक्य के हर शब्द (ख़ुद समेत) को देखने, score करने कि हर एक कितना मायने रखता है, और ख़ुद को उनके भारित मिश्रण के रूप में दोबारा बनाने देता है।

play दबाएँ। शब्द sat को the cat sat पर ध्यान देते देखें: कच्चे scores softmax भार बनते हैं जिनका योग 1 है, सबसे मोटी रेखा सबसे ज़्यादा मायने रखने वाले शब्द की ओर इशारा करती है, और sat अपना संदर्भ सोखता है, ज़्यादातर cat से।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।