पाठ्यक्रम 246 में से पाठ 143 · Module 13: Attention और transformers
Module 13: Attention और transformers

Attention bottleneck ठीक करता है

यह क्यों मायने रखता है Attention का आविष्कार 2014 में ठीक उस समस्या को ठीक करने के लिए हुआ जो आपने Module 11 में मापी: एक encoder एक पूरे वाक्य को एक vector में दबाता हुआ।

दर्ज seq2seq-bottleneck प्रयोग में, attention model का decoder, हर step पर, encoder की सारी छिपी states पर ध्यान देता है (उसकी query decoder की अपनी state है)। यह अब एक अंतिम vector पर निर्भर नहीं; यह सीधे उस अंक को वापस देख सकता है जो उसे चाहिए।

अनुमान लगाएँ: लंबाई 16 पर, जहाँ सादे model ने लगभग 59% अंक सही पाए, attention model क्या पाता है?

इस पाठ के शब्द और चिह्न
query, key, value
एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
आपकी बारी

my_guess को 0 और 1 के बीच एक संख्या पर सेट करें: लंबाई 16 पर attention model की अंक accuracy का आपका अनुमान। acc भरें: (model, length) से दोनों seeds की औसत अंक accuracy, दोनों models और चारों लंबाइयों के लिए, और gain_at_16।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।