Attention bottleneck ठीक करता है
यह क्यों मायने रखता है Attention का आविष्कार 2014 में ठीक उस समस्या को ठीक करने के लिए हुआ जो आपने Module 11 में मापी: एक encoder एक पूरे वाक्य को एक vector में दबाता हुआ।
दर्ज seq2seq-bottleneck प्रयोग में, attention model का decoder, हर step पर, encoder की सारी छिपी states पर ध्यान देता है (उसकी query decoder की अपनी state है)। यह अब एक अंतिम vector पर निर्भर नहीं; यह सीधे उस अंक को वापस देख सकता है जो उसे चाहिए।
अनुमान लगाएँ: लंबाई 16 पर, जहाँ सादे model ने लगभग 59% अंक सही पाए, attention model क्या पाता है?
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
my_guess को 0 और 1 के बीच एक संख्या पर सेट करें: लंबाई 16 पर attention model की अंक accuracy का आपका अनुमान। acc भरें: (model, length) से दोनों seeds की औसत अंक accuracy, दोनों models और चारों लंबाइयों के लिए, और gain_at_16।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।