पाठ्यक्रम 246 में से पाठ 144 · Module 13: Attention और transformers
Module 13: Attention और transformers

Self-attention: हर स्थिति हर दूसरी से पूछती है

यह क्यों मायने रखता है एक transformer में वापस देखने के लिए कोई अलग encoder नहीं। text की हर स्थिति दूसरों पर ध्यान देती है, इसलिए हर अक्षर का vector बाकी वाक्य की जानकारी से अद्यतन होता है।

X से शुरू करें, हर स्थिति की एक row (t rows, d columns)। तीन सीखे matrices एक साथ हर स्थिति की query, key और value बनाते हैं:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

यह पाठ 1 की नरम खोज है, दो matrix गुणाओं से सारी t queries के लिए एक साथ की गई, इसीलिए यह तेज़ गणित routines पर इतनी अच्छी चलती है।

इस पाठ के शब्द और चिह्न
query, key, value
एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
self-attention
हर स्थिति उसी text की स्थितियों पर ध्यान देती है
आपकी बारी

(out, A) लौटाने वाला self_attention(X, Wq, Wk, Wv) लिखें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।