Self-attention: हर स्थिति हर दूसरी से पूछती है
यह क्यों मायने रखता है एक transformer में वापस देखने के लिए कोई अलग encoder नहीं। text की हर स्थिति दूसरों पर ध्यान देती है, इसलिए हर अक्षर का vector बाकी वाक्य की जानकारी से अद्यतन होता है।
X से शुरू करें, हर स्थिति की एक row (t rows, d columns)। तीन सीखे matrices एक साथ हर स्थिति की query, key और value बनाते हैं:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
यह पाठ 1 की नरम खोज है, दो matrix गुणाओं से सारी t queries के लिए एक साथ की गई, इसीलिए यह तेज़ गणित routines पर इतनी अच्छी चलती है।
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- self-attention
- हर स्थिति उसी text की स्थितियों पर ध्यान देती है
(out, A) लौटाने वाला self_attention(X, Wq, Wk, Wv) लिखें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।