पाठ्यक्रम 246 में से पाठ 150 · Module 13: Attention और transformers
Module 13: Attention और transformers

Layer norm: हर vector को सीमा में रखें

यह क्यों मायने रखता है Module 6 ने batch norm से activations स्वस्थ रखे, जो batch पर औसत लेता है। Text batches लंबाई में अलग होते हैं और बनाना एक बार में एक sequence चलता है, इसलिए transformers हर स्थिति के vector को अपने आप normalise करते हैं: layer norm।

d संख्याओं के एक vector x के लिए: उसका औसत घटाएँ, उसके standard deviation से भाग दें (जमा एक नन्हा epsilon, 1e-5, ताकि हम कभी 0 से भाग न दें), फिर सीखे g और b से scale और shift करें:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

हर token का vector हर attention और हर feed-forward हिस्से में औसत 0 और फैलाव 1 के साथ आता है, चलता जोड़ कितना भी बड़ा हो गया हो।

इस पाठ के शब्द और चिह्न
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
layer norm
हर vector को अपने आप normalise करें: औसत 0, फैलाव 1, फिर गुणा g जमा b
आपकी बारी

किसी भी आकार के array के लिए layer_norm(x, g, b) लिखें, आख़िरी axis के साथ normalise करते हुए। इसे घर के engine के layernorm से सहमत होना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।