Layer norm: हर vector को सीमा में रखें
यह क्यों मायने रखता है Module 6 ने batch norm से activations स्वस्थ रखे, जो batch पर औसत लेता है। Text batches लंबाई में अलग होते हैं और बनाना एक बार में एक sequence चलता है, इसलिए transformers हर स्थिति के vector को अपने आप normalise करते हैं: layer norm।
d संख्याओं के एक vector x के लिए: उसका औसत घटाएँ, उसके standard deviation से भाग दें (जमा एक नन्हा epsilon, 1e-5, ताकि हम कभी 0 से भाग न दें), फिर सीखे g और b से scale और shift करें:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
हर token का vector हर attention और हर feed-forward हिस्से में औसत 0 और फैलाव 1 के साथ आता है, चलता जोड़ कितना भी बड़ा हो गया हो।
इस पाठ के शब्द और चिह्न
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- layer norm
- हर vector को अपने आप normalise करें: औसत 0, फैलाव 1, फिर गुणा g जमा b
किसी भी आकार के array के लिए layer_norm(x, g, b) लिखें, आख़िरी axis के साथ normalise करते हुए। इसे घर के engine के layernorm से सहमत होना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।