LayerNorm और RMSNorm
यह क्यों मायने रखता है Transformers BatchNorm इस्तेमाल नहीं करते। वे हर उदाहरण को अलग से normalise करते हैं, जो अभी मिले batch जाल से बचता है और किसी भी batch आकार के लिए काम करता है।
- LayerNorm हर उदाहरण (हर row) के features के पार normalise करता है: row का औसत घटाएँ, row के फैलाव से भाग दें, फिर हर feature का gamma और beta। training और इस्तेमाल में एक जैसा।
- RMSNorm सादा है और कई हाल के language models इसे इस्तेमाल करते हैं: औसत छोड़ें, और हर row को उसके root mean square,
sqrt(mean(x squared) + eps), से भाग दें, फिर gamma से गुणा करें।
छोटी संख्याएँ
Row [3, 4]। RMS = sqrt((9 + 16) / 2) = 3.536। RMSNorm [0.849, 1.131] देता है। LayerNorm पहले औसत 3.5 घटाता है: [-1, 1]।
इस पाठ के शब्द और चिह्न
- Xavier, LeCun, He
- tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- हर feature को batch पर normalise करें, फिर सीखे gamma और beta से फिर scale करें
- LayerNorm, RMSNorm
- हर उदाहरण को अलग से, उसके features के पार, normalise करें
दोनों हर row पर, layernorm(X, gamma, beta, eps=1e-5) और rmsnorm(X, gamma, eps=1e-6) लिखें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।