पाठ्यक्रम 246 में से पाठ 83 · Module 6: शुरुआती weights और normalisation
Module 6: शुरुआती weights और normalisation

LayerNorm और RMSNorm

यह क्यों मायने रखता है Transformers BatchNorm इस्तेमाल नहीं करते। वे हर उदाहरण को अलग से normalise करते हैं, जो अभी मिले batch जाल से बचता है और किसी भी batch आकार के लिए काम करता है।

  • LayerNorm हर उदाहरण (हर row) के features के पार normalise करता है: row का औसत घटाएँ, row के फैलाव से भाग दें, फिर हर feature का gamma और beta। training और इस्तेमाल में एक जैसा।
  • RMSNorm सादा है और कई हाल के language models इसे इस्तेमाल करते हैं: औसत छोड़ें, और हर row को उसके root mean square, sqrt(mean(x squared) + eps), से भाग दें, फिर gamma से गुणा करें।

छोटी संख्याएँ

Row [3, 4]। RMS = sqrt((9 + 16) / 2) = 3.536। RMSNorm [0.849, 1.131] देता है। LayerNorm पहले औसत 3.5 घटाता है: [-1, 1]।

इस पाठ के शब्द और चिह्न
Xavier, LeCun, He
tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
BatchNorm (gamma, beta)
हर feature को batch पर normalise करें, फिर सीखे gamma और beta से फिर scale करें
LayerNorm, RMSNorm
हर उदाहरण को अलग से, उसके features के पार, normalise करें
आपकी बारी

दोनों हर row पर, layernorm(X, gamma, beta, eps=1e-5) और rmsnorm(X, gamma, eps=1e-6) लिखें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।