AdamW: weight decay सही तरह से
यह क्यों मायने रखता है ज़्यादातर बड़े models AdamW से train होते हैं, Adam से नहीं। अंतर एक line है, और यह बदलता है कि "weight decay" असल में क्या करता है।
Weight decay हर step हर weight को थोड़ा शून्य की ओर खींचता है, जो बड़े weights को हतोत्साहित करता है और आमतौर पर model को नए data पर काम करने में मदद करता है।
- L2 के साथ Adam Adam की scaling से पहले gradient में
wd * pजोड़ता है। Adam फिर उसे volume knob से भाग देता है, इसलिए तेज़ gradients वाले weights मुश्किल से decay होते हैं। - AdamW gradient को अकेला छोड़ता है और weight को सीधे decay करता है:
p_new = p - lr * (adam_direction + wd * p), जहाँpइस step से पहले का weight है। हर weight उसी अनुपात से decay होता है।
Decoupled weight decay: weights को gradient के ज़रिए के बजाय सीधे सिकोड़ना। वह AdamW का "W" है।
इस पाठ के शब्द और चिह्न
- Adam (m, v, t)
- momentum (m) और हर weight का एक volume knob (v), शुरुआती steps के लिए सुधारा (t)
- AdamW, weight decay
- हर step weights को सीधे थोड़ा सिकोड़ना
adam_l2_step(p, g, state, lr, wd) और adamw_step(p, g, state, lr, wd) लिखें। state एक dictionary है जो m, v और t रखती है (एक ख़ाली dictionary से शुरू करें)। b1 = 0.9, b2 = 0.999, eps = 1e-8 इस्तेमाल करें। हर एक नया p लौटाता है। AdamW के लिए update p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p) है, p step से पहले के weight के साथ।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।