पाठ्यक्रम 246 में से पाठ 71 · Module 5: Optimisation
Module 5: Optimisation

AdamW: weight decay सही तरह से

यह क्यों मायने रखता है ज़्यादातर बड़े models AdamW से train होते हैं, Adam से नहीं। अंतर एक line है, और यह बदलता है कि "weight decay" असल में क्या करता है।

Weight decay हर step हर weight को थोड़ा शून्य की ओर खींचता है, जो बड़े weights को हतोत्साहित करता है और आमतौर पर model को नए data पर काम करने में मदद करता है।

  • L2 के साथ Adam Adam की scaling से पहले gradient में wd * p जोड़ता है। Adam फिर उसे volume knob से भाग देता है, इसलिए तेज़ gradients वाले weights मुश्किल से decay होते हैं।
  • AdamW gradient को अकेला छोड़ता है और weight को सीधे decay करता है: p_new = p - lr * (adam_direction + wd * p), जहाँ p इस step से पहले का weight है। हर weight उसी अनुपात से decay होता है।

Decoupled weight decay: weights को gradient के ज़रिए के बजाय सीधे सिकोड़ना। वह AdamW का "W" है।

इस पाठ के शब्द और चिह्न
Adam (m, v, t)
momentum (m) और हर weight का एक volume knob (v), शुरुआती steps के लिए सुधारा (t)
AdamW, weight decay
हर step weights को सीधे थोड़ा सिकोड़ना
आपकी बारी

adam_l2_step(p, g, state, lr, wd) और adamw_step(p, g, state, lr, wd) लिखें। state एक dictionary है जो m, v और t रखती है (एक ख़ाली dictionary से शुरू करें)। b1 = 0.9, b2 = 0.999, eps = 1e-8 इस्तेमाल करें। हर एक नया p लौटाता है। AdamW के लिए update p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p) है, p step से पहले के weight के साथ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।