पाठ्यक्रम 246 में से पाठ 70 · Module 5: Optimisation
Module 5: Optimisation

Adam: गेंद और knobs

यह क्यों मायने रखता है Adam ज़्यादातर deep learning का default optimiser है। यह momentum और RMSProp साथ में है, और एक छोटा सुधार जो शुरुआत में बहुत मायने रखता है।

पहले छोटी संख्याएँ

एक weight, beta1 = 0.9, beta2 = 0.999, lr = 0.1। step 1 पर gradient 2.0 है। gradients का चलता औसत, m, 0 पर शुरू होता है: m = 0.9 * 0 + 0.1 * 2 = 0.2। पर असली हाल का gradient 2 है, 0.2 नहीं: m अपने शुरुआती शून्य की ओर झुका है। इसे ठीक करने के लिए (1 - 0.9 की घात t) से भाग दें: 0.2 / 0.1 = 2.0। squared औसत v के लिए वही सुधार: 0.004 / 0.001 = 4.0। Step = 0.1 * 2 / sqrt(4) = 0.1।

सुधार के बिना पहला step 0.1 * 0.2 / sqrt(0.004) = 0.32 होता, तीन गुना से ज़्यादा बड़ा, और एक असली network में वे बेलगाम पहले steps training की शुरुआत बर्बाद कर सकते हैं।

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Bias correction: (1 - beta की घात t) से भाग देना ताकि शून्य पर शुरू हुए औसत शुरुआती steps में कम न आँके जाएँ। t steps को 1 से गिनता है।

इस पाठ के शब्द और चिह्न
momentum (beta)
पिछले step की velocity का हिस्सा रखना
RMSProp
हर weight के step को इससे भाग देना कि उसका gradient आमतौर पर कितना तेज़ है
Adam (m, v, t)
momentum (m) और हर weight का एक volume knob (v), शुरुआती steps के लिए सुधारा (t)
आपकी बारी

पहले first_step_with और first_step_without भरें: ऊपर के उदाहरण में step 1 का आकार, bias correction के साथ और बिना। फिर एक method step(p, g) के साथ class Adam(lr, b1=0.9, b2=0.999, eps=1e-8) लिखें जो अद्यतन parameter array लौटाए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।