Adam: गेंद और knobs
यह क्यों मायने रखता है Adam ज़्यादातर deep learning का default optimiser है। यह momentum और RMSProp साथ में है, और एक छोटा सुधार जो शुरुआत में बहुत मायने रखता है।
पहले छोटी संख्याएँ
एक weight, beta1 = 0.9, beta2 = 0.999, lr = 0.1। step 1 पर gradient 2.0 है। gradients का चलता औसत, m, 0 पर शुरू होता है: m = 0.9 * 0 + 0.1 * 2 = 0.2। पर असली हाल का gradient 2 है, 0.2 नहीं: m अपने शुरुआती शून्य की ओर झुका है। इसे ठीक करने के लिए (1 - 0.9 की घात t) से भाग दें: 0.2 / 0.1 = 2.0। squared औसत v के लिए वही सुधार: 0.004 / 0.001 = 4.0। Step = 0.1 * 2 / sqrt(4) = 0.1।
सुधार के बिना पहला step 0.1 * 0.2 / sqrt(0.004) = 0.32 होता, तीन गुना से ज़्यादा बड़ा, और एक असली network में वे बेलगाम पहले steps training की शुरुआत बर्बाद कर सकते हैं।
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Bias correction: (1 - beta की घात t) से भाग देना ताकि शून्य पर शुरू हुए औसत शुरुआती steps में कम न आँके जाएँ। t steps को 1 से गिनता है।
इस पाठ के शब्द और चिह्न
- momentum (beta)
- पिछले step की velocity का हिस्सा रखना
- RMSProp
- हर weight के step को इससे भाग देना कि उसका gradient आमतौर पर कितना तेज़ है
- Adam (m, v, t)
- momentum (m) और हर weight का एक volume knob (v), शुरुआती steps के लिए सुधारा (t)
पहले first_step_with और first_step_without भरें: ऊपर के उदाहरण में step 1 का आकार, bias correction के साथ और बिना। फिर एक method step(p, g) के साथ class Adam(lr, b1=0.9, b2=0.999, eps=1e-8) लिखें जो अद्यतन parameter array लौटाए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।