पूरे matrices के gradients (आकार नियम)
यह क्यों मायने रखता है Layers पूरे matrices पर काम करती हैं, इसलिए उनके gradients भी matrices हैं। एक नियम और एक तरकीब बिना कुछ रटे लगभग हर layer का backward pass निकालते हैं।
आकार नियम
loss L एक संख्या है। किसी भी array के सापेक्ष L के gradient का ठीक उस array का आकार है: हर प्रविष्टि की एक ढलान। इसलिए अगर W (3, 4) है, dL/dW (3, 4) है।
छोटी संख्याएँ: Y = X @ W
मान लें X (2, 3) है, W (3, 4) है, Y = X @ W (2, 4) है, और कुछ बाद के steps Y को L में बदलते हैं। Backward आपको G = dL/dY देता है, आकार (2, 4)। हर प्रविष्टि Y[i, j] k पर X[i, k] W[k, j] का जोड़ है। W[k, j] धकेलें: यह column j के हर Y[i, j] को X[i, k] गुणा धक्का हिलाता है। इसलिए dL/dW[k, j] = i पर X[i, k] G[i, j] का जोड़। वह X.T @ G की एक प्रविष्टि है, जो (3, 4) है: W का आकार, जैसा नियम कहता है।
X के लिए वही तर्क dL/dX = G @ W.T देता है, आकार (2, 3)। दोनों याद रखने का एक तेज़ तरीका: G को दूसरे matrix के साथ, transposed, उस एकमात्र क्रम में रखें जिसके आकार ठीक बैठें।
Jacobian, और कोई इसे क्यों नहीं बनाता
हर output प्रविष्टि हर input प्रविष्टि के साथ कैसे हिलती है इसकी पूरी table Jacobian है। 1000 गुणा 1000 आकार के W और 64 rows वाले Y = X @ W के लिए, उस table में 64 हज़ार outputs गुणा दस लाख weights होते: 64 अरब प्रविष्टियाँ। Backward इसे कभी नहीं बनाता: इसे बस G गुणा Jacobian चाहिए, जो छोटा गुणनफल X.T @ G है। वह गुणनफल पिछले पाठ का vector-Jacobian product है।
Jacobian: हर input के सापेक्ष हर output की ढलान, एक बड़ी table के रूप में। Vector-Jacobian product: एक step से पीछे धकेला gradient, table के बिना सीधे निकाला।
सार चीज़ का ही आकार। Y = X @ W के लिए: dW = X.T @ G और dX = G @ W.T।
इस पाठ के शब्द और चिह्न
- vector
- संख्याओं की एक सूची, हर feature की एक
- derivative (df/dx)
- input के हर इकाई धक्के पर output कितनी तेज़ी से बदलता है
Y = X @ W के लिए (dX, dW) लौटाने वाला matmul_grads(X, W, G), और Y = A * B (वही आकार, item दर item) के लिए (dA, dB) लौटाने वाला elementwise_grads(A, B, G) लिखें। छिपा test दोनों को उन आकारों पर धकेलने से जाँचता है जो आपने नहीं देखे।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।