पाठ्यक्रम 246 में से पाठ 29 · Module 2: गणित और probability, बस ज़रूरत भर
Module 2: गणित और probability, बस ज़रूरत भर

पूरे matrices के gradients (आकार नियम)

यह क्यों मायने रखता है Layers पूरे matrices पर काम करती हैं, इसलिए उनके gradients भी matrices हैं। एक नियम और एक तरकीब बिना कुछ रटे लगभग हर layer का backward pass निकालते हैं।

आकार नियम

loss L एक संख्या है। किसी भी array के सापेक्ष L के gradient का ठीक उस array का आकार है: हर प्रविष्टि की एक ढलान। इसलिए अगर W (3, 4) है, dL/dW (3, 4) है।

छोटी संख्याएँ: Y = X @ W

मान लें X (2, 3) है, W (3, 4) है, Y = X @ W (2, 4) है, और कुछ बाद के steps Y को L में बदलते हैं। Backward आपको G = dL/dY देता है, आकार (2, 4)। हर प्रविष्टि Y[i, j] k पर X[i, k] W[k, j] का जोड़ है। W[k, j] धकेलें: यह column j के हर Y[i, j] को X[i, k] गुणा धक्का हिलाता है। इसलिए dL/dW[k, j] = i पर X[i, k] G[i, j] का जोड़। वह X.T @ G की एक प्रविष्टि है, जो (3, 4) है: W का आकार, जैसा नियम कहता है।

X के लिए वही तर्क dL/dX = G @ W.T देता है, आकार (2, 3)। दोनों याद रखने का एक तेज़ तरीका: G को दूसरे matrix के साथ, transposed, उस एकमात्र क्रम में रखें जिसके आकार ठीक बैठें।

Jacobian, और कोई इसे क्यों नहीं बनाता

हर output प्रविष्टि हर input प्रविष्टि के साथ कैसे हिलती है इसकी पूरी table Jacobian है। 1000 गुणा 1000 आकार के W और 64 rows वाले Y = X @ W के लिए, उस table में 64 हज़ार outputs गुणा दस लाख weights होते: 64 अरब प्रविष्टियाँ। Backward इसे कभी नहीं बनाता: इसे बस G गुणा Jacobian चाहिए, जो छोटा गुणनफल X.T @ G है। वह गुणनफल पिछले पाठ का vector-Jacobian product है।

Jacobian: हर input के सापेक्ष हर output की ढलान, एक बड़ी table के रूप में। Vector-Jacobian product: एक step से पीछे धकेला gradient, table के बिना सीधे निकाला।

सार चीज़ का ही आकार। Y = X @ W के लिए: dW = X.T @ G और dX = G @ W.T।

इस पाठ के शब्द और चिह्न
vector
संख्याओं की एक सूची, हर feature की एक
derivative (df/dx)
input के हर इकाई धक्के पर output कितनी तेज़ी से बदलता है
आपकी बारी

Y = X @ W के लिए (dX, dW) लौटाने वाला matmul_grads(X, W, G), और Y = A * B (वही आकार, item दर item) के लिए (dA, dB) लौटाने वाला elementwise_grads(A, B, G) लिखें। छिपा test दोनों को उन आकारों पर धकेलने से जाँचता है जो आपने नहीं देखे।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।