पाठ्यक्रम 246 में से पाठ 48 · Module 3: Neuron से MLP तक
Module 3: Neuron से MLP तक

एक दो-layer net के लिए backprop, हाथ से

यह क्यों मायने रखता है यह पाठ एक असली network के लिए पूरा backpropagation है। इसके बाद, एक deep learning library में कुछ भी जादू नहीं।

पहले इसे देखें

animation चलाएँ। त्रुटि output पर (softmax घटा one-hot) के रूप में शुरू होती है। यह दूसरी layer से पीछे बहती है, जहाँ भी एक ReLU बंद था वहाँ रुकती है, पहली layer से बहती है, और हर weight पर एक gradient छोड़ती है।

forward pass

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

backward pass, आकार मिलाकर

तरकीब जो इसे आसान बनाती है: हर gradient का वही आकार है जो उस चीज़ का जिसका वह है। अगर आप आकार जानते हैं, तो आमतौर पर टुकड़ों को गुणा करने का बस एक तरीका ठीक बैठता है। पहले दो steps, हल किए:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

बाकी आपका है। हर एक को उस आकार से निकालें जो उसका होना चाहिए:

  • db2: आकार (classes,)। हर bias हर row में जोड़ा गया।
  • dH: आकार (n, hidden), H वाला ही। यह dZ और W2 से आता है।
  • dH_pre: आकार (n, hidden)। ReLU ने अपना input वहाँ गुज़ारा जहाँ वह चालू था और बाकी जगह रोका।
  • dW1 और db1: W2 और b2 वाले ही दो steps, एक layer नीचे।

सार Backward उल्टा forward है, हर step की स्थानीय ढलान से गुणा करते हुए, आकार आपके मार्गदर्शक के रूप में।

इस पाठ के शब्द और चिह्न
weights (w, W), bias (b)
वे संख्याएँ जो एक neuron सीखता है; bias उसका output खिसकाता है
ReLU
max(0, z): धनात्मक रखता है, ऋणात्मक शून्य करता है
one-hot
सही class पर एक अकेले 1 के साथ शून्य
backpropagation
हर weight का gradient पाने के लिए पीछे की ओर चलाया chain rule
आपकी बारी

(loss, grads) लौटाने वाला forward_backward(X, y, W1, b1, W2, b2) लिखें जहाँ grads keys W1, b1, W2, b2 वाली एक dictionary है। छिपा test हर gradient को एक धक्के से जाँचता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।