एक दो-layer net के लिए backprop, हाथ से
यह क्यों मायने रखता है यह पाठ एक असली network के लिए पूरा backpropagation है। इसके बाद, एक deep learning library में कुछ भी जादू नहीं।
पहले इसे देखें
animation चलाएँ। त्रुटि output पर (softmax घटा one-hot) के रूप में शुरू होती है। यह दूसरी layer से पीछे बहती है, जहाँ भी एक ReLU बंद था वहाँ रुकती है, पहली layer से बहती है, और हर weight पर एक gradient छोड़ती है।
forward pass
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
backward pass, आकार मिलाकर
तरकीब जो इसे आसान बनाती है: हर gradient का वही आकार है जो उस चीज़ का जिसका वह है। अगर आप आकार जानते हैं, तो आमतौर पर टुकड़ों को गुणा करने का बस एक तरीका ठीक बैठता है। पहले दो steps, हल किए:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
बाकी आपका है। हर एक को उस आकार से निकालें जो उसका होना चाहिए:
db2: आकार (classes,)। हर bias हर row में जोड़ा गया।dH: आकार (n, hidden), H वाला ही। यह dZ और W2 से आता है।dH_pre: आकार (n, hidden)। ReLU ने अपना input वहाँ गुज़ारा जहाँ वह चालू था और बाकी जगह रोका।dW1औरdb1: W2 और b2 वाले ही दो steps, एक layer नीचे।
सार Backward उल्टा forward है, हर step की स्थानीय ढलान से गुणा करते हुए, आकार आपके मार्गदर्शक के रूप में।
इस पाठ के शब्द और चिह्न
- weights (w, W), bias (b)
- वे संख्याएँ जो एक neuron सीखता है; bias उसका output खिसकाता है
- ReLU
- max(0, z): धनात्मक रखता है, ऋणात्मक शून्य करता है
- one-hot
- सही class पर एक अकेले 1 के साथ शून्य
- backpropagation
- हर weight का gradient पाने के लिए पीछे की ओर चलाया chain rule
(loss, grads) लौटाने वाला forward_backward(X, y, W1, b1, W2, b2) लिखें जहाँ grads keys W1, b1, W2, b2 वाली एक dictionary है। छिपा test हर gradient को एक धक्के से जाँचता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।