पाठ्यक्रम 246 में से पाठ 36 · Module 2: गणित और probability, बस ज़रूरत भर
Module 2: गणित और probability, बस ज़रूरत भर

softmax का gradient, और loss इसे क्यों छिपाता है

यह क्यों मायने रखता है Softmax attention के अंदर बैठता है, जहाँ उसका gradient अकेले चाहिए। cross-entropy के साथ मिलकर यह कुछ बहुत सरल में सिमट जाता है, और यह जानना कि क्यों आपको सरल version पर भरोसा करने देता है।

पूरा gradient

p = softmax(z) के लिए, हर output हर अंक पर निर्भर है। zj धकेलना pi को i = j होने पर pi (1 - pi) गुणा धक्का हिलाता है, और i के j न होने पर - pi pj से: एक अंक बढ़ाना बाकी सबसे probability खींच लेता है। एक table (Jacobian) के रूप में: diag(p) - p pT।

Backward वह table कभी नहीं बनाता। g = dL/dp दिए होने पर, z के सापेक्ष gradient p * (g - (g · p)) है, item दर item: हर pi गुणा उसका अपना g g के probability-भारित औसत को कितना हराता है।

छोटी संख्याएँ

p = [0.5, 0.3, 0.2] और g = [1, 0, 0]। तब g · p = 0.5, और dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]। प्रविष्टियाँ जोड़कर 0 हैं: हर अंक में वही मात्रा जोड़ना कुछ नहीं बदलता।

cross-entropy इसे सरल क्यों बनाता है

L = -log py के साथ, g सच्ची class पर -1 / py और बाकी जगह 0 है। इसे p * (g - (g · p)) में रखें और यह p - onehot(y) बनता है: वह सूत्र जो Module 3 ने इस्तेमाल किया। सरल रूप यही gradient है, कोई shortcut नहीं।

सार Softmax backward: p * (g - g · p)। ऊपर cross-entropy के साथ: p - onehot।

इस पाठ के शब्द और चिह्न
softmax
हर अंक का exp कुल से भाग दिया: अंक probabilities बनते हैं
cross-entropy
सही जवाब को दी probability के log का ऋण
आपकी बारी

softmax_jacobian(z) (अंकों का एक 1D array अंदर, (n, n) table बाहर) और 2D arrays (हर उदाहरण की एक row) के लिए softmax_backward(z, g) लिखें, row दर row p * (g - (g · p)) इस्तेमाल करते हुए, table बनाए बिना। छिपा test दोनों को धकेलने से जाँचता है और जाँचता है कि cross-entropy के g के साथ जवाब p - onehot है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।