Gate: गणित, code में (AI बंद)
यह क्यों मायने रखता है इस module के तीन हिस्से हर बाद वाले में लौटते हैं: बड़ी संख्याएँ झेलने वाला एक softmax, एक matrix गुणा के gradients, और KL divergence। यह गणित पहले से जानते हैं? आप यह gate पहले ले सकते हैं, दूसरे पाठों से पहले: पास होना यह module पूरा चिह्नित करता है और अगला खोलता है।
AI tutor बंद। softmax के लिए, खिसकाव तरकीब इस्तेमाल करें: हर अंक से सबसे बड़ा अंक घटाना काग़ज़ पर कुछ नहीं बदलता, पर हर exp को अधिक से अधिक 1 रखता है। असली logits बड़े हो सकते हैं, और बड़े inputs पर nan लौटाने वाला softmax चुपचाप एक training run बर्बाद कर देता है।
इस पाठ के शब्द और चिह्न
- derivative (df/dx)
- input के हर इकाई धक्के पर output कितनी तेज़ी से बदलता है
- softmax
- हर अंक का exp कुल से भाग दिया: अंक probabilities बनते हैं
- cross-entropy
- सही जवाब को दी probability के log का ऋण
- KL(P || Q)
- दो distributions कितने अलग हैं; बस मेल खाने पर शून्य; क्रम मायने रखता है
logits के 2D arrays (हर उदाहरण की एक row) के लिए लिखें:
logsumexp(z): हर row के साथ exp के जोड़ का log, भारी मानों के लिए सुरक्षित।stable_softmax(z): हर row के साथ softmax, भारी मानों के लिए सुरक्षित।nll(z, labels): logits से सीधेlogsumexp - z[true]के रूप में निकाला औसत cross-entropy, कभी एक softmax का log लिए बिना।matmul_grads(X, W, G): Y = X @ W और एक loss जिसका Y के सापेक्ष gradient G है, उसके लिए(dX, dW)लौटाएँ, X और W के सापेक्ष gradients, कोई Jacobian बनाए बिना।kl_normal(m1, s1, m2, s2): घंटी वक्र N(m1, s1) से N(m2, s2) तक KL divergence, जहाँ s1 और s2 फैलाव (standard deviations) हैं।
जाँचें हर बार नए बेतरतीब आकार और संख्याएँ इस्तेमाल करती हैं, और धकेलने से और एक numerical integral से तुलना करती हैं।
AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
आपकी प्रगति गुमनाम रूप से गिनी जाती है। इसे बदलें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।