पाठ्यक्रम 246 में से पाठ 38 · Module 2: गणित और probability, बस ज़रूरत भर
Module 2: गणित और probability, बस ज़रूरत भर

Gate: गणित, code में (AI बंद)

यह क्यों मायने रखता है इस module के तीन हिस्से हर बाद वाले में लौटते हैं: बड़ी संख्याएँ झेलने वाला एक softmax, एक matrix गुणा के gradients, और KL divergence। यह गणित पहले से जानते हैं? आप यह gate पहले ले सकते हैं, दूसरे पाठों से पहले: पास होना यह module पूरा चिह्नित करता है और अगला खोलता है।

AI tutor बंद। softmax के लिए, खिसकाव तरकीब इस्तेमाल करें: हर अंक से सबसे बड़ा अंक घटाना काग़ज़ पर कुछ नहीं बदलता, पर हर exp को अधिक से अधिक 1 रखता है। असली logits बड़े हो सकते हैं, और बड़े inputs पर nan लौटाने वाला softmax चुपचाप एक training run बर्बाद कर देता है।

इस पाठ के शब्द और चिह्न
derivative (df/dx)
input के हर इकाई धक्के पर output कितनी तेज़ी से बदलता है
softmax
हर अंक का exp कुल से भाग दिया: अंक probabilities बनते हैं
cross-entropy
सही जवाब को दी probability के log का ऋण
KL(P || Q)
दो distributions कितने अलग हैं; बस मेल खाने पर शून्य; क्रम मायने रखता है
आपकी बारी

logits के 2D arrays (हर उदाहरण की एक row) के लिए लिखें:

  • logsumexp(z): हर row के साथ exp के जोड़ का log, भारी मानों के लिए सुरक्षित।
  • stable_softmax(z): हर row के साथ softmax, भारी मानों के लिए सुरक्षित।
  • nll(z, labels): logits से सीधे logsumexp - z[true] के रूप में निकाला औसत cross-entropy, कभी एक softmax का log लिए बिना।
  • matmul_grads(X, W, G): Y = X @ W और एक loss जिसका Y के सापेक्ष gradient G है, उसके लिए (dX, dW) लौटाएँ, X और W के सापेक्ष gradients, कोई Jacobian बनाए बिना।
  • kl_normal(m1, s1, m2, s2): घंटी वक्र N(m1, s1) से N(m2, s2) तक KL divergence, जहाँ s1 और s2 फैलाव (standard deviations) हैं।

जाँचें हर बार नए बेतरतीब आकार और संख्याएँ इस्तेमाल करती हैं, और धकेलने से और एक numerical integral से तुलना करती हैं।

AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

कोड · आपके ब्राउज़र में चलता है
आउटपुट

        

आपकी प्रगति गुमनाम रूप से गिनी जाती है। इसे बदलें