पाठ्यक्रम 246 में से पाठ 44 · Module 3: Neuron से MLP तक
Module 3: Neuron से MLP तक

Activations: layers के बीच का मोड़

यह क्यों मायने रखता है layers के बीच एक मोड़ के बिना, दस layers एक से ज़्यादा होशियार नहीं। मोड़ का चुनाव यह भी तय करता है कि gradients बह सकते हैं या नहीं।

तीन activations जिनसे आप हर जगह मिलेंगे:

  • ReLU: max(0, z)। सस्ता, और धनात्मक inputs के लिए इसकी ढलान ठीक 1 है, इसलिए gradients बिना कमज़ोर हुए गुज़रते हैं। ऋणात्मक के लिए ढलान 0।
  • tanh: -1 से 1 में दबाता है, 0 पर केंद्रित। 0 पर ढलान 1 पर बड़े inputs के लिए लगभग 0: यह saturate होता है।
  • GELU: transformers में इस्तेमाल एक चिकना ReLU, मोटे तौर पर z गुणा sigmoid(1.702 z)।

ढलान क्यों मायने रखती है

Backpropagation हर activation की ढलान से गुणा करता है। 0 के पास की ढलान (एक saturated tanh, या ऋणात्मक input पर ReLU) gradient रोकती है। आप Module 6 में इसे असली training विफलताएँ पैदा करते देखेंगे।

Saturate: वक्र के एक सपाट हिस्से में बैठना, जहाँ ढलान, और इसलिए उससे गुज़रता gradient, लगभग शून्य है।

सार एक activation मोड़ता है; उसकी ढलान तय करती है कि कितना gradient वापस बहता है।

इस पाठ के शब्द और चिह्न
sigmoid
1 / (1 + exp(-z)): किसी भी संख्या को 0 से 1 में दबाता है
ReLU
max(0, z): धनात्मक रखता है, ऋणात्मक शून्य करता है
backpropagation
हर weight का gradient पाने के लिए पीछे की ओर चलाया chain rule
आपकी बारी

हर activation और उसकी ढलान लिखें: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, सब arrays पर। GELU सन्निकटन z * sigmoid(1.702 z) इस्तेमाल करें। इसकी ढलान को दो नियम साथ चाहिए: गुणनफल नियम (u × v की ढलान u' × v + u × v' है) और sigmoid के अंदर chain rule (sigmoid(1.702 z) की ढलान 1.702 × s(1 - s) है, s = sigmoid(1.702 z) के साथ)। ठीक 0 पर ReLU की ढलान के लिए, 0 इस्तेमाल करें। छिपा test हर ढलान को एक धक्के से जाँचता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।