पाठ्यक्रम 246 में से पाठ 45 · Module 3: Neuron से MLP तक
Module 3: Neuron से MLP तक

उभारों से कोई भी वक्र (universal approximation)

यह क्यों मायने रखता है लोग कहते हैं कि एक छिपी layer वाला network कोई भी वक्र fit कर सकता है। यहाँ आप देखते हैं क्यों, उसे ख़ुद उभारों से बनाकर।

इसे देखें

एक बहुत खड़ा sigmoid एक सीढ़ी है: बाईं ओर 0, दाईं ओर 1। दो सीढ़ियाँ, एक left पर ऊपर और एक right पर नीचे, एक उभार बनाती हैं: height * (sigmoid(s (x - left)) - sigmoid(s (x - right)))। वह दो छिपे neurons और एक output weight है। उभारों को अगल-बगल रखें, हर एक अपनी जगह पर वक्र जितना ऊँचा, और आप कोई भी वक्र बना लेते हैं, एक bar chart की तरह। ज़्यादा neurons, पतली bars, क़रीबी fit।

Universal approximation: पर्याप्त neurons वाली एक छिपी layer किसी भी उचित वक्र के जितना चाहें उतना क़रीब पहुँच सकती है। यह कुछ नहीं कहता कि वे weights training से ढूँढना कितना आसान है।

सार दो neurons एक उभार बनाते हैं; पर्याप्त उभार कुछ भी बनाते हैं।

इस पाठ के शब्द और चिह्न
neuron
w . x + b, फिर एक activation
weights (w, W), bias (b)
वे संख्याएँ जो एक neuron सीखता है; bias उसका output खिसकाता है
sigmoid
1 / (1 + exp(-z)): किसी भी संख्या को 0 से 1 में दबाता है
hidden layer
input और output के बीच एक layer जो नए features बनाती है
आपकी बारी

bump(x, left, right, height, s=60) लिखें, फिर approx(x, f, n_bumps) जो 0 से pi को n_bumps बराबर टुकड़ों में बाँटे और हर टुकड़े पर एक उभार जोड़े, हर एक की ऊँचाई अपने टुकड़े के बीच में f की। 10 उभारों (20 neurons) के साथ, 0 से pi पर sin के विरुद्ध mean squared error 0.01 से नीचे होना चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।