पाठ्यक्रम 250 में से पाठ 100 · Neural-net की समझ, LLMs और AI कैपस्टोन
Neural-net की समझ, LLMs और AI कैपस्टोन

दो-परत वाला forward pass

एक neuron एक रेखा है। उनकी एक परत बनाएँ, एक non-linearity जोड़ें, फिर उसे दूसरी परत में दें, और network लगभग किसी भी चीज़ पर फ़िट होने के लिए मुड़ सकता है। आउटपुट पाने के लिए डेटा को परतों से गुज़ारना forward pass कहलाता है।

एक परत बस एक matrix गुणा है: भार matrix का हर कॉलम एक neuron के भार हैं। numpy के साथ पूरी परत x @ W + b है (@ operator matrix गुणा है)।

परतों के बीच हम एक non-linear activation लगाते हैं। आधुनिक nets ReLU (Rectified Linear Unit) पसंद करते हैं, जो बस max(0, z) है: धनात्मक रखें, ऋणात्मक को शून्य करें। non-linearity के बिना परतें रखना वापस एक अकेली रेखा में सिमट जाता।

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

यहाँ यह numpy में क्यों

इसके असली frameworks TensorFlow और PyTorch हैं। वे इस पाठ में नहीं चल सकते: Pyodide आपके ब्राउज़र में WebAssembly में compile किया CPython है, और वे libraries भारी native C++ और CUDA/GPU कोड के साथ आती हैं जिसका कोई WebAssembly build नहीं है। इसलिए हमें numpy की कुछ पंक्तियों से समझ मिलती है, जो अंदर से ठीक वही है जो एक forward pass है। frameworks autograd, GPUs, और पैमाना जोड़ते हैं, इस क़दम के बारे में नए विचार नहीं।

shapes पर ध्यान दें: 3x4 भार matrix से गुज़रा लंबाई-3 इनपुट 4 hidden मान देता है; 4x1 matrix से वह एक अकेला आउटपुट बनता है।

आपकी बारी

forward pass पूरा करें। np.maximum से relu(z) लिखें, फिर दिए भारों से hidden परत h = relu(x @ W1 + b1) और आउटपुट out = h @ W2 + b2 निकालें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।