Silabus Pelajaran 100 dari 250 · Intuisi Neural-Net, LLM & Capstone AI
Intuisi Neural-Net, LLM & Capstone AI

Forward Pass Dua Lapis

Satu neuron adalah sebuah garis. Tumpuk layer dari mereka, tambahkan nonlinearity, lalu masukkan itu ke lapisan lain, dan jaringan bisa melengkung untuk menyesuaikan hampir apa pun. Menjalankan data melalui lapisan untuk mendapatkan output disebut forward pass.

Layer

A hanyalah perkalian matriks: setiap kolom dari matriks weight adalah weight dari satu neuron. Dengan numpy, seluruh layer adalah x @ W + b (operator @ adalah perkalian matriks).

Di antara lapisan kita menerapkan aktivasi nonlinear. Jaringan modern lebih menyukai ReLU (Rectified Linear Unit), yang sederhananya adalah max(0, z): simpan nilai positif, nolkan nilai negatif. Tanpa nonlinearitas, menumpuk lapisan akan kembali menjadi satu baris saja.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Kenapa kita melakukan ini di numpy di sini

Framework asli untuk ini adalah TensorFlow dan PyTorch. Mereka tidak bisa jalan di pelajaran ini: Pyodide adalah CPython yang dikompilasi ke WebAssembly di browsermu, dan library tersebut membawa kode native C++ dan CUDA/GPU yang berat yang tidak punya build WebAssembly. Jadi kita dapat intuition dengan beberapa baris numpy, yang mana itu adalah apa yang terjadi pada forward pass di balik layar. Framework menambahkan autograd, GPU, dan skala, bukan ide baru tentang langkah ini.

Perhatikan bentuknya: input panjang-3 melalui matriks bobot 3x4 menghasilkan 4 nilai tersembunyi; melalui matriks 4x1 yang menjadi satu output tunggal.

Giliranku

Selesaikan forward pass. Tulis relu(z) dengan np.maximum, lalu hitung hidden layer h = relu(x @ W1 + b1) dan output out = h @ W2 + b2 menggunakan weights yang tersedia.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.